Files
2026-11-09 23:50:04 +03:00

9.8 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Бондаренко Мария, БПИ2302
  • Целевая оценка: 4

1. Архитектура системы и компонентов

Система представляет собой отказоустойчивый REST API мессенджера, развернутый в изолированной Docker-сети:

  1. Nginx: Порт 8080:8080. Осуществляет балансировку нагрузки Round-Robin между двумя репликами приложения (api-1 и api-2).
  2. API Replicas (api-1, api-2): Приложения на FastAPI, обрабатывающие бизнес-логику, идемпотентность, аутентификацию и медиафайлы. Лимит ресурсов: CPU 0.50, RAM 256M.
  3. PostgreSQL 15: Хранение реляционных данных (пользователи, чаты, сообщения, метаданные вложений attachments, таблицы идемпотентности idempotency_keys).
  4. Redis 7: Хранение токенов сессий с TTL.
  5. S3 Storage (s3 — SeaweedFS mini): Объектное хранилище для бинарных данных вложений.
  6. S3 Bootstrapper (s3-init): Сервис однократного запуска для идемпотентной инициализации бакета.

Изоляция S3 и разделение прав доступа

  • Сетевая приватность: У сервиса s3 полностью удалена публикация портов наружу. Внешний доступ к S3 заблокирован, все запросы к объектам проходят исключительно через авторизованные ручки API мессенджера.
  • Разделение учётных записей:
    • s3-init использует административные креды для создания бакета при старте.
    • api-1 и api-2 используют ограничение по правам доступа приложения (appuser / appsecretpassword).

2. Двухшаговая схема загрузки и согласованность БД/S3

Для обеспечения согласованности между реляционной БД и S3 при возникновении сбоев (сетевые таймауты, падения контейнеров) реализован двухшаговый протокол загрузки:

Client ---> POST /api/v1/chats/{id}/attachments | v

  1. INSERT INTO attachments (status='pending') ---> PostgreSQL | v
  2. s3_client.put_object(...) ---> S3 Storage | v
  3. UPDATE attachments SET status='ready' ---> PostgreSQL

Обработка аварийных ситуаций:

  • Crash-Safety (падение процесса в любой момент):
    • При сбое до Step 1 — транзакция не создается, данные не повреждены.
    • При сбое на Step 2 или 3 — запись остается в БД со статусом pending. Немедленное мгновенное удаление из S3 (delete_object в эксепшне) не производится, так как при таймауте ответа COMMIT мог успешно завершиться на стороне базы, и прямое удаление привело бы к появлению «битой» ссылки (missing object).
  • Периодическая сверка (scripts/reconcile.py):
    • Grace Period (1 час): Все записи и файлы младше 1 часа считаются находящимися в процессе загрузки и не затрагиваются сверкой.
    • Сверка со стороны БД: Находит записи со статусом pending, созданные более 1 часа назад (created_at < now() - 1 hour). Они переводятся в статус failed (error_code='timeout_stale'), а соответствующий ключ в S3 удаляется.
    • Сверка со стороны S3: Выполняет list_objects_v2 по префиксу attachments/. Если найден объект старше 1 часа, которого нет в PostgreSQL со статусом ready, он удаляется из S3 как «сиротский» (orphan).

3. Валидация и безопасность медиафайлов

Реализованы следующие уровни защиты при загрузке файлов:

  1. Потоковая передача: Чтение тела запроса через request.stream() с лимитом 10 MiB. Предотвращает исчерпание RAM сервера при передаче больших файлов.
  2. Проверка имен файлов: Запрет символов /, , null-байтов и управляющих символов ASCII (коды < 0x20 и 0x7F). При нарушении возвращается 400 Bad Request.
  3. Проверка Magic Bytes: Валидация структуры заголовков PNG (\x89PNG\r\n\x1a\n + валидация IHDR) и JPEG (\xFF\xD8). При несовпадении возвращается 415 Unsupported Media Type.
  4. Ограничение разрешения: Парсинг геометрических размеров изображения (W * H). Превышение лимита в 40 000 000 пикселей (40 MP) отвергается со статусом 413 Payload Too Large.
  5. Изоляция вложений между чатами: При создании сообщения проверяется, что все attachment_ids принадлежат именно данному chat_id. При попытке использовать чужое или несуществующее вложение возвращается 404 Not Found.

4. Результаты тестов (Evidence)

Все проверки и подтверждающие артефакты сохранены в директории evidence/:

4.1. Проверка состояний контейнеров (evidence/compose_ps.txt)

Все сервисы (api-1, api-2, postgres, redis, s3, nginx) находятся в состоянии Up (healthy).

4.2. Smoke-тестирование базового API (evidence/smoke.txt)

python3 tests/smoke.py --base-url "http://localhost:8080" PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.

4.3. Негативное тестирование Уровня 4 (evidence/level4.txt)

Успешно пройден полный набор тестов tests/level4_tests.py (6 из 6):

  • test_payload_too_large — обработка превышения 10 MiB (413).
  • test_unsupported_media_type — загрузка невалидного типа (415).
  • test_corrupted_image_signature — проверка поврежденных бинарных данных PNG (415).
  • test_invalid_filename_characters — защита от path traversal (400).
  • test_nonexistent_attachment_id — проверка привязки несуществующего attachment_id (404).
  • test_cross_chat_attachment_isolation — изоляция чужих вложений между чатами (404).

4.4. Проверка приватности S3-бакета (evidence/bucket_private.txt)

PASS: anonymous GET -> 403 Прямой анонимный HTTP-доступ к объектам S3 без авторизации закрыт.

4.5. Тестирование отказа и устойчивости сессий (evidence/failover.txt, evidence/persistence.txt)

  • Failover: Отключение одной реплики API под нагрузкой показало восстановление за 1.312 сек. Без потери подтвержденных данных и разрыва сессий.
  • Persistence: Полный перезапуск контейнеров с сохранением данных в томах подтвержден (PASS).

4.6. Запуск скрипта сверки (evidence/reconcile_dry_run.txt)

Starting reconciliation (dry_run=True)... Reconciliation completed successfully. Скрипт идемпотентен, безопасен для выполнения в режиме --dry-run.


5. Нагрузочное тестирование памяти

Было проведено нагрузочное тестирование одновременной загрузки 10 файлов по 10 MiB при ограничении RAM контейнеров api-1/api-2 в 256 MiB.

Результаты Docker Stats (evidence/upload_load.json, evidence/upload_load_stats.txt):

Сервис Размер файлов Кол-во потоков (N) Потребление RAM (Пик) Лимит RAM Результат
api-1 10 MiB 10 74.22 MiB 256 MiB PASS (< 300 MiB)
api-2 10 MiB 10 74.76 MiB 256 MiB PASS (< 300 MiB)
s3 10 MiB 10 68.62 MiB 512 MiB PASS

Вывод по нагрузке:

Благодаря реализации потокового чтения файла (request.stream()), объём используемой оперативной памяти на реплику составил не более 74.76 MiB (около 29% от выделенного лимита в 256 MiB), что подтверждает отсутствие утечек и защищает приложения от падения по OOM.