From f5d39b4b7215fe24c948d1ab0075fa57572f8b28 Mon Sep 17 00:00:00 2001 From: Getlles Date: Mon, 9 Nov 2026 23:50:04 +0300 Subject: [PATCH] report --- REPORT.md | 119 +++++++++++++++++++++++++++++++++++++++++++----------- 1 file changed, 96 insertions(+), 23 deletions(-) diff --git a/REPORT.md b/REPORT.md index 9ad2b84..078bf81 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,110 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Бондаренко Мария, БПИ2302 +- Целевая оценка: 4 -## Запуск из чистого clone +## 1. Архитектура системы и компонентов -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Система представляет собой отказоустойчивый REST API мессенджера, развернутый в изолированной Docker-сети: -## Архитектура и решения +1. Nginx: Порт 8080:8080. Осуществляет балансировку нагрузки Round-Robin между двумя репликами приложения (api-1 и api-2). +2. API Replicas (api-1, api-2): Приложения на FastAPI, обрабатывающие бизнес-логику, идемпотентность, аутентификацию и медиафайлы. Лимит ресурсов: CPU 0.50, RAM 256M. +3. PostgreSQL 15: Хранение реляционных данных (пользователи, чаты, сообщения, метаданные вложений attachments, таблицы идемпотентности idempotency_keys). +4. Redis 7: Хранение токенов сессий с TTL. +5. S3 Storage (s3 — SeaweedFS mini): Объектное хранилище для бинарных данных вложений. +6. S3 Bootstrapper (s3-init): Сервис однократного запуска для идемпотентной инициализации бакета. -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +### Изоляция S3 и разделение прав доступа +- Сетевая приватность: У сервиса s3 полностью удалена публикация портов наружу. Внешний доступ к S3 заблокирован, все запросы к объектам проходят исключительно через авторизованные ручки API мессенджера. +- Разделение учётных записей: + - s3-init использует административные креды для создания бакета при старте. + - api-1 и api-2 используют ограничение по правам доступа приложения (appuser / appsecretpassword). -## Доказательства критериев +--- -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +## 2. Двухшаговая схема загрузки и согласованность БД/S3 -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Для обеспечения согласованности между реляционной БД и S3 при возникновении сбоев (сетевые таймауты, падения контейнеров) реализован двухшаговый протокол загрузки: -## Эксперименты и отказы +Client ---> POST /api/v1/chats/{id}/attachments + | + v + 1. INSERT INTO attachments (status='pending') ---> PostgreSQL + | + v + 2. s3_client.put_object(...) ---> S3 Storage + | + v + 3. UPDATE attachments SET status='ready' ---> PostgreSQL -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +### Обработка аварийных ситуаций: +- Crash-Safety (падение процесса в любой момент): + - При сбое до Step 1 — транзакция не создается, данные не повреждены. + - При сбое на Step 2 или 3 — запись остается в БД со статусом pending. Немедленное мгновенное удаление из S3 (delete_object в эксепшне) не производится, так как при таймауте ответа COMMIT мог успешно завершиться на стороне базы, и прямое удаление привело бы к появлению «битой» ссылки (missing object). +- Периодическая сверка (scripts/reconcile.py): + - Grace Period (1 час): Все записи и файлы младше 1 часа считаются находящимися в процессе загрузки и не затрагиваются сверкой. + - Сверка со стороны БД: Находит записи со статусом pending, созданные более 1 часа назад (created_at < now() - 1 hour). Они переводятся в статус failed (error_code='timeout_stale'), а соответствующий ключ в S3 удаляется. + - Сверка со стороны S3: Выполняет list_objects_v2 по префиксу attachments/. Если найден объект старше 1 часа, которого нет в PostgreSQL со статусом ready, он удаляется из S3 как «сиротский» (orphan). -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +--- -## Ограничения и следующие шаги +## 3. Валидация и безопасность медиафайлов -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Реализованы следующие уровни защиты при загрузке файлов: +1. Потоковая передача: Чтение тела запроса через request.stream() с лимитом 10 MiB. Предотвращает исчерпание RAM сервера при передаче больших файлов. +2. Проверка имен файлов: Запрет символов /, \, null-байтов и управляющих символов ASCII (коды < 0x20 и 0x7F). При нарушении возвращается 400 Bad Request. +3. Проверка Magic Bytes: Валидация структуры заголовков PNG (\x89PNG\r\n\x1a\n + валидация IHDR) и JPEG (\xFF\xD8). При несовпадении возвращается 415 Unsupported Media Type. +4. Ограничение разрешения: Парсинг геометрических размеров изображения (W * H). Превышение лимита в 40 000 000 пикселей (40 MP) отвергается со статусом 413 Payload Too Large. +5. Изоляция вложений между чатами: При создании сообщения проверяется, что все attachment_ids принадлежат именно данному chat_id. При попытке использовать чужое или несуществующее вложение возвращается 404 Not Found. + +--- + +## 4. Результаты тестов (Evidence) + +Все проверки и подтверждающие артефакты сохранены в директории evidence/: + +### 4.1. Проверка состояний контейнеров (evidence/compose_ps.txt) +Все сервисы (api-1, api-2, postgres, redis, s3, nginx) находятся в состоянии Up (healthy). + +### 4.2. Smoke-тестирование базового API (evidence/smoke.txt) +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. + +### 4.3. Негативное тестирование Уровня 4 (evidence/level4.txt) +Успешно пройден полный набор тестов tests/level4_tests.py (6 из 6): +- test_payload_too_large — обработка превышения 10 MiB (413). +- test_unsupported_media_type — загрузка невалидного типа (415). +- test_corrupted_image_signature — проверка поврежденных бинарных данных PNG (415). +- test_invalid_filename_characters — защита от path traversal (400). +- test_nonexistent_attachment_id — проверка привязки несуществующего attachment_id (404). +- test_cross_chat_attachment_isolation — изоляция чужих вложений между чатами (404). + +### 4.4. Проверка приватности S3-бакета (evidence/bucket_private.txt) +PASS: anonymous GET -> 403 +Прямой анонимный HTTP-доступ к объектам S3 без авторизации закрыт. + +### 4.5. Тестирование отказа и устойчивости сессий (evidence/failover.txt, evidence/persistence.txt) +- Failover: Отключение одной реплики API под нагрузкой показало восстановление за 1.312 сек. Без потери подтвержденных данных и разрыва сессий. +- Persistence: Полный перезапуск контейнеров с сохранением данных в томах подтвержден (PASS). + +### 4.6. Запуск скрипта сверки (evidence/reconcile_dry_run.txt) +Starting reconciliation (dry_run=True)... +Reconciliation completed successfully. +Скрипт идемпотентен, безопасен для выполнения в режиме --dry-run. + +--- + +## 5. Нагрузочное тестирование памяти + +Было проведено нагрузочное тестирование одновременной загрузки 10 файлов по 10 MiB при ограничении RAM контейнеров api-1/api-2 в 256 MiB. + +### Результаты Docker Stats (evidence/upload_load.json, evidence/upload_load_stats.txt): + +| Сервис | Размер файлов | Кол-во потоков ($N$) | Потребление RAM (Пик) | Лимит RAM | Результат | +|---|---|---|---|---|---| +| api-1 | 10 MiB | 10 | 74.22 MiB | 256 MiB | PASS (< 300 MiB) | +| api-2 | 10 MiB | 10 | 74.76 MiB | 256 MiB | PASS (< 300 MiB) | +| s3 | 10 MiB | 10 | 68.62 MiB | 512 MiB | PASS | + +### Вывод по нагрузке: +Благодаря реализации потокового чтения файла (request.stream()), объём используемой оперативной памяти на реплику составил не более 74.76 MiB (около 29% от выделенного лимита в 256 MiB), что подтверждает отсутствие утечек и защищает приложения от падения по OOM.