Files
2026-11-09 23:50:04 +03:00

111 lines
9.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- Автор, группа: Бондаренко Мария, БПИ2302
- Целевая оценка: 4
## 1. Архитектура системы и компонентов
Система представляет собой отказоустойчивый REST API мессенджера, развернутый в изолированной Docker-сети:
1. Nginx: Порт 8080:8080. Осуществляет балансировку нагрузки Round-Robin между двумя репликами приложения (api-1 и api-2).
2. API Replicas (api-1, api-2): Приложения на FastAPI, обрабатывающие бизнес-логику, идемпотентность, аутентификацию и медиафайлы. Лимит ресурсов: CPU 0.50, RAM 256M.
3. PostgreSQL 15: Хранение реляционных данных (пользователи, чаты, сообщения, метаданные вложений attachments, таблицы идемпотентности idempotency_keys).
4. Redis 7: Хранение токенов сессий с TTL.
5. S3 Storage (s3 — SeaweedFS mini): Объектное хранилище для бинарных данных вложений.
6. S3 Bootstrapper (s3-init): Сервис однократного запуска для идемпотентной инициализации бакета.
### Изоляция S3 и разделение прав доступа
- Сетевая приватность: У сервиса s3 полностью удалена публикация портов наружу. Внешний доступ к S3 заблокирован, все запросы к объектам проходят исключительно через авторизованные ручки API мессенджера.
- Разделение учётных записей:
- s3-init использует административные креды для создания бакета при старте.
- api-1 и api-2 используют ограничение по правам доступа приложения (appuser / appsecretpassword).
---
## 2. Двухшаговая схема загрузки и согласованность БД/S3
Для обеспечения согласованности между реляционной БД и S3 при возникновении сбоев (сетевые таймауты, падения контейнеров) реализован двухшаговый протокол загрузки:
Client ---> POST /api/v1/chats/{id}/attachments
|
v
1. INSERT INTO attachments (status='pending') ---> PostgreSQL
|
v
2. s3_client.put_object(...) ---> S3 Storage
|
v
3. UPDATE attachments SET status='ready' ---> PostgreSQL
### Обработка аварийных ситуаций:
- Crash-Safety (падение процесса в любой момент):
- При сбое до Step 1 — транзакция не создается, данные не повреждены.
- При сбое на Step 2 или 3 — запись остается в БД со статусом pending. Немедленное мгновенное удаление из S3 (delete_object в эксепшне) не производится, так как при таймауте ответа COMMIT мог успешно завершиться на стороне базы, и прямое удаление привело бы к появлению «битой» ссылки (missing object).
- Периодическая сверка (scripts/reconcile.py):
- Grace Period (1 час): Все записи и файлы младше 1 часа считаются находящимися в процессе загрузки и не затрагиваются сверкой.
- Сверка со стороны БД: Находит записи со статусом pending, созданные более 1 часа назад (created_at < now() - 1 hour). Они переводятся в статус failed (error_code='timeout_stale'), а соответствующий ключ в S3 удаляется.
- Сверка со стороны S3: Выполняет list_objects_v2 по префиксу attachments/. Если найден объект старше 1 часа, которого нет в PostgreSQL со статусом ready, он удаляется из S3 как «сиротский» (orphan).
---
## 3. Валидация и безопасность медиафайлов
Реализованы следующие уровни защиты при загрузке файлов:
1. Потоковая передача: Чтение тела запроса через request.stream() с лимитом 10 MiB. Предотвращает исчерпание RAM сервера при передаче больших файлов.
2. Проверка имен файлов: Запрет символов /, \, null-байтов и управляющих символов ASCII (коды < 0x20 и 0x7F). При нарушении возвращается 400 Bad Request.
3. Проверка Magic Bytes: Валидация структуры заголовков PNG (\x89PNG\r\n\x1a\n + валидация IHDR) и JPEG (\xFF\xD8). При несовпадении возвращается 415 Unsupported Media Type.
4. Ограничение разрешения: Парсинг геометрических размеров изображения (W * H). Превышение лимита в 40 000 000 пикселей (40 MP) отвергается со статусом 413 Payload Too Large.
5. Изоляция вложений между чатами: При создании сообщения проверяется, что все attachment_ids принадлежат именно данному chat_id. При попытке использовать чужое или несуществующее вложение возвращается 404 Not Found.
---
## 4. Результаты тестов (Evidence)
Все проверки и подтверждающие артефакты сохранены в директории evidence/:
### 4.1. Проверка состояний контейнеров (evidence/compose_ps.txt)
Все сервисы (api-1, api-2, postgres, redis, s3, nginx) находятся в состоянии Up (healthy).
### 4.2. Smoke-тестирование базового API (evidence/smoke.txt)
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
### 4.3. Негативное тестирование Уровня 4 (evidence/level4.txt)
Успешно пройден полный набор тестов tests/level4_tests.py (6 из 6):
- test_payload_too_large — обработка превышения 10 MiB (413).
- test_unsupported_media_type — загрузка невалидного типа (415).
- test_corrupted_image_signature — проверка поврежденных бинарных данных PNG (415).
- test_invalid_filename_characters — защита от path traversal (400).
- test_nonexistent_attachment_id — проверка привязки несуществующего attachment_id (404).
- test_cross_chat_attachment_isolation — изоляция чужих вложений между чатами (404).
### 4.4. Проверка приватности S3-бакета (evidence/bucket_private.txt)
PASS: anonymous GET -> 403
Прямой анонимный HTTP-доступ к объектам S3 без авторизации закрыт.
### 4.5. Тестирование отказа и устойчивости сессий (evidence/failover.txt, evidence/persistence.txt)
- Failover: Отключение одной реплики API под нагрузкой показало восстановление за 1.312 сек. Без потери подтвержденных данных и разрыва сессий.
- Persistence: Полный перезапуск контейнеров с сохранением данных в томах подтвержден (PASS).
### 4.6. Запуск скрипта сверки (evidence/reconcile_dry_run.txt)
Starting reconciliation (dry_run=True)...
Reconciliation completed successfully.
Скрипт идемпотентен, безопасен для выполнения в режиме --dry-run.
---
## 5. Нагрузочное тестирование памяти
Было проведено нагрузочное тестирование одновременной загрузки 10 файлов по 10 MiB при ограничении RAM контейнеров api-1/api-2 в 256 MiB.
### Результаты Docker Stats (evidence/upload_load.json, evidence/upload_load_stats.txt):
| Сервис | Размер файлов | Кол-во потоков ($N$) | Потребление RAM (Пик) | Лимит RAM | Результат |
|---|---|---|---|---|---|
| api-1 | 10 MiB | 10 | 74.22 MiB | 256 MiB | PASS (< 300 MiB) |
| api-2 | 10 MiB | 10 | 74.76 MiB | 256 MiB | PASS (< 300 MiB) |
| s3 | 10 MiB | 10 | 68.62 MiB | 512 MiB | PASS |
### Вывод по нагрузке:
Благодаря реализации потокового чтения файла (request.stream()), объём используемой оперативной памяти на реплику составил не более 74.76 MiB (около 29% от выделенного лимита в 256 MiB), что подтверждает отсутствие утечек и защищает приложения от падения по OOM.