ЛР 4 - БВТ2302 - Миронов - на 4 #48

Closed
ALMiron wants to merge 2 commits from ALMiron/mtusi2026lab4-fork:solution/bvt2302-mironov into main
First-time contributor

Лабораторная 4

Автор / группа: Алексей Миронов, бвт2302
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено:

Перенесено из lab3 (стек FastAPI + PostgreSQL + Redis + HAProxy, 2 реплики API): пользователи, чаты, сессии, пагинация, идемпотентность сообщений, миграции 001–002, migrate.py, конфиг HAProxy, stop-one.sh, rolling-restart.sh, Dockerfile; restart.sh расширен перезапуском S3; проверка lab3 перенесена в student-tests/lab3_idempotency_checks.py.

Новое в lab4:

  • Вложения (PNG/JPEG): POST /chats/{id}/attachments, GET /attachments/{id}, GET /attachments/{id}/content; поле attachment_ids в сообщениях (≤10, уникальные, только вложения этого чата; чужие/неизвестные/из другого чата - 404). Метаданные в PostgreSQL (миграция 003_attachments.sql), байты в приватном S3-bucket (MinIO), ключ объекта случайный и серверный.
  • Приём загрузки потоком: лимит 10 MiB (по Content-Length и по факту), лимит 40 млн пикселей по заголовку до декода, полный декод Pillow с ограничением параллелизма, MIME по содержимому (подмена - 415), таймауты простоя и общий, проверка filename. RAM на загрузку ≈ 1 MiB (spool в анонимный временный файл).
  • Порядок «валидация -> S3 PUT -> COMMIT -> 201»; компенсация (DELETE ключа) при сбое после PUT; s3_sweeper удаляет объекты без строки в БД только старше grace period (3600 с) с повторной проверкой перед удалением.
  • s3_init: идемпотентный bootstrap bucket; два ограниченных S3-пользователя — messenger-app (Get/Put/Delete на attachments/, без ListBucket) и messenger-sweeper (ListBucket на bucket + Get/Delete на attachments/, без PutObject); root-ключи только у s3 и s3_init.
  • Изоляция: у S3 нет published ports, веб-консоль выключена, сеть backend - internal: true.
  • /health/ready учитывает PostgreSQL, Redis и S3; недоступность S3 даёт 503 unavailable в JSON.

Команды запуска из чистого clone:

cp .env.example .env        
make check
make validate
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
make test
make test-level4
make check-s3
python3 student-tests/orphan_sweep_check.py
make memory
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Результаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в REPORT1.md.

Ограничения / известные ошибки:

  • Не реализованы двусторонний reconciler и presigned upload (трек 5).
  • Вложения, не прикреплённые к сообщению, не удаляются; сторож обходит весь bucket (O(число объектов)).
  • Readiness зависит от S3: при его остановке перестают приниматься и текстовые сообщения через LB (осознанный компромисс, описан в отчёте).
  • Образ форка MinIO (silo) закреплён на последнем опубликованном community-образе (image: pgsty/silo:RELEASE.2026-10-15T00-00-00Z); для учебной изолированной сети допустимо.
  • Единичные PostgreSQL/Redis/S3/HAProxy на одном Docker-host - не отказоустойчивость.

Источники и использование ИИ: Использовалась помощь ИИ

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT1.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Алексей Миронов, бвт2302 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: Перенесено из lab3 (стек FastAPI + PostgreSQL + Redis + HAProxy, 2 реплики API): пользователи, чаты, сессии, пагинация, идемпотентность сообщений, миграции 001–002, `migrate.py`, конфиг HAProxy, `stop-one.sh`, `rolling-restart.sh`, Dockerfile; `restart.sh` расширен перезапуском S3; проверка lab3 перенесена в `student-tests/lab3_idempotency_checks.py`. Новое в lab4: - Вложения (PNG/JPEG): `POST /chats/{id}/attachments`, `GET /attachments/{id}`, `GET /attachments/{id}/content`; поле `attachment_ids` в сообщениях (≤10, уникальные, только вложения этого чата; чужие/неизвестные/из другого чата - 404). Метаданные в PostgreSQL (миграция `003_attachments.sql`), байты в приватном S3-bucket (MinIO), ключ объекта случайный и серверный. - Приём загрузки потоком: лимит 10 MiB (по `Content-Length` и по факту), лимит 40 млн пикселей по заголовку до декода, полный декод Pillow с ограничением параллелизма, MIME по содержимому (подмена - 415), таймауты простоя и общий, проверка `filename`. RAM на загрузку ≈ 1 MiB (spool в анонимный временный файл). - Порядок «валидация -> S3 PUT -> COMMIT -> 201»; компенсация (DELETE ключа) при сбое после PUT; `s3_sweeper` удаляет объекты без строки в БД только старше grace period (3600 с) с повторной проверкой перед удалением. - s3_init: идемпотентный bootstrap bucket; два ограниченных S3-пользователя — messenger-app (Get/Put/Delete на attachments/*, без ListBucket) и messenger-sweeper (ListBucket на bucket + Get/Delete на attachments/*, без PutObject); root-ключи только у s3 и s3_init. - Изоляция: у S3 нет published ports, веб-консоль выключена, сеть `backend` - `internal: true`. - `/health/ready` учитывает PostgreSQL, Redis и S3; недоступность S3 даёт `503 unavailable` в JSON. Команды запуска из чистого clone: ```bash cp .env.example .env make check make validate docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --scale api=2 make test make test-level4 make check-s3 python3 student-tests/orphan_sweep_check.py make memory make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh ``` Результаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в `REPORT1.md`. Ограничения / известные ошибки: - Не реализованы двусторонний reconciler и presigned upload (трек 5). - Вложения, не прикреплённые к сообщению, не удаляются; сторож обходит весь bucket (O(число объектов)). - Readiness зависит от S3: при его остановке перестают приниматься и текстовые сообщения через LB (осознанный компромисс, описан в отчёте). - Образ форка MinIO (silo) закреплён на последнем опубликованном community-образе (image: pgsty/silo:RELEASE.2026-10-15T00-00-00Z); для учебной изолированной сети допустимо. - Единичные PostgreSQL/Redis/S3/HAProxy на одном Docker-host - не отказоустойчивость. Источники и использование ИИ: Использовалась помощь ИИ - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT1.md содержит инструкцию именно моего решения.
ALMiron added 1 commit 2026-11-01 01:27:11 +03:00
ALMiron added 1 commit 2026-11-01 01:30:29 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 21:47:55 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#48