ЛР 4 - Максимова Мария - БВТ2303-на 4 #35

Closed
Mariia_Maksimova wants to merge 5 commits from Mariia_Maksimova/mtusi2026lab4:solution/maksimova_bvt2303 into main
First-time contributor

Лабораторная 4

Автор / группа: Максимова Мария, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено:

  • Перенесено из lab3 без изменения контракта: регистрация Basic→Bearer, сессии в PostgreSQL с кэшем в Valkey, идемпотентная отправка сообщений, X-Instance-Id, graceful drain, HAProxy с active check, hooks restart.sh / stop-one.sh.
  • Изменено: CreateMessage принимает attachment_ids (по умолчанию []) и text="" при наличии вложений. Fingerprint идемпотентности без вложений совпадает с lab3, поэтому повтор со старым ключом работает как раньше.
  • Новое: вложения-изображения (PNG/JPEG ≤10 MiB, ≤40 Мпикс) в приватном bucket SeaweedFS S3, метаданные в PostgreSQL (миграция 004_attachments.sql, только expand).
    • Тело читается потоково: spool в RAM ≤1 MiB, SHA-256 считается на лету. Если Content-Length больше лимита, сразу 413 без чтения тела.
    • MIME проверяется по содержимому. PNG проходит через собственный потоковый валидатор (CRC, IHDR, IDAT). Лимит пикселей проверяется до распаковки, поэтому декомпрессионная бомба получает 413.
    • Опасные filename отклоняются. Download отдаётся только участникам чата (чужим 404), без redirect, с nosniff и no-store.
  • Уровень 4:
    • Upload intent + компенсация: при ошибке БД после PUT 503 и фоновое удаление объекта.
    • Janitor с grace 900 s и FOR UPDATE SKIP LOCKED убирает объекты от упавших загрузок.
    • Лимит одновременных загрузок 8 на реплику, при переполнении 429.
    • У API отдельные ограниченные S3-credentials, admin-ключ есть только у one-shot s3-init. Bootstrap идемпотентный.
    • Порты админки SeaweedFS закрыты. При недоступности S3 деградируют только вложения (503), чаты и сообщения работают.

Команды запуска из чистого clone:
sh scripts/init-secrets.sh
cp .env.example .env # при занятом 8080: LB_PORT=8081
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
curl -fsS http://localhost:${LB_PORT:-8080}/health/ready
make check
make test BASE_URL=http://localhost:${LB_PORT:-8080}
# hook-тесты — в контейнере tester:
docker compose --profile tools run --rm tester make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://lb:8080
docker compose --profile tools run --rm tester make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://lb:8080
На Windows make test = PYTHONUTF8=1 python tests/smoke.py --base-url ....

Результаты проверок и ссылка на REPORT.md:
$ make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ make test BASE_URL=http://localhost:8081
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
$ make test-failover ... (×2)
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.972}
{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 4.208}
PASS: failover preserved confirmed data and existing session.
$ make test-persistence ... PASS (см. evidence/persistence.txt)

  • Собственные тесты (student-tests/):
    • attachment_edge_cases.py: 60/60 OK.
    • upload_failover.py: SHA-256 совпал после остановки каждой из реплик.
    • upload_compensation.py: PASS.
    • s3_failures.py: PASS.
    • upload_memory.py: 12 и 20 одновременных загрузок, пик RSS API +13…18 MiB на реплику.
  • Полный отчёт: REPORT.md, доказательства: evidence/.

Ограничения / известные ошибки:

  • Один Docker host, один PostgreSQL, один SeaweedFS без репликации, один LB. Потерю host или тома S3 стенд не переживает, бэкапов нет.
  • Отдельного reconciler нет. Объект без строки и без intent (ручное вмешательство, баг) автоматически не удаляется. Если пропали байты готового вложения, это видно только по 500 и ERROR в логе при download.
  • Прогрессивные JPEG >16 Мпикс проверяются только по структуре маркеров.
  • MAX_CONCURRENT_UPLOADS действует на реплику, а не глобально.
  • Замеры памяти: 1–2 прогона на ноутбуке.

Источники и использование ИИ:

  • Библиотеки: FastAPI, SQLAlchemy/asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow.

  • Документация: AWS S3 PutObject/SigV4, SeaweedFS wiki, PNG (RFC 2083), HAProxy 3.0 manual.

  • ИИ (Claude Code): ревью и доработка кода вложений, тесты в student-tests/, проведение экспериментов, черновик отчёта. Все результаты получены реальными прогонами на стенде и проверены.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 4 Автор / группа: Максимова Мария, БВТ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: - Перенесено из lab3 без изменения контракта: регистрация Basic→Bearer, сессии в PostgreSQL с кэшем в Valkey, идемпотентная отправка сообщений, `X-Instance-Id`, graceful drain, HAProxy с active check, hooks `restart.sh` / `stop-one.sh`. - Изменено: `CreateMessage` принимает `attachment_ids` (по умолчанию `[]`) и `text=""` при наличии вложений. Fingerprint идемпотентности без вложений совпадает с lab3, поэтому повтор со старым ключом работает как раньше. - Новое: вложения-изображения (PNG/JPEG ≤10 MiB, ≤40 Мпикс) в приватном bucket SeaweedFS S3, метаданные в PostgreSQL (миграция `004_attachments.sql`, только expand). - Тело читается потоково: spool в RAM ≤1 MiB, SHA-256 считается на лету. Если `Content-Length` больше лимита, сразу 413 без чтения тела. - MIME проверяется по содержимому. PNG проходит через собственный потоковый валидатор (CRC, IHDR, IDAT). Лимит пикселей проверяется до распаковки, поэтому декомпрессионная бомба получает 413. - Опасные filename отклоняются. Download отдаётся только участникам чата (чужим 404), без redirect, с `nosniff` и `no-store`. - Уровень 4: - Upload intent + компенсация: при ошибке БД после PUT 503 и фоновое удаление объекта. - Janitor с grace 900 s и `FOR UPDATE SKIP LOCKED` убирает объекты от упавших загрузок. - Лимит одновременных загрузок 8 на реплику, при переполнении 429. - У API отдельные ограниченные S3-credentials, admin-ключ есть только у one-shot `s3-init`. Bootstrap идемпотентный. - Порты админки SeaweedFS закрыты. При недоступности S3 деградируют только вложения (503), чаты и сообщения работают. Команды запуска из чистого clone: sh scripts/init-secrets.sh cp .env.example .env # при занятом 8080: LB_PORT=8081 docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build curl -fsS http://localhost:${LB_PORT:-8080}/health/ready make check make test BASE_URL=http://localhost:${LB_PORT:-8080} # hook-тесты — в контейнере tester: docker compose --profile tools run --rm tester make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://lb:8080 docker compose --profile tools run --rm tester make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://lb:8080 На Windows `make test` = `PYTHONUTF8=1 python tests/smoke.py --base-url ...`. Результаты проверок и ссылка на REPORT.md: $ make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. $ make test BASE_URL=http://localhost:8081 PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. $ make test-failover ... (×2) {"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.972} {"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 4.208} PASS: failover preserved confirmed data and existing session. $ make test-persistence ... PASS (см. evidence/persistence.txt) - Собственные тесты (`student-tests/`): - `attachment_edge_cases.py`: 60/60 OK. - `upload_failover.py`: SHA-256 совпал после остановки каждой из реплик. - `upload_compensation.py`: PASS. - `s3_failures.py`: PASS. - `upload_memory.py`: 12 и 20 одновременных загрузок, пик RSS API +13…18 MiB на реплику. - Полный отчёт: [REPORT.md](REPORT.md), доказательства: `evidence/`. Ограничения / известные ошибки: - Один Docker host, один PostgreSQL, один SeaweedFS без репликации, один LB. Потерю host или тома S3 стенд не переживает, бэкапов нет. - Отдельного reconciler нет. Объект без строки и без intent (ручное вмешательство, баг) автоматически не удаляется. Если пропали байты готового вложения, это видно только по 500 и ERROR в логе при download. - Прогрессивные JPEG >16 Мпикс проверяются только по структуре маркеров. - `MAX_CONCURRENT_UPLOADS` действует на реплику, а не глобально. - Замеры памяти: 1–2 прогона на ноутбуке. Источники и использование ИИ: - Библиотеки: FastAPI, SQLAlchemy/asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow. - Документация: AWS S3 PutObject/SigV4, SeaweedFS wiki, PNG (RFC 2083), HAProxy 3.0 manual. - ИИ (Claude Code): ревью и доработка кода вложений, тесты в `student-tests/`, проведение экспериментов, черновик отчёта. Все результаты получены реальными прогонами на стенде и проверены. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Mariia_Maksimova added 3 commits 2026-10-30 17:30:21 +03:00
Mariia_Maksimova added 2 commits 2026-10-30 18:03:18 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:29 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#35