ЛР 4 — БПИ2303 — Лазарев — на 3 #91

Closed
zemiles wants to merge 3 commits from zemiles/mtusi2026lab4:solution/bpi2303-lazarev into main
First-time contributor

Лабораторная 4

Автор / группа: Лазарев Юрий Сергеевич, БПИ2303.
Целевая оценка: 3. Трек 5 не заявлен.

Что реализовано и что перенесено. Из lab3 перенесены REST API, HAProxy с двумя API-репликами, PostgreSQL (пользователи, чаты, сообщения, сессии, ключи идемпотентности), миграции, graceful shutdown и скрипты отказов. Добавлены вложения в приватном S3 — SeaweedFS 4.50 (образы MinIO удалены с Docker Hub; причина выбора — в отчёте):

  • потоковый upload PNG/JPEG во временный файл без имени, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения и декодирования, проверка MIME по содержимому, защита от zlib-бомб и опасных filename;
  • порядок записи pending → S3 PUT → ready с компенсацией и janitor, который сверяет БД и bucket (dry-run, grace period 1 ч);
  • download только участникам чата через API, без redirect; attachment_ids в сообщениях с проверкой принадлежности чату;
  • отдельные S3-ключи для API, janitor и bootstrap с ограниченными правами, идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.

Запуск из чистого clone:

./scripts/init-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make test

Результаты проверок (подробно — REPORT.md, выводы — evidence/):

  • make check, make test, make test-persistence (перезапуск db, s3, api×2, janitor, lb), make test-failover ×2 — PASS;
  • upload → остановка загрузившей реплики → download через другую — PASS для каждой реплики;
  • 60 негативных сценариев (большой файл, битые изображения, подмена MIME, чужое вложение, вложение другого чата, опасные filename) — 60/60, 0 ответов 5xx;
  • отказы между S3 и БД с инъекцией сбоев: компенсация ничего не оставляет, janitor не трогает свежие и используемые вложения и после grace удаляет брошенные; повторный проход ничего не находит;
  • приватность bucket и права ключей проверены напрямую на S3, минуя API, — 21/21;
  • недоступность S3 (stop/pause): upload/download — быстрый 503, текстовые сообщения и readiness работают;
  • 12 и 20 одновременных загрузок по ~10 MiB: все 201, пиковый RSS реплики API 95–102 MiB при лимите 256 (до исправления — 178–189 MiB); OOM нет.

Ограничения / известные ошибки. Один Docker-host, одна БД, один S3 без репликации, один балансировщик. В первые ~10–20 с после старта SeaweedFS загрузки получают 503. Рассогласование «ready без объекта» janitor только сообщает, автоматически не восстанавливает. Учебный хук FAULT_INJECTION по умолчанию выключен.

Источники и использование стороннего кода: см. шапку REPORT.md.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Лазарев Юрий Сергеевич, БПИ2303. Целевая оценка: 3. Трек 5 не заявлен. **Что реализовано и что перенесено.** Из lab3 перенесены REST API, HAProxy с двумя API-репликами, PostgreSQL (пользователи, чаты, сообщения, сессии, ключи идемпотентности), миграции, graceful shutdown и скрипты отказов. Добавлены вложения в приватном S3 — SeaweedFS 4.50 (образы MinIO удалены с Docker Hub; причина выбора — в отчёте): - потоковый upload PNG/JPEG во временный файл без имени, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения и декодирования, проверка MIME по содержимому, защита от zlib-бомб и опасных filename; - порядок записи pending → S3 PUT → ready с компенсацией и janitor, который сверяет БД и bucket (dry-run, grace period 1 ч); - download только участникам чата через API, без redirect; `attachment_ids` в сообщениях с проверкой принадлежности чату; - отдельные S3-ключи для API, janitor и bootstrap с ограниченными правами, идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты. **Запуск из чистого clone:** ```sh ./scripts/init-secrets.sh docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait make test ``` **Результаты проверок** (подробно — REPORT.md, выводы — evidence/): - `make check`, `make test`, `make test-persistence` (перезапуск db, s3, api×2, janitor, lb), `make test-failover` ×2 — PASS; - upload → остановка загрузившей реплики → download через другую — PASS для каждой реплики; - 60 негативных сценариев (большой файл, битые изображения, подмена MIME, чужое вложение, вложение другого чата, опасные filename) — 60/60, 0 ответов 5xx; - отказы между S3 и БД с инъекцией сбоев: компенсация ничего не оставляет, janitor не трогает свежие и используемые вложения и после grace удаляет брошенные; повторный проход ничего не находит; - приватность bucket и права ключей проверены напрямую на S3, минуя API, — 21/21; - недоступность S3 (stop/pause): upload/download — быстрый 503, текстовые сообщения и readiness работают; - 12 и 20 одновременных загрузок по ~10 MiB: все 201, пиковый RSS реплики API 95–102 MiB при лимите 256 (до исправления — 178–189 MiB); OOM нет. **Ограничения / известные ошибки.** Один Docker-host, одна БД, один S3 без репликации, один балансировщик. В первые ~10–20 с после старта SeaweedFS загрузки получают 503. Рассогласование «ready без объекта» janitor только сообщает, автоматически не восстанавливает. Учебный хук FAULT_INJECTION по умолчанию выключен. **Источники и использование стороннего кода:** см. шапку REPORT.md. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
zemiles added 1 commit 2026-11-07 01:53:28 +03:00
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).

- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
  временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
  и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
  сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
  attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
  идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
  178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
  и доказательства в evidence/, заполнен REPORT.md.
zemiles added 1 commit 2026-11-07 01:53:45 +03:00
zemiles added 1 commit 2026-11-07 11:37:39 +03:00
- Healthcheck S3 проверяет реальную запись (PUT во внутренний filer):
  после рестарта SeaweedFS запись готова на 10–20 с позже /healthz, и
  make test-failover сразу после make test-persistence падал с 503.
- Upload на старте реплики ждёт первой успешной проверки S3 до 5 с.
- stop-one.sh берёт реплики из docker compose ps, а не по имени проекта.
- s3_outage.py в конце ждёт восстановления S3; переключение
  FAULT_INJECTION выполняется с --no-deps.
- Перезаписаны evidence/, в REPORT.md добавлен раздел повторной проверки.
zemiles changed title from ЛР 4 — БПИ2303 — Лазарев — на 4 to ЛР 4 — БПИ2303 — Лазарев — на 3 2026-11-09 23:03:05 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 01:45:05 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#91