Автор / группа: Лазарев Юрий Сергеевич, БПИ2303.
Целевая оценка: 3. Трек 5 не заявлен.
Что реализовано и что перенесено. Из lab3 перенесены REST API, HAProxy с двумя API-репликами, PostgreSQL (пользователи, чаты, сообщения, сессии, ключи идемпотентности), миграции, graceful shutdown и скрипты отказов. Добавлены вложения в приватном S3 — SeaweedFS 4.50 (образы MinIO удалены с Docker Hub; причина выбора — в отчёте):
потоковый upload PNG/JPEG во временный файл без имени, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения и декодирования, проверка MIME по содержимому, защита от zlib-бомб и опасных filename;
порядок записи pending → S3 PUT → ready с компенсацией и janitor, который сверяет БД и bucket (dry-run, grace period 1 ч);
download только участникам чата через API, без redirect; attachment_ids в сообщениях с проверкой принадлежности чату;
отдельные S3-ключи для API, janitor и bootstrap с ограниченными правами, идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
Запуск из чистого clone:
./scripts/init-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make test
Результаты проверок (подробно — REPORT.md, выводы — evidence/):
make check, make test, make test-persistence (перезапуск db, s3, api×2, janitor, lb), make test-failover ×2 — PASS;
upload → остановка загрузившей реплики → download через другую — PASS для каждой реплики;
отказы между S3 и БД с инъекцией сбоев: компенсация ничего не оставляет, janitor не трогает свежие и используемые вложения и после grace удаляет брошенные; повторный проход ничего не находит;
приватность bucket и права ключей проверены напрямую на S3, минуя API, — 21/21;
недоступность S3 (stop/pause): upload/download — быстрый 503, текстовые сообщения и readiness работают;
12 и 20 одновременных загрузок по ~10 MiB: все 201, пиковый RSS реплики API 95–102 MiB при лимите 256 (до исправления — 178–189 MiB); OOM нет.
Ограничения / известные ошибки. Один Docker-host, одна БД, один S3 без репликации, один балансировщик. В первые ~10–20 с после старта SeaweedFS загрузки получают 503. Рассогласование «ready без объекта» janitor только сообщает, автоматически не восстанавливает. Учебный хук FAULT_INJECTION по умолчанию выключен.
Источники и использование стороннего кода: см. шапку REPORT.md.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4
Автор / группа: Лазарев Юрий Сергеевич, БПИ2303.
Целевая оценка: 3. Трек 5 не заявлен.
**Что реализовано и что перенесено.** Из lab3 перенесены REST API, HAProxy с двумя API-репликами, PostgreSQL (пользователи, чаты, сообщения, сессии, ключи идемпотентности), миграции, graceful shutdown и скрипты отказов. Добавлены вложения в приватном S3 — SeaweedFS 4.50 (образы MinIO удалены с Docker Hub; причина выбора — в отчёте):
- потоковый upload PNG/JPEG во временный файл без имени, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения и декодирования, проверка MIME по содержимому, защита от zlib-бомб и опасных filename;
- порядок записи pending → S3 PUT → ready с компенсацией и janitor, который сверяет БД и bucket (dry-run, grace period 1 ч);
- download только участникам чата через API, без redirect; `attachment_ids` в сообщениях с проверкой принадлежности чату;
- отдельные S3-ключи для API, janitor и bootstrap с ограниченными правами, идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
**Запуск из чистого clone:**
```sh
./scripts/init-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make test
```
**Результаты проверок** (подробно — REPORT.md, выводы — evidence/):
- `make check`, `make test`, `make test-persistence` (перезапуск db, s3, api×2, janitor, lb), `make test-failover` ×2 — PASS;
- upload → остановка загрузившей реплики → download через другую — PASS для каждой реплики;
- 60 негативных сценариев (большой файл, битые изображения, подмена MIME, чужое вложение, вложение другого чата, опасные filename) — 60/60, 0 ответов 5xx;
- отказы между S3 и БД с инъекцией сбоев: компенсация ничего не оставляет, janitor не трогает свежие и используемые вложения и после grace удаляет брошенные; повторный проход ничего не находит;
- приватность bucket и права ключей проверены напрямую на S3, минуя API, — 21/21;
- недоступность S3 (stop/pause): upload/download — быстрый 503, текстовые сообщения и readiness работают;
- 12 и 20 одновременных загрузок по ~10 MiB: все 201, пиковый RSS реплики API 95–102 MiB при лимите 256 (до исправления — 178–189 MiB); OOM нет.
**Ограничения / известные ошибки.** Один Docker-host, одна БД, один S3 без репликации, один балансировщик. В первые ~10–20 с после старта SeaweedFS загрузки получают 503. Рассогласование «ready без объекта» janitor только сообщает, автоматически не восстанавливает. Учебный хук FAULT_INJECTION по умолчанию выключен.
**Источники и использование стороннего кода:** см. шапку REPORT.md.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).
- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
и доказательства в evidence/, заполнен REPORT.md.
- Healthcheck S3 проверяет реальную запись (PUT во внутренний filer):
после рестарта SeaweedFS запись готова на 10–20 с позже /healthz, и
make test-failover сразу после make test-persistence падал с 503.
- Upload на старте реплики ждёт первой успешной проверки S3 до 5 с.
- stop-one.sh берёт реплики из docker compose ps, а не по имени проекта.
- s3_outage.py в конце ждёт восстановления S3; переключение
FAULT_INJECTION выполняется с --no-deps.
- Перезаписаны evidence/, в REPORT.md добавлен раздел повторной проверки.
zemiles
changed title from ЛР 4 — БПИ2303 — Лазарев — на 4 to ЛР 4 — БПИ2303 — Лазарев — на 32026-11-09 23:03:05 +03:00
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Лазарев Юрий Сергеевич, БПИ2303.
Целевая оценка: 3. Трек 5 не заявлен.
Что реализовано и что перенесено. Из lab3 перенесены REST API, HAProxy с двумя API-репликами, PostgreSQL (пользователи, чаты, сообщения, сессии, ключи идемпотентности), миграции, graceful shutdown и скрипты отказов. Добавлены вложения в приватном S3 — SeaweedFS 4.50 (образы MinIO удалены с Docker Hub; причина выбора — в отчёте):
attachment_idsв сообщениях с проверкой принадлежности чату;Запуск из чистого clone:
Результаты проверок (подробно — REPORT.md, выводы — evidence/):
make check,make test,make test-persistence(перезапуск db, s3, api×2, janitor, lb),make test-failover×2 — PASS;Ограничения / известные ошибки. Один Docker-host, одна БД, один S3 без репликации, один балансировщик. В первые ~10–20 с после старта SeaweedFS загрузки получают 503. Рассогласование «ready без объекта» janitor только сообщает, автоматически не восстанавливает. Учебный хук FAULT_INJECTION по умолчанию выключен.
Источники и использование стороннего кода: см. шапку REPORT.md.
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50). - POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения и декодирования, проверка MIME по содержимому, валидация filename. - Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor сверяет БД и bucket (dry-run, grace period, advisory lock). - GET /attachments/{id} и /content только участникам чата, без redirect; attachment_ids в сообщениях с проверкой принадлежности чату. - Отдельные S3-ключи api/janitor/admin с ограниченными правами, идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты. - Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API 178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM. - Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память) и доказательства в evidence/, заполнен REPORT.md.ЛР 4 — БПИ2303 — Лазарев — на 4to ЛР 4 — БПИ2303 — Лазарев — на 3Принято. Закрываю МР.
Pull request closed