fix(lab4): preserve error contract and verify storage consistency

This commit is contained in:
kolya5544
2026-11-11 18:25:57 +03:00
parent f875e2977f
commit 0150b91ec0
18 changed files with 1051 additions and 35 deletions
+48
View File
@@ -0,0 +1,48 @@
## Лабораторная 4
Автор / группа: Кушнаренко Николай Вячеславович, БПИ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 — согласованность двух хранилищ
Что реализовано и что перенесено:
Из ЛР3 перенесены PostgreSQL, сессии, Valkey, HAProxy, две API-реплики, идемпотентность сообщений, миграции и сценарии отказов. Добавлены приватное S3-хранилище SeaweedFS, метаданные вложений в PostgreSQL, binary upload PNG/JPEG и авторизованный download через API с побайтной сохранностью. Ограничения: 10 MiB, 40 млн пикселей, проверка MIME по содержимому и безопасного filename, потоковая обработка и лимит параллельных загрузок. Реализованы attachment_ids в сообщениях, компенсация ошибки между S3/БД и reconciler с dry-run, grace period и повторным безопасным запуском. Bootstrap идемпотентен, API использует отдельные ключи с ограниченными правами. Исправлена маршрутизация HAProxy при отказе общей БД: даже после снятия ready всех реплик живые API сохраняют контракт ошибок и liveness; повтор отправленного upload POST отключён.
Команды запуска из чистого clone (bash / Git Bash):
```sh
sh scripts/init-secrets.sh
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
python3 scripts/check_contract.py
python3 tests/smoke.py --base-url http://127.0.0.1:8080
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
sh scripts/restore-replicas.sh
```
На Windows: PYTHONUTF8=1 и hooks scripts/restart.cmd, scripts/stop-one.cmd. Полная инструкция, собственные тесты и эксперименты — в [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [student-tests/README.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/student-tests/README.md).
Результаты проверок (повтор 11.11.2026):
- check_contract, полная валидация OpenAPI и публичный smoke — PASS;
- 46 собственных тестов — OK: авторизация, идемпотентность, вложения/ACL, топология, отказы S3/БД/кэша, TTL сессий;
- persistence и failover — PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток; сохранность оригинала проверена по SHA-256;
- bootstrap дважды — OK: анонимный доступ 403, создание bucket ключом API запрещено;
- 12 параллельных загрузок по 8.73 MiB: пик RSS 99.2–121.2 MiB при лимите 256 MiB; все файлы целы, OOM нет;
- трек 2: обнаружены ровно 20 orphan / 20 missing / 5 size mismatch; dry-run ничего не меняет; apply удаляет 20 старых orphan и помечает 25 строк failed; повтор без изменений;
- свежий orphan защищён grace period; 200 новых файлов и 200 вложений в 20 сообщениях сохранены, attachment_ids неизменны. Стоимость обхода: 19530 объектов → 3.65 с; 20530 объектов → 3.81 с; 21530 объектов → 4.05 с.
Доказательства: [checks_2026-11-11.txt](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/checks_2026-11-11.txt), [JSON и команды исследований](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/recheck_2026-11-11), отчёт [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [Word](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/docs/report_lab4.docx).
Ограничения / известные ошибки:
S3 и PostgreSQL работают по одному узлу; потерянные байты reconciler не восстанавливает. Сверяется наличие и размер, подмена содержимого при том же размере не обнаруживается. Полный обход требует O(N) времени и памяти. Замеры сделаны на одном компьютере, по одному прогону на точку, с фоновой нагрузкой другого Docker-проекта. Прямой presigned upload не реализован — выбран трек 2.
Источники и использование ИИ:
Python, uvicorn, asyncpg, aiobotocore, Pillow, argon2-cffi, SeaweedFS, PostgreSQL, Valkey, HAProxy; первичные материалы — в README задания. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex выполнил проверку подготовки к сдаче, усилил доказательства исследования и проверил результаты реальными запусками.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены через эквивалентные Python-команды; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Binary file not shown.