feat(lab4): private S3 attachments and safe storage reconciliation

This commit is contained in:
Quzzqq
2026-11-06 16:51:18 +03:00
parent ec540a1a72
commit 435a6465ec
61 changed files with 3106 additions and 33 deletions
+56 -14
View File
@@ -1,18 +1,60 @@
## Лабораторная 4
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Заголовок PR: **ЛР 4 — БПИ2301 — Черненко — на 5**
Ветка решения: `solution/bpi2301-chernenko`, база: исходный `main` skeleton (`ec540a1`).
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Автор / группа: Черненко / БПИ2301.
Целевая оценка: **5**.
Трек: **2 — согласованность двух хранилищ**.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Реализован синхронный proxy upload PNG/JPEG в приватный MinIO, метаданные и ACL
в PostgreSQL, авторизованный побайтный download, сообщения с вложениями,
две FastAPI-реплики и HAProxy с readiness. Минимум lab1–3 написан по контракту
текущего skeleton: Argon2id/Bearer-сессии, PostgreSQL persistence, чаты,
keyset pagination, атомарная идемпотентность сообщений между репликами.
Предыдущее личное решение не предоставлялось, чужое решение не переносилось.
Reconciler поддерживает dry-run/apply, grace period, orphan/missing,
повторный безопасный запуск и восстановление из проверенной копии. Shared/exclusive
DB advisory locks согласуют сверку с загрузкой и привязкой. Исследование внедряет
ошибку SQL после реального PUT, удаление оригинала и неправильный backup.
Запуск из clone (Linux/macOS, Windows: `py -X utf8` вместо `python3`):
```sh
python3 scripts/setup.py
docker compose --env-file .env config --quiet
docker compose up -d --build --wait --wait-timeout 180
docker compose exec -T api1 make check validate PYTHON=python
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
python3 scripts/run-all.py
```
При занятом 8080 задать `HOST_PORT=18084` в `.env`. Испытания проведены на 18084.
Первая сборка компилирует фиксированные официальные tags MinIO/mc, поскольку
готовые registry images были недоступны.
Проверки: полный прогон PASS, [REPORT.md](../REPORT.md),
[численные итоги](../evidence/SUMMARY.md), [памятка к защите](../DEFENSE.md).
Smoke, негативные сценарии, persistence всех хранилищ, failover каждой API,
отказы S3/PostgreSQL и сверка прошли. Публичный failover: 2,449 с до восстановления,
86 успешных записей, 1 переходная ошибка, без потерь и дублей.
60 измеряемых загрузок при concurrency=10 и двух размерах: 0 ошибок;
наблюдённые cgroup-пики обеих API ≈149/176 MiB при лимите 512 MiB.
Сверка 1085 объектов: 2 LIST, 0,136 с (один локальный проход, не production SLA).
Ограничения: один host и одиночные PostgreSQL/MinIO/LB; HTTP только локально;
ручной запуск сверки и необходимость backup при потере байтов. Сверка O(A+O)
держит exclusive DB lock на время прохода. Подробные ограничения измерений,
конкурентной пагинации и границ безопасности раскрыты в отчёте.
Источники и ИИ: нормативный skeleton, официальные Psycopg/MinIO/Pillow/S3 docs;
реализация и документация подготовлены с помощью Codex, реальные команды и
обезличенные результаты сохранены в `evidence/`. Обязательные файлы задания сохранены.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.