ЛР 3 — БПИ2302 — Мякишев — на 5 #111

Open
vest1ter wants to merge 1 commits from vest1ter/mtusi2026lab4:solution/bpi2302-myakishev into main
First-time contributor

Лабораторная 4

Автор / группа: Мякишев Владислав, БПИ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ»

Что реализовано и что перенесено: перенесён минимум lab3 (2 реплики API за HAProxy, сессии и Idempotency-Key в PostgreSQL, drain по SIGTERM). Добавлены вложения: MinIO в общем Compose (закреплённая по digest сборка последнего официального релиза 2025-10-15 — официальные образы больше не публикуются), идемпотентный bootstrap приватных bucket и отдельного пользователя API с ограниченной политикой, консоль выключена. Метаданные — в PostgreSQL (миграции 0003, 0004), байты — в S3, ключ назначает сервер. Upload PNG/JPEG с лимитами до чтения/декодирования, MIME по содержимому, проверкой целостности и безопасным filename; 201 — только после PUT и COMMIT; download потоком через API; attachment_ids в сообщениях. На 4: компенсация при сбое COMMIT, лимит одновременных загрузок, тесты негативных сценариев, эксперимент пиковой памяти. На 5: reconciler S3 ↔ PostgreSQL (7 категорий расхождений, dry-run, grace period, перепроверка, тормоз на массовое удаление, advisory lock) и сервис периодической сверки.

Команды запуска из чистого clone:
powershell -ExecutionPolicy Bypass -File scripts\init-secrets.ps1 (Linux: sh scripts/init-secrets.sh)
docker compose --env-file .env up -d --build --wait
python tests/smoke.py --base-url http://localhost:8080
Persistence, failover, свои тесты, эксперименты уровня 4 и трека 2 — REPORT.md, раздел «Запуск из чистого clone».

Результаты проверок и ссылка на REPORT.md: make check и smoke PASS; pytest 97 passed; persistence PASS (перезапуск lb, api, postgres, minio — файл тот же); failover PASS ×2, остановлены обе реплики, 0 ошибок; файл, загруженный через остановленную реплику, скачан через другую с тем же SHA-256; анонимный доступ к MinIO в обход API — 403; при остановленном S3 сообщения работают, файлы — 503 за ~1 с. Память: ~20 MiB на загрузку 10 MiB, с лимитом 8 слотов пик ≤ 259 MiB при 40 одновременных загрузках, без лимита — 437 MiB из 512. Трек 2: 70 внедрённых расхождений на 10 000 объектах найдены точно, исправлено только безопасное, прикреплённые к сообщениям вложения не тронуты, повторный запуск — 0 действий; обход 1.3 / 6.4 / 34 с на 1k / 10k / 50k при постоянной памяти ~89 MiB. Вывод и JSON — в evidence/, разбор — в REPORT.md.

Ограничения / известные ошибки: MinIO — один узел без репликации и бэкапа; строки без объекта, прикреплённые к сообщениям, и повреждённые объекты сверка только находит (без бэкапа не восстановить), их скачивание отвечает 500; загрузка держит тело в памяти (ограничено слотами); сторонняя сборка MinIO больше не обновляется; измерения на одной машине.

Источники и использование ИИ: документация FastAPI, SQLAlchemy, Alembic, MinIO, Pillow, urllib3, AWS S3; при разработке использовался ИИ-ассистент; все запуски и измерения выполнены на стенде автора.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Мякишев Владислав, БПИ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» Что реализовано и что перенесено: перенесён минимум lab3 (2 реплики API за HAProxy, сессии и Idempotency-Key в PostgreSQL, drain по SIGTERM). Добавлены вложения: MinIO в общем Compose (закреплённая по digest сборка последнего официального релиза 2025-10-15 — официальные образы больше не публикуются), идемпотентный bootstrap приватных bucket и отдельного пользователя API с ограниченной политикой, консоль выключена. Метаданные — в PostgreSQL (миграции 0003, 0004), байты — в S3, ключ назначает сервер. Upload PNG/JPEG с лимитами до чтения/декодирования, MIME по содержимому, проверкой целостности и безопасным filename; 201 — только после PUT и COMMIT; download потоком через API; attachment_ids в сообщениях. На 4: компенсация при сбое COMMIT, лимит одновременных загрузок, тесты негативных сценариев, эксперимент пиковой памяти. На 5: reconciler S3 ↔ PostgreSQL (7 категорий расхождений, dry-run, grace period, перепроверка, тормоз на массовое удаление, advisory lock) и сервис периодической сверки. Команды запуска из чистого clone: powershell -ExecutionPolicy Bypass -File scripts\init-secrets.ps1 (Linux: sh scripts/init-secrets.sh) docker compose --env-file .env up -d --build --wait python tests/smoke.py --base-url http://localhost:8080 Persistence, failover, свои тесты, эксперименты уровня 4 и трека 2 — REPORT.md, раздел «Запуск из чистого clone». Результаты проверок и ссылка на REPORT.md: make check и smoke PASS; pytest 97 passed; persistence PASS (перезапуск lb, api, postgres, minio — файл тот же); failover PASS ×2, остановлены обе реплики, 0 ошибок; файл, загруженный через остановленную реплику, скачан через другую с тем же SHA-256; анонимный доступ к MinIO в обход API — 403; при остановленном S3 сообщения работают, файлы — 503 за ~1 с. Память: ~20 MiB на загрузку 10 MiB, с лимитом 8 слотов пик ≤ 259 MiB при 40 одновременных загрузках, без лимита — 437 MiB из 512. Трек 2: 70 внедрённых расхождений на 10 000 объектах найдены точно, исправлено только безопасное, прикреплённые к сообщениям вложения не тронуты, повторный запуск — 0 действий; обход 1.3 / 6.4 / 34 с на 1k / 10k / 50k при постоянной памяти ~89 MiB. Вывод и JSON — в evidence/, разбор — в REPORT.md. Ограничения / известные ошибки: MinIO — один узел без репликации и бэкапа; строки без объекта, прикреплённые к сообщениям, и повреждённые объекты сверка только находит (без бэкапа не восстановить), их скачивание отвечает 500; загрузка держит тело в памяти (ограничено слотами); сторонняя сборка MinIO больше не обновляется; измерения на одной машине. Источники и использование ИИ: документация FastAPI, SQLAlchemy, Alembic, MinIO, Pillow, urllib3, AWS S3; при разработке использовался ИИ-ассистент; все запуски и измерения выполнены на стенде автора. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
vest1ter added 1 commit 2026-11-12 18:07:02 +03:00
Уровень 3:
- код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose,
  идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой
- метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер
- upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности,
  безопасный filename; 201 только после PUT и COMMIT; download потоком через API
- attachment_ids в сообщениях (только файлы своего чата, FK в БД)
- 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness

Уровень 4:
- 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД
- компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти
- эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты;
  исправлены удержание соединения БД во время загрузки и таймаут отправки в S3

Уровень 5, трек 2:
- reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period,
  перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose
- 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение,
  безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/vest1ter/mtusi2026lab4 solution/bpi2302-myakishev:vest1ter-solution/bpi2302-myakishev
git checkout vest1ter-solution/bpi2302-myakishev
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#111