ЛР 4 — БПИ2302 — Григорьев — на 5 #129

Closed
Pavel_Grigoriev wants to merge 3 commits from Pavel_Grigoriev/mtusi2026lab4:solution/bpi2302-grigoriev into main
First-time contributor

Лабораторная 4

Автор / группа: Григорьев Павел, БПИ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (сверщик PostgreSQL ↔ S3)

Что реализовано и что перенесено: перенесено всё из lab3 (HAProxy, 2 реплики API, Idempotency-Key, мягкая остановка, общие сессии). Добавлено: S3-хранилище SeaweedFS 4.48 с приватным bucket и отдельными ключами admin/api/reconciler; одноразовый идемпотентный bootstrap s3-init; миграция 0005 (attachments, message_attachments); загрузка PNG/JPEG сырыми байтами потоком (лимит 10 MiB до чтения, буфер на диске, проверка содержимого по сигнатуре, 40 Мп по заголовку, CRC и распаковка пикселей PNG); порядок «uploading → S3 PUT → ready → 201» с компенсацией; скачивание через API с проверкой членства (чужим 404); attachment_ids в сообщениях; сверщик: периодический сервис reconciler (--apply, grace 900 с, раз в 10 мин) и разовый reconcile (dry-run по умолчанию). MinIO не использован: его образы недоступны в публичных реестрах.

Команды запуска из чистого clone: cp .env.example .env && python scripts/init_secrets.py && docker compose up -d --build --wait, затем make test, persistence/failover по REPORT.md (раздел «Запуск из чистого clone»).

Результаты проверок и ссылка на REPORT.md: см. REPORT.md и evidence/. smoke, persistence, failover (обе реплики) — PASS; 67 собственных тестов — OK; consistency_check (обрыв загрузки, отказ S3, сбой после PUT, сироты, периодический сверщик) — PASS; 10/20 параллельных загрузок по 10 MiB — память процесса реплики ≤ 100 МиБ; rolling update со сменой образа — 0 ошибок. Трек 2: все внедрённые расхождения найдены точно, apply удаляет только безопасные, под нагрузкой 3691 загрузка цела, время линейно (~180 мкс/объект).

Ограничения / известные ошибки: один узел SeaweedFS без репликации и бэкапа; сверщик держит списки в памяти (до ~20 тыс. объектов проверено); ложный missing возможен на один проход (только отчёт); presigned-загрузки (трек 1) не реализованы.

Источники и использование ИИ: перечислены в REPORT.md. При разработке использовался ИИ-ассистент.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Григорьев Павел, БПИ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (сверщик PostgreSQL ↔ S3) Что реализовано и что перенесено: перенесено всё из lab3 (HAProxy, 2 реплики API, Idempotency-Key, мягкая остановка, общие сессии). Добавлено: S3-хранилище SeaweedFS 4.48 с приватным bucket и отдельными ключами admin/api/reconciler; одноразовый идемпотентный bootstrap `s3-init`; миграция 0005 (attachments, message_attachments); загрузка PNG/JPEG сырыми байтами потоком (лимит 10 MiB до чтения, буфер на диске, проверка содержимого по сигнатуре, 40 Мп по заголовку, CRC и распаковка пикселей PNG); порядок «uploading → S3 PUT → ready → 201» с компенсацией; скачивание через API с проверкой членства (чужим 404); attachment_ids в сообщениях; сверщик: периодический сервис `reconciler` (--apply, grace 900 с, раз в 10 мин) и разовый `reconcile` (dry-run по умолчанию). MinIO не использован: его образы недоступны в публичных реестрах. Команды запуска из чистого clone: `cp .env.example .env && python scripts/init_secrets.py && docker compose up -d --build --wait`, затем `make test`, persistence/failover по REPORT.md (раздел «Запуск из чистого clone»). Результаты проверок и ссылка на REPORT.md: см. REPORT.md и evidence/. smoke, persistence, failover (обе реплики) — PASS; 67 собственных тестов — OK; consistency_check (обрыв загрузки, отказ S3, сбой после PUT, сироты, периодический сверщик) — PASS; 10/20 параллельных загрузок по 10 MiB — память процесса реплики ≤ 100 МиБ; rolling update со сменой образа — 0 ошибок. Трек 2: все внедрённые расхождения найдены точно, apply удаляет только безопасные, под нагрузкой 3691 загрузка цела, время линейно (~180 мкс/объект). Ограничения / известные ошибки: один узел SeaweedFS без репликации и бэкапа; сверщик держит списки в памяти (до ~20 тыс. объектов проверено); ложный missing возможен на один проход (только отчёт); presigned-загрузки (трек 1) не реализованы. Источники и использование ИИ: перечислены в REPORT.md. При разработке использовался ИИ-ассистент. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Pavel_Grigoriev added 3 commits 2026-11-13 16:26:29 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-19 15:19:04 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#129