Lab 4: S3 attachments (SeaweedFS), streaming validation, compensation, reconciler (track 2) #152

Closed
sendormeco wants to merge 1 commits from sendormeco/mtusi2026lab4:lab4 into main
First-time contributor

Лабораторная 4

Автор / группа: Лебедев Дмитрий Алексеевич, БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (reconciler PostgreSQL ↔ S3)

Что реализовано и что перенесено: весь функционал lab3 сохранён (LB HAProxy + 2 stateless-реплики, сессии, идемпотентность, graceful shutdown, one-shot миграции; тесты lab2/lab3 проходят). Добавлено: SeaweedFS 4.52 в общем стенде (приватный bucket, admin-ключ только у one-shot s3-init, ключ API — Read/Write/List только своего bucket, консоли и порты S3 наружу не открыты); миграция 0004 (attachments, message_attachments, upload_intents, attachment_integrity); потоковый upload PNG/JPEG с проверкой по содержимому (CRC, распаковка IDAT с контролем объёма, SOF/EOI), лимитами 10 MiB / 40 Мп до чтения тела и 201 только после S3 PUT + COMMIT; авторизованный потоковый download; attachment_ids в сообщениях; компенсация через intent log + janitor; reconciler с dry-run/apply/verify-checksums.
Команды запуска из чистого clone: ./scripts/init-secrets.sh, docker compose --env-file .env --profile ttl up -d --build --wait, make test BASE_URL=http://127.0.0.1:8080, make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8080, make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8080, make test-student, make reconcile; всё сразу — ./scripts/collect-evidence.sh (Windows: scripts\collect-evidence.ps1).
Результаты проверок и ссылка на REPORT.md: smoke PASS, failover ×2 PASS (0 ошибок), persistence PASS (перезапущены LB, API, PostgreSQL, Redis, S3), вложения 13/13, отказы S3 и компенсация 4/4, reconciler 7/7 (dry-run ничего не меняет, apply исправляет только безопасное, повтор идемпотентен, 849 загрузок при grace 0 без потерь), пик RSS API +3.3 MiB при 20 одновременных загрузках по 10 MiB. Подробности и таблицы — REPORT.md, сырой вывод — evidence/.
Ограничения / известные ошибки: один узел SeaweedFS без репликации; JPEG проверяется структурно (без полного Huffman-декодирования); после рестарта S3 запись доступна через ≈ 15–20 с (прогрев мастера SeaweedFS); evidence собраны на локальных образах-заменителях (Docker Hub был недоступен) — описано в REPORT.md.
Источники и использование ИИ: документация AWS S3, SeaweedFS, PNG/JPEG, PostgreSQL; решение подготовлено с помощью ИИ-ассистента Claude (Anthropic).

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Лебедев Дмитрий Алексеевич, БВТ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (reconciler PostgreSQL ↔ S3) Что реализовано и что перенесено: весь функционал lab3 сохранён (LB HAProxy + 2 stateless-реплики, сессии, идемпотентность, graceful shutdown, one-shot миграции; тесты lab2/lab3 проходят). Добавлено: SeaweedFS 4.52 в общем стенде (приватный bucket, admin-ключ только у one-shot `s3-init`, ключ API — Read/Write/List только своего bucket, консоли и порты S3 наружу не открыты); миграция 0004 (attachments, message_attachments, upload_intents, attachment_integrity); потоковый upload PNG/JPEG с проверкой по содержимому (CRC, распаковка IDAT с контролем объёма, SOF/EOI), лимитами 10 MiB / 40 Мп до чтения тела и 201 только после S3 PUT + COMMIT; авторизованный потоковый download; `attachment_ids` в сообщениях; компенсация через intent log + janitor; reconciler с dry-run/apply/verify-checksums. Команды запуска из чистого clone: `./scripts/init-secrets.sh`, `docker compose --env-file .env --profile ttl up -d --build --wait`, `make test BASE_URL=http://127.0.0.1:8080`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8080`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8080`, `make test-student`, `make reconcile`; всё сразу — `./scripts/collect-evidence.sh` (Windows: `scripts\collect-evidence.ps1`). Результаты проверок и ссылка на REPORT.md: smoke PASS, failover ×2 PASS (0 ошибок), persistence PASS (перезапущены LB, API, PostgreSQL, Redis, S3), вложения 13/13, отказы S3 и компенсация 4/4, reconciler 7/7 (dry-run ничего не меняет, apply исправляет только безопасное, повтор идемпотентен, 849 загрузок при grace 0 без потерь), пик RSS API +3.3 MiB при 20 одновременных загрузках по 10 MiB. Подробности и таблицы — [REPORT.md](REPORT.md), сырой вывод — `evidence/`. Ограничения / известные ошибки: один узел SeaweedFS без репликации; JPEG проверяется структурно (без полного Huffman-декодирования); после рестарта S3 запись доступна через ≈ 15–20 с (прогрев мастера SeaweedFS); evidence собраны на локальных образах-заменителях (Docker Hub был недоступен) — описано в REPORT.md. Источники и использование ИИ: документация AWS S3, SeaweedFS, PNG/JPEG, PostgreSQL; решение подготовлено с помощью ИИ-ассистента Claude (Anthropic). - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
sendormeco added 1 commit 2026-11-16 22:40:52 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-19 15:19:03 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#152