ЛР 4 — БВТ2301 — Александров— на 5 #89

Open
t-d-aleksandrov-edu-mtuci-ru wants to merge 1 commits from t-d-aleksandrov-edu-mtuci-ru/mtusi2026lab4:main into main
First-time contributor

Автор / группа: Тимофей Александров, БВТ2301
Целевая оценка: 5
Трек 5: «Согласованность двух хранилищ»

Что реализовано
Перенесено из lab2/lab3: PostgreSQL как источник истины, Valkey-кэш сессий, Argon2id, Bearer-сессии, транзакционное создание чата, keyset-пагинация, Idempotency-Key, две API-реплики, Nginx load balancer, failover/persistence scripts, X-Instance-Id, /version и /info.

Новое в lab4:

  • SeaweedFS 3.91 как приватное S3-совместимое хранилище оригиналов.
  • PostgreSQL metadata для attachments и связь message_attachments.
  • Авторизованные PNG/JPEG upload/download, SHA-256, проверка MIME по содержимому, размера, filename и размеров изображения.
  • Поддержка attachment-only сообщений.
  • Ограниченная S3-учётная запись API; отдельная bootstrap-учётка и сервис s3-init для идемпотентного создания bucket.
  • Reconciler для согласования PostgreSQL и S3: dry-run по умолчанию, grace period, явный --apply для orphan-объектов, безопасное обнаружение missing объектов.
  • Negative-тесты вложений и нагрузочный тест 10 одновременных upload с измерением памяти.

Команды запуска из чистого clone
sh scripts/bootstrap-secrets.sh
docker compose --env-file .env up -d --build --wait --wait-timeout 240
python3 scripts/check_contract.py
python3 scripts/validate_openapi.py
python3 tests/smoke.py --base-url http://127.0.0.1:8083
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8083
TARGET_INSTANCE_ID=api-1 python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8083
python3 scripts/attachment_load.py --base-url http://127.0.0.1:8083 --concurrency 10 --payload-mib 8
python3 scripts/reconcile_experiment.py --base-url http://127.0.0.1:8083
sh scripts/reconcile.sh --grace-seconds 3600

Результаты проверок
Smoke: PASS — lab4 public API scenario.
check_contract: PASS.
validate_openapi: PASS.
Attachment tests: PASS 3/3 — oversized file, corrupt image, MIME mismatch, чужой пользователь и attachment другого чата.
Persistence: PASS — данные, сессия и оригинал сохранены после рестарта API, PostgreSQL, Valkey и S3.
Failover: PASS — 96 успешных записей, 0 ошибок, первое восстановление за 2.344 с.
Concurrent upload: PASS — 10 × 8 MiB, 10/10 успешных, peak API memory 273.10 MiB.
Private S3: anonymous ListObjects возвращает 403.
Reconciler: orphan найден в dry-run, не удалён до grace period, удалён только при --apply; missing object обнаруживается, metadata автоматически не удаляется.
Подробности и evidence: REPORT.md, evidence/attachment-load.json, evidence/reconcile.txt, evidence/reconcile-missing.json.

Ограничения
Docker host, Nginx, PostgreSQL и SeaweedFS являются single points of failure.
Missing S3 object безопасно обнаруживается, но не может быть автоматически восстановлен без резервной копии.
Измерение памяти выполнено через sampled docker stats на локальном учебном стенде и не является production capacity claim.
На Windows для hooks используются scripts/restart.cmd и scripts/stop-one.cmd.

Источники и ИИ
README/COURSE/contracts/tests текущей и предыдущих лабораторных; документация SeaweedFS S3 API, MinIO Python SDK, Pillow, PostgreSQL, Valkey и Nginx. ИИ использовался для проектирования, реализации, тестов и оформления отчёта. Автор проверяет результат и должен уметь объяснить решение на защите.

Автор / группа: Тимофей Александров, БВТ2301 Целевая оценка: 5 Трек 5: «Согласованность двух хранилищ» Что реализовано Перенесено из lab2/lab3: PostgreSQL как источник истины, Valkey-кэш сессий, Argon2id, Bearer-сессии, транзакционное создание чата, keyset-пагинация, Idempotency-Key, две API-реплики, Nginx load balancer, failover/persistence scripts, X-Instance-Id, /version и /info. Новое в lab4: - SeaweedFS 3.91 как приватное S3-совместимое хранилище оригиналов. - PostgreSQL metadata для attachments и связь message_attachments. - Авторизованные PNG/JPEG upload/download, SHA-256, проверка MIME по содержимому, размера, filename и размеров изображения. - Поддержка attachment-only сообщений. - Ограниченная S3-учётная запись API; отдельная bootstrap-учётка и сервис s3-init для идемпотентного создания bucket. - Reconciler для согласования PostgreSQL и S3: dry-run по умолчанию, grace period, явный --apply для orphan-объектов, безопасное обнаружение missing объектов. - Negative-тесты вложений и нагрузочный тест 10 одновременных upload с измерением памяти. Команды запуска из чистого clone sh scripts/bootstrap-secrets.sh docker compose --env-file .env up -d --build --wait --wait-timeout 240 python3 scripts/check_contract.py python3 scripts/validate_openapi.py python3 tests/smoke.py --base-url http://127.0.0.1:8083 python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8083 TARGET_INSTANCE_ID=api-1 python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8083 python3 scripts/attachment_load.py --base-url http://127.0.0.1:8083 --concurrency 10 --payload-mib 8 python3 scripts/reconcile_experiment.py --base-url http://127.0.0.1:8083 sh scripts/reconcile.sh --grace-seconds 3600 Результаты проверок Smoke: PASS — lab4 public API scenario. check_contract: PASS. validate_openapi: PASS. Attachment tests: PASS 3/3 — oversized file, corrupt image, MIME mismatch, чужой пользователь и attachment другого чата. Persistence: PASS — данные, сессия и оригинал сохранены после рестарта API, PostgreSQL, Valkey и S3. Failover: PASS — 96 успешных записей, 0 ошибок, первое восстановление за 2.344 с. Concurrent upload: PASS — 10 × 8 MiB, 10/10 успешных, peak API memory 273.10 MiB. Private S3: anonymous ListObjects возвращает 403. Reconciler: orphan найден в dry-run, не удалён до grace period, удалён только при --apply; missing object обнаруживается, metadata автоматически не удаляется. Подробности и evidence: REPORT.md, evidence/attachment-load.json, evidence/reconcile.txt, evidence/reconcile-missing.json. Ограничения Docker host, Nginx, PostgreSQL и SeaweedFS являются single points of failure. Missing S3 object безопасно обнаруживается, но не может быть автоматически восстановлен без резервной копии. Измерение памяти выполнено через sampled docker stats на локальном учебном стенде и не является production capacity claim. На Windows для hooks используются scripts/restart.cmd и scripts/stop-one.cmd. Источники и ИИ README/COURSE/contracts/tests текущей и предыдущих лабораторных; документация SeaweedFS S3 API, MinIO Python SDK, Pillow, PostgreSQL, Valkey и Nginx. ИИ использовался для проектирования, реализации, тестов и оформления отчёта. Автор проверяет результат и должен уметь объяснить решение на защите.
t-d-aleksandrov-edu-mtuci-ru added 1 commit 2026-11-07 01:18:20 +03:00
t-d-aleksandrov-edu-mtuci-ru changed title from Implement durable S3 attachments and reconciliation to ЛР 4 — БВТ2301 — Александров— на 5 2026-11-07 01:19:50 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/t-d-aleksandrov-edu-mtuci-ru/mtusi2026lab4 main:t-d-aleksandrov-edu-mtuci-ru-main
git checkout t-d-aleksandrov-edu-mtuci-ru-main
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#89