Автор / группа: Тимофей Александров, БВТ2301
Целевая оценка: 5
Трек 5: «Согласованность двух хранилищ»
Что реализовано
Перенесено из lab2/lab3: PostgreSQL как источник истины, Valkey-кэш сессий, Argon2id, Bearer-сессии, транзакционное создание чата, keyset-пагинация, Idempotency-Key, две API-реплики, Nginx load balancer, failover/persistence scripts, X-Instance-Id, /version и /info.
Новое в lab4:
SeaweedFS 3.91 как приватное S3-совместимое хранилище оригиналов.
PostgreSQL metadata для attachments и связь message_attachments.
Авторизованные PNG/JPEG upload/download, SHA-256, проверка MIME по содержимому, размера, filename и размеров изображения.
Поддержка attachment-only сообщений.
Ограниченная S3-учётная запись API; отдельная bootstrap-учётка и сервис s3-init для идемпотентного создания bucket.
Reconciler для согласования PostgreSQL и S3: dry-run по умолчанию, grace period, явный --apply для orphan-объектов, безопасное обнаружение missing объектов.
Negative-тесты вложений и нагрузочный тест 10 одновременных upload с измерением памяти.
Результаты проверок
Smoke: PASS — lab4 public API scenario.
check_contract: PASS.
validate_openapi: PASS.
Attachment tests: PASS 3/3 — oversized file, corrupt image, MIME mismatch, чужой пользователь и attachment другого чата.
Persistence: PASS — данные, сессия и оригинал сохранены после рестарта API, PostgreSQL, Valkey и S3.
Failover: PASS — 96 успешных записей, 0 ошибок, первое восстановление за 2.344 с.
Concurrent upload: PASS — 10 × 8 MiB, 10/10 успешных, peak API memory 273.10 MiB.
Private S3: anonymous ListObjects возвращает 403.
Reconciler: orphan найден в dry-run, не удалён до grace period, удалён только при --apply; missing object обнаруживается, metadata автоматически не удаляется.
Подробности и evidence: REPORT.md, evidence/attachment-load.json, evidence/reconcile.txt, evidence/reconcile-missing.json.
Ограничения
Docker host, Nginx, PostgreSQL и SeaweedFS являются single points of failure.
Missing S3 object безопасно обнаруживается, но не может быть автоматически восстановлен без резервной копии.
Измерение памяти выполнено через sampled docker stats на локальном учебном стенде и не является production capacity claim.
На Windows для hooks используются scripts/restart.cmd и scripts/stop-one.cmd.
Источники и ИИ
README/COURSE/contracts/tests текущей и предыдущих лабораторных; документация SeaweedFS S3 API, MinIO Python SDK, Pillow, PostgreSQL, Valkey и Nginx. ИИ использовался для проектирования, реализации, тестов и оформления отчёта. Автор проверяет результат и должен уметь объяснить решение на защите.
Автор / группа: Тимофей Александров, БВТ2301
Целевая оценка: 5
Трек 5: «Согласованность двух хранилищ»
Что реализовано
Перенесено из lab2/lab3: PostgreSQL как источник истины, Valkey-кэш сессий, Argon2id, Bearer-сессии, транзакционное создание чата, keyset-пагинация, Idempotency-Key, две API-реплики, Nginx load balancer, failover/persistence scripts, X-Instance-Id, /version и /info.
Новое в lab4:
- SeaweedFS 3.91 как приватное S3-совместимое хранилище оригиналов.
- PostgreSQL metadata для attachments и связь message_attachments.
- Авторизованные PNG/JPEG upload/download, SHA-256, проверка MIME по содержимому, размера, filename и размеров изображения.
- Поддержка attachment-only сообщений.
- Ограниченная S3-учётная запись API; отдельная bootstrap-учётка и сервис s3-init для идемпотентного создания bucket.
- Reconciler для согласования PostgreSQL и S3: dry-run по умолчанию, grace period, явный --apply для orphan-объектов, безопасное обнаружение missing объектов.
- Negative-тесты вложений и нагрузочный тест 10 одновременных upload с измерением памяти.
Команды запуска из чистого clone
sh scripts/bootstrap-secrets.sh
docker compose --env-file .env up -d --build --wait --wait-timeout 240
python3 scripts/check_contract.py
python3 scripts/validate_openapi.py
python3 tests/smoke.py --base-url http://127.0.0.1:8083
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8083
TARGET_INSTANCE_ID=api-1 python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8083
python3 scripts/attachment_load.py --base-url http://127.0.0.1:8083 --concurrency 10 --payload-mib 8
python3 scripts/reconcile_experiment.py --base-url http://127.0.0.1:8083
sh scripts/reconcile.sh --grace-seconds 3600
Результаты проверок
Smoke: PASS — lab4 public API scenario.
check_contract: PASS.
validate_openapi: PASS.
Attachment tests: PASS 3/3 — oversized file, corrupt image, MIME mismatch, чужой пользователь и attachment другого чата.
Persistence: PASS — данные, сессия и оригинал сохранены после рестарта API, PostgreSQL, Valkey и S3.
Failover: PASS — 96 успешных записей, 0 ошибок, первое восстановление за 2.344 с.
Concurrent upload: PASS — 10 × 8 MiB, 10/10 успешных, peak API memory 273.10 MiB.
Private S3: anonymous ListObjects возвращает 403.
Reconciler: orphan найден в dry-run, не удалён до grace period, удалён только при --apply; missing object обнаруживается, metadata автоматически не удаляется.
Подробности и evidence: REPORT.md, evidence/attachment-load.json, evidence/reconcile.txt, evidence/reconcile-missing.json.
Ограничения
Docker host, Nginx, PostgreSQL и SeaweedFS являются single points of failure.
Missing S3 object безопасно обнаруживается, но не может быть автоматически восстановлен без резервной копии.
Измерение памяти выполнено через sampled docker stats на локальном учебном стенде и не является production capacity claim.
На Windows для hooks используются scripts/restart.cmd и scripts/stop-one.cmd.
Источники и ИИ
README/COURSE/contracts/tests текущей и предыдущих лабораторных; документация SeaweedFS S3 API, MinIO Python SDK, Pillow, PostgreSQL, Valkey и Nginx. ИИ использовался для проектирования, реализации, тестов и оформления отчёта. Автор проверяет результат и должен уметь объяснить решение на защите.
t-d-aleksandrov-edu-mtuci-ru
changed title from Implement durable S3 attachments and reconciliation to ЛР 4 — БВТ2301 — Александров— на 52026-11-07 01:19:50 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Автор / группа: Тимофей Александров, БВТ2301
Целевая оценка: 5
Трек 5: «Согласованность двух хранилищ»
Что реализовано
Перенесено из lab2/lab3: PostgreSQL как источник истины, Valkey-кэш сессий, Argon2id, Bearer-сессии, транзакционное создание чата, keyset-пагинация, Idempotency-Key, две API-реплики, Nginx load balancer, failover/persistence scripts, X-Instance-Id, /version и /info.
Новое в lab4:
Команды запуска из чистого clone
sh scripts/bootstrap-secrets.sh
docker compose --env-file .env up -d --build --wait --wait-timeout 240
python3 scripts/check_contract.py
python3 scripts/validate_openapi.py
python3 tests/smoke.py --base-url http://127.0.0.1:8083
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8083
TARGET_INSTANCE_ID=api-1 python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8083
python3 scripts/attachment_load.py --base-url http://127.0.0.1:8083 --concurrency 10 --payload-mib 8
python3 scripts/reconcile_experiment.py --base-url http://127.0.0.1:8083
sh scripts/reconcile.sh --grace-seconds 3600
Результаты проверок
Smoke: PASS — lab4 public API scenario.
check_contract: PASS.
validate_openapi: PASS.
Attachment tests: PASS 3/3 — oversized file, corrupt image, MIME mismatch, чужой пользователь и attachment другого чата.
Persistence: PASS — данные, сессия и оригинал сохранены после рестарта API, PostgreSQL, Valkey и S3.
Failover: PASS — 96 успешных записей, 0 ошибок, первое восстановление за 2.344 с.
Concurrent upload: PASS — 10 × 8 MiB, 10/10 успешных, peak API memory 273.10 MiB.
Private S3: anonymous ListObjects возвращает 403.
Reconciler: orphan найден в dry-run, не удалён до grace period, удалён только при --apply; missing object обнаруживается, metadata автоматически не удаляется.
Подробности и evidence: REPORT.md, evidence/attachment-load.json, evidence/reconcile.txt, evidence/reconcile-missing.json.
Ограничения
Docker host, Nginx, PostgreSQL и SeaweedFS являются single points of failure.
Missing S3 object безопасно обнаруживается, но не может быть автоматически восстановлен без резервной копии.
Измерение памяти выполнено через sampled docker stats на локальном учебном стенде и не является production capacity claim.
На Windows для hooks используются scripts/restart.cmd и scripts/stop-one.cmd.
Источники и ИИ
README/COURSE/contracts/tests текущей и предыдущих лабораторных; документация SeaweedFS S3 API, MinIO Python SDK, Pillow, PostgreSQL, Valkey и Nginx. ИИ использовался для проектирования, реализации, тестов и оформления отчёта. Автор проверяет результат и должен уметь объяснить решение на защите.
Implement durable S3 attachments and reconciliationto ЛР 4 — БВТ2301 — Александров— на 5View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.