Автор / группа: Авзалов Артур Марсович / БПИ2301 Целевая оценка: 5 Трек 5: №2 — согласованность PostgreSQL и S3
Что реализовано и перенесено
Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на Idempotency-Key, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence.
В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (attachments/ и recovery/).
Для трека 5 создан app.reconcile: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (app.reconcile_fault) разрешена только через отдельную переменную на учебном стенде.
Запуск из чистого clone
Copy-Item.env.example.env# В .env задать разные случайные пароли/ключи, не добавлять файл в Git.$env:PYTHONUTF8='1'dockercompose--env-file.envconfig--quietdockercompose--env-file.envup-d--build--waitpythonscripts/check_contract.pypythontests/smoke.pypythontests/attachments_negative.pypythontests/idempotency_parallel.pydockercompose--env-file.envrun--rmreconcilepython-mapp.s3_probe
Фактические результаты
Public smoke, негативные тесты, конкурентная идемпотентность: PASS.
Persistence: PASS, тест повторно сравнивает исходные байты вложения после перезапуска.
Failover: PASS, восстановление за 6,156 с (6 успешных записей, 1 неуспешная попытка на переходе).
10 конкурентных загрузок PNG: 10/10, 0 ошибок, 2,796 с, 3,577 upload/s; наблюдённые максимумы RAM API 109,1 MiB и 96,21 MiB при лимите 384 MiB на экземпляр.
Удалён основной ключ S3: dry-run обнаружил missing_primary_repairable; --apply восстановил объект из recovery copy; повторная сверка ошибок не обнаружила.
Orphan S3 без metadata: свежий объект не удалён даже в --apply; после 310 с delete-old-orphan; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход 0,213 с.
При остановке S3: HTTP 503, после его запуска и готовности API повторный smoke PASS.
Стоимость полной сверки, 15 dry-run в 3 сериях: 36/18 ключей S3/строк БД — медиана 0,245 с; 136/68 — 0,285 с; 236/118 — 0,341 с. Добавлено 100 тестовых вложений, все 100 upload успешны. CSV: evidence/reconcile-cost-20261112-180238.csv. Это локальный малый набор, без вывода о production-масштабируемости.
Эксперимент стоимости обхода выполнен на 3 размерах набора и 15 прогонах, но не проверяет работу на миллионах ключей; для этого потребуются батчинг и отдельный стресс-тест.
Не инъецировались одновременная потеря обеих копий, реальная авария PostgreSQL COMMIT и гонка появления ссылки в БД непосредственно перед удалением orphan.
Две S3-копии лежат в одном SeaweedFS, это не независимый backup; также единичные точки отказа PG/Redis/LB/Docker-host. Нет TLS для production, стенд рассчитан на localhost.
Источники и использование ИИ
Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены.
Чек-лист
Обязательный минимум предыдущих работ сохранён.
Контракт и публичные тесты оставлены без ослабления.
Эквиваленты make check и make test запущены напрямую через Python; фактические PASS указаны.
Отказы API и S3, ACL, persistence, S3 privacy, reconciliation воспроизведены.
Проверены staged-файлы на отсутствие credentials/secrets перед push.
README задания сохранён, REPORT.md содержит инструкцию решения.
## Лабораторная 4
**Автор / группа:** Авзалов Артур Марсович / БПИ2301
**Целевая оценка:** 5
**Трек 5:** №2 — согласованность PostgreSQL и S3
### Что реализовано и перенесено
Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на `Idempotency-Key`, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence.
В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (`attachments/` и `recovery/`).
Для трека 5 создан `app.reconcile`: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (`app.reconcile_fault`) разрешена только через отдельную переменную на учебном стенде.
### Запуск из чистого clone
```powershell
Copy-Item .env.example .env
# В .env задать разные случайные пароли/ключи, не добавлять файл в Git.
$env:PYTHONUTF8 = '1'
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python scripts/check_contract.py
python tests/smoke.py
python tests/attachments_negative.py
python tests/idempotency_parallel.py
docker compose --env-file .env run --rm reconcile python -m app.s3_probe
```
### Фактические результаты
- Public smoke, негативные тесты, конкурентная идемпотентность: **PASS**.
- S3 privacy: `private_bucket=true`, anonymous List/Get `denied`.
- Persistence: **PASS**, тест повторно сравнивает исходные байты вложения после перезапуска.
- Failover: **PASS**, восстановление за **6,156 с** (6 успешных записей, 1 неуспешная попытка на переходе).
- 10 конкурентных загрузок PNG: **10/10**, 0 ошибок, 2,796 с, 3,577 upload/s; наблюдённые максимумы RAM API **109,1 MiB** и **96,21 MiB** при лимите 384 MiB на экземпляр.
- Удалён основной ключ S3: dry-run обнаружил `missing_primary_repairable`; `--apply` восстановил объект из recovery copy; повторная сверка ошибок не обнаружила.
- Orphan S3 без metadata: свежий объект не удалён даже в `--apply`; после 310 с `delete-old-orphan`; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход **0,213 с**.
- При остановке S3: HTTP **503**, после его запуска и готовности API повторный smoke **PASS**.
- **Стоимость полной сверки, 15 dry-run в 3 сериях:** 36/18 ключей S3/строк БД — медиана **0,245 с**; 136/68 — **0,285 с**; 236/118 — **0,341 с**. Добавлено 100 тестовых вложений, все 100 upload успешны. CSV: `evidence/reconcile-cost-20261112-180238.csv`. Это локальный малый набор, без вывода о production-масштабируемости.
Подробные методики, реальные численные результаты, архитектура и ограничения в [REPORT.md](REPORT.md) и [evidence/verified_results_2026-11-12.md](evidence/verified_results_2026-11-12.md).
### Ограничения / незакрытые проверки
- Эксперимент стоимости обхода выполнен на 3 размерах набора и 15 прогонах, но не проверяет работу на миллионах ключей; для этого потребуются батчинг и отдельный стресс-тест.
- Не инъецировались одновременная потеря обеих копий, реальная авария PostgreSQL COMMIT и гонка появления ссылки в БД непосредственно перед удалением orphan.
- Две S3-копии лежат в одном SeaweedFS, это не независимый backup; также единичные точки отказа PG/Redis/LB/Docker-host. Нет TLS для production, стенд рассчитан на localhost.
### Источники и использование ИИ
Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены.
### Чек-лист
- [x] Обязательный минимум предыдущих работ сохранён.
- [x] Контракт и публичные тесты оставлены без ослабления.
- [x] Эквиваленты `make check` и `make test` запущены напрямую через Python; фактические PASS указаны.
- [x] Отказы API и S3, ACL, persistence, S3 privacy, reconciliation воспроизведены.
- [x] Проверены staged-файлы на отсутствие credentials/secrets перед push.
- [x] README задания сохранён, REPORT.md содержит инструкцию решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Авзалов Артур Марсович / БПИ2301
Целевая оценка: 5
Трек 5: №2 — согласованность PostgreSQL и S3
Что реализовано и перенесено
Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на
Idempotency-Key, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence.В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (
attachments/иrecovery/).Для трека 5 создан
app.reconcile: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (app.reconcile_fault) разрешена только через отдельную переменную на учебном стенде.Запуск из чистого clone
Фактические результаты
private_bucket=true, anonymous List/Getdenied.missing_primary_repairable;--applyвосстановил объект из recovery copy; повторная сверка ошибок не обнаружила.--apply; после 310 сdelete-old-orphan; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход 0,213 с.evidence/reconcile-cost-20261112-180238.csv. Это локальный малый набор, без вывода о production-масштабируемости.Подробные методики, реальные численные результаты, архитектура и ограничения в REPORT.md и evidence/verified_results_2026-11-12.md.
Ограничения / незакрытые проверки
Источники и использование ИИ
Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены.
Чек-лист
make checkиmake testзапущены напрямую через Python; фактические PASS указаны.Принято. Закрываю МР.
Pull request closed