ЛР 4 - БПИ2302 - Самохвалов - на 5 #32

Open
SamohvalovAndreyBPI2302 wants to merge 10 commits from SamohvalovAndreyBPI2302/mtusi2026lab4:solution/bpi2302-samohvalov into main
First-time contributor

Лабораторная 4
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «Согласованность двух хранилищ»

Что реализовано и что перенесено: Сохранены две API-реплики за HAProxy, PostgreSQL, Bearer, идемпотентность сообщений, persistence и failover. Добавлен приватный MinIO (RELEASE.2025-10-15T17-29-55Z, digest): байты только в bucket messenger-attachments, не на диске API. Миграции 004/005: вложение привязано к чату, состав сообщения в message_attachments с FK (id, chat_id). Upload до 10 MiB PNG/JPEG через Pillow (отказ >40 млн пикселей), object key — UUID в originals/. 201 ready только после S3 PUT и COMMIT; ошибка до COMMIT компенсируется DELETE. Скачивание и metadata идут через API после проверки членства; чужой и неизвестный id — 404. s3-bootstrap создаёт закрытый bucket и две ограниченные учётки. Reconcile по профилю maintenance: dry-run по умолчанию, --apply удаляет только старый orphan originals/<uuid> без metadata после grace 3600 с.

Команды запуска из чистого clone:

cp .env.example .env
python3 scripts/setup-local-secrets.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2

ready: GET http://127.0.0.1:8080/health/ready (локальные прогоны вложений — порт 8084)

make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --profile maintenance run --rm reconcile
sh scripts/fault-injection.sh

Результаты проверок и ссылка на REPORT.md: публичный smoke PASS; bootstrap дважды с кодом 0, анонимный GET 403, чужой bucket — AccessDenied. Upload: PNG/JPEG 201 ready, 10 MiB+1 и >40 млн px — 413, порча/MIME spoof — 415. Остановленный S3: readiness и upload 503, число metadata не растёт. 10 параллельных upload ~9,4 MiB: peak API около 115 MiB при лимите 256 MiB. Persistence сохраняет токен, Message, metadata и bytes; failover скачивает те же bytes с другой реплики. Трек 2: old orphan удалён, fresh и привязанный сохранены, missing восстановлен только проверенным fixture; повтор apply без изменений. Стоимость обхода 333/334 и 533/534 — медианы wall 21,1 и 24,2 с — evidence/reconciliation/ и подробно в REPORT.md. Commit: 255c11a.

Ограничения / известные ошибки: Один MinIO, один PostgreSQL, один LB, один Docker-host. Missing без проверенного fixture остаётся ручным инцидентом. Неоднозначный COMMIT не удаляет объект сразу. Локальный HTTP только для синтетических данных. На этой машине сборка обходила сломанный DNS PyPI через ignored compose.local.yaml; при обычном PyPI он не нужен.

Источники и использование ИИ: FastAPI, PostgreSQL 17.6, HAProxy 3.0.11, MinIO и MinIO Python SDK, Pillow; контракт курса и документация MinIO IAM. Проект подготовлен с помощью Codex, проверки локальные.

[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

Лабораторная 4 Автор / группа: Самохвалов Андрей Ремович / БПИ-2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: 2 «Согласованность двух хранилищ» Что реализовано и что перенесено: Сохранены две API-реплики за HAProxy, PostgreSQL, Bearer, идемпотентность сообщений, persistence и failover. Добавлен приватный MinIO (`RELEASE.2025-10-15T17-29-55Z`, digest): байты только в bucket `messenger-attachments`, не на диске API. Миграции `004`/`005`: вложение привязано к чату, состав сообщения в `message_attachments` с FK `(id, chat_id)`. Upload до 10 MiB PNG/JPEG через Pillow (отказ >40 млн пикселей), object key — UUID в `originals/`. `201 ready` только после S3 PUT и COMMIT; ошибка до COMMIT компенсируется DELETE. Скачивание и metadata идут через API после проверки членства; чужой и неизвестный id — 404. `s3-bootstrap` создаёт закрытый bucket и две ограниченные учётки. Reconcile по профилю `maintenance`: dry-run по умолчанию, `--apply` удаляет только старый orphan `originals/<uuid>` без metadata после grace 3600 с. Команды запуска из чистого clone: ```sh cp .env.example .env python3 scripts/setup-local-secrets.py docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait --scale api=2 ``` ready: GET http://127.0.0.1:8080/health/ready (локальные прогоны вложений — порт 8084) ```sh make check make test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh docker compose --profile maintenance run --rm reconcile sh scripts/fault-injection.sh ``` Результаты проверок и ссылка на REPORT.md: публичный smoke PASS; bootstrap дважды с кодом 0, анонимный GET 403, чужой bucket — AccessDenied. Upload: PNG/JPEG `201 ready`, 10 MiB+1 и >40 млн px — 413, порча/MIME spoof — 415. Остановленный S3: readiness и upload 503, число metadata не растёт. 10 параллельных upload ~9,4 MiB: peak API около 115 MiB при лимите 256 MiB. Persistence сохраняет токен, Message, metadata и bytes; failover скачивает те же bytes с другой реплики. Трек 2: old orphan удалён, fresh и привязанный сохранены, missing восстановлен только проверенным fixture; повтор apply без изменений. Стоимость обхода 333/334 и 533/534 — медианы wall 21,1 и 24,2 с — `evidence/reconciliation/` и подробно в REPORT.md. Commit: 255c11a. Ограничения / известные ошибки: Один MinIO, один PostgreSQL, один LB, один Docker-host. Missing без проверенного fixture остаётся ручным инцидентом. Неоднозначный COMMIT не удаляет объект сразу. Локальный HTTP только для синтетических данных. На этой машине сборка обходила сломанный DNS PyPI через ignored `compose.local.yaml`; при обычном PyPI он не нужен. Источники и использование ИИ: FastAPI, PostgreSQL 17.6, HAProxy 3.0.11, MinIO и MinIO Python SDK, Pillow; контракт курса и документация MinIO IAM. Проект подготовлен с помощью Codex, проверки локальные. [+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. [+] Контракт и публичные тесты не ослаблены. [+] make check и make test выполнены; приложен реальный вывод. [+] Сценарии отказов/безопасности своего уровня воспроизведены. [+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. [+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
SamohvalovAndreyBPI2302 added 9 commits 2026-10-30 11:10:17 +03:00
SamohvalovAndreyBPI2302 added 1 commit 2026-11-07 09:54:22 +03:00
Store message text as UTF-8 bytes and migrate existing rows without loss.
Cover HTTP round trips, restart persistence, Unicode limits and idempotent retries.
Adapt direct database tools to the binary storage format.

(cherry picked from commit 386276532730b8758298080b49db63738ca300a4)
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/SamohvalovAndreyBPI2302/mtusi2026lab4 solution/bpi2302-samohvalov:SamohvalovAndreyBPI2302-solution/bpi2302-samohvalov
git checkout SamohvalovAndreyBPI2302-solution/bpi2302-samohvalov
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#32