ЛР 4 — БПИ2304 — Кондрашов — на 5 #156

Open
makkelay wants to merge 2 commits from makkelay/mtusi2026lab4:solution/bpi2304-nikko into main
First-time contributor

Лабораторная 4

Автор / группа: Кондрашов Никита / БПИ2304
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 — согласованность PostgreSQL и S3.

Что реализовано и что перенесено: Сохранена основа предыдущих лабораторных: пользователи, Bearer-сессии, чаты и участники, сообщения, keyset-пагинация, идемпотентность и несколько API-реплик за HAProxy. Добавлены PostgreSQL-метаданные вложений, привязка файлов к сообщениям, загрузка и скачивание PNG/JPEG через API и приватный S3-совместимый RustFS 1.0.6. Проверяются членство в чате, содержимое и тип изображения, имя файла, ограничение 10 MiB и лимит 40 млн пикселей. Загрузка потоковая, с временным spooled-файлом и ограничением concurrency. Реализованы идемпотентный bootstrap приватного bucket с отдельными ограниченными credentials API и reconciler для поиска orphan-объектов и отсутствующих объектов/метаданных. Reconciler по умолчанию работает в dry-run с grace period 24 часа; удаление требует --apply, свежие и используемые вложения защищены.

Команды запуска из чистого clone (из корня mtusi2026lab4; нужны Docker Compose v2, Python 3.9+ и make):

cp .env.example .env
make init-secrets

docker compose --env-file .env config --quiet
docker compose --env-file .env build api migrate
docker compose --env-file .env up -d postgres redis s3
docker compose --env-file .env run --rm --no-deps s3-bootstrap
docker compose --env-file .env run --rm migrate
docker compose --env-file .env up -d --scale api=2 api load_balancer
docker compose --env-file .env ps

Проверить готовность:

curl --fail http://localhost:8080/health/ready

Для ожидания готовности в fish можно повторять curl или выполнить:

while not curl -fsS http://localhost:8080/health/ready >/dev/null
    sleep 1
end

Проверки:

make check
make validate
make test
make test-grade4
make test-s3-failure
make test-reconcile
make test-upload-load OUTPUT=evidence/upload-load.json
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Результаты проверок и ссылка на REPORT.md: Проверки контракта, OpenAPI, публичный smoke и тесты уровня 4 прошли. S3 outage-тест подтвердил 503 во время отказа и восстановление после запуска S3. Persistence-тест подтвердил сохранение сообщения, сессии и вложения после перезапуска сервисов. При failover наблюдались две реплики, выполнено 113 успешных записей с одной переходной ошибкой; восстановление заняло 2,558 с. В целевой проверке — 109 успешных записей, одна ошибка, восстановление за 2,454 с, дубликатов нет.

Нагрузочный тест завершил 10 из 10 параллельных загрузок файлов по 4 322 578 байт за 3,045 с; замеренные пики памяти API — 83 078 676 и 83 760 250 байт. Reconciler на 38 строках metadata и 33 объектах выполнил dry-run за 0,081 с без удаления данных. В тесте исправления удалены один синтетический старый orphan и одна неиспользуемая запись; свежее и используемое вложения сохранены, повторный запуск ничего не удалил.

Реальный вывод основных проверок:

make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.

make test
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.

Подробности: REPORT.md. Результаты экспериментов сохранены в evidence/: upload-load.json, reconcile-integration.json, failover-target.json, failover.txt, persistence.txt, s3-failure.txt и bootstrap.txt.

Ограничения / известные ошибки: Результаты получены на локальном single-node Compose-стенде. PostgreSQL, Redis, S3, HAProxy и Docker host не реплицированы; их отказоустойчивость не проверялась. Память семплировалась раз в 0,5 с, краткий пик мог быть пропущен. Reconciler загружает перечни объектов и метаданных в память, поэтому его поведение на больших объёмах отдельно не измерялось. Восстановление потерянного объекта используемого вложения требует ручного вмешательства. make test-reconcile создаёт синтетические данные и выполняет исправление с grace period 0 — запускать только на учебном стенде.

Источники и использование ИИ: использовался при исправлении ошибок, проверке изменений и подготовке документации.

  • Обязательный минимум текущей и предыдущих работ сохранён.
  • Контракт и публичные тесты не ослаблялись.
  • make check и make test выполнены; фактический вывод приведён выше.
  • Проверены отказы S3 и API, persistence и сценарии безопасности вложений.
  • Секреты находятся в локальных игнорируемых файлах; токены в отчёт не включены.
  • README задания сохранён, REPORT.md описывает запуск и результаты проекта.
## Лабораторная 4 **Автор / группа:** Кондрашов Никита / БПИ2304 **Целевая оценка (3/4/5):** 5 **Трек 5, если заявлен:** трек 2 — согласованность PostgreSQL и S3. **Что реализовано и что перенесено:** Сохранена основа предыдущих лабораторных: пользователи, Bearer-сессии, чаты и участники, сообщения, keyset-пагинация, идемпотентность и несколько API-реплик за HAProxy. Добавлены PostgreSQL-метаданные вложений, привязка файлов к сообщениям, загрузка и скачивание PNG/JPEG через API и приватный S3-совместимый RustFS 1.0.6. Проверяются членство в чате, содержимое и тип изображения, имя файла, ограничение 10 MiB и лимит 40 млн пикселей. Загрузка потоковая, с временным spooled-файлом и ограничением concurrency. Реализованы идемпотентный bootstrap приватного bucket с отдельными ограниченными credentials API и reconciler для поиска orphan-объектов и отсутствующих объектов/метаданных. Reconciler по умолчанию работает в dry-run с grace period 24 часа; удаление требует `--apply`, свежие и используемые вложения защищены. **Команды запуска из чистого clone** (из корня `mtusi2026lab4`; нужны Docker Compose v2, Python 3.9+ и `make`): ```sh cp .env.example .env make init-secrets docker compose --env-file .env config --quiet docker compose --env-file .env build api migrate docker compose --env-file .env up -d postgres redis s3 docker compose --env-file .env run --rm --no-deps s3-bootstrap docker compose --env-file .env run --rm migrate docker compose --env-file .env up -d --scale api=2 api load_balancer docker compose --env-file .env ps ``` Проверить готовность: ```sh curl --fail http://localhost:8080/health/ready ``` Для ожидания готовности в **fish** можно повторять `curl` или выполнить: ```fish while not curl -fsS http://localhost:8080/health/ready >/dev/null sleep 1 end ``` Проверки: ```sh make check make validate make test make test-grade4 make test-s3-failure make test-reconcile make test-upload-load OUTPUT=evidence/upload-load.json make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh ``` **Результаты проверок и ссылка на REPORT.md:** Проверки контракта, OpenAPI, публичный smoke и тесты уровня 4 прошли. S3 outage-тест подтвердил `503` во время отказа и восстановление после запуска S3. Persistence-тест подтвердил сохранение сообщения, сессии и вложения после перезапуска сервисов. При failover наблюдались две реплики, выполнено 113 успешных записей с одной переходной ошибкой; восстановление заняло 2,558 с. В целевой проверке — 109 успешных записей, одна ошибка, восстановление за 2,454 с, дубликатов нет. Нагрузочный тест завершил 10 из 10 параллельных загрузок файлов по 4 322 578 байт за 3,045 с; замеренные пики памяти API — 83 078 676 и 83 760 250 байт. Reconciler на 38 строках metadata и 33 объектах выполнил dry-run за 0,081 с без удаления данных. В тесте исправления удалены один синтетический старый orphan и одна неиспользуемая запись; свежее и используемое вложения сохранены, повторный запуск ничего не удалил. **Реальный вывод основных проверок:** ```text make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. make test PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. ``` Подробности: `REPORT.md`. Результаты экспериментов сохранены в `evidence/`: `upload-load.json`, `reconcile-integration.json`, `failover-target.json`, `failover.txt`, `persistence.txt`, `s3-failure.txt` и `bootstrap.txt`. **Ограничения / известные ошибки:** Результаты получены на локальном single-node Compose-стенде. PostgreSQL, Redis, S3, HAProxy и Docker host не реплицированы; их отказоустойчивость не проверялась. Память семплировалась раз в 0,5 с, краткий пик мог быть пропущен. Reconciler загружает перечни объектов и метаданных в память, поэтому его поведение на больших объёмах отдельно не измерялось. Восстановление потерянного объекта используемого вложения требует ручного вмешательства. `make test-reconcile` создаёт синтетические данные и выполняет исправление с grace period 0 — запускать только на учебном стенде. **Источники и использование ИИ:** использовался при исправлении ошибок, проверке изменений и подготовке документации. - [x] Обязательный минимум текущей и предыдущих работ сохранён. - [x] Контракт и публичные тесты не ослаблялись. - [x] `make check` и `make test` выполнены; фактический вывод приведён выше. - [x] Проверены отказы S3 и API, persistence и сценарии безопасности вложений. - [x] Секреты находятся в локальных игнорируемых файлах; токены в отчёт не включены. - [x] README задания сохранён, `REPORT.md` описывает запуск и результаты проекта.
makkelay added 2 commits 2026-11-17 03:20:12 +03:00
makkelay changed title from Solution/bpi2304 nikko to ЛР 4 — БПИ2304 — Кондрашов — на 5 2026-11-17 03:20:37 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/makkelay/mtusi2026lab4 solution/bpi2304-nikko:makkelay-solution/bpi2304-nikko
git checkout makkelay-solution/bpi2304-nikko
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#156