ЛР 5 — БВТ2303 — Болотов — на 4 #92

Open
Bernilai wants to merge 1 commits from Bernilai/mtusi2026lab5:solution/bvt2303-bolotov into main
First-time contributor

Лабораторная 5

Автор / группа: Болотов Илья, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

  • Из lab4 перенесено: FastAPI API, PostgreSQL, Redis-сессии, идемпотентность сообщений, ≥2 реплики за HAProxy, приватный SeaweedFS + s3-gw, строгая потоковая валидация PNG/JPEG (≥ worker), drain shutdown, студенческие тесты lab3/4.
  • Lab5 (уровни 3–4):
    • upload → 202 queued только после staging PUT + COMMIT (attachments + attachment_jobs + transactional outbox); bytes/credentials в брокер не кладутся;
    • RabbitMQ 3.13.7 (durable queue, persistent messages, publisher confirms, manual ack) + отдельный worker;
    • состояния queued / processing / ready / failed; variants: thumbnail JPEG ≤256 (floor, без upscale), crop 128×128 JPEG, optimized WebP (WEBP_QUALITY=80, без EXIF);
    • retry с backoff+jitter, JOB_MAX_ATTEMPTS=5, DLQ (dead_letter_jobs) + операторский replay (python -m messenger.replay / scripts/replay_failed.py), ready не переисполняется;
    • outbox publisher закрывает разрыв COMMIT↔publish; crash после side effect до ack → redelivery already_done;
    • lease + WORKER_PROCESS_TIMEOUT_SECONDS (живой зависший → failed/retry, не вечный processing); prefetch = concurrency;
    • janitor/reconcile: staging для queued/processing не трогает; failed/orphan DELETE под FOR UPDATE + re-check (защита vs replay TOCTOU);
    • logout при недоступном Redis: durable session_revocations в PG → после подъёма кэша старый токен 401.

Команды запуска из чистого clone

cp .env.example .env                       # Windows: copy .env.example .env
python scripts/init_secrets.py
docker compose --env-file .env up -d --build --scale api=2
# Windows: scripts\up.cmd
# дождаться GET http://127.0.0.1:8080/health/ready

Подробно — в REPORT.md.

Результаты проверок (сырые данные — evidence/)

Проверка Результат Evidence
scripts/check_contract.py PASS evidence/check.txt
tests/smoke.py (lab5 public API) PASS evidence/smoke.txt
remarks: битый/усечённый JPEG/PNG → 415; thumb 319×200→256×160; JPEG key match PASS evidence/lab5-remarks.txt
unit image validation PASS (в remarks / unit)
variants + worker-down 409 + chat 201 + restart → ready PASS evidence/lab5-defense.txt
crash-after-side-effect, operator replay, janitor dry-run при queued PASS evidence/lab5-outbox-replay.txt
logout при stop Redis → 204, после start → 401 PASS evidence/logout-cache.txt

Ограничения / известные ошибки

  • Один Docker-хост; отказ PostgreSQL/RabbitMQ/S3 целиком не маскируется; worker один.
  • Тело upload по-прежнему spool’ится на диск реплики до staging PUT (как lab4).
  • Автоматический reprocess «новой версии pipeline» отдельной утилитой не вынесен; смена pipeline_version не автоматизирована.
  • Трек 5 не выполнялся.
  • Windows: PYTHONUTF8=1; BASE_URL через 127.0.0.1.

Источники и использование ИИ

FastAPI, Uvicorn, psycopg3, redis-py, argon2-cffi, boto3, pika, Pillow, HAProxy, SeaweedFS, RabbitMQ, libjpeg-turbo; контракты курса; реализация async-pipeline и evidence — с помощью ИИ-ассистента (Cursor). Числа/PASS — из evidence/.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами (upload 201→202).
  • Контракт и публичные тесты не ослаблены.
  • make check / smoke / student evidence выполнены; приложен реальный вывод в evidence/.
  • Сценарии отказов уровня 4 воспроизведены (crash до ack, outbox, replay, worker stop).
  • Секреты вне Git; отчёт без tokens.
  • README задания сохранён; REPORT.md — инструкция именно этого решения.
## Лабораторная 5 Автор / группа: Болотов Илья, БВТ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен ### Что реализовано и что перенесено - Из lab4 перенесено: FastAPI API, PostgreSQL, Redis-сессии, идемпотентность сообщений, ≥2 реплики за HAProxy, приватный SeaweedFS + s3-gw, строгая потоковая валидация PNG/JPEG (≥ worker), drain shutdown, студенческие тесты lab3/4. - Lab5 (уровни 3–4): - upload → **202 queued** только после staging PUT + COMMIT (`attachments` + `attachment_jobs` + **transactional outbox**); bytes/credentials в брокер не кладутся; - **RabbitMQ 3.13.7** (durable queue, persistent messages, publisher confirms, manual ack) + отдельный **worker**; - состояния `queued` / `processing` / `ready` / `failed`; variants: thumbnail JPEG ≤256 (floor, без upscale), **crop 128×128 JPEG**, **optimized WebP** (`WEBP_QUALITY=80`, без EXIF); - retry с backoff+jitter, `JOB_MAX_ATTEMPTS=5`, DLQ (`dead_letter_jobs`) + операторский **replay** (`python -m messenger.replay` / `scripts/replay_failed.py`), ready не переисполняется; - outbox publisher закрывает разрыв COMMIT↔publish; crash после side effect до ack → redelivery `already_done`; - lease + **`WORKER_PROCESS_TIMEOUT_SECONDS`** (живой зависший → failed/retry, не вечный `processing`); prefetch = concurrency; - janitor/reconcile: staging для queued/processing не трогает; failed/orphan DELETE под `FOR UPDATE` + re-check (защита vs replay TOCTOU); - logout при недоступном Redis: durable `session_revocations` в PG → после подъёма кэша старый токен **401**. ### Команды запуска из чистого clone ```sh cp .env.example .env # Windows: copy .env.example .env python scripts/init_secrets.py docker compose --env-file .env up -d --build --scale api=2 # Windows: scripts\up.cmd # дождаться GET http://127.0.0.1:8080/health/ready ``` Подробно — в [REPORT.md](REPORT.md). ### Результаты проверок (сырые данные — `evidence/`) | Проверка | Результат | Evidence | | --- | --- | --- | | `scripts/check_contract.py` | PASS | `evidence/check.txt` | | `tests/smoke.py` (lab5 public API) | PASS | `evidence/smoke.txt` | | remarks: битый/усечённый JPEG/PNG → 415; thumb 319×200→256×160; JPEG key match | PASS | `evidence/lab5-remarks.txt` | | unit image validation | PASS | (в remarks / unit) | | variants + worker-down 409 + chat 201 + restart → ready | PASS | `evidence/lab5-defense.txt` | | crash-after-side-effect, operator replay, janitor dry-run при queued | PASS | `evidence/lab5-outbox-replay.txt` | | logout при stop Redis → 204, после start → 401 | PASS | `evidence/logout-cache.txt` | ### Ограничения / известные ошибки - Один Docker-хост; отказ PostgreSQL/RabbitMQ/S3 целиком не маскируется; worker один. - Тело upload по-прежнему spool’ится на диск реплики до staging PUT (как lab4). - Автоматический reprocess «новой версии pipeline» отдельной утилитой не вынесен; смена `pipeline_version` не автоматизирована. - Трек 5 не выполнялся. - Windows: `PYTHONUTF8=1`; `BASE_URL` через `127.0.0.1`. ### Источники и использование ИИ FastAPI, Uvicorn, psycopg3, redis-py, argon2-cffi, boto3, pika, Pillow, HAProxy, SeaweedFS, RabbitMQ, libjpeg-turbo; контракты курса; реализация async-pipeline и evidence — с помощью ИИ-ассистента (Cursor). Числа/PASS — из `evidence/`. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами (upload 201→202). - [x] Контракт и публичные тесты не ослаблены. - [x] make check / smoke / student evidence выполнены; приложен реальный вывод в `evidence/`. - [x] Сценарии отказов уровня 4 воспроизведены (crash до ack, outbox, replay, worker stop). - [x] Секреты вне Git; отчёт без tokens. - [x] README задания сохранён; REPORT.md — инструкция именно этого решения.
Bernilai added 1 commit 2026-11-19 20:48:13 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Bernilai/mtusi2026lab5 solution/bvt2303-bolotov:Bernilai-solution/bvt2303-bolotov
git checkout Bernilai-solution/bvt2303-bolotov
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#92