ЛР 5 — БВТ2301 — Сафронов — на 5 #19

Open
ricoroma wants to merge 34 commits from ricoroma/mtusi2026lab5-safronov:solution/bvt2301-safronov into main
First-time contributor

Лабораторная 5

Автор / группа: Сафронов Роман Николаевич, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 «Очередь под перегрузкой»

Что реализовано и что перенесено:

  • Из лабы 4 (mtusi2026lab4-safronov, solution/bvt2301-safronov, 2546deb) перенесены: API на FastAPI, PostgreSQL как источник истины, Basic → Bearer, кэш Valkey, HAProxy и 2 реплики, Idempotency-Key, приватный S3 (SeaweedFS), вложения, уборщик и сверка bucket с БД.
  • Уровень 3 (change async-attachments). Загрузка отвечает 202 только после того, как оригинал лёг в staging, а queued и задание записаны одной транзакцией. Брокер — RabbitMQ 4: очередь durable, сообщения persistent, в них только id. Worker — отдельный сервис. Состояния queued / processing / ready / failed, thumbnail 256×256, ограниченный retry ([worker] max_attempts = 5), финальный failed с безопасным error_code. Ключ эффекта — (attachment_id, pipeline_version, variant).
  • Уровень 4 (change pipeline-reliability). Transactional outbox: relay публикует с publisher confirm, брокера в пути запроса нет. Добавлены crop 128×128 и optimized WebP. Каждое изображение обрабатывается в отдельном процессе с лимитами CPU и адресного пространства. Backoff с jitter, ошибки делятся на постоянные и временные. Реестр failed и make replay с записью аудита. Аренда с fencing по номеру попытки, ограниченные prefetch и конкуренция, очистка staging после фиксации.
  • Рефакторинг (change unit-of-work): единица работы по Cosmic Python, сервисы зависят только от портов, быстрые тесты сервисов в service-tests/.
  • Уровень 5, трек 1 (change track1-queue-overload). Предел незавершённых заданий на входе API: при его превышении 429 rate_limited с Retry-After: 5. Профиль make bench_queue, гипотезы H1–H9 и правило рекомендации записаны до замера. Основная метка — evidence/queue/baseline4/.

Команды запуска из чистого clone:

git clone <fork> && cd mtusi2026lab5-safronov && git checkout solution/bvt2301-safronov
make run_docker && make replicas      # .env и config.toml создаются сами, секреты случайные
make check && make test
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario   # шаги 1–3 защиты
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults     # шаг 4 защиты для «4»
make bench_queue_quick                # шаг 4 защиты для «5», ~11 мин (рабочий стенд — make stop)

Подробно, в том числе запуск на хосте, — REPORT.md, раздел «Запуск из чистого clone».

Результаты проверок и ссылка на REPORT.md: REPORT.md

Прогон 2026-11-05 из свежего clone этой ветки (046ec9e): образ собран с нуля, отдельный проект compose, LB на порту 8090.

$ make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ make validate PYTHON=.venv/bin/python
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
$ make test BASE_URL=http://localhost:8090
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
$ make instances
  36ad59c141ed: 6
  2a549f3ba138: 6
instances: 2
$ make student_test BASE_URL=http://localhost:8090 EXPECT_REPLICAS=2
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
================ 224 passed, 147 deselected in 78.74s (0:01:18) ================
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.614}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.

Остальные доказательства лежат в evidence/, в шапке каждого файла указаны команда, дата и commit:

  • make failure_checks: 147 passed, crash markers 0; десять временных регрессий дают названный красный прогон (evidence/tests/failure-checks.md).
  • make service_test / make service_test_db: тесты сервисов на фейках и настоящая единица работы на временной базе (evidence/tests/service-tests.md).
  • Сценарий защиты, шаги 1–3: worker остановлен → 202 → сообщение 201 → скачивание 409 → scripts/restart.sh → worker запущен → ready, оригинал и thumbnail на месте (evidence/attachments/defense.md).
  • Шаг 4 для «4»: шесть окон сбоя — crash после записи объектов до COMMIT, после COMMIT до ack, relay убит до publish и после confirm до отметки, replay failed, отказ replay готового (evidence/attachments/defense-faults.md).
  • make s3_check: PASS: 90 checks (evidence/s3/cleaner-staging.md). Поиск значений секретов .env по evidence/: 17 значений, 0 совпадений (evidence/tests/secrets.md).
  • Трек 1, метка baseline4. Сняты 57 ячеек из 57: 4 настройки concurrency/prefetch × 4 класса изображений × 3 повтора плюс блоки предела, приёма, второго worker, KILL worker и рестарта брокера.
    • Подтверждены H1–H3 и H5–H9. H4 не подтверждена: одна ячейка из 33 дала 0,780 при пороге 0,8, разбор в отчёте.
    • Предел работает: пик незавершённых 250 против 423 без предела, p95 до ready 80,2 против 130,6 с, восстановление 80,5 против 137,5 с.
    • Остальной API перегрузку не чувствует: p95 записи 38,5 мс, чтения 16,6 мс, скачивания 105,6 мс, 5xx нет.
    • Потерянных, зависших, дублей и расхождений SHA-256 — 0 (проверено 2280 SHA-256).
    • Рекомендация правила — (2, 2): это и есть значения по умолчанию. Числа и графики — в evidence/queue/baseline4/summary.md.

Ограничения / известные ошибки:

  • В KNOWN_ISSUES.md 10 открытых записей с путём и предложением правки.
  • После KILL worker следующая попытка ждёт истечения аренды, до 70 с.
  • Отказ S3 дольше бюджета повторов (37,5–75 с) переводит задания в failed retry_exhausted. Возврат — make replay.
  • Предел считает задания, а не байты и CPU. Худший случай (scan bomb в пределах контракта) не измерен.
  • Процесс обработки работает под тем же UID, что worker, и может прочитать /proc/1/environ. Это вопрос 12 преподавателю, предложение по исправлению — в отчёте.
  • 12 открытых вопросов преподавателю — REPORT.md, раздел «Открытые вопросы преподавателю». Новых согласований в лабе 5 нет, три прежних действуют.

Источники и использование ИИ: документация RabbitMQ (reliability, confirms), aio-pika, Pillow, PostgreSQL 18; Percival и Gregory, «Architecture Patterns with Python» (Repository, Unit of Work). Код, тесты, спеки OpenSpec, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу propose → apply → verify → archive. Выбор оценки, трека, брокера и единицы работы — мои решения. Решения, принятые без меня, перечислены в QUESTIONS.md. Подробно — последний раздел REPORT.md.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Сафронов Роман Николаевич, БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 «Очередь под перегрузкой» **Что реализовано и что перенесено:** - Из лабы 4 (`mtusi2026lab4-safronov`, `solution/bvt2301-safronov`, `2546deb`) перенесены: API на FastAPI, PostgreSQL как источник истины, Basic → Bearer, кэш Valkey, HAProxy и 2 реплики, `Idempotency-Key`, приватный S3 (SeaweedFS), вложения, уборщик и сверка bucket с БД. - **Уровень 3** (change `async-attachments`). Загрузка отвечает `202` только после того, как оригинал лёг в staging, а `queued` и задание записаны одной транзакцией. Брокер — RabbitMQ 4: очередь durable, сообщения persistent, в них только id. Worker — отдельный сервис. Состояния `queued` / `processing` / `ready` / `failed`, thumbnail 256×256, ограниченный retry (`[worker] max_attempts` = 5), финальный `failed` с безопасным `error_code`. Ключ эффекта — `(attachment_id, pipeline_version, variant)`. - **Уровень 4** (change `pipeline-reliability`). Transactional outbox: relay публикует с publisher confirm, брокера в пути запроса нет. Добавлены crop 128×128 и optimized WebP. Каждое изображение обрабатывается в отдельном процессе с лимитами CPU и адресного пространства. Backoff с jitter, ошибки делятся на постоянные и временные. Реестр `failed` и `make replay` с записью аудита. Аренда с fencing по номеру попытки, ограниченные prefetch и конкуренция, очистка staging после фиксации. - **Рефакторинг** (change `unit-of-work`): единица работы по Cosmic Python, сервисы зависят только от портов, быстрые тесты сервисов в `service-tests/`. - **Уровень 5, трек 1** (change `track1-queue-overload`). Предел незавершённых заданий на входе API: при его превышении `429 rate_limited` с `Retry-After: 5`. Профиль `make bench_queue`, гипотезы H1–H9 и правило рекомендации записаны до замера. Основная метка — `evidence/queue/baseline4/`. **Команды запуска из чистого clone:** ```sh git clone <fork> && cd mtusi2026lab5-safronov && git checkout solution/bvt2301-safronov make run_docker && make replicas # .env и config.toml создаются сами, секреты случайные make check && make test make student_test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario # шаги 1–3 защиты python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults # шаг 4 защиты для «4» make bench_queue_quick # шаг 4 защиты для «5», ~11 мин (рабочий стенд — make stop) ``` Подробно, в том числе запуск на хосте, — `REPORT.md`, раздел «Запуск из чистого clone». **Результаты проверок и ссылка на REPORT.md:** [REPORT.md](https://gitea.privcloud.tech/ricoroma/mtusi2026lab5-safronov/src/branch/solution/bvt2301-safronov/REPORT.md) Прогон 2026-11-05 из свежего clone этой ветки (`046ec9e`): образ собран с нуля, отдельный проект compose, LB на порту 8090. ```text $ make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. $ make validate PYTHON=.venv/bin/python PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. $ make test BASE_URL=http://localhost:8090 PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. $ make instances 36ad59c141ed: 6 2a549f3ba138: 6 instances: 2 $ make student_test BASE_URL=http://localhost:8090 EXPECT_REPLICAS=2 coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded ================ 224 passed, 147 deselected in 78.74s (0:01:18) ================ $ make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh {"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.614} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. ``` Остальные доказательства лежат в `evidence/`, в шапке каждого файла указаны команда, дата и commit: - `make failure_checks`: 147 passed, `crash markers 0`; десять временных регрессий дают названный красный прогон (`evidence/tests/failure-checks.md`). - `make service_test` / `make service_test_db`: тесты сервисов на фейках и настоящая единица работы на временной базе (`evidence/tests/service-tests.md`). - Сценарий защиты, шаги 1–3: worker остановлен → `202` → сообщение `201` → скачивание `409` → `scripts/restart.sh` → worker запущен → `ready`, оригинал и thumbnail на месте (`evidence/attachments/defense.md`). - Шаг 4 для «4»: шесть окон сбоя — crash после записи объектов до COMMIT, после COMMIT до ack, relay убит до publish и после confirm до отметки, replay `failed`, отказ replay готового (`evidence/attachments/defense-faults.md`). - `make s3_check`: `PASS: 90 checks` (`evidence/s3/cleaner-staging.md`). Поиск значений секретов `.env` по `evidence/`: 17 значений, 0 совпадений (`evidence/tests/secrets.md`). - **Трек 1, метка `baseline4`.** Сняты 57 ячеек из 57: 4 настройки concurrency/prefetch × 4 класса изображений × 3 повтора плюс блоки предела, приёма, второго worker, KILL worker и рестарта брокера. - Подтверждены H1–H3 и H5–H9. **H4 не подтверждена:** одна ячейка из 33 дала 0,780 при пороге 0,8, разбор в отчёте. - Предел работает: пик незавершённых 250 против 423 без предела, p95 до `ready` 80,2 против 130,6 с, восстановление 80,5 против 137,5 с. - Остальной API перегрузку не чувствует: p95 записи 38,5 мс, чтения 16,6 мс, скачивания 105,6 мс, 5xx нет. - Потерянных, зависших, дублей и расхождений SHA-256 — 0 (проверено 2280 SHA-256). - Рекомендация правила — (2, 2): это и есть значения по умолчанию. Числа и графики — в `evidence/queue/baseline4/summary.md`. **Ограничения / известные ошибки:** - В `KNOWN_ISSUES.md` 10 открытых записей с путём и предложением правки. - После KILL worker следующая попытка ждёт истечения аренды, до 70 с. - Отказ S3 дольше бюджета повторов (37,5–75 с) переводит задания в `failed` `retry_exhausted`. Возврат — `make replay`. - Предел считает задания, а не байты и CPU. Худший случай (scan bomb в пределах контракта) не измерен. - Процесс обработки работает под тем же UID, что worker, и может прочитать `/proc/1/environ`. Это вопрос 12 преподавателю, предложение по исправлению — в отчёте. - 12 открытых вопросов преподавателю — `REPORT.md`, раздел «Открытые вопросы преподавателю». Новых согласований в лабе 5 нет, три прежних действуют. **Источники и использование ИИ:** документация RabbitMQ (reliability, confirms), aio-pika, Pillow, PostgreSQL 18; Percival и Gregory, «Architecture Patterns with Python» (Repository, Unit of Work). Код, тесты, спеки OpenSpec, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу propose → apply → verify → archive. Выбор оценки, трека, брокера и единицы работы — мои решения. Решения, принятые без меня, перечислены в `QUESTIONS.md`. Подробно — последний раздел `REPORT.md`. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
ricoroma added 34 commits 2026-11-05 20:21:26 +03:00
Source: mtusi2026lab4-safronov, solution/bvt2301-safronov, 2546deb.
Contracts, public tests and evidence of lab 4 are not carried over.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Commits of lab 4 are not in the history of this repository.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Upload answers 202 after staging, a queued job in PostgreSQL and a broker
confirm; a separate worker publishes the original and a thumbnail with
bounded retries. Adds the job and variant tables, the broker service, the
worker S3 user, cleanup and reconcile support for staging and variants,
the failure stand with broker and worker, bench and driver updates.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Evidence taken on ff1a83b. The report covers level 3; levels 4 and 5 are
closed by the following changes.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Move publishing out of the upload path: a relay process publishes queued
jobs with confirms. Add lease and attempt fencing, backoff with jitter, a
per-job render process with CPU and memory limits, crop and optimized
variants, the failed registry with audited replay, and staging cleanup.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Close the source image after converting to RGBA so PNGs at the pixel limit
fit the render memory limit. Strengthen the fencing test so that it fails
without the attempt check, and measure worker and relay stops under load.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Services depend only on src/core/ports: async with self.uow is one
transaction, commit is explicit, leaving without it rolls back. A
connection is held per step, the JSON routers keep a shared request
deadline, and rollback runs under the block deadline. Adds
service-tests with fakes, a repo contract run on both the fake and SQL,
and make service_test / service_test_db. API, schema and settings are
unchanged.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Abort the transport when a bounded close ends, so a frozen server leaves
no sessions over the pool once the ping has no transaction. Under the
shared request deadline a block sets no timer of its own, so a single
cancel closes the connection and the log has one record. Add a test that
concurrent worker deliveries get separate units of work, and state the
cost of the pattern against both baselines in the report.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Reject uploads with 429 at [uploads] max_unfinished_jobs, counted by the existing partial indexes in the membership block. Add the bench_queue profile, hypotheses H1-H9 and the fifth failure-stand API.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The host swapped out 309432 pages during the run and five cells are
flagged host_swap, so this label stays as a record and baseline3 is
captured as the main one.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Adds worker-memory, freeze-sessions and freeze-lb driver commands, retakes
the evidence they produce, and fills the report header. src/ and bench/
are unchanged.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The host swapped out 26046 pages, all in one cell. A further label,
baseline4, follows by the user's decision; the main one is picked by the
number of affected cells, not by verdicts.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
No swapouts and no host warnings, so this is the main label.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Narrows two queue-overload scenarios to what the labels measure, adds the
S3 and broker images to the queue profile passport, and corrects report
figures. Thresholds and verdicts are unchanged.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/ricoroma/mtusi2026lab5-safronov solution/bvt2301-safronov:ricoroma-solution/bvt2301-safronov
git checkout ricoroma-solution/bvt2301-safronov
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#19