Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Из lab4 сохранено всё: пользователи, сессии в Redis, чаты, сообщения, идемпотентность, HAProxy + 2 реплики API, потоковая проверка файлов, приватный bucket SeaweedFS с ограниченным ключом, janitor. Объявленный переход: загрузка вложения теперь возвращает 202 queued вместо 201.
Новое в lab5:
Приём (граница 202): оригинал целиком пишется в приватный S3-prefix staging/, затем одной транзакцией PostgreSQL — state=queued + attachment_jobs + строка outbox. У API нет доступа к брокеру, недоступность брокера или worker приём не останавливает.
Брокер: RabbitMQ 4.1.4, durable quorum-очередь с volume, x-delivery-limit, at-least-once dead-lettering в DLQ. Топология и пользователи — декларативные definitions; у сервисов нет права configure, только минимальные write/read.
Transactional outbox: отдельный dispatcher публикует строки outbox с publisher confirms и отмечает их только после confirm; восстанавливает просроченные аренды и переопубликует queued-задания без сообщения в полёте.
Worker: отдельный сервис, 2 потока, prefetch=1, ручной ack только после PUT в S3 и COMMIT результата. Аренда processing (15 с, продлевается) с fencing-токеном: зависший worker не зафиксирует результат поверх нового.
Варианты (pipeline v1): thumbnail JPEG 256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP ≤1280; EXIF orientation, alpha на белый, без увеличения, EXIF/XMP в вариантах удаляются. Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ таблицы вариантов и детерминированные ключи S3.
Лимиты worker: обработка в дочернем процессе с RLIMIT_AS=512 MiB, RLIMIT_CPU, таймаутом 60 с; повторная проверка размера, SHA-256 и числа пикселей.
Ошибки: 5 попыток, backoff с jitter, постоянные ошибки (invalid_image, resource_limit, …) — сразу failed, временные — повтор, затем retry_exhausted. Реестр failed + журнал job_events, безопасный replay и разбор DLQ (ops.py); replay успешной job отклоняется.
Очистка staging: worker сразу после фиксации, janitor — если не успел; исходник failed хранится 24 ч для replay.
Тесты отказов:student-tests/test_jobs.py с внедрением сбоев (faults.py) во все окна контракта.
worker остановлен → upload 202 → сообщение с вложением → рестарт API и RabbitMQ с volumes → worker → тот же job ready;
брокер остановлен → 202 и /health/ready 200, outbox ждёт и публикуется после восстановления;
crash dispatcher между COMMIT и publish и после confirm; crash worker после PUT до COMMIT и после COMMIT до ack — везде ровно один набор вариантов;
зависший worker → аренда истекла → задание выполнено другим потоком, поздний результат отклонён;
ретраи с jitter, retry_exhausted + replay, DLQ, лимиты памяти/времени (пик 227 MiB при лимите 512 MiB), конкуренция ровно 2.
Исправлено при первом запуске в Docker
infra/rabbitmq.conf: путь к definitions — /run/secrets/rabbitmq_definitions (Compose монтирует секрет под его именем).
janitor: вместо отключённого healthcheck — файл-пульс, как у worker/dispatcher (с отключённым up --wait падал).
Тесты: пробник работает и при остановленном worker; upload_memory.py переведён на 202; сценарий staging не зависит от фонового прохода janitor.
Ограничения / известные ошибки
Один узел RabbitMQ: durability есть, отказоустойчивости узла нет.
Worker использует тот же ограниченный S3-ключ, что и API.
Точки внедрения сбоев включены на учебном стенде (FAULT_INJECTION=1), выключаются в .env.
Replay — CLI оператора в контейнере dispatcher, а не API.
.env.example приведён к реальной конфигурации решения (в skeleton были SESSION_STORE=postgres, S3_ENDPOINT=http://s3:9000, с которыми API этого решения не стартует).
Источники и использование ИИ
Документация RabbitMQ (reliability, confirms, quorum queues, definitions, access control), PostgreSQL (FOR UPDATE SKIP LOCKED, LISTEN/NOTIFY), паттерн transactional outbox, Pillow, setrlimit(2). При написании кода и тестов использовался ИИ-ассистент;
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
**Что реализовано и что перенесено**
Из lab4 сохранено всё: пользователи, сессии в Redis, чаты, сообщения, идемпотентность, HAProxy + 2 реплики API, потоковая проверка файлов, приватный bucket SeaweedFS с ограниченным ключом, janitor. Объявленный переход: загрузка вложения теперь возвращает `202 queued` вместо `201`.
Новое в lab5:
- **Приём (граница 202):** оригинал целиком пишется в приватный S3-prefix `staging/`, затем одной транзакцией PostgreSQL — `state=queued` + `attachment_jobs` + строка `outbox`. У API нет доступа к брокеру, недоступность брокера или worker приём не останавливает.
- **Брокер:** RabbitMQ 4.1.4, durable quorum-очередь с volume, `x-delivery-limit`, at-least-once dead-lettering в DLQ. Топология и пользователи — декларативные definitions; у сервисов нет права `configure`, только минимальные write/read.
- **Transactional outbox:** отдельный `dispatcher` публикует строки outbox с publisher confirms и отмечает их только после confirm; восстанавливает просроченные аренды и переопубликует queued-задания без сообщения в полёте.
- **Worker:** отдельный сервис, 2 потока, `prefetch=1`, ручной ack только после PUT в S3 и COMMIT результата. Аренда processing (15 с, продлевается) с fencing-токеном: зависший worker не зафиксирует результат поверх нового.
- **Варианты (pipeline v1):** thumbnail JPEG 256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP ≤1280; EXIF orientation, alpha на белый, без увеличения, EXIF/XMP в вариантах удаляются. Ключ эффекта `(attachment_id, pipeline_version, variant)` — первичный ключ таблицы вариантов и детерминированные ключи S3.
- **Лимиты worker:** обработка в дочернем процессе с `RLIMIT_AS=512 MiB`, `RLIMIT_CPU`, таймаутом 60 с; повторная проверка размера, SHA-256 и числа пикселей.
- **Ошибки:** 5 попыток, backoff с jitter, постоянные ошибки (`invalid_image`, `resource_limit`, …) — сразу failed, временные — повтор, затем `retry_exhausted`. Реестр failed + журнал `job_events`, безопасный replay и разбор DLQ (`ops.py`); replay успешной job отклоняется.
- **Очистка staging:** worker сразу после фиксации, janitor — если не успел; исходник failed хранится 24 ч для replay.
- **Тесты отказов:** `student-tests/test_jobs.py` с внедрением сбоев (`faults.py`) во все окна контракта.
**Команды запуска из чистого clone**
```powershell
$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py
docker compose up -d --build --wait
python student-tests/collect_evidence.py
```
Подробно (без make, отдельные проверки, остановка и удаление данных) — REPORT.md, раздел «Запуск из чистого clone».
**Результаты проверок**
Полный `collect_evidence.py` на Docker-стенде — 26 шагов PASS, сводка в `evidence/summary.md`, таблицы — в REPORT.md. Ключевые сценарии:
- smoke (202 → ready → настоящий JPEG thumbnail), persistence, failover, тесты lab1–4;
- worker остановлен → upload 202 → сообщение с вложением → рестарт API и RabbitMQ с volumes → worker → тот же job ready;
- брокер остановлен → 202 и `/health/ready` 200, outbox ждёт и публикуется после восстановления;
- crash dispatcher между COMMIT и publish и после confirm; crash worker после PUT до COMMIT и после COMMIT до ack — везде ровно один набор вариантов;
- зависший worker → аренда истекла → задание выполнено другим потоком, поздний результат отклонён;
- ретраи с jitter, `retry_exhausted` + replay, DLQ, лимиты памяти/времени (пик 227 MiB при лимите 512 MiB), конкуренция ровно 2.
**Исправлено при первом запуске в Docker**
- `infra/rabbitmq.conf`: путь к definitions — `/run/secrets/rabbitmq_definitions` (Compose монтирует секрет под его именем).
- `janitor`: вместо отключённого healthcheck — файл-пульс, как у worker/dispatcher (с отключённым `up --wait` падал).
- Тесты: пробник работает и при остановленном worker; `upload_memory.py` переведён на 202; сценарий staging не зависит от фонового прохода janitor.
**Ограничения / известные ошибки**
- Один узел RabbitMQ: durability есть, отказоустойчивости узла нет.
- Worker использует тот же ограниченный S3-ключ, что и API.
- Точки внедрения сбоев включены на учебном стенде (`FAULT_INJECTION=1`), выключаются в `.env`.
- Replay — CLI оператора в контейнере dispatcher, а не API.
- `.env.example` приведён к реальной конфигурации решения (в skeleton были `SESSION_STORE=postgres`, `S3_ENDPOINT=http://s3:9000`, с которыми API этого решения не стартует).
**Источники и использование ИИ**
Документация RabbitMQ (reliability, confirms, quorum queues, definitions, access control), PostgreSQL (`FOR UPDATE SKIP LOCKED`, `LISTEN/NOTIFY`), паттерн transactional outbox, Pillow, `setrlimit(2)`. При написании кода и тестов использовался ИИ-ассистент;
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Подтверждён один существенный дефект: janitor может удалить результат успешно завершённого replay. В janitor.py:201 повторная проверка состояния и последующий DELETE не синхронизированы с replay.
Минимальное воспроизведение:
После реального crash worker за записью объектов и четырёх временных ошибок получить failed/retry_exhausted с оставшимися объектами.
Дождаться их реального возраста свыше grace; в проверке использован допустимый grace 120 с. Приостановить отдельный процесс janitor после последней проверки still_orphan, перед DELETE.
Выполнить штатный ops.py replay: то же задание становится ready, все четыре файла скачиваются с 200.
Продолжить janitor: он удаляет заново записанный crop.jpg. Метаданные остаются ready, но /content?variant=crop возвращает 503 unavailable вместо ожидаемого 200.
Нужна синхронизация очистки с replay/publish либо защита нового объекта от удаления устаревшим проходом.
Подтверждён один существенный дефект: janitor может удалить результат успешно завершённого replay. В [janitor.py:201](https://gitea.privcloud.tech/Kalibr/mtusi2026lab5/src/commit/9863bb0505f83c7d8d0fa73f6f18d25a8a6f7c43/janitor.py#L201) повторная проверка состояния и последующий DELETE не синхронизированы с replay.
Минимальное воспроизведение:
1. После реального crash worker за записью объектов и четырёх временных ошибок получить failed/retry_exhausted с оставшимися объектами.
2. Дождаться их реального возраста свыше grace; в проверке использован допустимый grace 120 с. Приостановить отдельный процесс janitor после последней проверки still_orphan, перед DELETE.
3. Выполнить штатный ops.py replay: то же задание становится ready, все четыре файла скачиваются с 200.
4. Продолжить janitor: он удаляет заново записанный crop.jpg. Метаданные остаются ready, но /content?variant=crop возвращает 503 unavailable вместо ожидаемого 200.
Нужна синхронизация очистки с replay/publish либо защита нового объекта от удаления устаревшим проходом.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Из lab4 сохранено всё: пользователи, сессии в Redis, чаты, сообщения, идемпотентность, HAProxy + 2 реплики API, потоковая проверка файлов, приватный bucket SeaweedFS с ограниченным ключом, janitor. Объявленный переход: загрузка вложения теперь возвращает
202 queuedвместо201.Новое в lab5:
staging/, затем одной транзакцией PostgreSQL —state=queued+attachment_jobs+ строкаoutbox. У API нет доступа к брокеру, недоступность брокера или worker приём не останавливает.x-delivery-limit, at-least-once dead-lettering в DLQ. Топология и пользователи — декларативные definitions; у сервисов нет праваconfigure, только минимальные write/read.dispatcherпубликует строки outbox с publisher confirms и отмечает их только после confirm; восстанавливает просроченные аренды и переопубликует queued-задания без сообщения в полёте.prefetch=1, ручной ack только после PUT в S3 и COMMIT результата. Аренда processing (15 с, продлевается) с fencing-токеном: зависший worker не зафиксирует результат поверх нового.(attachment_id, pipeline_version, variant)— первичный ключ таблицы вариантов и детерминированные ключи S3.RLIMIT_AS=512 MiB,RLIMIT_CPU, таймаутом 60 с; повторная проверка размера, SHA-256 и числа пикселей.invalid_image,resource_limit, …) — сразу failed, временные — повтор, затемretry_exhausted. Реестр failed + журналjob_events, безопасный replay и разбор DLQ (ops.py); replay успешной job отклоняется.student-tests/test_jobs.pyс внедрением сбоев (faults.py) во все окна контракта.Команды запуска из чистого clone
Подробно (без make, отдельные проверки, остановка и удаление данных) — REPORT.md, раздел «Запуск из чистого clone».
Результаты проверок
Полный
collect_evidence.pyна Docker-стенде — 26 шагов PASS, сводка вevidence/summary.md, таблицы — в REPORT.md. Ключевые сценарии:/health/ready200, outbox ждёт и публикуется после восстановления;retry_exhausted+ replay, DLQ, лимиты памяти/времени (пик 227 MiB при лимите 512 MiB), конкуренция ровно 2.Исправлено при первом запуске в Docker
infra/rabbitmq.conf: путь к definitions —/run/secrets/rabbitmq_definitions(Compose монтирует секрет под его именем).janitor: вместо отключённого healthcheck — файл-пульс, как у worker/dispatcher (с отключённымup --waitпадал).upload_memory.pyпереведён на 202; сценарий staging не зависит от фонового прохода janitor.Ограничения / известные ошибки
FAULT_INJECTION=1), выключаются в.env..env.exampleприведён к реальной конфигурации решения (в skeleton былиSESSION_STORE=postgres,S3_ENDPOINT=http://s3:9000, с которыми API этого решения не стартует).Источники и использование ИИ
Документация RabbitMQ (reliability, confirms, quorum queues, definitions, access control), PostgreSQL (
FOR UPDATE SKIP LOCKED,LISTEN/NOTIFY), паттерн transactional outbox, Pillow,setrlimit(2). При написании кода и тестов использовался ИИ-ассистент;Подтверждён один существенный дефект: janitor может удалить результат успешно завершённого replay. В janitor.py:201 повторная проверка состояния и последующий DELETE не синхронизированы с replay.
Минимальное воспроизведение:
Нужна синхронизация очистки с replay/publish либо защита нового объекта от удаления устаревшим проходом.
Исправил, janitor больше не удаляет объекты failed-вложения, пока возможен replay, а проверку и удаление делает под блокировкой строки.
Принято. Закрываю МР.
Pull request closed