Автор / группа: Лазарев Юрий Сергеевич, БПИ2303
Целевая оценка (3/4/5): 3
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: решение lab4 (REST API, PostgreSQL, SeaweedFS S3, HAProxy, 2 реплики API) перенесено и дополнено асинхронной обработкой вложений. Upload пишет проверенный оригинал в staging S3 и одной транзакцией создаёт queued-вложение, задание и запись outbox, после чего отвечает 202. Relay публикует outbox в RabbitMQ 4.1 (quorum-очередь, publisher confirms) и возвращает задания с истёкшей арендой. Worker (2 контейнера × 2 потребителя, prefetch 1, manual ack) принимает решение по строке jobs, держит аренду с heartbeat и fencing, создаёт thumbnail 256, crop 128 и WebP 1280 в подпроцессе с лимитами. Есть retry с backoff и jitter, разделение постоянных и временных ошибок, реестр failed, безопасный replay, DLQ, janitor для staging, миграция 004 с переносом вложений lab4. После внешнего аудита исправлены замечания F01–F17 (таблица в REPORT.md).
Команды запуска из чистого clone: ./scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait, затем make check && make test; полный набор проверок — ./student-tests/run_all.sh (раздел «Запуск из чистого clone» в REPORT.md).
Результаты проверок и ссылка на REPORT.md: в чистом clone run_all.sh — 30 проверок, overall=0: make check, make validate, make test, test-persistence, test-failover, сценарий защиты уровня 3, все окна отказа (outbox, crash worker до/после S3 и ack, заморозка worker), регрессии аудита и lab3, rolling update. Вывод — в evidence/, разбор — в REPORT.md.
Ограничения / известные ошибки: один узел БД, S3, брокера и LB (нет HA); восстановление после краха worker — ~33–36 с (истечение аренды); CI приложения (.github/workflows/app.yml) на раннере не запускался; пункты укрепления из раздела 7 аудита не реализованы — перечислены в «Ограничениях» REPORT.md.
Источники и использование ИИ: см. REPORT.md, строка «Использованные источники, библиотеки и помощь ИИ».
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
Автор / группа: Лазарев Юрий Сергеевич, БПИ2303
Целевая оценка (3/4/5): 3
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: решение lab4 (REST API, PostgreSQL, SeaweedFS S3, HAProxy, 2 реплики API) перенесено и дополнено асинхронной обработкой вложений. Upload пишет проверенный оригинал в staging S3 и одной транзакцией создаёт queued-вложение, задание и запись outbox, после чего отвечает 202. Relay публикует outbox в RabbitMQ 4.1 (quorum-очередь, publisher confirms) и возвращает задания с истёкшей арендой. Worker (2 контейнера × 2 потребителя, prefetch 1, manual ack) принимает решение по строке jobs, держит аренду с heartbeat и fencing, создаёт thumbnail 256, crop 128 и WebP 1280 в подпроцессе с лимитами. Есть retry с backoff и jitter, разделение постоянных и временных ошибок, реестр failed, безопасный replay, DLQ, janitor для staging, миграция 004 с переносом вложений lab4. После внешнего аудита исправлены замечания F01–F17 (таблица в REPORT.md).
Команды запуска из чистого clone: `./scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait`, затем `make check && make test`; полный набор проверок — `./student-tests/run_all.sh` (раздел «Запуск из чистого clone» в REPORT.md).
Результаты проверок и ссылка на REPORT.md: в чистом clone `run_all.sh` — 30 проверок, overall=0: make check, make validate, make test, test-persistence, test-failover, сценарий защиты уровня 3, все окна отказа (outbox, crash worker до/после S3 и ack, заморозка worker), регрессии аудита и lab3, rolling update. Вывод — в evidence/, разбор — в REPORT.md.
Ограничения / известные ошибки: один узел БД, S3, брокера и LB (нет HA); восстановление после краха worker — ~33–36 с (истечение аренды); CI приложения (.github/workflows/app.yml) на раннере не запускался; пункты укрепления из раздела 7 аудита не реализованы — перечислены в «Ограничениях» REPORT.md.
Источники и использование ИИ: см. REPORT.md, строка «Использованные источники, библиотеки и помощь ИИ».
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher
confirms, manual ack, DLQ), transactional outbox, отдельный worker.
- upload: оригинал в staging S3, затем одной транзакцией queued + jobs +
outbox -> 202; API к брокеру не подключается
- relay: публикация outbox с confirm, reaper истёкших аренд, redrive
- worker: claim по строке jobs, аренда с heartbeat и fencing по
lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом,
thumbnail 256, crop 128, WebP 1280 по детерминированным ключам
- retry с backoff и jitter, постоянные/временные ошибки, реестр failed,
ops replay (ready не повторяется), DLQ для невалидных сообщений
- janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4
- тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack,
заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
- F03: тело читается через read1 (один recv) с пересчётом общего срока перед
каждым чтением: upload, JSON (JSON_BODY_TIMEOUT_SECONDS) и дочитывание
отклонённого тела; до исправления клиент «по байту» держал приём > 20 с
при сроке 5 с
- F08: непарный суррогат в JSON -> 400 invalid_request вместо 500
- F09: объект скачивается во временный файл и сверяется (размер, SHA-256)
до отправки 200; при расхождении 503
- F17: send_error в общем JSON-формате с X-Request-Id/X-Instance-Id,
неподдержанный метод -> 405, у HEAD без тела
- тесты api_negative_lab5.py, slow_client.py, progressive_upload.py
- F01: janitor под блокировкой jobs+attachments перепроверяет условие, снимает
staging_key и только после COMMIT удаляет объект; replay перечитывает
staging_key отдельным запросом под блокировкой вложения (в READ COMMITTED
соединённые колонки могли остаться из старого снимка); тест трёх порядков,
включая чередование из аудита (учебная пауза JANITOR_PAUSE_AFTER_SELECT_SECONDS)
- F11: pipeline_version пишется при создании вложения; API не стартует с
неподдерживаемой версией
- F12: строгий разбор по jobs.schema.json (bool, RFC 3339, traceparent,
tracestate); 17 случаев совпадают с jsonschema Draft 2020-12
- F13: единый срок задания на чтение staging, transform и запись; после срока
аренда не продлевается, работа прерывается как processing_timeout
- F10: rolling-update.sh собирает migrate (единственный сервис с build),
проверяет APP_VERSION в образе, в новой реплике и в ответах через LB;
реально выполнено обновление 1 -> 2 (evidence/rolling-update.txt)
- F14: s3_outage.py переписан под lab5 (503 в API, retry в worker, принятое
задание доходит до ready); устаревший consistency_faults.py удалён
- F15: .github/workflows/app.yml — сборка, готовность, smoke и регрессии на
изолированном стенде, логи при ошибке, очистка
- F16: upload_memory.py с явными критериями и ненулевым кодом выхода, размер
в каждой записи, progressive JPEG в смеси
- run_all.sh: все регрессии аудита, make validate, регрессия lab3, rolling update
- раздел «Внешний аудит»: замечание -> исправление -> доказательство,
что сознательно не сделано
- исправлены опровергнутые утверждения (draft и память, метаданные, лимиты)
- evidence/ из полного прогона run_all.sh в чистом clone: 30 проверок, overall=0;
before-fix/ — воспроизведения дефектов до исправления
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Лазарев Юрий Сергеевич, БПИ2303
Целевая оценка (3/4/5): 3
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: решение lab4 (REST API, PostgreSQL, SeaweedFS S3, HAProxy, 2 реплики API) перенесено и дополнено асинхронной обработкой вложений. Upload пишет проверенный оригинал в staging S3 и одной транзакцией создаёт queued-вложение, задание и запись outbox, после чего отвечает 202. Relay публикует outbox в RabbitMQ 4.1 (quorum-очередь, publisher confirms) и возвращает задания с истёкшей арендой. Worker (2 контейнера × 2 потребителя, prefetch 1, manual ack) принимает решение по строке jobs, держит аренду с heartbeat и fencing, создаёт thumbnail 256, crop 128 и WebP 1280 в подпроцессе с лимитами. Есть retry с backoff и jitter, разделение постоянных и временных ошибок, реестр failed, безопасный replay, DLQ, janitor для staging, миграция 004 с переносом вложений lab4. После внешнего аудита исправлены замечания F01–F17 (таблица в REPORT.md).
Команды запуска из чистого clone:
./scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait, затемmake check && make test; полный набор проверок —./student-tests/run_all.sh(раздел «Запуск из чистого clone» в REPORT.md).Результаты проверок и ссылка на REPORT.md: в чистом clone
run_all.sh— 30 проверок, overall=0: make check, make validate, make test, test-persistence, test-failover, сценарий защиты уровня 3, все окна отказа (outbox, crash worker до/после S3 и ack, заморозка worker), регрессии аудита и lab3, rolling update. Вывод — в evidence/, разбор — в REPORT.md.Ограничения / известные ошибки: один узел БД, S3, брокера и LB (нет HA); восстановление после краха worker — ~33–36 с (истечение аренды); CI приложения (.github/workflows/app.yml) на раннере не запускался; пункты укрепления из раздела 7 аудита не реализованы — перечислены в «Ограничениях» REPORT.md.
Источники и использование ИИ: см. REPORT.md, строка «Использованные источники, библиотеки и помощь ИИ».
ЛР 5 — БПИ2303 — Лазарев — на 4to ЛР 5 — БПИ2303 — Лазарев — на 3Принято. Закрываю МР.
Pull request closed