From 6f07bc9513107242bc547a50b5886de2c796e3ed Mon Sep 17 00:00:00 2001 From: da1zy3r Date: Fri, 6 Nov 2026 19:43:01 +0300 Subject: [PATCH] report --- .github/pull_request_template.md | 32 ++++++++++-------- REPORT.md | 58 +++++++++++++++++++++++--------- evidence/defense-check.md | 8 ++--- 3 files changed, 65 insertions(+), 33 deletions(-) diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 7d1ff4a..5a04e06 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,22 @@ ## Лабораторная 5 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Ромашко Владимир, БВТ2301. +Целевая оценка (3/4/5): **5**. +Трек 5, если заявлен: **1 — очередь под перегрузкой**. -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +Что реализовано и что перенесено: перенесён мессенджер lab4; добавлены Redis Streams, outbox/dispatcher, отдельный worker, thumbnail/crop/WebP, retry с backoff/jitter, lease, failed-реестр/replay, cleanup и общий лимит очереди. -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +Команды запуска из чистого clone: `cp .env.example .env`, задать локальные пароли, затем `docker compose --env-file .env up -d --build`. После готовности API: `python -X utf8 scripts/check_contract.py` и `python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080` (эквиваленты `make check`/`make test`). + +Результаты проверок и ссылка на REPORT.md: smoke, 5 тестов изображений, сбои/SIGKILL, retry/replay и timeout прошли. Трек 1: 18 замеров, 324 успешные загрузки; проверены backpressure и восстановление принятых ID. Подробности: [REPORT.md](../REPORT.md), [проверки](../evidence/defense-check.md), [эксперимент](../evidence/queue-results.md). + +Ограничения / известные ошибки: хранилища по одному экземпляру; потеря volumes не покрывается. Два повтора нагрузки не дают универсального SLA; чистый clone отдельно не проверялся. + +Источники и использование ИИ: задание и контракт репозитория; FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, проверок и оформления. + +- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. +- [x] Контракт и публичные тесты не ослаблены. +- [x] Выполнены эквивалентные Python-команды `make check` и `make test`; результаты приведены в отчёте. +- [x] Сценарии отказов/безопасности своего уровня воспроизведены. +- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. +- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. diff --git a/REPORT.md b/REPORT.md index e98f75e..d87646c 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,65 @@ # Отчёт — лабораторная 5 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Ромашко Владимир, БВТ2301. +- Целевая оценка; выбранный трек 5: **5, трек 1 — очередь под перегрузкой**. +- Commit/PR: проверенная реализация — `ff6d7c1` +- Источники, библиотеки и помощь ИИ: [задание](README.md), [контракт](contracts/README.md); FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, тестов и оформления. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker с Compose, Python на хосте и свободный порт 8080. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, Nginx 1.28.0; MinIO закреплён digest в `compose.yaml`, зависимости — в `requirements.txt`. + +```sh +cp .env.example .env +# Задать свои POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD и S3_SECRET_ACCESS_KEY. +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build +# Дождаться 200 {"status":"ok"}: +curl http://127.0.0.1:8080/health/ready +python -X utf8 scripts/check_contract.py +python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 +``` + +Последние две команды эквивалентны `make check` и `make test`. Миграции выполняет сервис `migrate` до запуска API/worker. Остановка с сохранением данных: `docker compose down`. Намеренное удаление учебных данных: `docker compose down -v`. `.env` не входит в Git. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab4, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Из lab4 перенесены API, две реплики за Nginx, PostgreSQL, Redis-сессии и private MinIO. Добавлены Redis Streams broker, dispatcher и worker. PostgreSQL — источник истины: после сохранения оригинала в staging вложение и job/outbox записываются одной транзакцией; затем возвращается `202 queued`. + +Dispatcher публикует job в брокер с AOF/`appendfsync=always`. Worker сохраняет оригинал и варианты, затем атомарно фиксирует ready. Доставка at least once; состояние job, lease-token и постоянные ключи объектов защищают от дублей. Ответ на XADD подтверждает приём брокером, XACK — обработку потребителем. + +Thumbnail — JPEG до 256×256, crop — JPEG 128×128, quality=85; optimized — WebP до 1280×1280, quality=80. Применяется EXIF orientation, прозрачность заменяется белым, EXIF/ICC удаляются; оригинал неизменен. + +Настройки `.env.example` передаются через Compose: 2 обработчика, prefetch=1, 5 попыток с backoff/jitter, timeout 60 с, lease 75 с, 768 MiB на процесс. Файл ограничен 10 MiB и 40 млн пикселей. Общий лимит — 64 queued/processing; превышение даёт 429 с `Retry-After`. Cleanup удаляет ready-staging и просроченные failed/orphan-объекты, retention — сутки. Команды failed/replay и детали — в [infra/async.md](infra/async.md). ## Доказательства критериев +Ниже `pipeline` — `python -X utf8 student-tests/pipeline.py`, `edge_cases` — `python -X utf8 student-tests/edge_cases.py`. + | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke, 202/queued, доступ, оригинал | Команда smoke выше | PASS, thumbnail соответствует контракту | [Проверка](evidence/defense-check.md) | +| Отдельные broker/worker и сохранность | `pipeline`: остановка worker, рестарт API/broker | Прежний ID становится ready | [Вывод](evidence/defense-pipeline.txt) | +| Ограниченные попытки и дубли | `pipeline` | 5 попыток → failed; дубль ready — no-op | [Вывод](evidence/defense-pipeline.txt) | +| Варианты, EXIF, alpha, размеры | Unittest из `infra/async.md`, `pipeline` | 5/5 OK; проверены варианты и checksum | [Проверка](evidence/defense-check.md) | +| Лимиты и постоянные ошибки | `edge_cases`, unittest | Невалидные файлы отклонены, timeout завершает процесс | [Вывод](evidence/defense-edge-cases.txt) | +| Outbox: crash до publish | `pipeline --outbox-only`: SIGKILL API | Задание восстановлено без нового upload | [Вывод](evidence/defense-outbox-crash.txt) | +| Retry, failed-реестр и replay | `pipeline` | Replay с audit, ready повторять нельзя | [Вывод](evidence/defense-pipeline.txt) | +| Crash после S3, lease и cleanup | `pipeline`, `edge_cases` | Нет лишних вариантов; активный staging сохранён | [Вывод](evidence/defense-pipeline.txt) | +| Трек 1: нагрузка и backpressure | `python -X utf8 scripts/queue_experiment.py` | 18 замеров; при лимите 12 приняты 12/24; все принятые ID восстановлены | [Результаты](evidence/queue-results.md) | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Гипотеза: 2 обработчика ускорят обработку относительно 1; 4 дадут меньшую отдачу при большем RSS. Docker: 8 CPU, около 7.76 GiB RAM; worker — 2 CPU и 2 GiB. Профиль: concurrency 1/2/4, prefetch=1; JPEG 320×200, 1280×800, 2560×1600; по 18 файлов, 6 клиентов, 2 повтора, прогрев 6 файлами. Все 324 измеряемые загрузки успешны с первой попытки. + +При concurrency=2 средний throughput — 0.53–0.62 файла/с, p95 до ready — 28.74–32.25 с, пиковый RSS — 357–423 MiB. При concurrency=4 — 0.52–0.58 файла/с и до 713 MiB. Оставлено 2 обработчика. Длительности, queue lag и замеры: [CSV](evidence/queue-load.csv), [JSON](evidence/queue-load.json), [методика](evidence/queue-method.md). p50/p99 и фактическая загрузка CPU отдельно не измерялись. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| SIGKILL API до publish | Outbox сохранит работу | Прежний ID стал ready | После запуска dispatcher/worker; потерь нет | +| Crash после S3 / до ACK | Безопасный повтор | Нет лишних объектов; ready не обрабатывается заново | Незавершённая попытка — после lease 75 с и backoff; потерь нет | +| Перегрузка, worker остановлен | Ограничение очереди | 12 ответов 202, 12 ответов 429; после рестартов все принятые ID готовы | Наблюдаемое опустошение 18.63 с; потерь нет | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Хранилища работают по одному экземпляру; потеря volumes не покрывается. Лимит очереди действует после приёма HTTP bytes. После истечения failed-retention нужен новый upload. Всего два повтора нагрузки; p95 по 18 файлам равен максимуму, RSS может повторно учитывать общие страницы. Новый чистый clone отдельно не разворачивался. Следующий шаг — более длинный эксперимент на разных изображениях и CPU-профилирование. diff --git a/evidence/defense-check.md b/evidence/defense-check.md index 8a01020..1befc9a 100644 --- a/evidence/defense-check.md +++ b/evidence/defense-check.md @@ -1,8 +1,8 @@ # Проверка перед защитой — 6 ноября 2026 Техническая реализация покрывает уровни 3, 4 и трек 1 уровня 5. -Формальное оформление ещё не завершено: REPORT.md и шаблон PR оставлены -с TODO по указанию автора. Оценку выставляет преподаватель после защиты. +Результаты проверки включены в [REPORT.md](../REPORT.md) и шаблон PR. +Оценку выставляет преподаватель после защиты. | Требование | Проверка и результат | |---|---| @@ -33,5 +33,5 @@ Windows-checkout: `.gitattributes` сохраняет LF для `.sh`; Git-фи - Для этого стенда concurrency=2 даёт меньший RSS, чем 4, без устойчивой потери throughput. Два повтора и p95 по 18 файлам не доказывают универсальный SLA. -Перед сдачей остаётся заполнить REPORT.md и шаблон PR: автор/группа, целевая -оценка 5, трек 1, запуск, ссылки на эти доказательства, ограничения и помощь ИИ. +Автор/группа, целевая оценка, трек, запуск, доказательства, ограничения +и использование ИИ указаны в отчёте и шаблоне PR.