forked from mtusi2026/mtusi2026lab5
report
This commit is contained in:
@@ -1,18 +1,22 @@
|
||||
## Лабораторная 5
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Ромашко Владимир, БВТ2301.
|
||||
Целевая оценка (3/4/5): **5**.
|
||||
Трек 5, если заявлен: **1 — очередь под перегрузкой**.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Что реализовано и что перенесено: перенесён мессенджер lab4; добавлены Redis Streams, outbox/dispatcher, отдельный worker, thumbnail/crop/WebP, retry с backoff/jitter, lease, failed-реестр/replay, cleanup и общий лимит очереди.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Команды запуска из чистого clone: `cp .env.example .env`, задать локальные пароли, затем `docker compose --env-file .env up -d --build`. После готовности API: `python -X utf8 scripts/check_contract.py` и `python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080` (эквиваленты `make check`/`make test`).
|
||||
|
||||
Результаты проверок и ссылка на REPORT.md: smoke, 5 тестов изображений, сбои/SIGKILL, retry/replay и timeout прошли. Трек 1: 18 замеров, 324 успешные загрузки; проверены backpressure и восстановление принятых ID. Подробности: [REPORT.md](../REPORT.md), [проверки](../evidence/defense-check.md), [эксперимент](../evidence/queue-results.md).
|
||||
|
||||
Ограничения / известные ошибки: хранилища по одному экземпляру; потеря volumes не покрывается. Два повтора нагрузки не дают универсального SLA; чистый clone отдельно не проверялся.
|
||||
|
||||
Источники и использование ИИ: задание и контракт репозитория; FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, проверок и оформления.
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] Выполнены эквивалентные Python-команды `make check` и `make test`; результаты приведены в отчёте.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
@@ -1,37 +1,65 @@
|
||||
# Отчёт — лабораторная 5
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Ромашко Владимир, БВТ2301.
|
||||
- Целевая оценка; выбранный трек 5: **5, трек 1 — очередь под перегрузкой**.
|
||||
- Commit/PR: проверенная реализация — `ff6d7c1`
|
||||
- Источники, библиотеки и помощь ИИ: [задание](README.md), [контракт](contracts/README.md); FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, тестов и оформления.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker с Compose, Python на хосте и свободный порт 8080. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, Nginx 1.28.0; MinIO закреплён digest в `compose.yaml`, зависимости — в `requirements.txt`.
|
||||
|
||||
```sh
|
||||
cp .env.example .env
|
||||
# Задать свои POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD и S3_SECRET_ACCESS_KEY.
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
# Дождаться 200 {"status":"ok"}:
|
||||
curl http://127.0.0.1:8080/health/ready
|
||||
python -X utf8 scripts/check_contract.py
|
||||
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
```
|
||||
|
||||
Последние две команды эквивалентны `make check` и `make test`. Миграции выполняет сервис `migrate` до запуска API/worker. Остановка с сохранением данных: `docker compose down`. Намеренное удаление учебных данных: `docker compose down -v`. `.env` не входит в Git.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab4, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Из lab4 перенесены API, две реплики за Nginx, PostgreSQL, Redis-сессии и private MinIO. Добавлены Redis Streams broker, dispatcher и worker. PostgreSQL — источник истины: после сохранения оригинала в staging вложение и job/outbox записываются одной транзакцией; затем возвращается `202 queued`.
|
||||
|
||||
Dispatcher публикует job в брокер с AOF/`appendfsync=always`. Worker сохраняет оригинал и варианты, затем атомарно фиксирует ready. Доставка at least once; состояние job, lease-token и постоянные ключи объектов защищают от дублей. Ответ на XADD подтверждает приём брокером, XACK — обработку потребителем.
|
||||
|
||||
Thumbnail — JPEG до 256×256, crop — JPEG 128×128, quality=85; optimized — WebP до 1280×1280, quality=80. Применяется EXIF orientation, прозрачность заменяется белым, EXIF/ICC удаляются; оригинал неизменен.
|
||||
|
||||
Настройки `.env.example` передаются через Compose: 2 обработчика, prefetch=1, 5 попыток с backoff/jitter, timeout 60 с, lease 75 с, 768 MiB на процесс. Файл ограничен 10 MiB и 40 млн пикселей. Общий лимит — 64 queued/processing; превышение даёт 429 с `Retry-After`. Cleanup удаляет ready-staging и просроченные failed/orphan-объекты, retention — сутки. Команды failed/replay и детали — в [infra/async.md](infra/async.md).
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Ниже `pipeline` — `python -X utf8 student-tests/pipeline.py`, `edge_cases` — `python -X utf8 student-tests/edge_cases.py`.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Публичный smoke, 202/queued, доступ, оригинал | Команда smoke выше | PASS, thumbnail соответствует контракту | [Проверка](evidence/defense-check.md) |
|
||||
| Отдельные broker/worker и сохранность | `pipeline`: остановка worker, рестарт API/broker | Прежний ID становится ready | [Вывод](evidence/defense-pipeline.txt) |
|
||||
| Ограниченные попытки и дубли | `pipeline` | 5 попыток → failed; дубль ready — no-op | [Вывод](evidence/defense-pipeline.txt) |
|
||||
| Варианты, EXIF, alpha, размеры | Unittest из `infra/async.md`, `pipeline` | 5/5 OK; проверены варианты и checksum | [Проверка](evidence/defense-check.md) |
|
||||
| Лимиты и постоянные ошибки | `edge_cases`, unittest | Невалидные файлы отклонены, timeout завершает процесс | [Вывод](evidence/defense-edge-cases.txt) |
|
||||
| Outbox: crash до publish | `pipeline --outbox-only`: SIGKILL API | Задание восстановлено без нового upload | [Вывод](evidence/defense-outbox-crash.txt) |
|
||||
| Retry, failed-реестр и replay | `pipeline` | Replay с audit, ready повторять нельзя | [Вывод](evidence/defense-pipeline.txt) |
|
||||
| Crash после S3, lease и cleanup | `pipeline`, `edge_cases` | Нет лишних вариантов; активный staging сохранён | [Вывод](evidence/defense-pipeline.txt) |
|
||||
| Трек 1: нагрузка и backpressure | `python -X utf8 scripts/queue_experiment.py` | 18 замеров; при лимите 12 приняты 12/24; все принятые ID восстановлены | [Результаты](evidence/queue-results.md) |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Гипотеза: 2 обработчика ускорят обработку относительно 1; 4 дадут меньшую отдачу при большем RSS. Docker: 8 CPU, около 7.76 GiB RAM; worker — 2 CPU и 2 GiB. Профиль: concurrency 1/2/4, prefetch=1; JPEG 320×200, 1280×800, 2560×1600; по 18 файлов, 6 клиентов, 2 повтора, прогрев 6 файлами. Все 324 измеряемые загрузки успешны с первой попытки.
|
||||
|
||||
При concurrency=2 средний throughput — 0.53–0.62 файла/с, p95 до ready — 28.74–32.25 с, пиковый RSS — 357–423 MiB. При concurrency=4 — 0.52–0.58 файла/с и до 713 MiB. Оставлено 2 обработчика. Длительности, queue lag и замеры: [CSV](evidence/queue-load.csv), [JSON](evidence/queue-load.json), [методика](evidence/queue-method.md). p50/p99 и фактическая загрузка CPU отдельно не измерялись.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| SIGKILL API до publish | Outbox сохранит работу | Прежний ID стал ready | После запуска dispatcher/worker; потерь нет |
|
||||
| Crash после S3 / до ACK | Безопасный повтор | Нет лишних объектов; ready не обрабатывается заново | Незавершённая попытка — после lease 75 с и backoff; потерь нет |
|
||||
| Перегрузка, worker остановлен | Ограничение очереди | 12 ответов 202, 12 ответов 429; после рестартов все принятые ID готовы | Наблюдаемое опустошение 18.63 с; потерь нет |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Хранилища работают по одному экземпляру; потеря volumes не покрывается. Лимит очереди действует после приёма HTTP bytes. После истечения failed-retention нужен новый upload. Всего два повтора нагрузки; p95 по 18 файлам равен максимуму, RSS может повторно учитывать общие страницы. Новый чистый clone отдельно не разворачивался. Следующий шаг — более длинный эксперимент на разных изображениях и CPU-профилирование.
|
||||
|
||||
@@ -1,8 +1,8 @@
|
||||
# Проверка перед защитой — 6 ноября 2026
|
||||
|
||||
Техническая реализация покрывает уровни 3, 4 и трек 1 уровня 5.
|
||||
Формальное оформление ещё не завершено: REPORT.md и шаблон PR оставлены
|
||||
с TODO по указанию автора. Оценку выставляет преподаватель после защиты.
|
||||
Результаты проверки включены в [REPORT.md](../REPORT.md) и шаблон PR.
|
||||
Оценку выставляет преподаватель после защиты.
|
||||
|
||||
| Требование | Проверка и результат |
|
||||
|---|---|
|
||||
@@ -33,5 +33,5 @@ Windows-checkout: `.gitattributes` сохраняет LF для `.sh`; Git-фи
|
||||
- Для этого стенда concurrency=2 даёт меньший RSS, чем 4, без устойчивой потери
|
||||
throughput. Два повтора и p95 по 18 файлам не доказывают универсальный SLA.
|
||||
|
||||
Перед сдачей остаётся заполнить REPORT.md и шаблон PR: автор/группа, целевая
|
||||
оценка 5, трек 1, запуск, ссылки на эти доказательства, ограничения и помощь ИИ.
|
||||
Автор/группа, целевая оценка, трек, запуск, доказательства, ограничения
|
||||
и использование ИИ указаны в отчёте и шаблоне PR.
|
||||
|
||||
Reference in New Issue
Block a user