forked from mtusi2026/mtusi2026lab5
135 lines
17 KiB
Markdown
135 lines
17 KiB
Markdown
# Отчёт — лабораторная 5
|
||
|
||
- Автор, группа: Дадайкин Андрей, БВТ2302
|
||
- Целевая оценка: 5; трек: 1 — очередь под перегрузкой
|
||
- Commit/PR: локальная работа, не опубликована
|
||
- Использованные источники, библиотеки и помощь ИИ: README и контракты курса; реализация продолжает lab4; Flask, psycopg, Argon2id, boto3, Pillow, Redis Streams, PostgreSQL, RustFS, HAProxy.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Нужны Docker Engine/Desktop с Compose v2 и Python 3.9+ на хосте для команд проверок. Compose собирает приложение из `Dockerfile`; наружу опубликован только HAProxy на `127.0.0.1:8081`. Теги образов зафиксированы в `compose.yaml`; Python-образ приложения — `python:3.12.12-slim`, зависимости приложения — в `requirements.lock`.
|
||
```sh
|
||
python scripts/bootstrap.py
|
||
docker compose config --quiet
|
||
docker compose up -d --build --scale api=2 --wait --wait-timeout 180
|
||
python scripts/check_contract.py
|
||
python -X utf8 tests/smoke.py --base-url http://localhost:8081
|
||
```
|
||
|
||
bootstrap.py создаёт локальные secrets и .env с правами доступа, не печатая значения. Миграция выполняется отдельной одноразовой задачей migrate; bootstrap приватного bucket выполняет bucket-bootstrap. Тесты используют http://localhost:8081. Для контрольных отказов и исследования:
|
||
|
||
```sh
|
||
python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8081
|
||
python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8081
|
||
python tests/worker_outage.py --base-url http://localhost:8081
|
||
python tests/broker_restart.py --base-url http://localhost:8081
|
||
python tests/retry_replay.py --base-url http://localhost:8081
|
||
FAULT_AFTER_S3_WRITE_ONCE=1 JOB_TIMEOUT_SECONDS=5 docker compose up -d --force-recreate worker
|
||
python tests/fault_redelivery.py --base-url http://localhost:8081
|
||
FAULT_AFTER_S3_WRITE_ONCE=0 JOB_TIMEOUT_SECONDS=60 docker compose up -d --force-recreate worker
|
||
python tests/backpressure.py --base-url http://localhost:8081
|
||
```
|
||
|
||
Трек нагрузки запускается трижды (concurrency 1, 2, 4):
|
||
|
||
```sh
|
||
WORKER_CONCURRENCY=1 docker compose up -d --force-recreate worker
|
||
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 1 --output evidence/pipeline-load-c1.json
|
||
|
||
WORKER_CONCURRENCY=2 docker compose up -d --force-recreate worker
|
||
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 2 --output evidence/pipeline-load-c2.json
|
||
|
||
WORKER_CONCURRENCY=4 docker compose up -d --force-recreate worker
|
||
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 4 --output evidence/pipeline-load-c4.json
|
||
```
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
клиент → HAProxy → API × 2 → PostgreSQL
|
||
├── Redis: кэш профиля
|
||
└── RustFS/S3: staging, оригиналы, варианты
|
||
PostgreSQL outbox → Redis Streams/AOF → отдельный worker → RustFS/S3
|
||
```
|
||
|
||
Сохранены маршруты и поведение lab4. Upload принимает все HTTP bytes и сначала записывает оригинал в приватный S3 staging-prefix. Затем в одной PostgreSQL-транзакции создаются metadata со статусом queued и запись attachment_jobs; только после commit API возвращает 202. Если API остановится после этого ответа, durable staging и намерение остаются. Worker обслуживает PostgreSQL outbox: после успешного XADD отмечает запись опубликованной. Неподтверждённые публикации и опубликованные записи с истёкшим временем повтора отправляются снова; Redis Streams доставляет at least once, а не exactly once.
|
||
|
||
Worker получает только ID job и вложения. Он блокирует запись job, получает lease, проверяет исходник и пишет оригинал/варианты по детерминированным ключам. Для pipeline v1 ключи вариантов имеют префикс variants/v1/<attachment-id>/. Ready и список вариантов фиксируются в PostgreSQL только после завершения S3-записей; после этого удаляется staging и подтверждается сообщение. Дубль уже ready job — no-op. Потерянный worker восстанавливается по истёкшему lease; попытки ограничены JOB_MAX_ATTEMPTS=5, задержка повторов растёт экспоненциально и содержит jitter. Финальная ошибка сохраняется в metadata/audit и Redis Stream attachment-jobs-dlq; отдельная команда replay принимает только failed job.
|
||
|
||
Thumbnail — JPEG, вписан в 256×256 без увеличения, сохраняет пропорции, применяет EXIF orientation, alpha композитится на белый. Crop — центрированный JPEG 128×128. Optimized — WebP, вписанный в 1280×1280 без увеличения, качество 82, EXIF исключён. Проверяются лимиты upload 10 MiB и декодирования 40 млн пикселей; worker ограничен контейнерным лимитом памяти и WORKER_CONCURRENCY. S3 I/O имеет connect/read timeout; зависшая job получает lease timeout и ограниченно переходит к повторам.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| -------------------------------------------- | ----------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------- |
|
||
| Офлайн-контракт и синтаксис | `python scripts/check_contract.py` | PASS | вывод команды |
|
||
| Полная OpenAPI/JSON Schema | `python scripts/validate_openapi.py` | PASS | вывод команды |
|
||
| Compose, версии, миграция и готовность | `docker compose up -d --scale api=2 --wait` | PASS: PostgreSQL, Redis, брокер, RustFS, 2 API, HAProxy и worker healthy; миграция и bucket bootstrap завершились | `compose.yaml` |
|
||
| Публичный smoke | `python -X utf8 tests/smoke.py` | PASS: API flow lab1–5, 202 upload, ready, байты/SHA-256 оригинала, JPEG thumbnail 256×160 | `tests/smoke.py` |
|
||
| Durable staging и 202 | `python tests/worker_outage.py` | PASS: worker остановлен, upload вернул 202; после рестарта API та же запись оставалась queued; после старта worker стала ready | `evidence/worker-outage.json` |
|
||
| Отдельные broker/worker и сохранение брокера | `python tests/broker_restart.py` | PASS: опубликованное сообщение пережило рестарт Redis с AOF volume; stream длина 3 до/после; задача дошла до ready | `evidence/broker-restart.json` |
|
||
| At-least-once, side effect до ack | `python tests/fault_redelivery.py` | PASS: после записи S3 worker аварийно упал (fault injection); перезапущенный worker повторно обработал ту же job без дублей вариантов | `evidence/fault-redelivery.json` |
|
||
| Ограниченные retry, DLQ и replay | `python tests/retry_replay.py` | PASS: отсутствующий staging дал `retry_exhausted` после 5 попыток; попало в DLQ; после восстановления staging явный replay завершился ready | `evidence/retry-replay.json` |
|
||
| Backpressure и ограничение приёма | `python tests/backpressure.py` | PASS: при заполненной очереди (лимит 1) второй upload отклонен (503); первый успешно завершился | `evidence/backpressure.json` |
|
||
| Все сервисы и данные переживают рестарт | `python tests/resilience.py --mode persistence` | PASS: прежний bearer token, чат, сообщение и вложение сохранились | `evidence/` |
|
||
| Отказ API-реплики | `python tests/resilience.py --mode failover` | PASS: до отказа 2 instance; переключение за 2.39 с, подтвержденные сообщения сохранились | `evidence/` |
|
||
| Track 5: три concurrency и смешанные размеры | `tests/pipeline_load.py`, concurrency 1/2/4 | PASS: 36/36 ready, ошибок 0; измерены ready throughput, latency, queue-wait и RSS | `evidence/pipeline-load-c*.json` |
|
||
|
||
|
||
## Эксперименты и отказы
|
||
|
||
### Трек 1 — очередь под нагрузкой
|
||
|
||
**Гипотеза.** Увеличение числа обработчиков с 1 до 2 уменьшит очередь и p95 до
|
||
ready, но поднимет RSS; после точки насыщения CPU/S3 throughput перестанет
|
||
расти. Входной лимит очереди должен останавливать приём новых задач и сохранять
|
||
уже подтверждённые.
|
||
|
||
**Методика.** Docker Compose локально, Python 3.12 в контейнерах, хост Windows 11.
|
||
API×2, один worker. Для каждого concurrency (1, 2, 4) созданы 12 синтетических
|
||
PNG: 320×200, 1024×768 и 2048×1536. Upload-клиенты — 6. Замерялись время до
|
||
ready, оценка queue wait и RSS docker stats (интервал 250 мс).
|
||
|
||
| Worker concurrency / prefetch | Успешно / ошибки | Ready throughput | Ready p50 / p95 / p99 | Оценка queue-wait p50 / p95 | Пиковая sampled RSS |
|
||
| ----------------------------: | ---------------: | ---------------: | -----------------------------: | --------------------------: | ------------------: |
|
||
| 1 | 12 / 0 | 1,311 файла/с | 3253,53 / 5788,39 / 5788,39 мс | 2775,81 / 4955,47 мс | 104,10 MiB |
|
||
| 2 | 12 / 0 | 1,482 файла/с | 3449,67 / 5566,78 / 5566,78 мс | 2163,50 / 4059,81 мс | 150,50 MiB |
|
||
| 4 | 12 / 0 | 1,510 файла/с | 2091,93 / 5172,02 / 5172,02 мс | 1615,54 / 2800,88 мс | 186,10 MiB |
|
||
|
||
Рост concurrency с 1 до 4 сократил медианное время ожидания в очереди с 2775 мс
|
||
до 1615 мс (в 1.7 раза) и медианную задержку ready с 3253 мс до 2091 мс. При
|
||
этом пиковый RSS воркера увеличился со 104 MiB до 186 MiB из-за одновременной
|
||
обработки нескольких изображений в памяти Pillow. Пропускная способность выросла
|
||
умеренно (с 1.31 до 1.51 файла/с) из-за насыщения хостового CPU при
|
||
компрессии/ресайзе картинок на короткой дистанции.
|
||
|
||
**Backpressure.** В backpressure.py worker был остановлен, а лимит MAX_QUEUED_JOBS
|
||
временно выставлен в 1. Первая загрузка получила 202 и сохранилась queued,
|
||
вторая получила 503 до записи staging/metadata. После запуска worker исходная
|
||
задача завершилась ready и SHA-256 совпал. Восстановление завершилось за 8.38 с.
|
||
|
||
### Отказы и сохранность
|
||
|
||
| Воздействие | Ожидание | Наблюдение | Восстановление / потеря данных |
|
||
| ---------------------------------------------- | -------------------------------------------- | ------------------------------------------------------------------- | --------------------------------------------------------- |
|
||
| Worker остановлен, затем API рестартован | 202 job остаётся в durable outbox/staging | queued после API restart, ready после запуска worker | 10,24 с; потери нет |
|
||
| Broker рестартован при непрочитанном сообщении | Redis AOF volume сохраняет stream | stream сохранен (длина 3); задача стала ready | автоматическое; потери нет |
|
||
| Worker crash после S3 writes, до DB ready/ack | повторная доставка завершает ту же job | worker restart 0→1, готово 3 варианта, SHA совпал | 6,13 с; дубль не создал набор вариантов |
|
||
| Временная ошибка staging | максимум 5 попыток, затем failed и DLQ | `retry_exhausted`, DLQ зафиксирован; операторский replay стал ready | 34,52 с до отказа и replay; успешную job replay отвергает |
|
||
| Очередь заполнена | новое задание отклоняется, принятые остаются | 202, затем 503; первая job завершилась | 8,38 с; потери нет |
|
||
| Рестарт всех Compose контейнеров | session и подтверждённые данные доступны | persistence hook PASS с прежним token | потери нет; volumes сохранены |
|
||
| Остановка API-реплики | другая реплика продолжает писать | более 100 успешных запросов, восстановление 2.39 с | подтверждённые сообщения сохранились |
|
||
|
||
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Эксперимент проведён на локальном Docker Desktop под Windows 11. Нагрузка
|
||
closed-loop, 12 объектов на профиль; p95/p99 чувствительны к малым выборкам.
|
||
|
||
Broker развёрнут одним Redis с AOF volume, PostgreSQL и RustFS также одиночные
|
||
экземпляры; Compose сценарий проверяет сохранность данных, но не HA узлов.
|
||
Варианты и ключи используют pipeline version v1. Очередь ограничивает число
|
||
активных jobs, но для длительной эксплуатации требуются retention/cleanup policy
|
||
устаревшего staging и мониторинг DLQ. EOF
|