Files

135 lines
17 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 5
- Автор, группа: Дадайкин Андрей, БВТ2302
- Целевая оценка: 5; трек: 1 — очередь под перегрузкой
- Commit/PR: локальная работа, не опубликована
- Использованные источники, библиотеки и помощь ИИ: README и контракты курса; реализация продолжает lab4; Flask, psycopg, Argon2id, boto3, Pillow, Redis Streams, PostgreSQL, RustFS, HAProxy.
## Запуск из чистого clone
Нужны Docker Engine/Desktop с Compose v2 и Python 3.9+ на хосте для команд проверок. Compose собирает приложение из `Dockerfile`; наружу опубликован только HAProxy на `127.0.0.1:8081`. Теги образов зафиксированы в `compose.yaml`; Python-образ приложения — `python:3.12.12-slim`, зависимости приложения — в `requirements.lock`.
```sh
python scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --scale api=2 --wait --wait-timeout 180
python scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://localhost:8081
```
bootstrap.py создаёт локальные secrets и .env с правами доступа, не печатая значения. Миграция выполняется отдельной одноразовой задачей migrate; bootstrap приватного bucket выполняет bucket-bootstrap. Тесты используют http://localhost:8081. Для контрольных отказов и исследования:
```sh
python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8081
python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8081
python tests/worker_outage.py --base-url http://localhost:8081
python tests/broker_restart.py --base-url http://localhost:8081
python tests/retry_replay.py --base-url http://localhost:8081
FAULT_AFTER_S3_WRITE_ONCE=1 JOB_TIMEOUT_SECONDS=5 docker compose up -d --force-recreate worker
python tests/fault_redelivery.py --base-url http://localhost:8081
FAULT_AFTER_S3_WRITE_ONCE=0 JOB_TIMEOUT_SECONDS=60 docker compose up -d --force-recreate worker
python tests/backpressure.py --base-url http://localhost:8081
```
Трек нагрузки запускается трижды (concurrency 1, 2, 4):
```sh
WORKER_CONCURRENCY=1 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 1 --output evidence/pipeline-load-c1.json
WORKER_CONCURRENCY=2 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 2 --output evidence/pipeline-load-c2.json
WORKER_CONCURRENCY=4 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 4 --output evidence/pipeline-load-c4.json
```
## Архитектура и решения
```text
клиент → HAProxy → API × 2 → PostgreSQL
├── Redis: кэш профиля
└── RustFS/S3: staging, оригиналы, варианты
PostgreSQL outbox → Redis Streams/AOF → отдельный worker → RustFS/S3
```
Сохранены маршруты и поведение lab4. Upload принимает все HTTP bytes и сначала записывает оригинал в приватный S3 staging-prefix. Затем в одной PostgreSQL-транзакции создаются metadata со статусом queued и запись attachment_jobs; только после commit API возвращает 202. Если API остановится после этого ответа, durable staging и намерение остаются. Worker обслуживает PostgreSQL outbox: после успешного XADD отмечает запись опубликованной. Неподтверждённые публикации и опубликованные записи с истёкшим временем повтора отправляются снова; Redis Streams доставляет at least once, а не exactly once.
Worker получает только ID job и вложения. Он блокирует запись job, получает lease, проверяет исходник и пишет оригинал/варианты по детерминированным ключам. Для pipeline v1 ключи вариантов имеют префикс variants/v1/<attachment-id>/. Ready и список вариантов фиксируются в PostgreSQL только после завершения S3-записей; после этого удаляется staging и подтверждается сообщение. Дубль уже ready job — no-op. Потерянный worker восстанавливается по истёкшему lease; попытки ограничены JOB_MAX_ATTEMPTS=5, задержка повторов растёт экспоненциально и содержит jitter. Финальная ошибка сохраняется в metadata/audit и Redis Stream attachment-jobs-dlq; отдельная команда replay принимает только failed job.
Thumbnail — JPEG, вписан в 256×256 без увеличения, сохраняет пропорции, применяет EXIF orientation, alpha композитится на белый. Crop — центрированный JPEG 128×128. Optimized — WebP, вписанный в 1280×1280 без увеличения, качество 82, EXIF исключён. Проверяются лимиты upload 10 MiB и декодирования 40 млн пикселей; worker ограничен контейнерным лимитом памяти и WORKER_CONCURRENCY. S3 I/O имеет connect/read timeout; зависшая job получает lease timeout и ограниченно переходит к повторам.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| -------------------------------------------- | ----------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------- |
| Офлайн-контракт и синтаксис | `python scripts/check_contract.py` | PASS | вывод команды |
| Полная OpenAPI/JSON Schema | `python scripts/validate_openapi.py` | PASS | вывод команды |
| Compose, версии, миграция и готовность | `docker compose up -d --scale api=2 --wait` | PASS: PostgreSQL, Redis, брокер, RustFS, 2 API, HAProxy и worker healthy; миграция и bucket bootstrap завершились | `compose.yaml` |
| Публичный smoke | `python -X utf8 tests/smoke.py` | PASS: API flow lab1–5, 202 upload, ready, байты/SHA-256 оригинала, JPEG thumbnail 256×160 | `tests/smoke.py` |
| Durable staging и 202 | `python tests/worker_outage.py` | PASS: worker остановлен, upload вернул 202; после рестарта API та же запись оставалась queued; после старта worker стала ready | `evidence/worker-outage.json` |
| Отдельные broker/worker и сохранение брокера | `python tests/broker_restart.py` | PASS: опубликованное сообщение пережило рестарт Redis с AOF volume; stream длина 3 до/после; задача дошла до ready | `evidence/broker-restart.json` |
| At-least-once, side effect до ack | `python tests/fault_redelivery.py` | PASS: после записи S3 worker аварийно упал (fault injection); перезапущенный worker повторно обработал ту же job без дублей вариантов | `evidence/fault-redelivery.json` |
| Ограниченные retry, DLQ и replay | `python tests/retry_replay.py` | PASS: отсутствующий staging дал `retry_exhausted` после 5 попыток; попало в DLQ; после восстановления staging явный replay завершился ready | `evidence/retry-replay.json` |
| Backpressure и ограничение приёма | `python tests/backpressure.py` | PASS: при заполненной очереди (лимит 1) второй upload отклонен (503); первый успешно завершился | `evidence/backpressure.json` |
| Все сервисы и данные переживают рестарт | `python tests/resilience.py --mode persistence` | PASS: прежний bearer token, чат, сообщение и вложение сохранились | `evidence/` |
| Отказ API-реплики | `python tests/resilience.py --mode failover` | PASS: до отказа 2 instance; переключение за 2.39 с, подтвержденные сообщения сохранились | `evidence/` |
| Track 5: три concurrency и смешанные размеры | `tests/pipeline_load.py`, concurrency 1/2/4 | PASS: 36/36 ready, ошибок 0; измерены ready throughput, latency, queue-wait и RSS | `evidence/pipeline-load-c*.json` |
## Эксперименты и отказы
### Трек 1 — очередь под нагрузкой
**Гипотеза.** Увеличение числа обработчиков с 1 до 2 уменьшит очередь и p95 до
ready, но поднимет RSS; после точки насыщения CPU/S3 throughput перестанет
расти. Входной лимит очереди должен останавливать приём новых задач и сохранять
уже подтверждённые.
**Методика.** Docker Compose локально, Python 3.12 в контейнерах, хост Windows 11.
API×2, один worker. Для каждого concurrency (1, 2, 4) созданы 12 синтетических
PNG: 320×200, 1024×768 и 2048×1536. Upload-клиенты — 6. Замерялись время до
ready, оценка queue wait и RSS docker stats (интервал 250 мс).
| Worker concurrency / prefetch | Успешно / ошибки | Ready throughput | Ready p50 / p95 / p99 | Оценка queue-wait p50 / p95 | Пиковая sampled RSS |
| ----------------------------: | ---------------: | ---------------: | -----------------------------: | --------------------------: | ------------------: |
| 1 | 12 / 0 | 1,311 файла/с | 3253,53 / 5788,39 / 5788,39 мс | 2775,81 / 4955,47 мс | 104,10 MiB |
| 2 | 12 / 0 | 1,482 файла/с | 3449,67 / 5566,78 / 5566,78 мс | 2163,50 / 4059,81 мс | 150,50 MiB |
| 4 | 12 / 0 | 1,510 файла/с | 2091,93 / 5172,02 / 5172,02 мс | 1615,54 / 2800,88 мс | 186,10 MiB |
Рост concurrency с 1 до 4 сократил медианное время ожидания в очереди с 2775 мс
до 1615 мс (в 1.7 раза) и медианную задержку ready с 3253 мс до 2091 мс. При
этом пиковый RSS воркера увеличился со 104 MiB до 186 MiB из-за одновременной
обработки нескольких изображений в памяти Pillow. Пропускная способность выросла
умеренно (с 1.31 до 1.51 файла/с) из-за насыщения хостового CPU при
компрессии/ресайзе картинок на короткой дистанции.
**Backpressure.** В backpressure.py worker был остановлен, а лимит MAX_QUEUED_JOBS
временно выставлен в 1. Первая загрузка получила 202 и сохранилась queued,
вторая получила 503 до записи staging/metadata. После запуска worker исходная
задача завершилась ready и SHA-256 совпал. Восстановление завершилось за 8.38 с.
### Отказы и сохранность
| Воздействие | Ожидание | Наблюдение | Восстановление / потеря данных |
| ---------------------------------------------- | -------------------------------------------- | ------------------------------------------------------------------- | --------------------------------------------------------- |
| Worker остановлен, затем API рестартован | 202 job остаётся в durable outbox/staging | queued после API restart, ready после запуска worker | 10,24 с; потери нет |
| Broker рестартован при непрочитанном сообщении | Redis AOF volume сохраняет stream | stream сохранен (длина 3); задача стала ready | автоматическое; потери нет |
| Worker crash после S3 writes, до DB ready/ack | повторная доставка завершает ту же job | worker restart 0→1, готово 3 варианта, SHA совпал | 6,13 с; дубль не создал набор вариантов |
| Временная ошибка staging | максимум 5 попыток, затем failed и DLQ | `retry_exhausted`, DLQ зафиксирован; операторский replay стал ready | 34,52 с до отказа и replay; успешную job replay отвергает |
| Очередь заполнена | новое задание отклоняется, принятые остаются | 202, затем 503; первая job завершилась | 8,38 с; потери нет |
| Рестарт всех Compose контейнеров | session и подтверждённые данные доступны | persistence hook PASS с прежним token | потери нет; volumes сохранены |
| Остановка API-реплики | другая реплика продолжает писать | более 100 успешных запросов, восстановление 2.39 с | подтверждённые сообщения сохранились |
## Ограничения и следующие шаги
Эксперимент проведён на локальном Docker Desktop под Windows 11. Нагрузка
closed-loop, 12 объектов на профиль; p95/p99 чувствительны к малым выборкам.
Broker развёрнут одним Redis с AOF volume, PostgreSQL и RustFS также одиночные
экземпляры; Compose сценарий проверяет сохранность данных, но не HA узлов.
Варианты и ключи используют pipeline version v1. Очередь ограничивает число
активных jobs, но для длительной эксплуатации требуются retention/cleanup policy
устаревшего staging и мониторинг DLQ. EOF