11 KiB
Отчёт — лабораторная 5
- Автор, группа: Булацев, БПИ2301
- Целевая оценка; выбранный трек 5, если нужен: 4. Трек 5 не заявляется.
- Commit/PR: mtusi2026/mtusi2026lab5#33
- Использованные источники, библиотеки и помощь ИИ: контракт репозитория, RabbitMQ reliability / publisher confirms, aio-pika, Pillow. Реализация и прогон проверок сделаны с помощью Cursor.
Запуск из чистого clone
Нужны Docker Compose v2 и Python 3.9+ на хосте. Образы закреплены: python:3.12.8-slim-bookworm, postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine, chrislusf/seaweedfs:3.85, rabbitmq:3.13.7-alpine.
cp .env.example .env
# заменить синтетические пароли в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2
migrate применяет SQL один раз, включая 005_jobs.sql. s3-init создаёт приватный bucket. Брокер — RabbitMQ с томом rabbitmq_data. Очереди attachment.jobs, attachment.jobs.retry и attachment.jobs.dlq объявляет приложение при первом соединении. Снаружи опубликован только 127.0.0.1:8080 у HAProxy. Реплики API, worker, Postgres, Redis, RabbitMQ и SeaweedFS наружу не публикуются. Порт S3 127.0.0.1:9000 оставлен для presigned PUT с хоста, как в lab4.
Готовность: GET http://127.0.0.1:8080/health/ready отвечает 200, когда доступны Postgres, Redis и bucket. Недоступный брокер не переводит API в 503 и не заставляет API делать resize: задание остаётся в таблице attachment_jobs с published_at IS NULL.
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 scripts/lab5_checks.py
python -X utf8 scripts/grade4_checks.py
Остановка без удаления данных: docker compose --env-file .env stop. Остановить только worker: sh scripts/stop-worker.sh. Полное удаление учебных volumes: docker compose --env-file .env down -v.
На этой машине lab4 уже занимает 127.0.0.1:8080 и 127.0.0.1:9000, поэтому прогон ниже шёл через дополнительный файл compose.altports.yaml (не часть сдачи): API на 127.0.0.1:8081, S3 на 127.0.0.1:9001.
Архитектура и решения
Из lab4 перенесены две реплики API за HAProxy, Postgres, Redis с AOF, SeaweedFS, сессии, идемпотентность сообщений и presigned upload. В этой работе приём файла отделён от обработки.
POST /attachments по-прежнему читает все байты клиента. Ответ 202 со status=queued возвращается только после PUT в приватный prefix staging/<id> и COMMIT строки вложения и задания. В сообщение брокера входят job_id, attachment_id, pipeline_version, attempt и created_at. Байтов, ключей доступа и клиентского пути там нет.
Публикация идёт из outbox: published_at ставится после publisher confirm. Повтор той же строки даёт то же job_id. Worker — отдельный процесс python -m app.worker. Он копирует оригинал в originals/<id>, строит варианты и только потом делает ack. Пока статус не ready, GET .../content отвечает 409. queued и processing можно прикрепить к сообщению, failed — нельзя.
Обязательный thumbnail: JPEG quality 90, вписан в 256×256 без увеличения, размеры округляются вниз, EXIF orientation применяется, альфа кладётся на белый. Fixture 320×200 даёт 256×160. На уровне 4 вместе с ним пишутся crop (центрированный JPEG 128×128, маленькие кадры увеличиваются) и optimized (WebP quality 80, method 6, вписан в 1280×1280 без увеличения, EXIF не копируется). ready ставится одним COMMIT вместе со всеми тремя вариантами. Ключ эффекта — (attachment_id, pipeline_version, name), pipeline_version=1.
Повтор: до 5 попыток (JOB_MAX_ATTEMPTS). Временный сбой возвращает job в queued с backoff 0.5 * 2^(attempt-1) секунд, не больше 30, и множителем 0.5–1.5. Постоянная ошибка картинки — invalid_image без повторов. Исчерпание попыток — retry_exhausted. Оба финальных кода пишутся в Postgres и лучшим усилием в DLQ. Повторная доставка уже ready job только проверяет строку и делает ack. Явный replay: python -m app.replay JOB_ID или POST /api/v1/_lab/attachments/{id}/replay при APP_ENV=lab. Для ready это no-op, job_id не меняется.
Lease равен JOB_TIMEOUT_SECONDS + 15. Просроченный processing забирает reaper и публикует ту же job снова. Prefetch равен WORKER_CONCURRENCY (по умолчанию 2). Staging удаляется после COMMIT результата. Байты failed в prefix staging/ снимаются не раньше STAGING_RETENTION_SECONDS (86400); метаданные остаются.
| Роль | Сервис | Образ | Проверка | Volume | Порт |
|---|---|---|---|---|---|
| api | api ×2 | сборка mtusi-messenger:lab5 |
/health/ready |
нет | только внутри сети |
| worker | worker | тот же образ, другая команда | процесс жив, healthcheck выключен | нет | не опубликован |
| postgres | postgres | postgres:16.6-alpine |
pg_isready |
pg_data |
не опубликован |
| redis | redis | redis:7.4.2-alpine |
redis-cli ping |
redis_data |
не опубликован |
| load_balancer | lb | haproxy:2.8.14-alpine |
backend /health/ready |
нет | 127.0.0.1:8080 |
| s3 | s3 | chrislusf/seaweedfs:3.85 |
master status и порт 9000 | s3_data |
127.0.0.1:9000 для presign |
| broker | rabbitmq | rabbitmq:3.13.7-alpine |
rabbitmq-diagnostics ping |
rabbitmq_data |
не опубликован |
Доказательства критериев
Стенд: та же машина, что и lab4 (12th Gen Intel Core i5-12450H, 16 ГБ RAM). Лимиты: API 0.50 CPU / 256 МиБ, worker 1 CPU / 768 МиБ. Прогон 2026-11-09, base URL http://127.0.0.1:8081.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8081 |
PASS: 202, затем ready, оригинал совпал, thumbnail 256×160 | вывод команды |
| Upload при остановленном worker | python -X utf8 scripts/lab5_checks.py |
worker остановлен, upload 202, content 409, текстовое сообщение с этим id — 201; после start worker вложение aae0c472-a799-4d51-97af-f88e7dbb0b5f стало ready, варианты thumbnail/crop/optimized |
вывод команды |
| Негативные файлы lab4 на новом коде | python -X utf8 scripts/grade4_checks.py |
PASS: 202 queued, затем скачивание оригинала; 400/413/415/404 без 500 | вывод команды |
| Разрыв COMMIT и publish | docker compose stop rabbitmq, upload, SQL, start rabbitmq |
upload 202, published_at NULL, status queued; после старта брокера job 1c92a0a4-f823-4f94-b3d9-c10c30bf2e4c стал ready, вариантов 3 |
вывод psql |
| Ограниченный retry, lease, DLQ, replay, crash до ack | код в app/jobs.py, app/worker.py, WORKER_CRASH_POINT=after_s3 |
в этом прогоне отдельно не воспроизводились | — |
scripts/restart.sh перезапускает postgres, redis, s3, rabbitmq, api и worker и не удаляет volumes. scripts/stop-one.sh по-прежнему останавливает одну API-реплику. Повторный прогон persistence/failover на стенде lab5 в этом заходе не делался.
Эксперименты и отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановлен worker, затем upload | 202 и сохранённое задание, content 409, чат жив | так и было; после start worker тот же id стал ready | около 1 с после start, файл не потерян |
| Остановлен RabbitMQ после COMMIT | 202, published_at пустой; после старта брокера задача доходит до ready |
SQL показал unpublished=t, затем ready и 3 варианта | около 19 с после start rabbitmq, новый upload не создавался |
Трек 5 не выполнялся. Отдельного замера throughput/RSS очереди нет.
Ограничения и следующие шаги
Стенд выдерживает остановку worker и разрыв между COMMIT и подтверждением брокера, пока живы Postgres и том RabbitMQ. Он не выдерживает потерю тома Postgres, тома S3 или единственного Docker-host. Потеря тома RabbitMQ до confirm компенсируется outbox в Postgres; потеря staging-объекта до копирования в originals/ делает job невыполнимой.
Не сделано в этом прогоне: crash worker после PUT и до ack, явный replay failed, persistence/failover скрипты lab3 на новом стенде, трек 5. WORKER_CRASH_POINT=after_s3 завершает процесс после записи объектов и до COMMIT; повторная доставка должна сойтись в те же ключи. Это ещё нужно показать на защите.