20 KiB
Отчёт — лабораторная 5
- Автор: Матвей Козырев, BVT2301.
- Целевая оценка: 5, трек 1 «Очередь под перегрузкой».
- Ветка:
solution/BVT2301-Kozyrev. Базовый commit:4f6e69c(add level 5); исправления критических ошибок и этот отчёт пока не закоммичены. Ссылка на PR не предоставлена. - Дата локальной проверки: 26 октября 2026 года.
- Статус: код и локальные проверки подготовлены; выполнение всех требований уровней 3–5 пока не подтверждено.
Исходная база, источники и помощь ИИ
Из собственной lab4 перенесены API на FastAPI, PostgreSQL-миграции, сессии, идемпотентность сообщений, S3-адаптер, две API-реплики и HAProxy. Основание проверки: README, семантика API, состояния вложений, OpenAPI, инфраструктура, публичные тесты.
Использован Codex для переноса исходников, подготовки реализации, аудита, исправлений и оформления отчёта. Локальные проверки не заменяют интеграционную демонстрацию. Справочные первоисточники задания: RabbitMQ reliability, publisher confirms и consumer acknowledgements.
Зависимости зафиксированы в pyproject.toml и uv.lock: FastAPI 0.141.1, Uvicorn 0.40.0, asyncpg 0.31.0, argon2-cffi 25.1.0, boto3 1.43.115, Pillow 13.0.0, pika 1.3.2. Имя пакета пока сохранено от lab4.
Запуск из чистого clone
Нужны Git, Python 3.12+ для приложения, uv и работающий Docker Engine с Compose v2. REST доступен на 127.0.0.1:8080; порт должен быть свободен, в том числе от стенда lab4. Используются синтетические данные.
В Dockerfile и Compose закреплены Python 3.12.12-slim, uv 0.11.28, PostgreSQL 17.6-alpine, SeaweedFS 4.17 с digest, RabbitMQ 4.1.2-alpine, HAProxy 3.0.11-alpine.
Из корня полученного clone:
git switch solution/BVT2301-Kozyrev
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
docker compose ps -a
curl --fail http://localhost:8080/health/ready
make test
Локальные credentials создаются в игнорируемом secrets/. Их содержимое нельзя публиковать. Стандартный Compose использует значения по умолчанию; отдельный .env не обязателен. Сервис migrate применяет SQL из migrations, s3-init создаёт приватный bucket и проверяет запись. API и worker зависят от успешного завершения этих сервисов.
Эта инструкция пока не подтверждена запуском из чистого clone. Успешный up -d сам по себе не доказывает готовность: нужны проверка процессов, readiness и smoke. Worker использует heartbeat AMQP event loop; outbox/reconcile не наследуют HTTP healthcheck.
Локальные проверки:
uv sync --locked --no-dev
make check
.venv/bin/python student-tests/pipeline_critical.py
# Для полной OpenAPI-валидации:
uv pip install --python .venv/bin/python -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
Остановка с сохранением volumes: docker compose down. Намеренный сброс учебных данных: docker compose down -v; удаляет volumes PostgreSQL, S3 и RabbitMQ данного проекта. В ходе проверки сброс не выполнялся.
Архитектура и решения
Клиент → HAProxy → API → PostgreSQL + S3 staging. Фоновый путь: PostgreSQL outbox → dispatcher → RabbitMQ → worker → final S3 objects + метаданные PostgreSQL. Реализация: attachments.py, postgres.py, outbox.py, broker.py, worker.py.
PostgreSQL хранит пользователей, чаты, сообщения, сессии, attachments, jobs и outbox. S3 хранит байты. Брокер передаёт служебные ID, без файлов и credentials.
Перед 202 API полностью принимает HTTP body, проверяет изображение, записывает исходник в staging и фиксирует attachment/job/outbox одной DB-транзакцией. S3 PUT не входит в DB-транзакцию: при rollback возможен непривязанный объект. Resize выполняет worker. Клиент получает состояние через GET метаданных; content неготового вложения возвращает 409.
Dispatcher декодирует JSONB и публикует persistent сообщение с publisher confirm, затем отмечает event опубликованным. Crash после confirm до отметки допускает дубль. Автоматическое восстановление после реального crash ещё не проверено.
Worker захватывает job с lease. Завершение проверяет состояние, время захвата processing_started_at и срок lease. Попытки пишут по разным S3-ключам; только действующая попытка публикует свои ключи в БД. Устаревшее завершение не должно менять актуальный результат. Логический ключ варианта — (attachment_id, pipeline_version, name); физические непривязанные объекты требуют уборки.
Ack выполняется после устойчивого результата или записи retry/failed; при сбое записи используется nack/requeue. Terminal-job повторно не обрабатывается. Это at-least-once доставка, не exactly-once. Реестр failed хранится в PostgreSQL; DLQ используется для некорректных сообщений.
Ошибка удаления staging после ready журналируется и не откатывает результат. Сервис reconcile раз в минуту удаляет непривязанные объекты старше retention из staging/originals/variants. Общая advisory-блокировка исключает удаление во время upload и работы worker. Staging failed-задач сохраняется для явного replay; автоматического удаления этих исходников нет. Lease recovery учитывает попытки; retry использует exponential backoff с jitter. Невалидное изображение и превышение памяти рендера переводят задачу в failed без повторов. Ошибки зависимостей и timeout повторяются с ограничением попыток.
Явный операторский replay только failed-job:
docker compose run --rm outbox /app/.venv/bin/python -m src.replay ATTACHMENT_UUID
Replay сохраняет replayed_at; полного журнала операторских действий нет.
Конфигурация и варианты изображений
| Параметр | Соответствие реализации |
|---|---|
| SESSION_TTL_SECONDS / IDEMPOTENCY_TTL_SECONDS | По умолчанию 3600 / 86400 секунд, PostgreSQL |
| S3_ENDPOINT | Compose и .env.example используют http://s3:8333 |
| DATABASE_URL_FILE, CURSOR_SECRET_FILE, S3/Broker *_FILE | Credentials подключаются через Compose secrets |
| MAX_UPLOAD_BYTES / MAX_IMAGE_PIXELS | 10 485 760 байт / 40 000 000 пикселей; 10 MiB = 10 × 1024 × 1024 байт |
| WORKER_CONCURRENCY / WORKER_PREFETCH | По умолчанию 2 / 2, потоки и prefetch |
| JOB_MAX_ATTEMPTS / JOB_TIMEOUT_SECONDS | По умолчанию 5 / 60; рендер идёт в отдельном subprocess, принудительно завершаемом по timeout |
| MAX_PENDING_JOBS | По умолчанию 100 queued/processing jobs; глобальная DB-блокировка при admission, отказ 429 |
| STAGING_RETENTION_SECONDS | Порог возраста непривязанных объектов для плановой уборки, по умолчанию 86400 секунд |
| API_REPLICAS, SESSION_STORE, CACHE_URL_FILE | Не управляют текущим Compose: явно заданы api-a/api-b и PostgreSQL без Redis |
Worker применяет EXIF orientation, композитит alpha на белый, создаёт thumbnail JPEG до 256×256, центрированный crop JPEG 128×128, optimized WebP до 1280×1280. JPEG quality=85, WebP quality=80/method=4; явного переноса входных EXIF нет.
Округление исправлено: исходник 300×200 даёт 256×170; высота вычисляется как floor(200 × 256 / 300). Маленькие изображения не увеличиваются. Linux renderer ограничен RLIMIT_AS=768 MiB; worker-контейнер ограничен 4 GiB RAM и 2 CPU. RSS собирается отдельно, RLIMIT_AS ограничивает виртуальную память.
Выполненные проверки и доказательства критериев
Повторная локальная проверка 26 октября 2026 года:
make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
.venv/bin/python student-tests/pipeline_critical.py
Ran 8 tests
OK
docker compose config --quiet
Завершено с кодом 0.
docker info --format '{{.ServerVersion}}'
Ошибка: Docker socket отсутствует; daemon недоступен.
Регрессионные тесты используют mocks и проверяют декодирование outbox, ack/nack, confirm DLQ, сохранение ready при ошибке cleanup и отклонение устаревшего завершения/retry. Они не проверяют SQL на реальной БД. Полная OpenAPI-валидация при аудите не запустилась из-за отсутствующего openapi_spec_validator.
| Критерий README | Состояние / необходимая проверка |
|---|---|
| 3: минимум lab4 и durable upload 202 | Код перенесён; контейнерный smoke не выполнен; failed-вложение отклоняется с 409 |
| 3: отдельные broker/worker, durable доставка, ack | Роли/volume/persistent publish есть; локальные ack/nack-тесты прошли; реальная redelivery не проверена |
| 3: состояния, оригинал, thumbnail, smoke | Реализованы; округление проверено локально; успешного smoke нет |
| 3: ограниченные retries, failed, идемпотентность | Счётчик, terminal states и защита завершения есть; конкурентные проверки на БД не выполнены |
| 3: worker stop → upload → restart API/broker → ready | Не выполнено; сохранность при рестарте не доказана |
| 4: crop/WebP и лимиты bytes/pixels/time/memory | Варианты и bytes/pixels есть; subprocess timeout и лимиты памяти добавлены; Linux-лимиты на стенде не проверены |
| 4: outbox, crash COMMIT/publish | Код и OUTBOX_FAULT_AFTER_COMMIT=1 есть; crash recovery не проверен |
| 4: backoff/jitter, классификация, failed/replay | Backoff/replay есть; классификация добавлена; replay на стенде не выполнен |
| 4: crash после side effect, lease, concurrency, cleanup | Защита завершения и concurrency есть; crash-тест отсутствует; плановый cleanup реализован; failed staging сохраняется для replay |
| 5: три настройки, разные изображения, метрики | Генератор исправлен и проверен с mock-стендом; реальных прогонов нет |
| 5: backpressure и восстановление | Лимит jobs есть; демонстрация перегрузки и дренирования не выполнена |
В evidence пока нет результатов контейнерного smoke или исследования. Наличие кода не считается доказательством выполнения критерия.
Эксперимент: очередь под перегрузкой
Гипотеза: рост concurrency увеличивает throughput до насыщения ресурсов; затем задержки и память могут вырасти. Экспериментальных выводов пока нет.
План эксперимента: профили concurrency/prefetch 1/1, 2/2, 4/4; изображения 320×320, 1600×1600, 3200×3200; одинаковые CPU/RAM-лимиты; отдельный прогрев и три повторения каждой комбинации. Фиксировать hardware и реальные настройки контейнеров, длительность, accepted/rejected/failed, throughput, queue waiting time, p50/p95/p99 времени 202 → ready и RSS. CPU отдельно фиксировать по контейнерным метрикам.
Заготовка запуска:
WORKER_CONCURRENCY=1 WORKER_PREFETCH=1 MAX_PENDING_JOBS=20 docker compose up -d --build
make track1 TRACK_ARGS="--run-name c1-p1-s1600 --workers 1 --prefetch 1 --max-pending 20 --images 40 --concurrency 8 --size 1600"
Ожидаемый путь результата этой команды: evidence/c1-p1-s1600.json. Измерения ещё не получены.
Исправленный генератор записывает monotonic-время ответа каждой загрузки и опрашивает ready параллельно uploads. Барьер удалён. RSS суммируется по /proc процессов worker-контейнера; shared pages могут учитываться несколько раз, пики между замерами пропускаются. Время ожидания вычисляется в PostgreSQL от создания job до первого claim (миграция 007). Concurrency/prefetch и лимит admission сверяются с работающими контейнерами. Closed-loop и polling вносят ограничения: наблюдаемое время ready является верхней оценкой, а нагрузка зависит от скорости клиента.
После нагрузки требуется проверить завершение всех принятых задач, отсутствие queued/processing и unacked, затем обработать контрольный upload. Сценарий проверяет дренирование и контрольный upload; при незавершённых задачах или пропущенных метриках завершается ошибкой. Флаг --require-backpressure дополнительно требует наблюдаемый 429. Измеренных RPS, p95, RSS и времени восстановления нет; ресурсы Docker не зафиксированы из-за недоступного daemon.
Эксперименты с отказами
| Воздействие | Ожидаемый эффект | Наблюдение |
|---|---|---|
| Worker остановлен | 202, metadata, 409 content; ready после запуска | Не выполнено |
| API погиб после COMMIT | Dispatcher доставляет intent | Не выполнено |
| Worker погиб после S3 до commit/ack | Lease recovery завершает ту же логическую работу | Не выполнено |
| Сбой cleanup после ready | Ready сохраняется | Локальный mock-тест прошёл |
| Сбой устойчивой записи результата/retry | nack/requeue | Локальный mock-тест прошёл |
| Устаревшее завершение | Метаданные не меняются, staging сохраняется | Локальные mock-тесты прошли |
| Broker restart с volume | Принятая работа сохраняется | Не выполнено |
| Перегрузка | Ограничение приёма, дренирование, восстановление | Не выполнено |
Ограничения и следующие шаги
Перечисленные в аудите нарушения исправлены в коде. Требуются проверки на реальных PostgreSQL/S3/RabbitMQ: Linux memory limit, конкурентная уборка, рестарты и нагрузочные измерения пока не подтверждены.
Admission перенесён перед S3 PUT; отклонённые по лимиту uploads не создают S3-объект. Reconciler адаптирован к вариантам и блокировке активных writers. Тест student-tests/attachments.py обновлён для 202 и polling. Другие исторические тесты lab4 требуют отдельной адаптации и не заявляются как пройденные.
Один Docker-host, одна БД, один брокер, одно S3-хранилище и один LB не доказывают устойчивость к потере host/хранилищ. Две API-реплики покрывают только часть отказов. Порядок завершения: закрыть замечания аудита, запустить smoke и persistence/failover, воспроизвести отказы pipeline, исправить генератор и провести исследование. До этого оценка 5 остаётся целью, а не подтверждённым результатом.
Дополнительные локальные регрессии
.venv/bin/python student-tests/remaining_regressions.py: проверены округление/alpha, subprocess render и его timeout, классификация permanent failure, retention активного/failed staging, частичная группа нагрузочного генератора и контроль восстановления на mock-стенде. Числа mock-прогона не являются результатами исследования и не переносятся в evidence.