Files
mtusi2026lab5/REPORT.md
T
2026-10-26 15:49:31 +03:00

20 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор: Матвей Козырев, BVT2301.
  • Целевая оценка: 5, трек 1 «Очередь под перегрузкой».
  • Ветка: solution/BVT2301-Kozyrev. Базовый commit: 4f6e69c (add level 5); исправления критических ошибок и этот отчёт пока не закоммичены. Ссылка на PR не предоставлена.
  • Дата локальной проверки: 26 октября 2026 года.
  • Статус: код и локальные проверки подготовлены; выполнение всех требований уровней 3–5 пока не подтверждено.

Исходная база, источники и помощь ИИ

Из собственной lab4 перенесены API на FastAPI, PostgreSQL-миграции, сессии, идемпотентность сообщений, S3-адаптер, две API-реплики и HAProxy. Основание проверки: README, семантика API, состояния вложений, OpenAPI, инфраструктура, публичные тесты.

Использован Codex для переноса исходников, подготовки реализации, аудита, исправлений и оформления отчёта. Локальные проверки не заменяют интеграционную демонстрацию. Справочные первоисточники задания: RabbitMQ reliability, publisher confirms и consumer acknowledgements.

Зависимости зафиксированы в pyproject.toml и uv.lock: FastAPI 0.141.1, Uvicorn 0.40.0, asyncpg 0.31.0, argon2-cffi 25.1.0, boto3 1.43.115, Pillow 13.0.0, pika 1.3.2. Имя пакета пока сохранено от lab4.

Запуск из чистого clone

Нужны Git, Python 3.12+ для приложения, uv и работающий Docker Engine с Compose v2. REST доступен на 127.0.0.1:8080; порт должен быть свободен, в том числе от стенда lab4. Используются синтетические данные.

В Dockerfile и Compose закреплены Python 3.12.12-slim, uv 0.11.28, PostgreSQL 17.6-alpine, SeaweedFS 4.17 с digest, RabbitMQ 4.1.2-alpine, HAProxy 3.0.11-alpine.

Из корня полученного clone:

git switch solution/BVT2301-Kozyrev
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
docker compose ps -a
curl --fail http://localhost:8080/health/ready
make test

Локальные credentials создаются в игнорируемом secrets/. Их содержимое нельзя публиковать. Стандартный Compose использует значения по умолчанию; отдельный .env не обязателен. Сервис migrate применяет SQL из migrations, s3-init создаёт приватный bucket и проверяет запись. API и worker зависят от успешного завершения этих сервисов.

Эта инструкция пока не подтверждена запуском из чистого clone. Успешный up -d сам по себе не доказывает готовность: нужны проверка процессов, readiness и smoke. Worker использует heartbeat AMQP event loop; outbox/reconcile не наследуют HTTP healthcheck.

Локальные проверки:

uv sync --locked --no-dev
make check
.venv/bin/python student-tests/pipeline_critical.py
# Для полной OpenAPI-валидации:
uv pip install --python .venv/bin/python -r requirements-dev.txt
make validate PYTHON=.venv/bin/python

Остановка с сохранением volumes: docker compose down. Намеренный сброс учебных данных: docker compose down -v; удаляет volumes PostgreSQL, S3 и RabbitMQ данного проекта. В ходе проверки сброс не выполнялся.

Архитектура и решения

Клиент → HAProxy → API → PostgreSQL + S3 staging. Фоновый путь: PostgreSQL outbox → dispatcher → RabbitMQ → worker → final S3 objects + метаданные PostgreSQL. Реализация: attachments.py, postgres.py, outbox.py, broker.py, worker.py.

PostgreSQL хранит пользователей, чаты, сообщения, сессии, attachments, jobs и outbox. S3 хранит байты. Брокер передаёт служебные ID, без файлов и credentials.

Перед 202 API полностью принимает HTTP body, проверяет изображение, записывает исходник в staging и фиксирует attachment/job/outbox одной DB-транзакцией. S3 PUT не входит в DB-транзакцию: при rollback возможен непривязанный объект. Resize выполняет worker. Клиент получает состояние через GET метаданных; content неготового вложения возвращает 409.

Dispatcher декодирует JSONB и публикует persistent сообщение с publisher confirm, затем отмечает event опубликованным. Crash после confirm до отметки допускает дубль. Автоматическое восстановление после реального crash ещё не проверено.

Worker захватывает job с lease. Завершение проверяет состояние, время захвата processing_started_at и срок lease. Попытки пишут по разным S3-ключам; только действующая попытка публикует свои ключи в БД. Устаревшее завершение не должно менять актуальный результат. Логический ключ варианта — (attachment_id, pipeline_version, name); физические непривязанные объекты требуют уборки.

Ack выполняется после устойчивого результата или записи retry/failed; при сбое записи используется nack/requeue. Terminal-job повторно не обрабатывается. Это at-least-once доставка, не exactly-once. Реестр failed хранится в PostgreSQL; DLQ используется для некорректных сообщений.

Ошибка удаления staging после ready журналируется и не откатывает результат. Сервис reconcile раз в минуту удаляет непривязанные объекты старше retention из staging/originals/variants. Общая advisory-блокировка исключает удаление во время upload и работы worker. Staging failed-задач сохраняется для явного replay; автоматического удаления этих исходников нет. Lease recovery учитывает попытки; retry использует exponential backoff с jitter. Невалидное изображение и превышение памяти рендера переводят задачу в failed без повторов. Ошибки зависимостей и timeout повторяются с ограничением попыток.

Явный операторский replay только failed-job:

docker compose run --rm outbox /app/.venv/bin/python -m src.replay ATTACHMENT_UUID

Replay сохраняет replayed_at; полного журнала операторских действий нет.

Конфигурация и варианты изображений

Параметр Соответствие реализации
SESSION_TTL_SECONDS / IDEMPOTENCY_TTL_SECONDS По умолчанию 3600 / 86400 секунд, PostgreSQL
S3_ENDPOINT Compose и .env.example используют http://s3:8333
DATABASE_URL_FILE, CURSOR_SECRET_FILE, S3/Broker *_FILE Credentials подключаются через Compose secrets
MAX_UPLOAD_BYTES / MAX_IMAGE_PIXELS 10 485 760 байт / 40 000 000 пикселей; 10 MiB = 10 × 1024 × 1024 байт
WORKER_CONCURRENCY / WORKER_PREFETCH По умолчанию 2 / 2, потоки и prefetch
JOB_MAX_ATTEMPTS / JOB_TIMEOUT_SECONDS По умолчанию 5 / 60; рендер идёт в отдельном subprocess, принудительно завершаемом по timeout
MAX_PENDING_JOBS По умолчанию 100 queued/processing jobs; глобальная DB-блокировка при admission, отказ 429
STAGING_RETENTION_SECONDS Порог возраста непривязанных объектов для плановой уборки, по умолчанию 86400 секунд
API_REPLICAS, SESSION_STORE, CACHE_URL_FILE Не управляют текущим Compose: явно заданы api-a/api-b и PostgreSQL без Redis

Worker применяет EXIF orientation, композитит alpha на белый, создаёт thumbnail JPEG до 256×256, центрированный crop JPEG 128×128, optimized WebP до 1280×1280. JPEG quality=85, WebP quality=80/method=4; явного переноса входных EXIF нет.

Округление исправлено: исходник 300×200 даёт 256×170; высота вычисляется как floor(200 × 256 / 300). Маленькие изображения не увеличиваются. Linux renderer ограничен RLIMIT_AS=768 MiB; worker-контейнер ограничен 4 GiB RAM и 2 CPU. RSS собирается отдельно, RLIMIT_AS ограничивает виртуальную память.

Выполненные проверки и доказательства критериев

Повторная локальная проверка 26 октября 2026 года:

make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.

.venv/bin/python student-tests/pipeline_critical.py
Ran 8 tests
OK

docker compose config --quiet
Завершено с кодом 0.

docker info --format '{{.ServerVersion}}'
Ошибка: Docker socket отсутствует; daemon недоступен.

Регрессионные тесты используют mocks и проверяют декодирование outbox, ack/nack, confirm DLQ, сохранение ready при ошибке cleanup и отклонение устаревшего завершения/retry. Они не проверяют SQL на реальной БД. Полная OpenAPI-валидация при аудите не запустилась из-за отсутствующего openapi_spec_validator.

Критерий README Состояние / необходимая проверка
3: минимум lab4 и durable upload 202 Код перенесён; контейнерный smoke не выполнен; failed-вложение отклоняется с 409
3: отдельные broker/worker, durable доставка, ack Роли/volume/persistent publish есть; локальные ack/nack-тесты прошли; реальная redelivery не проверена
3: состояния, оригинал, thumbnail, smoke Реализованы; округление проверено локально; успешного smoke нет
3: ограниченные retries, failed, идемпотентность Счётчик, terminal states и защита завершения есть; конкурентные проверки на БД не выполнены
3: worker stop → upload → restart API/broker → ready Не выполнено; сохранность при рестарте не доказана
4: crop/WebP и лимиты bytes/pixels/time/memory Варианты и bytes/pixels есть; subprocess timeout и лимиты памяти добавлены; Linux-лимиты на стенде не проверены
4: outbox, crash COMMIT/publish Код и OUTBOX_FAULT_AFTER_COMMIT=1 есть; crash recovery не проверен
4: backoff/jitter, классификация, failed/replay Backoff/replay есть; классификация добавлена; replay на стенде не выполнен
4: crash после side effect, lease, concurrency, cleanup Защита завершения и concurrency есть; crash-тест отсутствует; плановый cleanup реализован; failed staging сохраняется для replay
5: три настройки, разные изображения, метрики Генератор исправлен и проверен с mock-стендом; реальных прогонов нет
5: backpressure и восстановление Лимит jobs есть; демонстрация перегрузки и дренирования не выполнена

В evidence пока нет результатов контейнерного smoke или исследования. Наличие кода не считается доказательством выполнения критерия.

Эксперимент: очередь под перегрузкой

Гипотеза: рост concurrency увеличивает throughput до насыщения ресурсов; затем задержки и память могут вырасти. Экспериментальных выводов пока нет.

План эксперимента: профили concurrency/prefetch 1/1, 2/2, 4/4; изображения 320×320, 1600×1600, 3200×3200; одинаковые CPU/RAM-лимиты; отдельный прогрев и три повторения каждой комбинации. Фиксировать hardware и реальные настройки контейнеров, длительность, accepted/rejected/failed, throughput, queue waiting time, p50/p95/p99 времени 202 → ready и RSS. CPU отдельно фиксировать по контейнерным метрикам.

Заготовка запуска:

WORKER_CONCURRENCY=1 WORKER_PREFETCH=1 MAX_PENDING_JOBS=20 docker compose up -d --build
make track1 TRACK_ARGS="--run-name c1-p1-s1600 --workers 1 --prefetch 1 --max-pending 20 --images 40 --concurrency 8 --size 1600"

Ожидаемый путь результата этой команды: evidence/c1-p1-s1600.json. Измерения ещё не получены.

Исправленный генератор записывает monotonic-время ответа каждой загрузки и опрашивает ready параллельно uploads. Барьер удалён. RSS суммируется по /proc процессов worker-контейнера; shared pages могут учитываться несколько раз, пики между замерами пропускаются. Время ожидания вычисляется в PostgreSQL от создания job до первого claim (миграция 007). Concurrency/prefetch и лимит admission сверяются с работающими контейнерами. Closed-loop и polling вносят ограничения: наблюдаемое время ready является верхней оценкой, а нагрузка зависит от скорости клиента.

После нагрузки требуется проверить завершение всех принятых задач, отсутствие queued/processing и unacked, затем обработать контрольный upload. Сценарий проверяет дренирование и контрольный upload; при незавершённых задачах или пропущенных метриках завершается ошибкой. Флаг --require-backpressure дополнительно требует наблюдаемый 429. Измеренных RPS, p95, RSS и времени восстановления нет; ресурсы Docker не зафиксированы из-за недоступного daemon.

Эксперименты с отказами

Воздействие Ожидаемый эффект Наблюдение
Worker остановлен 202, metadata, 409 content; ready после запуска Не выполнено
API погиб после COMMIT Dispatcher доставляет intent Не выполнено
Worker погиб после S3 до commit/ack Lease recovery завершает ту же логическую работу Не выполнено
Сбой cleanup после ready Ready сохраняется Локальный mock-тест прошёл
Сбой устойчивой записи результата/retry nack/requeue Локальный mock-тест прошёл
Устаревшее завершение Метаданные не меняются, staging сохраняется Локальные mock-тесты прошли
Broker restart с volume Принятая работа сохраняется Не выполнено
Перегрузка Ограничение приёма, дренирование, восстановление Не выполнено

Ограничения и следующие шаги

Перечисленные в аудите нарушения исправлены в коде. Требуются проверки на реальных PostgreSQL/S3/RabbitMQ: Linux memory limit, конкурентная уборка, рестарты и нагрузочные измерения пока не подтверждены.

Admission перенесён перед S3 PUT; отклонённые по лимиту uploads не создают S3-объект. Reconciler адаптирован к вариантам и блокировке активных writers. Тест student-tests/attachments.py обновлён для 202 и polling. Другие исторические тесты lab4 требуют отдельной адаптации и не заявляются как пройденные.

Один Docker-host, одна БД, один брокер, одно S3-хранилище и один LB не доказывают устойчивость к потере host/хранилищ. Две API-реплики покрывают только часть отказов. Порядок завершения: закрыть замечания аудита, запустить smoke и persistence/failover, воспроизвести отказы pipeline, исправить генератор и провести исследование. До этого оценка 5 остаётся целью, а не подтверждённым результатом.

Дополнительные локальные регрессии

.venv/bin/python student-tests/remaining_regressions.py: проверены округление/alpha, subprocess render и его timeout, классификация permanent failure, retention активного/failed staging, частичная группа нагрузочного генератора и контроль восстановления на mock-стенде. Числа mock-прогона не являются результатами исследования и не переносятся в evidence.