Files
mtusi2026lab5/REPORT.md
T
2026-10-31 09:16:10 +03:00

48 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Сафронов Роман Николаевич, БВТ2301
  • Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
  • Состояние отчёта: закрыт уровень 3 (change async-attachments). Разделы уровней 4 и 5 закрывают следующие изменения: pipeline-reliability и track1-queue-overload
  • Commit/PR: измеренное состояние — ff1a83b (ветка feat/async-attachments); PR — TODO после публикации
  • Источники, библиотеки и помощь ИИ — последний раздел

Запуск из чистого clone

Версии. Образ API: python:3.12.14-slim-trixie, uv 0.12.17. LB: haproxy:3.4.6-trixie. PostgreSQL: postgres:18.6-trixie. Valkey: valkey/valkey:9.1.2-trixie. S3: chrislusf/seaweedfs:4.48. Брокер: rabbitmq:4.3.7. Все закреплены тегом и digest в Dockerfile и docker-compose.yml. Приложение: Python 3.12, FastAPI, aio-pika 10.2.1 (aiormq 7.2.4), Pillow 13.0.0, aiobotocore; остальное строго по uv.lock. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro.

Нужно на машине: Docker с BuildKit и Compose v2, make, openssl, curl, python3 3.9+ (публичные проверки и драйвер скилла), uv (make validate, make student_test, make test_isolated, make failure_checks, make bench*, make run_dev). Свободные порты 127.0.0.1: 8080 (LB), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088 (make test_isolated).

Действий оператора нет. make env_setup создаёт .env и config.toml из шаблонов, подставляет случайные пароли и ключи и печатает только имена. В существующий .env он дописывает недостающие переменные (секреты брокера и ключи worker при переходе с лабы 4), прежние строки не меняет. Пароль брокера, как и пароль PostgreSQL, задаётся при первом создании volume.

Способ 1: всё в compose — make run_docker

git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
make run_docker       # env_setup + build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, cleaner, worker → haproxy
make replicas         # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
make check
uv sync && make validate PYTHON=.venv/bin/python
make test             # публичный smoke: 202, опрос до ready, оригинал и настоящий JPEG thumbnail
make instances        # ≥2 X-Instance-Id одной сессии через LB
make s3_check         # приватность bucket: права ключей API, уборщика и worker
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario
make failure_checks   # отдельный стенд <проект>-failures, ~22 мин; рабочий стенд не трогается

Миграции применяет одноразовый сервис migrate, bucket и пользователей S3 — s3-bootstrap; реплики, уборщик и worker их ждут. Очередь объявляют API и worker при подключении: отдельного bootstrap брокера нет.

Способ 2: сервис на хосте — make run_dev, make run_worker

make run_dev          # терминал 1: Postgres и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
make run_worker       # терминал 2: worker на хосте; ключи worker — из .env в окружение процесса, значения не печатаются
curl -s http://127.0.0.1:8080/health/ready
make test
EXPECT_REPLICAS=1 make student_test

Ожидание готовности — /health/ready отвечает 200. Остановка процессов — Ctrl+C.

Вариант README без make: make env_setup, docker compose --env-file .env config --quiet, docker compose --env-file .env up -d --build.

Остановка и удаление данных

  • make stop — остановить контейнеры; make down — удалить контейнеры. Volumes postgres_data, s3_data, rabbitmq_data остаются.
  • make wipe_data — намеренное удаление учебных данных и volumes (спрашивает yes).

Архитектура и решения

клиент → HAProxy (127.0.0.1:8080) → api × 2 ──┬─ PostgreSQL (источник истины: метаданные, задания, варианты)
                                              ├─ Valkey (кэш карточек чатов)
                                              ├─ S3: <база>/staging/<id>/original
                                              └─ RabbitMQ: durable-очередь <база>.attachment.process.v1
                                                      │ job_id, attachment_id, pipeline_version, attempt…
                                                      ▼
                                              worker → S3: <база>/attachments/<id>/original, …/v1-thumbnail
                                                     → PostgreSQL: ready или failed
cleaner → PostgreSQL + S3 (незавершённые загрузки pending, сверка bucket и БД)

Перенесено из лаб 2–4 без изменения поведения (подробности — REPORT.md репозитория mtusi2026lab4-safronov): вход Basic → Bearer-сессия в PostgreSQL, пароль — Argon2id (RFC_9106_LOW_MEMORY: t=3, m=64 MiB, p=4), SHA-256 токена в БД; кэш карточек; реплики без состояния за HAProxy, идемпотентность сообщений, make rolling_update; приватный S3 с тремя пользователями, места загрузки, уборщик и сверка.

Изменено в этой работе (design change async-attachments):

  • POST …/attachments — 202 со снимком queued;
  • порядок приёма: строка pending с ключами → PUT в staging → queued с заданием одной транзакцией → публикация с подтверждением брокера → отметка published_at → 202;
  • worker: claim задания под FOR UPDATE, чтение staging и сверка размера и SHA-256 со строкой, PUT оригинала в конечный ключ, thumbnail, PUT варианта, фиксация ready вместе с вариантом и заданием одной транзакцией, ack;
  • состояния queued, processing, ready, failed в API; pending наружу не виден (404);
  • скачивание не готового вложения — 409, отсутствующий вариант готового — 404; failed в сообщении — 409, а повтор отправленного сообщения с тем же ключом — тот же 201;
  • схема только расширена: attachment_jobs, attachment_variants, attachments.staging_key и error_code, более широкий CHECK статуса (NOT VALID).

Транзакционные границы. Ключ эффекта — первичный ключ attachment_variants (attachment_id, pipeline_version, variant), логическая работа — UNIQUE (attachment_id, pipeline_version) в attachment_jobs. Вызовов S3 и брокера внутри транзакций нет.

Сервисы стенда и лимиты

Сервис Роль CPU Память Порт на хосте
haproxy LB, единственная публичная точка 1 256 МБ 127.0.0.1:8080
api × 2 приём, без состояния 1 на реплику 512 МБ на реплику нет
worker обработка, python -m src.worker, без healthcheck 1 1 ГБ нет
cleaner незавершённые загрузки, сверка 0,25 256 МБ нет
postgres источник истины, volume 2 1 ГБ loopback 5433
valkey кэш, без persistence 0,5 128 МБ loopback 6380
s3 SeaweedFS, volume 1 512 МБ loopback 8334
rabbitmq брокер, volume, предел памяти 400 МиБ 1 512 МБ loopback 5673
migrate (разовый) миграции 0,5 256 МБ нет
s3-bootstrap (разовый) bucket, политики, пользователи 0,5 128 МБ нет

Сумма постоянных сервисов: 8,75 CPU, 4736 МБ при двух репликах; вместе с разовыми — 9,75 CPU, 5120 МБ.

Соединения PostgreSQL: API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2. При двух репликах 24; во время поочерёдной замены (третья реплика) 34; max_connections 100. Переполнения пула нет (max_overflow 0).

Лимит worker 1 ГБ: худший случай при конкуренции 2 — две задачи PNG RGBA на 40 Мпкс. Пик одной задачи в контейнере образа 332 МиБ (design, «Уточнения apply», п. 14), оценка на процесс ≈ 800 МиБ. Проверяет test_max_pixels_fit_worker_memory.

Соответствие переменных .env.example

Имена лаб 1–4 — без изменений, таблицы в отчёте лабы 4 («Соответствие переменных», «Соответствие имён skeleton S3_*»). Новые имена лабы 5:

Имя skeleton Где у нас Почему так
BROKER_URL_FILE [broker] мостами из RABBITMQ_* (BROKER__HOST, BROKER__PORT, BROKER__USER, BROKER__PASSWORD) значения, а не файл, как DATABASE_URL_FILE: пароль нужен и контейнеру брокера, строка URL с паролем не собирается
WORKER_CONCURRENCY [worker] concurrency (2) читает только worker
JOB_MAX_ATTEMPTS [worker] max_attempts (5) то же
JOB_TIMEOUT_SECONDS [worker] job_timeout_seconds (60) то же
STAGING_RETENTION_SECONDS поля пока нет появляется с очисткой staging в pipeline-reliability; на уровне 3 staging не удаляется

Секреты по сервисам: пароль брокера — только rabbitmq, api, worker; ключи S3_WORKER_* — только s3-bootstrap и worker; у worker нет пароля Valkey и ключей API и уборщика.

Критичные и некритичные зависимости /health/ready

Зависимость В готовности Причина и поведение при отказе
PostgreSQL да без него не работают сессии и данные: обязательный путь стоит, 503
Valkey нет кэш: отказ — обход, чтение из PostgreSQL
S3 нет нужен только путям байтов вложений: они отвечают 503, текст и история работают
Брокер нет нужен только приёму загрузки. Иначе отказ брокера разом вывел бы все реплики из LB и остановил текст и историю
Worker нет к синхронному пути не относится

Отказ брокера. Загрузка — 503 unavailable быстро при остановленном брокере и не дольше срока публикации 2 с при замороженном. Задания не остаётся: условная транзакция отмены возвращает вложение в pending, его убирает уборщик. Остальное API работает, после возврата брокера загрузка снова 202 на том же процессе. Отказ worker. API принимает и ставит в очередь; resize синхронно не делается: Pillow в процессе API не загружен (_imaging нет в /proc/1/maps, evidence/worker/process.md).

Разрыв COMMIT и publish и окна отказа

Намерение и queued фиксируются до публикации: публикация внутри транзакции держала бы соединение пула на время ожидания брокера, а публикация до COMMIT показала бы worker задание раньше строки.

Окно Что происходит Что видит клиент
после staging до записи задания pending и объект staging; их убирает уборщик 503 или обрыв, 202 нет
после COMMIT до publish (падение процесса) разрыв: queued, задание с published_at IS NULL, сообщения нет, никто не публикует обрыв, 202 нет
после publish до confirm исход неизвестен: условная отмена; если задание уже взято — сообщение дошло, ответ 202; запоздавшее сообщение после отмены worker подтверждает без эффекта 503 или 202 по итогу отмены
после confirm до tx3 или ответа работа идёт, published_at NULL обрыв; вложение станет ready, клиент о нём не знает, как и в лабе 4
после записи S3 до COMMIT результата повторная доставка, те же ключи опрос processing
после COMMIT результата до ack повторная доставка — no-op с ack опрос ready

Что остаётся открытым на уровне 3. Падение API между фиксацией задания и подтверждением брокера или отказ PostgreSQL в транзакции отмены оставляют вложение queued без сообщения. Клиент 202 не получил, поэтому принятая работа не теряется, но строка и объект staging висят, их id никому не известен. Запрос для оператора: SELECT id FROM attachment_jobs WHERE state = 'queued' AND published_at IS NULL. Закрывает pipeline-reliability: attachment_jobs уже является будущим outbox, relay будет публиковать такие строки, API перестанет зависеть от брокера при ответе. Внедрённого сбоя на этом уровне нет. Запись — KNOWN_ISSUES.md.

Согласования с преподавателем

Дата Договорённость Где учтено
2026-09-26 Лабы можно делать на FastAPI, несмотря на расхождения с контрактом (лишний 422, другой порядок кодов ошибок). Публичный smoke при этом должен проходить .claude/rules/api-contract.md, раздел «FastAPI»
2026-09-29 Конфиг через pydantic-settings: окружение → .env → config.toml → дефолты. config.toml не в git и не в образе, монтируется read-only при запуске. Это подходит под «конфигурация приходит из окружения» (README лабы 1, п. 3) и п. 6 Dockerfile.example. Требование «только env» — упрощение курса, config.toml можно использовать .claude/rules/settings.md, .claude/rules/docker.md
2026-10-20 Лаба 4: «пустой текст» сообщения — это и "", и текст только из пробельных символов. Допустимы: вложение + непустой текст, без вложения + непустой текст, вложение + пустой текст. Значит, " " с хотя бы одним вложением — 201, без вложений — 400 спек messages (change attachments, сценарий «Пробелы с вложением»), design attachments, решение 8; .claude/rules/api-contract.md

Расхождения FastAPI, разрешённые согласованием: 422 переведён в 400; битый JSON — 400 раньше 401, остальная валидация — после зависимостей.

Открытые вопросы преподавателю

Контракт допускает несколько трактовок, ответа пока нет. Взята самая строгая, проходящая публичные тесты. Подход от ответа не зависит. Вопросы 1 и 2 перенесены из лабы 4, полный разбор — в её отчёте.

  1. Все места загрузки реплики заняты: 429 или 503? Сделано: 429 rate_limited с Retry-After: 1.
  2. Что отвечает API на вложение, чей оригинал по сверке потерян? Сделано: метаданные — 200, байты — 404, ссылка в новом сообщении — 201; до пометки сверкой байты — 500.
  3. Failed-вложение прикреплять нельзя (409), а повтор с тем же Idempotency-Key обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало failed уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же Message. Другой ответ меняет одну ветку send_message и сценарий idempotency.
  4. contracts/attachment-states.md требует документированный retention и cleanup неуспешных исходников без указания уровня, а README.md относит очистку к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо ниже, очистка и STAGING_RETENTION_SECONDS — в pipeline-reliability. Другой ответ переносит очистку на этот уровень; схема к ней готова.
  5. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи, а relay на уровне 3 нет, и намерение в БД само не доставится. Сделано: 503, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.

Ответы на вопросы защиты

Чем publisher confirm отличается от consumer ack? Confirm — брокер сообщает издателю, что принял сообщение на себя: durable-очередь, persistent-сообщение, записано. Это граница между API и брокером, и только после неё API отвечает 202. Ack — потребитель сообщает брокеру, что работа устойчиво выполнена и сообщение можно удалить. Worker шлёт его только после фиксации ready или failed в PostgreSQL. Это разные участки пути: confirm ничего не говорит об обработке, ack — о доставке.

Что именно уже сохранено в момент 202? Проверенный оригинал целиком в staging приватного S3, строка вложения и задание в PostgreSQL (queued, attempt 0), сообщение в durable-очереди, подтверждённое брокером. Thumbnail и объекта в конечном ключе ещё нет. Проверка — test_durable_state_at_202, переживание — test_api_killed_after_202, test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed.

Почему повторная доставка нормальна и где ключ идемпотентности job? Подтверждение ack и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, и брокер обязан доставить сообщение снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — (attachment_id, pipeline_version, variant), первичный ключ attachment_variants, вставка ON CONFLICT DO NOTHING; ключи объектов одни и те же при каждом повторе, логическая работа — UNIQUE (attachment_id, pipeline_version). Доставка готовой работы проверяется и подтверждается без записи (test_redelivery_of_ready_is_noop), ready не откатывается.

Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля? Сейчас — claim под блокировкой строки задания: attempt, lease_expires_at и таблица решений. processing без redelivered при неистёкшем сроке — живая попытка, дубль возвращается в очередь без записи (test_duplicate_during_processing). redelivered значит только «сообщение уже доставлялось»: брокер ставит его и при потере соединения прежнего потребителя, и после nack(requeue=True), поэтому потерянного потребителя этот флаг не доказывает. Отсюда ограничение до lease: дубль, вернувшийся после busy, при попытке дольше паузы повтора возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст retry_exhausted, пока первая ещё идёт, и её результат уже не зафиксируется. Эффект при этом не дублируется: ключи те же, фиксация условна, ready не перезаписывается. Чего нет на уровне 3: зависший worker с живым соединением освобождает задание только по сроку подтверждения брокера (30 мин), а поток декодирования сроком не прерывается. Активный проход по истёкшему lease_expires_at — pipeline-reliability; колонка уже есть.

Сценарий защиты

Порядок автоматизирован: driver.py --port 8080 defense-scenario → evidence/attachments/defense.md, тот же порядок на стенде отказов — test_defense_scenario.

  1. make test: 202, опрос до ready, оригинал и настоящий JPEG thumbnail.
  2. docker compose stop worker, загрузка — 202, снимок queued; сообщение с вложением — 201; скачивание — 409; текстовое сообщение — 201; в очереди ≥ 1 сообщение, потребителей 0.
  3. scripts/restart.sh — рестарт LB, реплик, PostgreSQL, Valkey, S3 и брокера с сохранением volumes; сообщение в очереди, прежний токен читает queued. docker compose start worker — та же запись ready; оригинал с тем же SHA-256, thumbnail 256 × 160. В файле — ID и StartedAt до и после, без токенов.

Шаг 4 (crash после side effect до ack, разрыв COMMIT/publish, replay failed) — уровень 4, pipeline-reliability; выбранный эксперимент — track1-queue-overload.

Доказательства критериев

Всё снято на ff1a83b, в шапке каждого файла — команда, дата и стенд.

Уровень 3

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab5 public API scenario evidence/tests/test-isolated.md
Минимум лаб 1–4 сохранён с переходом 201 → 202 make student_test через LB 211 passed, 1 failed (test_exclusion_evidence_exists: только файлы последнего шага прогона), реплики выполнены evidence/tests/student-test-lb.md
Тот же набор на временной базе make test_isolated smoke PASS; 205 passed, 6 skipped (реплики), 1 failed — то же; уборка полная evidence/tests/test-isolated.md
Отказы make failure_checks 99 passed, pytest 1288 с, crash markers 0 evidence/tests/failure-checks.md
202 только после устойчивого приёма и сохранения задания test_durable_state_at_202, test_upload_with_broker_stopped, test_upload_with_broker_paused к 202 объект в staging, строка и задание, сообщение в очереди; брокер не подтвердил — 503, задания нет evidence/tests/failure-checks.md
Остановка API после ответа не теряет работу test_api_killed_after_202 реплика убита после 202, вложение становится ready evidence/tests/failure-checks.md
Отдельные broker и worker в общем compose driver.py broker-check, driver.py worker-process образ с тегом и digest, volume, AMQP только на loopback; PID 1 python -m src.worker, лимиты 1 CPU / 1 ГБ evidence/broker/stand.md, evidence/worker/process.md
Сообщения durable broker-check, test_queue_durable очередь durable, сообщение persistent evidence/broker/stand.md, evidence/tests/failure-checks.md
Доставка at least once, ack после устойчивого эффекта test_worker_killed_during_processing, test_redelivery_of_ready_is_noop worker убит посреди обработки — задание доводится; регрессия «ack до фиксации» делает тест красным (design, «Уточнения apply», п. 12) evidence/tests/failure-checks.md
Недоступность worker не вызывает синхронный resize test_worker_down_api_serves, worker-process API принимает и отвечает, _imaging нет в процессах реплик evidence/tests/failure-checks.md, evidence/worker/process.md
Состояния в API test_attachment_becomes_ready, test_queued_while_worker_stopped, test_processing_visible, test_undecodable_becomes_failed queued, processing, ready, failed видны в метаданных evidence/tests/student-test-lb.md, evidence/tests/failure-checks.md
Оригинал неизменен test_original_published_unchanged, driver.py attachment-storage те же байты и SHA-256; байты только в приватном bucket evidence/tests/failure-checks.md, evidence/attachments/storage.md
Thumbnail по контракту test_thumbnail_*, test_download_thumbnail 256 × 160 у fixture, округление вниз, минимум 1 px, EXIF, alpha на белый, настоящий JPEG, размеры и SHA-256 сходятся с метаданными evidence/tests/student-test-lb.md, evidence/attachments/defense.md
Ограниченный retry [worker] max_attempts = 5, test_transient_error_retried, test_attempts_exhausted временная ошибка повторяется под тем же job_id, исчерпание — failed с retry_exhausted evidence/worker/process.md, evidence/tests/failure-checks.md
Финальное failed с безопасным error_code test_undecodable_becomes_failed, test_staging_corrupted, журнал invalid_image, processing_failed; причина для оператора — в задании и журнале evidence/worker/logs.md, evidence/tests/failure-checks.md
Повтор не создаёт второго набора вариантов test_ready_failure_retried, test_redelivery_of_ready_is_noop; проба ограничения второй вариант с тем же именем — 23505 pk_attachment_variants evidence/attachments/storage.md, evidence/migrations/async-attachments.md
В сообщении нет bytes и credentials test_job_message_matches_schema сообщение проходит contracts/jobs.schema.json, только ID и служебные поля evidence/tests/failure-checks.md
Демонстрация: worker остановлен → … → ready driver.py --port 8080 defense-scenario все строки expected = got, StartedAt API и брокера новые, thumbnail 256 × 160 evidence/attachments/defense.md
Принятое задание переживает рестарт брокера с volume test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed, test_broker_recreated сообщения на месте после stop, KILL и up --force-recreate evidence/tests/failure-checks.md
Очереди разных баз разделены make test_isolated KEEP_TEST_DB=1, broker-check --require-test-queue, make test_isolated очередь временной базы есть после первого и нет после второго evidence/broker/isolated.md
Сохранность и hook make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; api, haproxy, postgres, rabbitmq, s3, valkey — те же ID и новый StartedAt, worker и cleaner прежние evidence/replicas/test-persistence.md
Отказ реплики make test-failover stop и kill failed_attempts 0, восстановление 1,09 и 0,74 с evidence/failover/test-failover.md
Принявшая реплика остановлена driver.py attachment-failover --mode stop|kill файл отдаёт другая реплика, SHA-256 тот же, постороннему 404 evidence/attachments/failover.md
Согласованность БД и S3 driver.py upload-consistency 503, строки pending не видны, уборщик убрал по ключу staging, объектов без строки 0 evidence/attachments/consistency.md
Приватность S3, права worker make s3_check PASS: 88 checks; worker: запись и чтение — да, удаление, список, админ — 403 evidence/s3/worker-key.md
Журнал worker проба на стенде общий request_id записей задания, filename 0 раз, сообщение не по схеме — error без содержимого evidence/worker/logs.md
Миграция только расширяет, откат без отката схемы проба на временной базе, make rolling_update COMMIT=cc33a03 MIGRATE=0 и возврат CHECK NOT VALID, по lock_timeout — без изменений; прежний образ работает, чтение нового статуса — 500 evidence/migrations/async-attachments.md
Сроки LB пути загрузки driver.py lb-upload-timeouts 202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта evidence/uploads/lb-timeouts.md
Замена реплик под нагрузкой make bench_rollout ROLLOUT_LABEL=async-attachments 8,52 с, ошибок 0, новая миграция, записей 12000 = ключей 12000 evidence/rollout/async-attachments/summary.md
Память реплики при загрузках make bench_uploads «с лимитом» 10 MiB: пик 172,9 / 180,1 / 185,6 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0 evidence/uploads/baseline/summary.md
Секретов в доказательствах нет поиск значений из .env по evidence/ 12 значений, 0 совпадений evidence/tests/secrets.md

На этом шаге test_exclusion_evidence_exists ожидаемо красный: файлы evidence/cache/hits.md, evidence/auth/passwords-and-tokens.md и evidence/idempotency/replay-after-restart.md снимаются на последнем шаге всего прогона лабы.

Уровень 4

Не закрыт на этом шаге: закрывает change pipeline-reliability.

Трек 1 уровня 5

Не закрыт на этом шаге: закрывает change track1-queue-overload.

Эксперименты и отказы

Поочерёдная замена на версию с брокером: метка async-attachments

Гипотеза: миграция и замена реплик с 04f8592 на ff1a83b идут без ошибок клиента, потому что схема только расширяется, а публикация ленива и не нужна чтениям и записи сообщений.

Методика — make bench_rollout: git.dirty false, swapouts_delta 0, посторонних контейнеров нет. Две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey 0,5 CPU / 128 МБ, HAProxy 1 CPU / 256 МБ, k6: 100 записей с ключом и 100 чтений в секунду, один прогон. В профиле только сообщения и история: загрузки не участвуют, поэтому смесь 201 и 202 он не показывает.

Замена Сборка / миграция Ревизия Ошибки до / во время / после Успешных в секунду p95 до / макс. во время Записи
8,52 с 1 / 1 с 5c3e1f0a9b7d → a1d4c7e90b23 0 / 0 / 0 200 / мин. 200 4 / 8 мс 12000 сообщений = 12000 ключей, повторов 0

CPU API всего: 0,54 ядра до и 0,55 после, 0,78 во время. Гипотеза подтверждена. Сырые данные — evidence/rollout/async-attachments/.

Память реплики при загрузках: метка baseline

Снята, потому что на неё ссылаются исключения сверки лабы 4. Методика — make bench_uploads: одна реплика 1 CPU / 512 МБ без swap, 72 прогона, 50 мин, медиана из 3 повторов; worker не запущен, задания ждут в очереди. Поправки к чтению — evidence/uploads/README.md.

Вариант, 10 MiB C = 10: пик, MiB C = 20 C = 40 OOM при 40 Загрузок/с при 10 p95 при 10, мс
с лимитом 172,9 180,1 185,6 0/3 10,50 1253
без лимита 227,6 331,0 OOM 3/3 9,00 1480

H1 (пик ограничен местами) и H4 (нет 503 по сроку S3) выполнены. H2 в сводке — «нет»: вариант «до» теперь 04f8592, где места уже есть, поэтому прежнее поведение он не показывает; настоящее «до» — отчёт лабы 4. H3 в сводке — «нет»: на 1 MiB «с лимитом» даёт 85–89 % «без лимита» при пороге 90 %, на 10 MiB — 117–121 %. Память приёма после перехода на брокер в границах прежних сценариев спека: ~185 MiB из 512 при 40 клиентах.

Отказы

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Worker остановлен, рестарт API и хранилищ, worker запущен принятая работа дожидается queued → ready, те же байты (defense.md) потерь нет
Брокер остановлен при загрузке 503, остальное API работает, после возврата 202 так (test_upload_with_broker_stopped, test_readiness_without_broker_and_worker) подтверждённых потерь нет
Брокер заморожен 503 не позже срока 2 с так (test_upload_with_broker_paused) исход неизвестен, решает условная отмена
KILL брокера и up --force-recreate с volume подтверждённые сообщения на месте так (test_broker_kill_keeps_confirmed, test_broker_recreated) потерь нет
Worker убит посреди обработки повторная доставка, один набор вариантов так (test_worker_killed_during_processing) потерь нет, попытка посчитана
S3 недоступен при обработке повторы под одним job_id, затем ready или retry_exhausted так (test_transient_error_retried, test_attempts_exhausted) рабочий стенд выдерживает 40–65 с (расчёт по настройкам, design, решение 13; тесты — на коротких сроках стенда отказов)
PostgreSQL недоступен при обработке задание ждёт, попытка не считается так (test_database_outage_during_processing) потерь нет
Сообщение не по схеме отброшено, error без содержимого так (test_malformed_message_dropped, logs.md) следующие задания идут
Реплика API остановлена или убита запись через другую failed_attempts 0 (test-failover.md) 1,09 и 0,74 с, потерь нет

Ограничения и следующие шаги

Ограничения этого уровня, названные спеками:

  • Зависший worker и срок подтверждения брокера. Worker, зависший с живым соединением, освобождает задание только по consumer_timeout брокера (30 мин). Срок попытки покрывает всё, кроме потока декодирования: тот сроком не прерывается, его длительность ограничена лимитом пикселей. Lease и жёсткий срок — pipeline-reliability.
  • Постоянная пауза повтора. Пауза фиксирована (10 с, 5 попыток): отказ S3 дольше суммы пауз и сроков, 40–65 с, переводит взятые задания в failed, а replay нет. Рестарт S3 (~25 с) укладывается. Backoff с jitter и replay — pipeline-reliability.
  • Staging после ready и у failed. Объект staging после ready остаётся, у failed не имеет срока хранения: оригинал лежит в S3 дважды. Очистка и STAGING_RETENTION_SECONDS — pipeline-reliability.
  • Staging и конечный префикс на одном сервере S3. Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
  • Объект staging при заморозке API. Если процесс API заморожен дольше grace посреди записи, после разморозки он допишет объект уже убранной загрузки и удалить его не сможет: объект останется без метаданных. Сверка staging не видит; закрывает очистка staging следующего изменения.
  • Смесь версий при замене и новые статусы. На время замены прежняя реплика отвечает 201 ready и даёт 500 на чтении строки нового статуса, новая отвечает 202. После отката незавершённые queued и processing дают 500 на прежней версии (показано в evidence/migrations/async-attachments.md). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Порядок обновления с прежней версии: docker compose up -d --wait rabbitmq, docker compose up -d s3-bootstrap, make rolling_update, docker compose up -d --no-deps cleaner worker.
  • Прерванное остановкой задание. Задание, прерванное docker stop дольше graceful_shutdown_seconds (8 с), считается начатой попыткой.
  • Сверка не проверяет объекты вариантов и staging. Наличие и размер объектов вариантов сверка на этом уровне не проверяет: вариант без объекта даёт 500 на скачивание и error в журнале. Объекты staging — вне её префикса.
  • Искажения данных скана JPEG. Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится ready, а thumbnail будет с мусором. Проверка не декодирует пиксели при приёме намеренно.
  • Цепочка LB. Наибольшая длительность живой загрузки U = 17 + 30 + 29 ≈ 76 с < дренаж замены 90 с: до тела 2 × request_timeout_seconds + wait_timeout_seconds = 17 с; тело — [uploads] body_timeout_seconds 30 с; после тела проверка ~4 + tx1 6 + PUT 5 + tx2 6 + публикация 2 + отметка или отмена 6 ≈ 29 с < timeout server 30 с (ветка компенсации — прежние 26 с).

Другие ограничения:

  • CHECK статуса и ck_attachments_error_code_failed остаются NOT VALID: VALIDATE держал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают.
  • Удаление рабочей очереди мимо приложения потребитель не замечает, нужен перезапуск worker; такого на стенде нет, кроме уборки своей очереди после остановки своего worker.
  • Один пользователь брокера на API и worker; разделение прав — лаба 7.
  • Предел памяти брокера 400 МиБ блокирует публикацию: API отвечает 503 по сроку. Это backpressure, его меряет трек 1.
  • Ранний ответ при загрузке: urllib напрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает.
  • Keyset-пагинация: порядок задаёт (created_at, id); created_at назначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.

Следующие шаги. pipeline-reliability (уровень 4): crop и optimized WebP, outbox и relay, backoff с jitter, DLQ и replay, lease зависшего processing, очистка staging. track1-queue-overload (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до ready, RSS, backpressure и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза.

Источники, библиотеки и использование ИИ

Документация: RabbitMQ reliability, Publisher confirms and acknowledgements (из README.md задания); aio-pika — https://docs.aio-pika.com/; Pillow — https://pillow.readthedocs.io/ (Image.draft, resize с reducing_gap, EXIF); PostgreSQL 18 — NOT VALID, FOR UPDATE, lock_timeout; источники лаб 2–4 — в их отчётах. Поведение брокера и Pillow проверено пробами: таблица «Пробы» в openspec/changes/archive/2026-10-31-async-attachments/design.md.

Библиотеки: новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); остальное — uv.lock.

ИИ. Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка; решения и отвергнутые варианты — design.md, принятые без пользователя — QUESTIONS.md. Числа в отчёте перенесены из выводов команд на названном commit.