48 KiB
Отчёт — лабораторная 5
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
- Состояние отчёта: закрыт уровень 3 (change
async-attachments). Разделы уровней 4 и 5 закрывают следующие изменения:pipeline-reliabilityиtrack1-queue-overload - Commit/PR: измеренное состояние —
ff1a83b(веткаfeat/async-attachments); PR — TODO после публикации - Источники, библиотеки и помощь ИИ — последний раздел
Запуск из чистого clone
Версии. Образ API: python:3.12.14-slim-trixie, uv 0.12.17. LB: haproxy:3.4.6-trixie. PostgreSQL: postgres:18.6-trixie. Valkey: valkey/valkey:9.1.2-trixie. S3: chrislusf/seaweedfs:4.48. Брокер: rabbitmq:4.3.7. Все закреплены тегом и digest в Dockerfile и docker-compose.yml. Приложение: Python 3.12, FastAPI, aio-pika 10.2.1 (aiormq 7.2.4), Pillow 13.0.0, aiobotocore; остальное строго по uv.lock. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro.
Нужно на машине: Docker с BuildKit и Compose v2, make, openssl, curl, python3 3.9+ (публичные проверки и драйвер скилла), uv (make validate, make student_test, make test_isolated, make failure_checks, make bench*, make run_dev). Свободные порты 127.0.0.1: 8080 (LB), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088 (make test_isolated).
Действий оператора нет. make env_setup создаёт .env и config.toml из шаблонов, подставляет случайные пароли и ключи и печатает только имена. В существующий .env он дописывает недостающие переменные (секреты брокера и ключи worker при переходе с лабы 4), прежние строки не меняет. Пароль брокера, как и пароль PostgreSQL, задаётся при первом создании volume.
Способ 1: всё в compose — make run_docker
git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
make run_docker # env_setup + build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, cleaner, worker → haproxy
make replicas # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
make check
uv sync && make validate PYTHON=.venv/bin/python
make test # публичный smoke: 202, опрос до ready, оригинал и настоящий JPEG thumbnail
make instances # ≥2 X-Instance-Id одной сессии через LB
make s3_check # приватность bucket: права ключей API, уборщика и worker
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario
make failure_checks # отдельный стенд <проект>-failures, ~22 мин; рабочий стенд не трогается
Миграции применяет одноразовый сервис migrate, bucket и пользователей S3 — s3-bootstrap; реплики, уборщик и worker их ждут. Очередь объявляют API и worker при подключении: отдельного bootstrap брокера нет.
Способ 2: сервис на хосте — make run_dev, make run_worker
make run_dev # терминал 1: Postgres и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
make run_worker # терминал 2: worker на хосте; ключи worker — из .env в окружение процесса, значения не печатаются
curl -s http://127.0.0.1:8080/health/ready
make test
EXPECT_REPLICAS=1 make student_test
Ожидание готовности — /health/ready отвечает 200. Остановка процессов — Ctrl+C.
Вариант README без make: make env_setup, docker compose --env-file .env config --quiet, docker compose --env-file .env up -d --build.
Остановка и удаление данных
make stop— остановить контейнеры;make down— удалить контейнеры. Volumespostgres_data,s3_data,rabbitmq_dataостаются.make wipe_data— намеренное удаление учебных данных и volumes (спрашиваетyes).
Архитектура и решения
клиент → HAProxy (127.0.0.1:8080) → api × 2 ──┬─ PostgreSQL (источник истины: метаданные, задания, варианты)
├─ Valkey (кэш карточек чатов)
├─ S3: <база>/staging/<id>/original
└─ RabbitMQ: durable-очередь <база>.attachment.process.v1
│ job_id, attachment_id, pipeline_version, attempt…
▼
worker → S3: <база>/attachments/<id>/original, …/v1-thumbnail
→ PostgreSQL: ready или failed
cleaner → PostgreSQL + S3 (незавершённые загрузки pending, сверка bucket и БД)
Перенесено из лаб 2–4 без изменения поведения (подробности — REPORT.md репозитория mtusi2026lab4-safronov): вход Basic → Bearer-сессия в PostgreSQL, пароль — Argon2id (RFC_9106_LOW_MEMORY: t=3, m=64 MiB, p=4), SHA-256 токена в БД; кэш карточек; реплики без состояния за HAProxy, идемпотентность сообщений, make rolling_update; приватный S3 с тремя пользователями, места загрузки, уборщик и сверка.
Изменено в этой работе (design change async-attachments):
POST …/attachments— 202 со снимкомqueued;- порядок приёма: строка
pendingс ключами → PUT в staging →queuedс заданием одной транзакцией → публикация с подтверждением брокера → отметкаpublished_at→ 202; - worker: claim задания под
FOR UPDATE, чтение staging и сверка размера и SHA-256 со строкой, PUT оригинала в конечный ключ, thumbnail, PUT варианта, фиксацияreadyвместе с вариантом и заданием одной транзакцией, ack; - состояния
queued,processing,ready,failedв API;pendingнаружу не виден (404); - скачивание не готового вложения — 409, отсутствующий вариант готового — 404;
failedв сообщении — 409, а повтор отправленного сообщения с тем же ключом — тот же 201; - схема только расширена:
attachment_jobs,attachment_variants,attachments.staging_keyиerror_code, более широкий CHECK статуса (NOT VALID).
Транзакционные границы. Ключ эффекта — первичный ключ attachment_variants (attachment_id, pipeline_version, variant), логическая работа — UNIQUE (attachment_id, pipeline_version) в attachment_jobs. Вызовов S3 и брокера внутри транзакций нет.
Сервисы стенда и лимиты
| Сервис | Роль | CPU | Память | Порт на хосте |
|---|---|---|---|---|
haproxy |
LB, единственная публичная точка | 1 | 256 МБ | 127.0.0.1:8080 |
api × 2 |
приём, без состояния | 1 на реплику | 512 МБ на реплику | нет |
worker |
обработка, python -m src.worker, без healthcheck |
1 | 1 ГБ | нет |
cleaner |
незавершённые загрузки, сверка | 0,25 | 256 МБ | нет |
postgres |
источник истины, volume | 2 | 1 ГБ | loopback 5433 |
valkey |
кэш, без persistence | 0,5 | 128 МБ | loopback 6380 |
s3 |
SeaweedFS, volume | 1 | 512 МБ | loopback 8334 |
rabbitmq |
брокер, volume, предел памяти 400 МиБ | 1 | 512 МБ | loopback 5673 |
migrate (разовый) |
миграции | 0,5 | 256 МБ | нет |
s3-bootstrap (разовый) |
bucket, политики, пользователи | 0,5 | 128 МБ | нет |
Сумма постоянных сервисов: 8,75 CPU, 4736 МБ при двух репликах; вместе с разовыми — 9,75 CPU, 5120 МБ.
Соединения PostgreSQL: API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2. При двух репликах 24; во время поочерёдной замены (третья реплика) 34; max_connections 100. Переполнения пула нет (max_overflow 0).
Лимит worker 1 ГБ: худший случай при конкуренции 2 — две задачи PNG RGBA на 40 Мпкс. Пик одной задачи в контейнере образа 332 МиБ (design, «Уточнения apply», п. 14), оценка на процесс ≈ 800 МиБ. Проверяет test_max_pixels_fit_worker_memory.
Соответствие переменных .env.example
Имена лаб 1–4 — без изменений, таблицы в отчёте лабы 4 («Соответствие переменных», «Соответствие имён skeleton S3_*»). Новые имена лабы 5:
| Имя skeleton | Где у нас | Почему так |
|---|---|---|
BROKER_URL_FILE |
[broker] мостами из RABBITMQ_* (BROKER__HOST, BROKER__PORT, BROKER__USER, BROKER__PASSWORD) |
значения, а не файл, как DATABASE_URL_FILE: пароль нужен и контейнеру брокера, строка URL с паролем не собирается |
WORKER_CONCURRENCY |
[worker] concurrency (2) |
читает только worker |
JOB_MAX_ATTEMPTS |
[worker] max_attempts (5) |
то же |
JOB_TIMEOUT_SECONDS |
[worker] job_timeout_seconds (60) |
то же |
STAGING_RETENTION_SECONDS |
поля пока нет | появляется с очисткой staging в pipeline-reliability; на уровне 3 staging не удаляется |
Секреты по сервисам: пароль брокера — только rabbitmq, api, worker; ключи S3_WORKER_* — только s3-bootstrap и worker; у worker нет пароля Valkey и ключей API и уборщика.
Критичные и некритичные зависимости /health/ready
| Зависимость | В готовности | Причина и поведение при отказе |
|---|---|---|
| PostgreSQL | да | без него не работают сессии и данные: обязательный путь стоит, 503 |
| Valkey | нет | кэш: отказ — обход, чтение из PostgreSQL |
| S3 | нет | нужен только путям байтов вложений: они отвечают 503, текст и история работают |
| Брокер | нет | нужен только приёму загрузки. Иначе отказ брокера разом вывел бы все реплики из LB и остановил текст и историю |
| Worker | нет | к синхронному пути не относится |
Отказ брокера. Загрузка — 503 unavailable быстро при остановленном брокере и не дольше срока публикации 2 с при замороженном. Задания не остаётся: условная транзакция отмены возвращает вложение в pending, его убирает уборщик. Остальное API работает, после возврата брокера загрузка снова 202 на том же процессе. Отказ worker. API принимает и ставит в очередь; resize синхронно не делается: Pillow в процессе API не загружен (_imaging нет в /proc/1/maps, evidence/worker/process.md).
Разрыв COMMIT и publish и окна отказа
Намерение и queued фиксируются до публикации: публикация внутри транзакции держала бы соединение пула на время ожидания брокера, а публикация до COMMIT показала бы worker задание раньше строки.
| Окно | Что происходит | Что видит клиент |
|---|---|---|
| после staging до записи задания | pending и объект staging; их убирает уборщик |
503 или обрыв, 202 нет |
| после COMMIT до publish (падение процесса) | разрыв: queued, задание с published_at IS NULL, сообщения нет, никто не публикует |
обрыв, 202 нет |
| после publish до confirm | исход неизвестен: условная отмена; если задание уже взято — сообщение дошло, ответ 202; запоздавшее сообщение после отмены worker подтверждает без эффекта | 503 или 202 по итогу отмены |
| после confirm до tx3 или ответа | работа идёт, published_at NULL |
обрыв; вложение станет ready, клиент о нём не знает, как и в лабе 4 |
| после записи S3 до COMMIT результата | повторная доставка, те же ключи | опрос processing |
| после COMMIT результата до ack | повторная доставка — no-op с ack | опрос ready |
Что остаётся открытым на уровне 3. Падение API между фиксацией задания и подтверждением брокера или отказ PostgreSQL в транзакции отмены оставляют вложение queued без сообщения. Клиент 202 не получил, поэтому принятая работа не теряется, но строка и объект staging висят, их id никому не известен. Запрос для оператора: SELECT id FROM attachment_jobs WHERE state = 'queued' AND published_at IS NULL. Закрывает pipeline-reliability: attachment_jobs уже является будущим outbox, relay будет публиковать такие строки, API перестанет зависеть от брокера при ответе. Внедрённого сбоя на этом уровне нет. Запись — KNOWN_ISSUES.md.
Согласования с преподавателем
| Дата | Договорённость | Где учтено |
|---|---|---|
| 2026-09-26 | Лабы можно делать на FastAPI, несмотря на расхождения с контрактом (лишний 422, другой порядок кодов ошибок). Публичный smoke при этом должен проходить | .claude/rules/api-contract.md, раздел «FastAPI» |
| 2026-09-29 | Конфиг через pydantic-settings: окружение → .env → config.toml → дефолты. config.toml не в git и не в образе, монтируется read-only при запуске. Это подходит под «конфигурация приходит из окружения» (README лабы 1, п. 3) и п. 6 Dockerfile.example. Требование «только env» — упрощение курса, config.toml можно использовать |
.claude/rules/settings.md, .claude/rules/docker.md |
| 2026-10-20 | Лаба 4: «пустой текст» сообщения — это и "", и текст только из пробельных символов. Допустимы: вложение + непустой текст, без вложения + непустой текст, вложение + пустой текст. Значит, " " с хотя бы одним вложением — 201, без вложений — 400 |
спек messages (change attachments, сценарий «Пробелы с вложением»), design attachments, решение 8; .claude/rules/api-contract.md |
Расхождения FastAPI, разрешённые согласованием: 422 переведён в 400; битый JSON — 400 раньше 401, остальная валидация — после зависимостей.
Открытые вопросы преподавателю
Контракт допускает несколько трактовок, ответа пока нет. Взята самая строгая, проходящая публичные тесты. Подход от ответа не зависит. Вопросы 1 и 2 перенесены из лабы 4, полный разбор — в её отчёте.
- Все места загрузки реплики заняты: 429 или 503? Сделано: 429
rate_limitedсRetry-After: 1. - Что отвечает API на вложение, чей оригинал по сверке потерян? Сделано: метаданные — 200, байты — 404, ссылка в новом сообщении — 201; до пометки сверкой байты — 500.
- Failed-вложение прикреплять нельзя (409), а повтор с тем же
Idempotency-Keyобязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение сталоfailedуже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем жеMessage. Другой ответ меняет одну веткуsend_messageи сценарийidempotency. contracts/attachment-states.mdтребует документированный retention и cleanup неуспешных исходников без указания уровня, аREADME.mdотносит очистку к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо ниже, очистка иSTAGING_RETENTION_SECONDS— вpipeline-reliability. Другой ответ переносит очистку на этот уровень; схема к ней готова.- Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи, а relay на уровне 3 нет, и намерение в БД само не доставится. Сделано: 503, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.
Ответы на вопросы защиты
Чем publisher confirm отличается от consumer ack? Confirm — брокер сообщает издателю, что принял сообщение на себя: durable-очередь, persistent-сообщение, записано. Это граница между API и брокером, и только после неё API отвечает 202. Ack — потребитель сообщает брокеру, что работа устойчиво выполнена и сообщение можно удалить. Worker шлёт его только после фиксации ready или failed в PostgreSQL. Это разные участки пути: confirm ничего не говорит об обработке, ack — о доставке.
Что именно уже сохранено в момент 202? Проверенный оригинал целиком в staging приватного S3, строка вложения и задание в PostgreSQL (queued, attempt 0), сообщение в durable-очереди, подтверждённое брокером. Thumbnail и объекта в конечном ключе ещё нет. Проверка — test_durable_state_at_202, переживание — test_api_killed_after_202, test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed.
Почему повторная доставка нормальна и где ключ идемпотентности job? Подтверждение ack и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, и брокер обязан доставить сообщение снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — (attachment_id, pipeline_version, variant), первичный ключ attachment_variants, вставка ON CONFLICT DO NOTHING; ключи объектов одни и те же при каждом повторе, логическая работа — UNIQUE (attachment_id, pipeline_version). Доставка готовой работы проверяется и подтверждается без записи (test_redelivery_of_ready_is_noop), ready не откатывается.
Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля? Сейчас — claim под блокировкой строки задания: attempt, lease_expires_at и таблица решений. processing без redelivered при неистёкшем сроке — живая попытка, дубль возвращается в очередь без записи (test_duplicate_during_processing). redelivered значит только «сообщение уже доставлялось»: брокер ставит его и при потере соединения прежнего потребителя, и после nack(requeue=True), поэтому потерянного потребителя этот флаг не доказывает. Отсюда ограничение до lease: дубль, вернувшийся после busy, при попытке дольше паузы повтора возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст retry_exhausted, пока первая ещё идёт, и её результат уже не зафиксируется. Эффект при этом не дублируется: ключи те же, фиксация условна, ready не перезаписывается. Чего нет на уровне 3: зависший worker с живым соединением освобождает задание только по сроку подтверждения брокера (30 мин), а поток декодирования сроком не прерывается. Активный проход по истёкшему lease_expires_at — pipeline-reliability; колонка уже есть.
Сценарий защиты
Порядок автоматизирован: driver.py --port 8080 defense-scenario → evidence/attachments/defense.md, тот же порядок на стенде отказов — test_defense_scenario.
make test: 202, опрос доready, оригинал и настоящий JPEG thumbnail.docker compose stop worker, загрузка — 202, снимокqueued; сообщение с вложением — 201; скачивание — 409; текстовое сообщение — 201; в очереди ≥ 1 сообщение, потребителей 0.scripts/restart.sh— рестарт LB, реплик, PostgreSQL, Valkey, S3 и брокера с сохранением volumes; сообщение в очереди, прежний токен читаетqueued.docker compose start worker— та же записьready; оригинал с тем же SHA-256, thumbnail 256 × 160. В файле — ID иStartedAtдо и после, без токенов.
Шаг 4 (crash после side effect до ack, разрыв COMMIT/publish, replay failed) — уровень 4, pipeline-reliability; выбранный эксперимент — track1-queue-overload.
Доказательства критериев
Всё снято на ff1a83b, в шапке каждого файла — команда, дата и стенд.
Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab5 public API scenario |
evidence/tests/test-isolated.md |
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | make student_test через LB |
211 passed, 1 failed (test_exclusion_evidence_exists: только файлы последнего шага прогона), реплики выполнены |
evidence/tests/student-test-lb.md |
| Тот же набор на временной базе | make test_isolated |
smoke PASS; 205 passed, 6 skipped (реплики), 1 failed — то же; уборка полная | evidence/tests/test-isolated.md |
| Отказы | make failure_checks |
99 passed, pytest 1288 с, crash markers 0 |
evidence/tests/failure-checks.md |
| 202 только после устойчивого приёма и сохранения задания | test_durable_state_at_202, test_upload_with_broker_stopped, test_upload_with_broker_paused |
к 202 объект в staging, строка и задание, сообщение в очереди; брокер не подтвердил — 503, задания нет | evidence/tests/failure-checks.md |
| Остановка API после ответа не теряет работу | test_api_killed_after_202 |
реплика убита после 202, вложение становится ready |
evidence/tests/failure-checks.md |
| Отдельные broker и worker в общем compose | driver.py broker-check, driver.py worker-process |
образ с тегом и digest, volume, AMQP только на loopback; PID 1 python -m src.worker, лимиты 1 CPU / 1 ГБ |
evidence/broker/stand.md, evidence/worker/process.md |
| Сообщения durable | broker-check, test_queue_durable |
очередь durable, сообщение persistent | evidence/broker/stand.md, evidence/tests/failure-checks.md |
| Доставка at least once, ack после устойчивого эффекта | test_worker_killed_during_processing, test_redelivery_of_ready_is_noop |
worker убит посреди обработки — задание доводится; регрессия «ack до фиксации» делает тест красным (design, «Уточнения apply», п. 12) | evidence/tests/failure-checks.md |
| Недоступность worker не вызывает синхронный resize | test_worker_down_api_serves, worker-process |
API принимает и отвечает, _imaging нет в процессах реплик |
evidence/tests/failure-checks.md, evidence/worker/process.md |
| Состояния в API | test_attachment_becomes_ready, test_queued_while_worker_stopped, test_processing_visible, test_undecodable_becomes_failed |
queued, processing, ready, failed видны в метаданных |
evidence/tests/student-test-lb.md, evidence/tests/failure-checks.md |
| Оригинал неизменен | test_original_published_unchanged, driver.py attachment-storage |
те же байты и SHA-256; байты только в приватном bucket | evidence/tests/failure-checks.md, evidence/attachments/storage.md |
| Thumbnail по контракту | test_thumbnail_*, test_download_thumbnail |
256 × 160 у fixture, округление вниз, минимум 1 px, EXIF, alpha на белый, настоящий JPEG, размеры и SHA-256 сходятся с метаданными | evidence/tests/student-test-lb.md, evidence/attachments/defense.md |
| Ограниченный retry | [worker] max_attempts = 5, test_transient_error_retried, test_attempts_exhausted |
временная ошибка повторяется под тем же job_id, исчерпание — failed с retry_exhausted |
evidence/worker/process.md, evidence/tests/failure-checks.md |
Финальное failed с безопасным error_code |
test_undecodable_becomes_failed, test_staging_corrupted, журнал |
invalid_image, processing_failed; причина для оператора — в задании и журнале |
evidence/worker/logs.md, evidence/tests/failure-checks.md |
| Повтор не создаёт второго набора вариантов | test_ready_failure_retried, test_redelivery_of_ready_is_noop; проба ограничения |
второй вариант с тем же именем — 23505 pk_attachment_variants |
evidence/attachments/storage.md, evidence/migrations/async-attachments.md |
| В сообщении нет bytes и credentials | test_job_message_matches_schema |
сообщение проходит contracts/jobs.schema.json, только ID и служебные поля |
evidence/tests/failure-checks.md |
Демонстрация: worker остановлен → … → ready |
driver.py --port 8080 defense-scenario |
все строки expected = got, StartedAt API и брокера новые, thumbnail 256 × 160 |
evidence/attachments/defense.md |
| Принятое задание переживает рестарт брокера с volume | test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed, test_broker_recreated |
сообщения на месте после stop, KILL и up --force-recreate |
evidence/tests/failure-checks.md |
| Очереди разных баз разделены | make test_isolated KEEP_TEST_DB=1, broker-check --require-test-queue, make test_isolated |
очередь временной базы есть после первого и нет после второго | evidence/broker/isolated.md |
| Сохранность и hook | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; api, haproxy, postgres, rabbitmq, s3, valkey — те же ID и новый StartedAt, worker и cleaner прежние |
evidence/replicas/test-persistence.md |
| Отказ реплики | make test-failover stop и kill |
failed_attempts 0, восстановление 1,09 и 0,74 с |
evidence/failover/test-failover.md |
| Принявшая реплика остановлена | driver.py attachment-failover --mode stop|kill |
файл отдаёт другая реплика, SHA-256 тот же, постороннему 404 | evidence/attachments/failover.md |
| Согласованность БД и S3 | driver.py upload-consistency |
503, строки pending не видны, уборщик убрал по ключу staging, объектов без строки 0 |
evidence/attachments/consistency.md |
| Приватность S3, права worker | make s3_check |
PASS: 88 checks; worker: запись и чтение — да, удаление, список, админ — 403 |
evidence/s3/worker-key.md |
| Журнал worker | проба на стенде | общий request_id записей задания, filename 0 раз, сообщение не по схеме — error без содержимого |
evidence/worker/logs.md |
| Миграция только расширяет, откат без отката схемы | проба на временной базе, make rolling_update COMMIT=cc33a03 MIGRATE=0 и возврат |
CHECK NOT VALID, по lock_timeout — без изменений; прежний образ работает, чтение нового статуса — 500 |
evidence/migrations/async-attachments.md |
| Сроки LB пути загрузки | driver.py lb-upload-timeouts |
202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта | evidence/uploads/lb-timeouts.md |
| Замена реплик под нагрузкой | make bench_rollout ROLLOUT_LABEL=async-attachments |
8,52 с, ошибок 0, новая миграция, записей 12000 = ключей 12000 | evidence/rollout/async-attachments/summary.md |
| Память реплики при загрузках | make bench_uploads |
«с лимитом» 10 MiB: пик 172,9 / 180,1 / 185,6 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0 | evidence/uploads/baseline/summary.md |
| Секретов в доказательствах нет | поиск значений из .env по evidence/ |
12 значений, 0 совпадений | evidence/tests/secrets.md |
На этом шаге test_exclusion_evidence_exists ожидаемо красный: файлы evidence/cache/hits.md, evidence/auth/passwords-and-tokens.md и evidence/idempotency/replay-after-restart.md снимаются на последнем шаге всего прогона лабы.
Уровень 4
Не закрыт на этом шаге: закрывает change pipeline-reliability.
Трек 1 уровня 5
Не закрыт на этом шаге: закрывает change track1-queue-overload.
Эксперименты и отказы
Поочерёдная замена на версию с брокером: метка async-attachments
Гипотеза: миграция и замена реплик с 04f8592 на ff1a83b идут без ошибок клиента, потому что схема только расширяется, а публикация ленива и не нужна чтениям и записи сообщений.
Методика — make bench_rollout: git.dirty false, swapouts_delta 0, посторонних контейнеров нет. Две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey 0,5 CPU / 128 МБ, HAProxy 1 CPU / 256 МБ, k6: 100 записей с ключом и 100 чтений в секунду, один прогон. В профиле только сообщения и история: загрузки не участвуют, поэтому смесь 201 и 202 он не показывает.
| Замена | Сборка / миграция | Ревизия | Ошибки до / во время / после | Успешных в секунду | p95 до / макс. во время | Записи |
|---|---|---|---|---|---|---|
| 8,52 с | 1 / 1 с | 5c3e1f0a9b7d → a1d4c7e90b23 |
0 / 0 / 0 | 200 / мин. 200 | 4 / 8 мс | 12000 сообщений = 12000 ключей, повторов 0 |
CPU API всего: 0,54 ядра до и 0,55 после, 0,78 во время. Гипотеза подтверждена. Сырые данные — evidence/rollout/async-attachments/.
Память реплики при загрузках: метка baseline
Снята, потому что на неё ссылаются исключения сверки лабы 4. Методика — make bench_uploads: одна реплика 1 CPU / 512 МБ без swap, 72 прогона, 50 мин, медиана из 3 повторов; worker не запущен, задания ждут в очереди. Поправки к чтению — evidence/uploads/README.md.
| Вариант, 10 MiB | C = 10: пик, MiB | C = 20 | C = 40 | OOM при 40 | Загрузок/с при 10 | p95 при 10, мс |
|---|---|---|---|---|---|---|
| с лимитом | 172,9 | 180,1 | 185,6 | 0/3 | 10,50 | 1253 |
| без лимита | 227,6 | 331,0 | OOM | 3/3 | 9,00 | 1480 |
H1 (пик ограничен местами) и H4 (нет 503 по сроку S3) выполнены. H2 в сводке — «нет»: вариант «до» теперь 04f8592, где места уже есть, поэтому прежнее поведение он не показывает; настоящее «до» — отчёт лабы 4. H3 в сводке — «нет»: на 1 MiB «с лимитом» даёт 85–89 % «без лимита» при пороге 90 %, на 10 MiB — 117–121 %. Память приёма после перехода на брокер в границах прежних сценариев спека: ~185 MiB из 512 при 40 клиентах.
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Worker остановлен, рестарт API и хранилищ, worker запущен | принятая работа дожидается | queued → ready, те же байты (defense.md) |
потерь нет |
| Брокер остановлен при загрузке | 503, остальное API работает, после возврата 202 | так (test_upload_with_broker_stopped, test_readiness_without_broker_and_worker) |
подтверждённых потерь нет |
| Брокер заморожен | 503 не позже срока 2 с | так (test_upload_with_broker_paused) |
исход неизвестен, решает условная отмена |
KILL брокера и up --force-recreate с volume |
подтверждённые сообщения на месте | так (test_broker_kill_keeps_confirmed, test_broker_recreated) |
потерь нет |
| Worker убит посреди обработки | повторная доставка, один набор вариантов | так (test_worker_killed_during_processing) |
потерь нет, попытка посчитана |
| S3 недоступен при обработке | повторы под одним job_id, затем ready или retry_exhausted |
так (test_transient_error_retried, test_attempts_exhausted) |
рабочий стенд выдерживает 40–65 с (расчёт по настройкам, design, решение 13; тесты — на коротких сроках стенда отказов) |
| PostgreSQL недоступен при обработке | задание ждёт, попытка не считается | так (test_database_outage_during_processing) |
потерь нет |
| Сообщение не по схеме | отброшено, error без содержимого |
так (test_malformed_message_dropped, logs.md) |
следующие задания идут |
| Реплика API остановлена или убита | запись через другую | failed_attempts 0 (test-failover.md) |
1,09 и 0,74 с, потерь нет |
Ограничения и следующие шаги
Ограничения этого уровня, названные спеками:
- Зависший worker и срок подтверждения брокера. Worker, зависший с живым соединением, освобождает задание только по
consumer_timeoutброкера (30 мин). Срок попытки покрывает всё, кроме потока декодирования: тот сроком не прерывается, его длительность ограничена лимитом пикселей. Lease и жёсткий срок —pipeline-reliability. - Постоянная пауза повтора. Пауза фиксирована (10 с, 5 попыток): отказ S3 дольше суммы пауз и сроков, 40–65 с, переводит взятые задания в
failed, а replay нет. Рестарт S3 (~25 с) укладывается. Backoff с jitter и replay —pipeline-reliability. - Staging после
readyи уfailed. Объект staging послеreadyостаётся, уfailedне имеет срока хранения: оригинал лежит в S3 дважды. Очистка иSTAGING_RETENTION_SECONDS—pipeline-reliability. - Staging и конечный префикс на одном сервере S3. Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
- Объект staging при заморозке API. Если процесс API заморожен дольше grace посреди записи, после разморозки он допишет объект уже убранной загрузки и удалить его не сможет: объект останется без метаданных. Сверка staging не видит; закрывает очистка staging следующего изменения.
- Смесь версий при замене и новые статусы. На время замены прежняя реплика отвечает 201
readyи даёт 500 на чтении строки нового статуса, новая отвечает 202. После отката незавершённыеqueuedиprocessingдают 500 на прежней версии (показано вevidence/migrations/async-attachments.md). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Порядок обновления с прежней версии:docker compose up -d --wait rabbitmq,docker compose up -d s3-bootstrap,make rolling_update,docker compose up -d --no-deps cleaner worker. - Прерванное остановкой задание. Задание, прерванное
docker stopдольшеgraceful_shutdown_seconds(8 с), считается начатой попыткой. - Сверка не проверяет объекты вариантов и staging. Наличие и размер объектов вариантов сверка на этом уровне не проверяет: вариант без объекта даёт 500 на скачивание и
errorв журнале. Объекты staging — вне её префикса. - Искажения данных скана JPEG. Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится
ready, а thumbnail будет с мусором. Проверка не декодирует пиксели при приёме намеренно. - Цепочка LB. Наибольшая длительность живой загрузки
U = 17 + 30 + 29 ≈ 76 с< дренаж замены 90 с: до тела2 × request_timeout_seconds + wait_timeout_seconds= 17 с; тело —[uploads] body_timeout_seconds30 с; после телапроверка ~4 + tx1 6 + PUT 5 + tx2 6 + публикация 2 + отметка или отмена 6 ≈ 29 с<timeout server30 с (ветка компенсации — прежние 26 с).
Другие ограничения:
- CHECK статуса и
ck_attachments_error_code_failedостаютсяNOT VALID:VALIDATEдержал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают. - Удаление рабочей очереди мимо приложения потребитель не замечает, нужен перезапуск worker; такого на стенде нет, кроме уборки своей очереди после остановки своего worker.
- Один пользователь брокера на API и worker; разделение прав — лаба 7.
- Предел памяти брокера 400 МиБ блокирует публикацию: API отвечает 503 по сроку. Это backpressure, его меряет трек 1.
- Ранний ответ при загрузке:
urllibнапрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает. - Keyset-пагинация: порядок задаёт
(created_at, id);created_atназначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.
Следующие шаги. pipeline-reliability (уровень 4): crop и optimized WebP, outbox и relay, backoff с jitter, DLQ и replay, lease зависшего processing, очистка staging. track1-queue-overload (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до ready, RSS, backpressure и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза.
Источники, библиотеки и использование ИИ
Документация: RabbitMQ reliability, Publisher confirms and acknowledgements (из README.md задания); aio-pika — https://docs.aio-pika.com/; Pillow — https://pillow.readthedocs.io/ (Image.draft, resize с reducing_gap, EXIF); PostgreSQL 18 — NOT VALID, FOR UPDATE, lock_timeout; источники лаб 2–4 — в их отчётах. Поведение брокера и Pillow проверено пробами: таблица «Пробы» в openspec/changes/archive/2026-10-31-async-attachments/design.md.
Библиотеки: новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); остальное — uv.lock.
ИИ. Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка; решения и отвергнутые варианты — design.md, принятые без пользователя — QUESTIONS.md. Числа в отчёте перенесены из выводов команд на названном commit.