417 lines
76 KiB
Markdown
417 lines
76 KiB
Markdown
# Отчёт — лабораторная 5
|
||
|
||
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
|
||
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
|
||
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`). Раздел уровня 5 закрывает `track1-queue-overload`
|
||
- Commit/PR: измеренное состояние — `399da05` (ветка `feat/pipeline-reliability`); снятое на прежних `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации
|
||
- Источники, библиотеки и помощь ИИ — последний раздел
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Версии.** Образ API: `python:3.12.14-slim-trixie`, uv 0.12.17. LB: `haproxy:3.4.6-trixie`. PostgreSQL: `postgres:18.6-trixie`. Valkey: `valkey/valkey:9.1.2-trixie`. S3: `chrislusf/seaweedfs:4.48`. Брокер: `rabbitmq:4.3.7`. Все закреплены тегом и digest в `Dockerfile` и `docker-compose.yml`. Приложение: Python 3.12, FastAPI, aio-pika 10.2.1 (aiormq 7.2.4), Pillow 13.0.0, aiobotocore; остальное строго по `uv.lock`. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro.
|
||
|
||
**Нужно на машине:** Docker с BuildKit и Compose v2, `make`, `openssl`, `curl`, `python3` 3.9+ (публичные проверки и драйвер скилла), uv (`make validate`, `make student_test`, `make test_isolated`, `make failure_checks`, `make bench*`, `make run_dev`). Свободные порты `127.0.0.1`: 8080 (LB), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088 (`make test_isolated`).
|
||
|
||
**Действий оператора нет.** `make env_setup` создаёт `.env` и `config.toml` из шаблонов, подставляет случайные пароли и ключи и печатает только имена. В существующий `.env` он дописывает недостающие переменные (секреты брокера и ключи worker при переходе с лабы 4), прежние строки не меняет. Пароль брокера, как и пароль PostgreSQL, задаётся при первом создании volume.
|
||
|
||
### Способ 1: всё в compose — `make run_docker`
|
||
|
||
```sh
|
||
git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
|
||
make run_docker # env_setup + build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy
|
||
make replicas # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
|
||
make check
|
||
uv sync && make validate PYTHON=.venv/bin/python
|
||
make test # публичный smoke: 202, опрос до ready, оригинал и настоящий JPEG thumbnail
|
||
make instances # ≥2 X-Instance-Id одной сессии через LB
|
||
make s3_check # приватность bucket: права ключей API, уборщика и worker
|
||
make student_test
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
|
||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario
|
||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults # шаг 4 защиты, ~2–4 мин
|
||
make replay # реестр failed, только показ; APPLY=1 ATTACHMENT=<id> — вернуть в работу
|
||
make failure_checks # отдельный стенд <проект>-failures, ~40 мин; рабочий стенд не трогается
|
||
```
|
||
|
||
Миграции применяет одноразовый сервис `migrate`, bucket и пользователей S3 — `s3-bootstrap`; реплики, relay, уборщик и worker их ждут. Очередь объявляют relay и worker при подключении: отдельного bootstrap брокера нет, реплики API к брокеру не обращаются.
|
||
|
||
### Способ 2: сервис на хосте — `make run_dev`, `make run_worker`, `make run_relay`
|
||
|
||
```sh
|
||
make run_dev # терминал 1: Postgres и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
|
||
make run_worker # терминал 2: worker на хосте; ключи worker — из .env в окружение процесса, значения не печатаются
|
||
make run_relay # терминал 3: relay на хосте; без него задания ждут в PostgreSQL
|
||
curl -s http://127.0.0.1:8080/health/ready
|
||
make test
|
||
EXPECT_REPLICAS=1 make student_test
|
||
```
|
||
|
||
Ожидание готовности — `/health/ready` отвечает 200. Остановка процессов — Ctrl+C.
|
||
|
||
Вариант README без make: `make env_setup`, `docker compose --env-file .env config --quiet`, `docker compose --env-file .env up -d --build`.
|
||
|
||
### Остановка и удаление данных
|
||
|
||
- `make stop` — остановить контейнеры; `make down` — удалить контейнеры. Volumes `postgres_data`, `s3_data`, `rabbitmq_data` остаются.
|
||
- `make wipe_data` — намеренное удаление учебных данных и volumes (спрашивает `yes`).
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
клиент → HAProxy (127.0.0.1:8080) → api × 2 ──┬─ PostgreSQL (источник истины: метаданные, задания = outbox, варианты)
|
||
├─ Valkey (кэш карточек чатов)
|
||
└─ S3: <база>/staging/<id>/original
|
||
relay → PostgreSQL: state = 'queued' AND published_at IS NULL, срок наступил; истёкшие аренды
|
||
→ RabbitMQ: durable-очередь <база>.attachment.process.v1, publisher confirm, затем отметка published_at
|
||
│ job_id, attachment_id, pipeline_version, attempt…
|
||
▼
|
||
worker → PostgreSQL: claim с арендой и номером попытки → render: отдельный процесс на задание, лимиты, без секретов
|
||
→ S3: <база>/attachments/<id>/original, …/v1-thumbnail, v1-crop, v1-optimized
|
||
→ PostgreSQL: ready или failed с fencing, затем ack
|
||
cleaner → PostgreSQL + S3 (pending, staging у ready и по сроку у failed, сверка bucket и БД)
|
||
make replay → relay replay: реестр failed и возврат работы с аудитом
|
||
```
|
||
|
||
**Перенесено из лаб 2–4 без изменения поведения** (подробности — `REPORT.md` репозитория `mtusi2026lab4-safronov`): вход Basic → Bearer-сессия в PostgreSQL, пароль — Argon2id (`RFC_9106_LOW_MEMORY`: t=3, m=64 MiB, p=4), SHA-256 токена в БД; кэш карточек; реплики без состояния за HAProxy, идемпотентность сообщений, `make rolling_update`; приватный S3 с тремя пользователями, места загрузки, уборщик и сверка.
|
||
|
||
**Изменено на уровне 3** (design change `async-attachments`):
|
||
|
||
- `POST …/attachments` — 202 со снимком `queued`;
|
||
- worker: claim задания под `FOR UPDATE`, чтение staging и сверка размера и SHA-256 со строкой, PUT оригинала в конечный ключ, варианты, фиксация `ready` вместе с вариантами и заданием одной транзакцией, ack;
|
||
- состояния `queued`, `processing`, `ready`, `failed` в API; `pending` наружу не виден (404);
|
||
- скачивание не готового вложения — 409, отсутствующий вариант готового — 404; `failed` в сообщении — 409, а повтор отправленного сообщения с тем же ключом — тот же 201;
|
||
- схема только расширена: `attachment_jobs`, `attachment_variants`, `attachments.staging_key` и `error_code`, более широкий CHECK статуса (`NOT VALID`).
|
||
|
||
**Изменено на уровне 4** (design change `pipeline-reliability`):
|
||
|
||
- порядок приёма: строка `pending` с ключами → PUT в staging → `queued` с заданием одной транзакцией → 202. Брокера в пути запроса нет, у реплик ни клиента, ни пароля;
|
||
- outbox — те же строки `attachment_jobs` (`state = 'queued' AND published_at IS NULL`); relay публикует с подтверждением под `FOR UPDATE SKIP LOCKED`, отмечает только подтверждённые, возвращает истёкшие аренды и потерянные сообщения;
|
||
- сообщение — подсказка, истина в строке задания: дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта; аренда `job_timeout + lease_margin` без пульса, номер попытки — fencing;
|
||
- варианты `crop` и `optimized`; декодирует только отдельный процесс на задание с лимитами;
|
||
- backoff с jitter, постоянные и временные ошибки, реестр `failed` в PostgreSQL и `make replay` с аудитом (`attachment_job_replays`, `attempt_base`);
|
||
- `prefetch` отдельно от `concurrency`; очистка staging уборщиком, класс сверки `orphan_staging`;
|
||
- схема только расширена: ревизии `c7e2f1a04b56` и `d3f9a6b2c1e7`.
|
||
|
||
**Транзакционные границы.** Ключ эффекта — первичный ключ `attachment_variants (attachment_id, pipeline_version, variant)`, логическая работа — `UNIQUE (attachment_id, pipeline_version)` в `attachment_jobs`. Вызовов S3 и брокера внутри транзакций нет, кроме двух осознанных исключений с коротким сроком: публикация relay (2 с < срока шага 6 с < простоя транзакции 10 с: блокировка строки и есть признак «публикует другой relay») и DELETE уборщика под блокировкой строки.
|
||
|
||
### Варианты и лимиты обработки
|
||
|
||
| Вариант | Формат | Размер | Параметры | Метаданные |
|
||
|---|---|---|---|---|
|
||
| `thumbnail` | JPEG | вписан в 256 × 256, вниз, без увеличения | `quality=85` | EXIF и ICC не пишутся |
|
||
| `crop` | JPEG | 128 × 128, центр, маленькие растягиваются | `quality=85`, альфа на белый | то же |
|
||
| `optimized` | WebP | вписан в 1280 × 1280, без увеличения | `quality=80`, `method=4` (`method=6` на пробе в 3,5 раза дольше без выигрыша) | EXIF, XMP, ICC нет; ориентация применена; прозрачность сохранена |
|
||
|
||
Все три — из одного декодирования, результат детерминирован (design, таблица «Пробы»). Pillow нет ни в репликах, ни в процессе 1 worker (`evidence/worker/process.md`).
|
||
|
||
| Лимит | Механизм | Значение | Превышение |
|
||
|---|---|---|---|
|
||
| байты | размер объекта против строки до чтения тела; CHECK контракта | 10 MiB | `source_corrupted`, `processing_failed`, постоянная |
|
||
| пиксели | `width × height` до декодирования | 40 млн | `limit_pixels`, `invalid_image`, постоянная |
|
||
| память | `RLIMIT_AS` процесса обработки | 450 МиБ | `limit_memory`, `invalid_image`, постоянная |
|
||
| CPU | `RLIMIT_CPU`, `RLIMIT_CORE` = 0 | 15 с | `limit_cpu`, `invalid_image`, постоянная |
|
||
| время | родитель убивает процесс | 40 с, меньше срока попытки 60 с | `timeout`, временная |
|
||
|
||
Настоящий случай «дорогого» файла — прогрессивный JPEG в пределах контракта, один скан повторён 445 227 раз: `test_limit_cpu_scan_bomb`.
|
||
|
||
**Бюджет памяти контейнера worker (1 ГБ).** Замер двух файлов разом на `399da05` (`evidence/worker/memory.md`): пик процесса обработки на 40 Мпкс (`render_peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404 МиБ, а на обеих границах контракта сразу, 40 Мпкс и ~10 MiB файла, — 366 и 414 МиБ. `VmHWM` процесса 1 при двух телах ~10 MiB — до 159 МиБ. Самый дорогой случай, два серых 16 бит на обеих границах: `memory.peak` контейнера 905 МиБ, `oom_kill` 0; у двух PNG 10 MiB из шума — 261 МиБ. Верхняя оценка суммой пиков: 159 + 2 × 414 = 987 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.
|
||
|
||
### Сервисы стенда и лимиты
|
||
|
||
| Сервис | Роль | CPU | Память | Порт на хосте |
|
||
|---|---|---|---|---|
|
||
| `haproxy` | LB, единственная публичная точка | 1 | 256 МБ | `127.0.0.1:8080` |
|
||
| `api` × 2 | приём, без состояния | 1 на реплику | 512 МБ на реплику | нет |
|
||
| `relay` | публикация намерений, истёкшие аренды, `python -m src.relay`, без healthcheck | 0,25 | 256 МБ | нет |
|
||
| `worker` | обработка, `python -m src.worker`, без healthcheck | 1 | 1 ГБ | нет |
|
||
| `cleaner` | незавершённые загрузки, очистка staging, сверка | 0,25 | 256 МБ | нет |
|
||
| `postgres` | источник истины, volume | 2 | 1 ГБ | loopback 5433 |
|
||
| `valkey` | кэш, без persistence | 0,5 | 128 МБ | loopback 6380 |
|
||
| `s3` | SeaweedFS, volume | 1 | 512 МБ | loopback 8334 |
|
||
| `rabbitmq` | брокер, volume, предел памяти 400 МиБ | 1 | 512 МБ | loopback 5673 |
|
||
| `migrate` (разовый) | миграции | 0,5 | 256 МБ | нет |
|
||
| `s3-bootstrap` (разовый) | bucket, политики, пользователи | 0,5 | 128 МБ | нет |
|
||
|
||
**Сумма постоянных сервисов:** 9,0 CPU, 4992 МБ при двух репликах; вместе с разовыми — 10,0 CPU, 5376 МБ.
|
||
|
||
**Соединения PostgreSQL:** `API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1`. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; `max_connections` 100. Переполнения пула нет (`max_overflow` 0).
|
||
|
||
**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`.
|
||
|
||
### Соответствие переменных `.env.example`
|
||
|
||
Имена лаб 1–4 — без изменений, таблицы в отчёте лабы 4 («Соответствие переменных», «Соответствие имён skeleton `S3_*`»). Новые имена лабы 5:
|
||
|
||
| Имя skeleton | Где у нас | Почему так |
|
||
|---|---|---|
|
||
| `BROKER_URL_FILE` | `[broker]` мостами из `RABBITMQ_*` (`BROKER__HOST`, `BROKER__PORT`, `BROKER__USER`, `BROKER__PASSWORD`) | значения, а не файл, как `DATABASE_URL_FILE`: пароль нужен и контейнеру брокера, строка URL с паролем не собирается |
|
||
| `WORKER_CONCURRENCY` | `[worker] concurrency` (2) | читает только worker |
|
||
| `JOB_MAX_ATTEMPTS` | `[worker] max_attempts` (5) | то же |
|
||
| `JOB_TIMEOUT_SECONDS` | `[worker] job_timeout_seconds` (60) | то же |
|
||
| `STAGING_RETENTION_SECONDS` | `[cleaner] staging_retention_seconds` (86400) | читает только уборщик; значение из `.env.example` skeleton |
|
||
|
||
Новые настройки уровня 4 (значения по умолчанию, вывод записи о старте — `evidence/worker/process.md`, `evidence/relay/process.md`):
|
||
|
||
- `[worker]`: `prefetch` 2, `lease_margin_seconds` 10, `retry_base_delay_seconds` 5, `retry_max_delay_seconds` 300, `render_timeout_seconds` 40, `render_cpu_limit_seconds` 15, `render_memory_limit_mib` 450, `graceful_shutdown_seconds` 8 (не больше 8);
|
||
- `[relay]`: `poll_interval_seconds` 0,25, `batch_size` 100, `max_published_backlog` 1000 (0 — без предела), `republish_after_seconds` 300, `failure_pause_seconds` 2.
|
||
|
||
Секреты по сервисам: пароль брокера — только `rabbitmq`, `relay`, `worker`, у `api` настроек брокера нет; ключи `S3_WORKER_*` — только `s3-bootstrap` и `worker`; у worker нет пароля Valkey и ключей API и уборщика; у relay нет S3 и Valkey; в окружении процесса обработки секретов нет.
|
||
|
||
### Критичные и некритичные зависимости `/health/ready`
|
||
|
||
| Зависимость | В готовности | Причина и поведение при отказе |
|
||
|---|---|---|
|
||
| PostgreSQL | да | без него не работают сессии и данные: обязательный путь стоит, 503 |
|
||
| Valkey | нет | кэш: отказ — обход, чтение из PostgreSQL |
|
||
| S3 | нет | нужен только путям байтов вложений: они отвечают 503, текст и история работают |
|
||
| Брокер | нет | брокера в пути запроса нет: загрузка отвечает 202, намерение ждёт в PostgreSQL |
|
||
| Relay | нет | без него задания ждут в PostgreSQL, приём не страдает |
|
||
| Worker | нет | к синхронному пути не относится |
|
||
|
||
**Отказ брокера.** Загрузка — **202, а не 503** (на уровне 3 было 503): намерение уже в PostgreSQL, relay пишет «Broker is unavailable» и опубликует после возврата; 503 на загрузке теперь только от S3 и PostgreSQL. Проверки: `test_upload_with_broker_stopped`, `test_upload_with_broker_paused`. **Отказ relay.** Загрузка — 202, задание `queued` с пустой отметкой, следующий запуск публикует (`test_relay_killed_before_publish`). **Отказ worker.** API принимает, relay публикует; resize синхронно не делается: Pillow в процессе API не загружен (`_imaging` нет в `/proc/1/maps`, `evidence/worker/process.md`).
|
||
|
||
### Разрыв COMMIT и publish и окна отказа
|
||
|
||
Разрыв закрыт transactional outbox на тех же строках: намерение и `queued` — одна транзакция, публикует отдельный relay по этим строкам, а не процесс запроса. Отдельной таблицы нет: это было бы второе состояние той же работы. LISTEN/NOTIFY отвергнут: опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс.
|
||
|
||
| Окно | Что происходит | Что видит клиент |
|
||
|---|---|---|
|
||
| после staging до записи задания | `pending` и объект staging; их убирает уборщик | 503 или обрыв |
|
||
| после COMMIT `queued` до ответа | работа идёт: relay опубликует | обрыв; вложение станет `ready`, клиент о нём не знает, как и в лабе 4 |
|
||
| после COMMIT до publish (relay упал) | намерение в БД, следующий проход публикует | 202 уже получен |
|
||
| после publish до confirm | исход неизвестен: новая публикация, возможен дубль | опрос `queued` |
|
||
| после confirm до отметки `published_at` | откат отметки, новая публикация, дубль — no-op | опрос `queued` или `processing` |
|
||
| после записи S3 до COMMIT результата | аренда истекает, новая попытка пишет те же ключи | опрос `processing`, затем `queued` |
|
||
| после COMMIT результата до ack | повторная доставка — no-op с ack | опрос `ready` |
|
||
|
||
Сбои внедрены снаружи, без точек сбоя в коде (триггер на `filename` прогона, `docker kill`): `driver.py defense-faults` на рабочем стенде → `evidence/attachments/defense-faults.md`, те же окна — `test_defense_faults`. Запись «Разрыв COMMIT и publish» из `KNOWN_ISSUES.md` удалена.
|
||
|
||
**Смесь версий и порядок обновления** (design, Migration Plan). Шага оператора нет: секретов не прибавилось. Без простоя: `docker compose up -d s3-bootstrap`, `make rolling_update` (две ревизии, затем реплики), `docker compose up -d --no-deps worker cleaner`, затем `docker compose up -d --no-deps relay`; до запуска relay загрузки отвечают 202 и ждут. Worker обновляется раньше relay: прежний worker делает только thumbnail. Откат: `make rolling_update COMMIT=<прежний> MIGRATE=0 COMPOSE_FILE=docker-compose.yml:infra/rollback/broker.compose.yml` (прежним репликам нужен пароль брокера, только на время отката), прежние worker и уборщик, relay останавливается, схема остаётся. Новых статусов и `error_code` нет, поэтому 500 на чтении, как при переходе 201 → 202, здесь нет; проба — `evidence/migrations/pipeline-reliability.md`.
|
||
|
||
### Согласования с преподавателем
|
||
|
||
| Дата | Договорённость | Где учтено |
|
||
|---|---|---|
|
||
| 2026-09-26 | Лабы можно делать на FastAPI, несмотря на расхождения с контрактом (лишний 422, другой порядок кодов ошибок). Публичный smoke при этом должен проходить | `.claude/rules/api-contract.md`, раздел «FastAPI» |
|
||
| 2026-09-29 | Конфиг через pydantic-settings: окружение → `.env` → `config.toml` → дефолты. `config.toml` не в git и не в образе, монтируется read-only при запуске. Это подходит под «конфигурация приходит из окружения» (README лабы 1, п. 3) и п. 6 `Dockerfile.example`. Требование «только env» — упрощение курса, `config.toml` можно использовать | `.claude/rules/settings.md`, `.claude/rules/docker.md` |
|
||
| 2026-10-20 | Лаба 4: «пустой текст» сообщения — это и `""`, и текст только из пробельных символов. Допустимы: вложение + непустой текст, без вложения + непустой текст, вложение + пустой текст. Значит, `" "` с хотя бы одним вложением — 201, без вложений — 400 | спек `messages` (change `attachments`, сценарий «Пробелы с вложением»), design `attachments`, решение 8; `.claude/rules/api-contract.md` |
|
||
|
||
Расхождения FastAPI, разрешённые согласованием: 422 переведён в 400; битый JSON — 400 раньше 401, остальная валидация — после зависимостей.
|
||
|
||
### Открытые вопросы преподавателю
|
||
|
||
Контракт допускает несколько трактовок, ответа пока нет. Взята самая строгая, проходящая публичные тесты. Подход от ответа не зависит. Вопросы 1 и 2 перенесены из лабы 4, полный разбор — в её отчёте.
|
||
|
||
1. **Все места загрузки реплики заняты: 429 или 503?** Сделано: 429 `rate_limited` с `Retry-After: 1`.
|
||
2. **Что отвечает API на вложение, чей оригинал по сверке потерян?** Сделано: метаданные — 200, байты — 404, ссылка в новом сообщении — 201; до пометки сверкой байты — 500.
|
||
3. **Failed-вложение прикреплять нельзя (409), а повтор с тем же `Idempotency-Key` обязан вернуть тот же 201.** Что отвечать на повтор сообщения, чьё вложение стало `failed` уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же `Message`. Другой ответ меняет одну ветку `send_message` и сценарий `idempotency`.
|
||
4. **`contracts/attachment-states.md` требует документированный retention и cleanup неуспешных исходников без указания уровня, а `README.md` относит очистку к уровню 4.** Закрыт уровнем 4: `[cleaner] staging_retention_seconds` 86400 с, очистка у `ready` следующим проходом, у `failed` по сроку. На уровне 3 очистки не было.
|
||
5. **Допустим ли на уровне 3 ответ 503 при недоступном брокере?** Закрыт уровнем 4: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL. На уровне 3 был 503: relay ещё не было.
|
||
6. **Контракт требует EXIF orientation и alpha на белый только у thumbnail. Как с `crop` и `optimized`?** Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), `optimized` сохраняет прозрачность. Другой ответ правит одну функцию и сценарий.
|
||
7. **Контракт называет replay «явным операторским», но не говорит, как его вызывать.** Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
|
||
8. **Изображение, не уложившееся в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код?** Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует обновить реплики раньше worker.
|
||
9. **Контракт требует retention «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка.** Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки.
|
||
|
||
### Ответы на вопросы защиты
|
||
|
||
**Чем publisher confirm отличается от consumer ack?** Confirm — брокер сообщает издателю, что принял сообщение на себя: durable-очередь, persistent-сообщение, записано. Это граница между relay и брокером: только после неё relay ставит отметку `published_at`, неподтверждённое остаётся намерением и публикуется снова. Ack — потребитель сообщает брокеру, что сообщение можно удалить. Worker шлёт его только после фиксации исхода в PostgreSQL (`ready`, `failed`, `queued` со сроком следующей попытки) или решения «эффекта не нужно». Это разные участки пути: confirm ничего не говорит об обработке, ack — о доставке. Ни тот, ни другой больше не определяют ответ клиенту: 202 — это COMMIT в PostgreSQL.
|
||
|
||
**Что именно уже сохранено в момент 202?** Проверенный оригинал целиком в staging приватного S3, строка вложения и намерение обработки в PostgreSQL (`queued`, `attempt` 0, одна транзакция). Сообщения в очереди может ещё не быть: его опубликует relay, и брокер в этот момент может быть недоступен. Вариантов и объекта в конечном ключе ещё нет. Проверка — `test_durable_state_at_202`, переживание — `test_api_killed_after_202`, `test_relay_killed_before_publish`, `test_broker_restart_keeps_job`, `test_broker_kill_keeps_confirmed`.
|
||
|
||
**Почему повторная доставка нормальна и где ключ идемпотентности job?** Подтверждение и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, relay — между confirm и отметкой, и сообщение придёт снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — `(attachment_id, pipeline_version, variant)`, первичный ключ `attachment_variants`, вставка `ON CONFLICT DO NOTHING`; ключи объектов одни и те же при каждом повторе, логическая работа — `UNIQUE (attachment_id, pipeline_version)`. Сообщение — подсказка, истина в строке: доставка готовой работы подтверждается без записи (`test_redelivery_of_ready_is_noop`, `test_crash_after_commit_before_ack`: `attempt` 1, тот же `updated_at`), `ready` не откатывается, replay готового — отказ `already_ready`.
|
||
|
||
**Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Только сроком: флаг `redelivered` этого не доказывает, брокер ставит его и после `nack`. Попытка жёстко ограничена: шаги прерывает `asyncio.timeout(job_timeout_seconds)`, процесс обработки убивается, поэтому аренда `job_timeout + lease_margin` (70 с) обходится без пульса. Истёкшая аренда значит «мёртв или заморожен», такую попытку возвращает relay. Пока аренда жива, дубль подтверждается без эффекта и без траты номера (`busy`, `test_duplicate_during_processing`), долгая живая попытка не теряет работу (`test_long_attempt_keeps_lease`). Новая попытка получает новый номер, и фиксация условна: `state = 'processing' AND attempt = :своя`. Размороженный прежний процесс получает `superseded` и ничего не меняет, в том числе пока новая попытка ещё идёт: тогда решает только номер (`test_hung_worker_lease_fencing`). Цена — после KILL следующая попытка ждёт аренду, до 70 с (наблюдали 70 с, `evidence/attachments/defense-faults.md`). Пульс отвергнут: запись на задание каждые несколько секунд, зависимость от event loop и ложные срабатывания под перегрузкой.
|
||
|
||
### Сценарий защиты
|
||
|
||
Порядок автоматизирован: `driver.py --port 8080 defense-scenario` → `evidence/attachments/defense.md`, тот же порядок на стенде отказов — `test_defense_scenario`.
|
||
|
||
1. `make test`: 202, опрос до `ready`, оригинал и настоящий JPEG thumbnail.
|
||
2. `docker compose stop worker`, загрузка — 202, снимок `queued`; сообщение с вложением — 201; скачивание — 409; текстовое сообщение — 201; в очереди ≥ 1 сообщение, потребителей 0.
|
||
3. `scripts/restart.sh` — рестарт LB, реплик, PostgreSQL, Valkey, S3 и брокера с сохранением volumes; сообщение в очереди, прежний токен читает `queued`. `docker compose start worker` — та же запись `ready`; оригинал с тем же SHA-256, thumbnail 256 × 160, crop 128 × 128, optimized WebP 320 × 200. В файле — ID и `StartedAt` до и после, без токенов. Relay не трогается.
|
||
4. `driver.py --port 8080 defense-faults` → `evidence/attachments/defense-faults.md`: шесть окон на рабочем стенде (таблица ниже). Триггеры — только на уникальный `filename` прогона, после прогона их нет, worker и relay запущены при любом исходе.
|
||
|
||
| Окно | Действие | Начато попыток | Итог |
|
||
|---|---|---|---|
|
||
| после записи объектов до COMMIT | `kill worker`, ожидание аренды | 2 | `ready` через 70 с, те же SHA-256 в S3 и метаданных |
|
||
| после COMMIT до ack | заморозка и `kill worker`, сообщение вернулось | 1 | `ready`, no-op, тот же `updated_at`, очередь пуста |
|
||
| после COMMIT `queued` до publish | `kill relay`, загрузка 202, 0 сообщений, запуск | 1 | `ready` без ручного задания |
|
||
| после confirm до отметки | `kill relay`, сообщение есть, отметки нет, запуск — 2 сообщения | 1 | `ready`, дубль без эффекта |
|
||
| replay `failed` | staging подменён, `failed` `source_corrupted`, реестр без изменений, объект возвращён, `--apply` | 2 | `ready`, то же задание, `attempt_base` 1, запись аудита |
|
||
| replay готового | `--apply` на `ready` | 1 | код 3, `already_ready`, ничего не изменилось |
|
||
|
||
Выбранный эксперимент уровня 5 — `track1-queue-overload`.
|
||
|
||
## Доказательства критериев
|
||
|
||
В шапке каждого файла — команда, дата, commit и стенд. На `399da05` (правки по проверке: `_prepared`, тесты, драйвер) сняты `evidence/worker/memory.md`, `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md`. Остальные файлы уровня 4 и `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md` сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, поэтому `test_pixel_limit_png_modes` в этих прогонах набора ещё нет, его сценарий на `399da05` доказывает `evidence/worker/memory.md`. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||
|
||
### Уровень 3
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `make test` | `PASS: lab5 public API scenario` | `evidence/tests/test-isolated.md` |
|
||
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 218 passed, 1 failed (`test_exclusion_evidence_exists`: только файлы последнего шага прогона), реплики выполнены; сверка: 370 сценариев, 348 проверены, 22 исключения | `evidence/tests/student-test-lb.md` |
|
||
| Тот же набор на временной базе | `make test_isolated` | smoke PASS; 212 passed, 6 skipped (реплики), 1 failed — то же; уборка полная | `evidence/tests/test-isolated.md` |
|
||
| Отказы | `make failure_checks` (`399da05`) | 141 passed, pytest 2302 с, `crash markers 0` | `evidence/tests/failure-checks.md` |
|
||
| 202 только после устойчивого приёма и сохранения задания | `test_durable_state_at_202`, `test_upload_with_broker_stopped`, `test_upload_with_broker_paused` | к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | `evidence/tests/failure-checks.md` |
|
||
| Остановка API после ответа не теряет работу | `test_api_killed_after_202` | реплика убита после 202, вложение становится `ready` | `evidence/tests/failure-checks.md` |
|
||
| Отдельные broker и worker в общем compose | `driver.py broker-check`, `driver.py worker-process` | образ с тегом и digest, volume, AMQP только на loopback; PID 1 `python -m src.worker`, лимиты 1 CPU / 1 ГБ | `evidence/broker/stand.md`, `evidence/worker/process.md` |
|
||
| Сообщения durable | `broker-check`, `test_queue_durable` | очередь durable, сообщение persistent | `evidence/broker/stand.md`, `evidence/tests/failure-checks.md` |
|
||
| Доставка at least once, ack после устойчивого эффекта | `test_worker_killed_during_processing`, `test_redelivery_of_ready_is_noop` | worker убит посреди обработки — задание доводится; регрессия «ack до фиксации» делает тест красным (design, «Уточнения apply», п. 12) | `evidence/tests/failure-checks.md` |
|
||
| Недоступность worker не вызывает синхронный resize | `test_worker_down_api_serves`, `worker-process` | API принимает и отвечает, `_imaging` нет в процессах реплик | `evidence/tests/failure-checks.md`, `evidence/worker/process.md` |
|
||
| Состояния в API | `test_attachment_becomes_ready`, `test_queued_while_worker_stopped`, `test_processing_visible`, `test_undecodable_becomes_failed` | `queued`, `processing`, `ready`, `failed` видны в метаданных | `evidence/tests/student-test-lb.md`, `evidence/tests/failure-checks.md` |
|
||
| Оригинал неизменен | `test_original_published_unchanged`, `driver.py attachment-storage` | те же байты и SHA-256; байты только в приватном bucket | `evidence/tests/failure-checks.md`, `evidence/attachments/storage.md` |
|
||
| Thumbnail по контракту | `test_thumbnail_*`, `test_download_thumbnail` | 256 × 160 у fixture, округление вниз, минимум 1 px, EXIF, alpha на белый, настоящий JPEG, размеры и SHA-256 сходятся с метаданными | `evidence/tests/student-test-lb.md`, `evidence/attachments/defense.md` |
|
||
| Ограниченный retry | `[worker] max_attempts` = 5, `test_transient_error_retried`, `test_attempts_exhausted` | временная ошибка повторяется под тем же `job_id`, исчерпание — `failed` с `retry_exhausted` | `evidence/worker/process.md`, `evidence/tests/failure-checks.md` |
|
||
| Финальное `failed` с безопасным `error_code` | `test_undecodable_becomes_failed`, `test_staging_corrupted`, журнал | `invalid_image`, `processing_failed`; причина для оператора — в задании и журнале | `evidence/worker/logs.md`, `evidence/tests/failure-checks.md` |
|
||
| Повтор не создаёт второго набора вариантов | `test_ready_failure_retried`, `test_redelivery_of_ready_is_noop`; проба ограничения | второй вариант с тем же именем — 23505 `pk_attachment_variants` | `evidence/attachments/storage.md`, `evidence/migrations/async-attachments.md` |
|
||
| В сообщении нет bytes и credentials | `test_job_message_matches_schema` | сообщение проходит `contracts/jobs.schema.json`, только ID и служебные поля | `evidence/tests/failure-checks.md` |
|
||
| Демонстрация: worker остановлен → … → `ready` | `driver.py --port 8080 defense-scenario` | все строки `expected` = `got`, `StartedAt` API и брокера новые, у relay прежний; thumbnail 256 × 160, crop 128 × 128, optimized 320 × 200 | `evidence/attachments/defense.md` |
|
||
| Принятое задание переживает рестарт брокера с volume | `test_broker_restart_keeps_job`, `test_broker_kill_keeps_confirmed`, `test_broker_recreated` | сообщения на месте после `stop`, `KILL` и `up --force-recreate` | `evidence/tests/failure-checks.md` |
|
||
| Очереди разных баз разделены | `make test_isolated KEEP_TEST_DB=1`, `broker-check --require-test-queue`, `make test_isolated` | очередь временной базы есть после первого и нет после второго | `evidence/broker/isolated.md` |
|
||
| Сохранность и hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `PASS`; `api`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — те же ID и новый `StartedAt`, `relay`, `worker` и `cleaner` прежние | `evidence/replicas/test-persistence.md` |
|
||
| Отказ реплики | `make test-failover` `stop` и `kill` | `failed_attempts` 0, восстановление 1,07 и 0,87 с | `evidence/failover/test-failover.md` |
|
||
| Принявшая реплика остановлена | `driver.py attachment-failover --mode stop\|kill` | файл отдаёт другая реплика, SHA-256 тот же, постороннему 404 | `evidence/attachments/failover.md` |
|
||
| Согласованность БД и S3 | `driver.py upload-consistency` | 503, строки `pending` не видны, уборщик убрал по ключу staging, объектов без строки 0 | `evidence/attachments/consistency.md` |
|
||
| Приватность S3, права worker | `make s3_check` | `PASS: 90 checks`; worker: запись и чтение — да, удаление, список, админ — 403 | `evidence/s3/cleaner-staging.md` (и `evidence/s3/worker-key.md`, `ff1a83b`) |
|
||
| Журнал worker | проба на стенде | общий `request_id` записей задания, `filename` 0 раз, сообщение не по схеме — `error` без содержимого | `evidence/worker/logs.md` |
|
||
| Миграция только расширяет, откат без отката схемы | проба на временной базе, `make rolling_update COMMIT=cc33a03 MIGRATE=0` и возврат (`ff1a83b`) | CHECK `NOT VALID`, по `lock_timeout` — без изменений; прежний образ работает, чтение нового статуса — 500 | `evidence/migrations/async-attachments.md` |
|
||
| Сроки LB пути загрузки | `driver.py lb-upload-timeouts` | 202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта | `evidence/uploads/lb-timeouts.md` |
|
||
| Замена реплик под нагрузкой | `make bench_rollout ROLLOUT_LABEL=async-attachments` (`ff1a83b`), `ROLLOUT_LABEL=pipeline-reliability` (`e2a6427`) | 8,52 и 8,67 с, ошибок 0, новые миграции, записей 12000 = ключей 12000 | `evidence/rollout/async-attachments/summary.md`, `evidence/rollout/pipeline-reliability/summary.md` |
|
||
| Память реплики при загрузках | `make bench_uploads` (`ff1a83b`) | «с лимитом» 10 MiB: пик 172,9 / 180,1 / 185,6 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0 | `evidence/uploads/baseline/summary.md` |
|
||
| Секретов в доказательствах нет | поиск значений из `.env` по `evidence/` | 17 значений, 0 совпадений | `evidence/tests/secrets.md` |
|
||
|
||
На этом шаге `test_exclusion_evidence_exists` ожидаемо красный: файлы `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md` и `evidence/idempotency/replay-after-restart.md` снимаются на последнем шаге всего прогона лабы.
|
||
|
||
### Уровень 4
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Crop 128 × 128 по контракту | `test_crop_center`, `test_crop_small`, `test_crop_orientation_alpha`, `test_download_crop_optimized` | центр, маленькие растягиваются, ориентация, alpha на белый, JPEG; размеры и SHA-256 по байтам | `evidence/tests/student-test-lb.md`, `evidence/attachments/defense.md` |
|
||
| Optimized WebP, параметры качества и удаление метаданных описаны | `test_optimized_fit`, `test_optimized_small`, `test_optimized_no_metadata`, `test_optimized_alpha`; раздел «Варианты и лимиты обработки» | вписан в 1280, без увеличения; `quality=80`, `method=4`; EXIF, XMP, ICC нет; прозрачность цела | `evidence/tests/student-test-lb.md`, `evidence/attachments/defense.md` |
|
||
| Лимит по bytes | `test_limit_oversized_staging` | объект больше строки не читается: `processing_failed` | `evidence/tests/failure-checks.md` |
|
||
| Лимит по пикселям | `test_limit_pixels` | `invalid_image`, причина `limit_pixels` | `evidence/tests/failure-checks.md` |
|
||
| Лимит по времени | `test_limit_cpu_scan_bomb`, `test_limit_render_timeout` | настоящий дорогой JPEG прерван по CPU: `invalid_image`; срок процесса — временная ошибка | `evidence/tests/failure-checks.md` |
|
||
| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ; два файла на обеих границах — `memory.peak` 905 МиБ, OOM нет | `evidence/tests/failure-checks.md`, `evidence/worker/process.md`, `evidence/worker/memory.md` |
|
||
| Разрыв PostgreSQL и брокера закрыт outbox | `test_upload_with_broker_stopped`, `test_upload_with_broker_paused`, `test_relay_survives_broker_outage`, `test_relay_survives_database_outage`, `driver.py relay-process`, `broker-check` | 202 без брокера; у реплик нет настроек брокера; relay переживает отказы (тот же `StartedAt`, `RestartCount` 0) | `evidence/tests/failure-checks.md`, `evidence/relay/process.md`, `evidence/broker/stand.md` |
|
||
| Crash между COMMIT и publish, задача доходит до `ready` без ручного задания | `driver.py defense-faults`, окна «после COMMIT `queued` до publish» и «после подтверждения до отметки»; `test_relay_killed_before_publish`, `test_relay_killed_after_confirm` | `published_at` пуст, 0 сообщений, после запуска relay — `ready`, `attempt` 1; при KILL после confirm — 2 сообщения, `ready`, `attempt` 1, очередь пуста | `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md` |
|
||
| Состояние намерений видно оператору | `driver.py pipeline-state`, в том числе при замороженном брокере | задания по состояниям, due, аренды; брокер заморожен — `available: false`, код 0 | `evidence/relay/pipeline-state.md` |
|
||
| Backoff с jitter | `test_retry_backoff_with_jitter`, `test_retry_waits_outside_worker`, `test_relay_respects_next_attempt` | пауза растёт случайно в `[d/2, d]`, не занимает место конкуренции, попытка не раньше срока; регрессия «фиксированная пауза» — красный | `evidence/tests/failure-checks.md` |
|
||
| Различие постоянных и временных ошибок | `test_undecodable_becomes_failed`, `test_staging_corrupted`, `test_transient_error_retried`, `test_attempts_exhausted` | постоянная — `failed` сразу (`attempt` 1); временная повторяется, затем `retry_exhausted` | `evidence/tests/failure-checks.md`, `evidence/worker/logs.md` |
|
||
| Реестр `failed` | `make replay`, `test_replay_registry_dry_run`, `test_replay_by_code` | показ без изменений; выбор по коду и причине; реестр — строки PostgreSQL, отдельной DLQ нет | `evidence/relay/logs.md`, `evidence/attachments/defense-faults.md` |
|
||
| Безопасный явный replay, не дубль успешной job | `driver.py defense-faults`, окна replay; `test_replay_returns_work`, `test_replay_ready_refused`, `test_replay_in_progress_refused`, `test_replay_without_source_refused`, `test_replay_new_budget` | `--apply` с выбором, то же задание, `attempt` 2, `attempt_base` 1, запись аудита; `ready` — код 3 `already_ready`, ничего не изменилось | `evidence/attachments/defense-faults.md`, `evidence/relay/logs.md` |
|
||
| Остановка worker после записи объекта до ack, повтор завершает тот же результат | `driver.py defense-faults`, окна «после записи объектов до COMMIT» и «после COMMIT до ack»; `test_crash_after_objects_before_commit`, `test_crash_after_commit_before_ack` | те же SHA-256 трёх объектов в S3 и метаданных, `attempt` 2; после COMMIT — no-op, тот же `updated_at` | `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md` |
|
||
| Timeout и lease зависшего `processing` | `test_hung_worker_lease_fencing`, `test_hung_worker_thawed_after_ready`, `test_long_attempt_keeps_lease`, `test_duplicate_during_processing`, `test_last_attempt_lost`, `test_worker_killed_during_processing` | истёкшую аренду возвращает relay; прежняя попытка после разморозки — `superseded`; живая не теряется, дубль без эффекта | `evidence/tests/failure-checks.md` |
|
||
| Ограниченная конкуренция и prefetch | `test_concurrency_bounded`, `test_prefetch_bounded`, `test_published_backlog_limit`, `test_broker_memory_alarm` | prefetch 2 + конкуренция 2, сообщения сверх них у брокера; предел опубликованных 1000 | `evidence/tests/failure-checks.md`, `evidence/worker/process.md` |
|
||
| Очистка staging после безопасной фиксации | `test_staging_removed_after_ready`, `test_staging_retention`, `test_staging_keeps_current_work`, `test_staging_cleanup_survives_outage`, `test_staging_foreign_key_kept`, `test_reconcile_orphan_staging`, `driver.py upload-consistency`, `make s3_check` | у `ready` убран следующим проходом (`removed_ready`), у `failed` по сроку; текущая работа цела; отказ S3 не держит сообщения; список уборщика только по двум префиксам | `evidence/tests/failure-checks.md`, `evidence/attachments/consistency.md`, `evidence/s3/cleaner-staging.md` |
|
||
| Шаг 4 сценария защиты | `driver.py --port 8080 defense-faults` | шесть окон, все строки `expected` = `got`, триггеров не осталось | `evidence/attachments/defense-faults.md` |
|
||
| Тесты ловят нарушение | десять временных регрессий задачи 10.9 | каждая даёт названный красный, откачена, хэши `src` совпали | `evidence/tests/failure-checks.md`, раздел «Красные прогоны» |
|
||
| Журнал relay и worker, без `filename` и секретов | проба на стенде | общий `request_id`, причина и оператор replay, метка `filename` 0 раз | `evidence/worker/logs.md`, `evidence/relay/logs.md` |
|
||
| Миграции расширяют, откат работает | проба на временной базе, откат на `7f38948` и возврат | CHECK `NOT VALID`, индексы `indisvalid`, планы по индексам решения 10, по `lock_timeout` без изменений; прежний образ работает; вложение прежнего образа — один thumbnail, `crop` 404, сверка без находок | `evidence/migrations/pipeline-reliability.md` |
|
||
| Сроки LB после отказа от публикации | `driver.py lb-upload-timeouts` | 202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта; цепочка 26 с и 73 с | `evidence/uploads/lb-timeouts.md` |
|
||
| Очереди разных баз разделены | `make test_isolated KEEP_TEST_DB=1`, `broker-check --require-test-queue`, `make test_isolated` | очередь временной базы есть после первого и нет после второго | `evidence/broker/isolated.md` |
|
||
| Замена реплик с двумя ревизиями под нагрузкой | `make bench_rollout ROLLOUT_LABEL=pipeline-reliability` | 8,67 с, ошибок 0, `a1d4c7e90b23` → `d3f9a6b2c1e7`, записей 12000 = ключей 12000, `dirty` false | `evidence/rollout/pipeline-reliability/summary.md` |
|
||
|
||
### Трек 1 уровня 5
|
||
|
||
Не закрыт на этом шаге: закрывает change `track1-queue-overload`.
|
||
|
||
## Эксперименты и отказы
|
||
|
||
### Поочерёдная замена на версию с брокером: метка `async-attachments`
|
||
|
||
Гипотеза: миграция и замена реплик с `04f8592` на `ff1a83b` идут без ошибок клиента, потому что схема только расширяется, а публикация ленива и не нужна чтениям и записи сообщений.
|
||
|
||
Методика — `make bench_rollout`: `git.dirty` false, `swapouts_delta` 0, посторонних контейнеров нет. Две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey 0,5 CPU / 128 МБ, HAProxy 1 CPU / 256 МБ, k6: 100 записей с ключом и 100 чтений в секунду, один прогон. В профиле только сообщения и история: загрузки не участвуют, поэтому смесь 201 и 202 он не показывает.
|
||
|
||
| Замена | Сборка / миграция | Ревизия | Ошибки до / во время / после | Успешных в секунду | p95 до / макс. во время | Записи |
|
||
|---|---|---|---|---|---|---|
|
||
| 8,52 с | 1 / 1 с | `5c3e1f0a9b7d` → `a1d4c7e90b23` | 0 / 0 / 0 | 200 / мин. 200 | 4 / 8 мс | 12000 сообщений = 12000 ключей, повторов 0 |
|
||
|
||
CPU API всего: 0,54 ядра до и 0,55 после, 0,78 во время. Гипотеза подтверждена. Сырые данные — `evidence/rollout/async-attachments/`.
|
||
|
||
### Поочерёдная замена на версию с relay: метка `pipeline-reliability`
|
||
|
||
Гипотеза: две ревизии (атомарная и индексы `CONCURRENTLY`) и замена реплик с `7f38948` на `e2a6427` идут без ошибок клиента: схема только расширяется, а новым репликам брокер не нужен. Методика та же: `git.dirty` false, `swapouts_delta` 0, посторонних контейнеров нет, питание от сети. Загрузки в профиле не участвуют.
|
||
|
||
| Замена | Сборка / миграция | Ревизия | Ошибки до / во время / после | Успешных в секунду | p95 до / макс. во время | Записи |
|
||
|---|---|---|---|---|---|---|
|
||
| 8,67 с | 1 / 2 с | `a1d4c7e90b23` → `d3f9a6b2c1e7` | 0 / 0 / 0 | 200 / мин. 200 | 5 / 72 мс | 12000 сообщений = 12000 ключей, повторов 0 |
|
||
|
||
CPU API всего: 0,61 ядра до, 0,95 во время, 0,62 после. Гипотеза подтверждена. Сырые данные — `evidence/rollout/pipeline-reliability/`.
|
||
|
||
### Память реплики при загрузках: метка `baseline`
|
||
|
||
Снята на `ff1a83b`, потому что на неё ссылаются исключения сверки лабы 4; с этой меткой новые не сравниваются (с уровня 4 профиль не запускает брокер). Методика — `make bench_uploads`: одна реплика 1 CPU / 512 МБ без swap, 72 прогона, 50 мин, медиана из 3 повторов; worker не запущен, задания ждут в очереди. Поправки к чтению — `evidence/uploads/README.md`.
|
||
|
||
| Вариант, 10 MiB | C = 10: пик, MiB | C = 20 | C = 40 | OOM при 40 | Загрузок/с при 10 | p95 при 10, мс |
|
||
|---|---|---|---|---|---|---|
|
||
| с лимитом | 172,9 | 180,1 | 185,6 | 0/3 | 10,50 | 1253 |
|
||
| без лимита | 227,6 | 331,0 | OOM | 3/3 | 9,00 | 1480 |
|
||
|
||
H1 (пик ограничен местами) и H4 (нет 503 по сроку S3) выполнены. H2 в сводке — «нет»: вариант «до» теперь `04f8592`, где места уже есть, поэтому прежнее поведение он не показывает; настоящее «до» — отчёт лабы 4. H3 в сводке — «нет»: на 1 MiB «с лимитом» даёт 85–89 % «без лимита» при пороге 90 %, на 10 MiB — 117–121 %. Память приёма после перехода на брокер в границах прежних сценариев спека: ~185 MiB из 512 при 40 клиентах.
|
||
|
||
### Отказы
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| Worker остановлен, рестарт API и хранилищ, worker запущен | принятая работа дожидается | `queued` → `ready`, те же байты (`defense.md`) | потерь нет |
|
||
| Брокер остановлен при загрузке | 202, намерение ждёт, остальное API работает | так (`test_upload_with_broker_stopped`, `test_readiness_without_broker_and_worker`) | после возврата relay публикует, потерь нет |
|
||
| Брокер заморожен | 202 без ожидания брокера | так (`test_upload_with_broker_paused`) | потерь нет |
|
||
| Relay убит до публикации | 202, сообщения нет, следующий запуск публикует | так (`defense-faults.md`, `test_relay_killed_before_publish`) | потерь нет, ручного задания нет |
|
||
| Relay убит после confirm до отметки | дубль сообщения без второго эффекта | так (`defense-faults.md`, `test_relay_killed_after_confirm`) | `attempt` 1, потерь нет |
|
||
| KILL брокера и `up --force-recreate` с volume | подтверждённые сообщения на месте | так (`test_broker_kill_keeps_confirmed`, `test_broker_recreated`) | потерь нет |
|
||
| Сообщение потеряно вместе с очередью | relay публикует снова, при непустой очереди копий нет | так (`test_lost_message_republished`, `test_no_copies_while_queue_has_messages`) | через `republish_after_seconds`, 300 с |
|
||
| Worker убит посреди обработки или после записи объектов | следующая попытка по аренде, те же ключи | так (`defense-faults.md`, `test_worker_killed_during_processing`) | 70 с на рабочем стенде, потерь нет, попытка посчитана |
|
||
| Worker убит после COMMIT до ack | повторная доставка, no-op | так (`defense-faults.md`, `test_crash_after_commit_before_ack`) | сразу после запуска, потерь нет |
|
||
| Worker заморожен дольше аренды | новая попытка, прежняя не фиксирует ни при живой новой, ни после её итога | так (`test_hung_worker_lease_fencing`, `test_hung_worker_thawed_after_ready`) | по аренде, дублей эффекта нет |
|
||
| Дорогой файл в пределах контракта | процесс обработки прерван по CPU, worker цел | так (`test_limit_cpu_scan_bomb`) | 15 с CPU на рабочем стенде, `invalid_image` |
|
||
| S3 недоступен при обработке | повторы с backoff под одним `job_id`, затем `ready` или `retry_exhausted` | так (`test_transient_error_retried`, `test_attempts_exhausted`) | рабочий стенд выдерживает сумму пауз 37,5–75 с и сроки попыток (расчёт по настройкам, design, решение 4; тесты — на коротких сроках стенда отказов); дольше — `failed`, возврат `make replay` |
|
||
| S3 недоступен при очистке staging | проход прерван, сообщения не ждут | так (`test_staging_cleanup_survives_outage`) | следующий проход повторяет |
|
||
| PostgreSQL недоступен при обработке | задание ждёт, попытка не считается | так (`test_database_outage_during_processing`) | потерь нет |
|
||
| Сообщение не по схеме | отброшено, `error` без содержимого | так (`test_malformed_message_dropped`, `logs.md`) | следующие задания идут |
|
||
| Реплика API остановлена или убита | запись через другую | `failed_attempts` 0 (`test-failover.md`) | 1,09 и 0,74 с, потерь нет |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
**Ограничения этого уровня, названные спеками:**
|
||
|
||
- **Отказ S3 дольше бюджета.** Сумма пауз 37,5–75 с и сроки попыток: рестарт S3 (~25 с) укладывается, более долгий отказ переводит взятые задания в `failed` `retry_exhausted`. Лечит `make replay ERROR_CODE=retry_exhausted APPLY=1`: это явный шаг оператора, а не автоматика.
|
||
- **Восстановление после KILL по аренде.** После KILL worker следующая попытка начинается по истечении аренды, до 70 с (наблюдали 70 с). Пульс отвергнут (раздел «Ответы на вопросы защиты»). Повторная доставка уже готовой работы — сразу.
|
||
- **Дубли сообщений.** Неизвестный исход публикации, crash до отметки и потерянные сообщения дают дубли: at least once. Каждый дубль — `SELECT … FOR UPDATE` и ack, эффект защищён ключом и fencing. Сообщения, которые держит большой prefetch дольше `republish_after_seconds`, брокер готовыми не считает: они могут получить копию.
|
||
- **Объект, дописанный прежней попыткой.** Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же.
|
||
- **Профиль ICC отбрасывается.** Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах.
|
||
- **Лимит памяти на macOS.** `setrlimit(RLIMIT_AS)` на хосте macOS отказывает, консольный worker это пишет в журнал (`render_memory_limit_applied`); на стенде Linux лимит действует.
|
||
- **Цена процесса на задание.** ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль, цену меряет трек 1.
|
||
- **Изоляция секретов процесса обработки неполная.** В его окружении секретов нет, но он идёт под тем же UID, что процесс 1 worker, и может прочитать `/proc/1/environ` с ключами S3 и паролями PostgreSQL и брокера. От случайной утечки это защищает, после эксплойта декодера — нет. Предложение — `PR_SET_DUMPABLE=0` в процессе worker, вопрос преподавателю (`QUESTIONS.md`, `## pipeline-reliability`).
|
||
- **Дорогие файлы тратят CPU до лимита.** 15 с CPU на файл, при конкуренции 2 такой поток занимает worker; скорость подачи ограничивают только места загрузки. Ограничение принятой работы — трек 1.
|
||
- **Сверка не проверяет объекты вариантов.** Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и `error` в журнале (`test_missing_variant`). Объекты staging она с этого уровня видит (`orphan_staging`).
|
||
- **Удаление очереди при работающем worker.** Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker.
|
||
- **Старые `ready` без `crop` и `optimized`.** Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replay `ready` запрещён намеренно. Показано в `evidence/migrations/pipeline-reliability.md`.
|
||
- **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
|
||
- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1.
|
||
- **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа».
|
||
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
|
||
- **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
|
||
- **Цепочка LB.** Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела `проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с`, с DELETE компенсации `+ 5 ≈ 26 с` < `timeout server` 30 с. Наибольшая длительность живой загрузки `U = 17 + 30 + 26 ≈ 73 с` < дренаж замены 90 с: до тела `2 × request_timeout_seconds + wait_timeout_seconds` = 17 с; тело — `[uploads] body_timeout_seconds` 30 с.
|
||
|
||
**Другие ограничения:**
|
||
|
||
- CHECK статуса, `ck_attachments_error_code_failed` и `ck_attachment_jobs_attempt_base` остаются `NOT VALID`: `VALIDATE` держал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают.
|
||
- Один пользователь брокера на relay и worker; разделение прав — лаба 7.
|
||
- Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (`test_broker_memory_alarm`). Ограничения принятой работы на входе API нет, это трек 1.
|
||
- Ранний ответ при загрузке: `urllib` напрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает.
|
||
- Keyset-пагинация: порядок задаёт `(created_at, id)`; `created_at` назначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.
|
||
|
||
**Следующие шаги.** `unit-of-work` (указание пользователя, `QUESTIONS.md`), затем `track1-queue-overload` (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до `ready`, RSS, backpressure, ограничение принятой работы и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза.
|
||
|
||
## Источники, библиотеки и использование ИИ
|
||
|
||
**Документация:** [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability), [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms) (из `README.md` задания); aio-pika — <https://docs.aio-pika.com/>; Pillow — <https://pillow.readthedocs.io/> (`Image.draft`, `resize` с `reducing_gap`, EXIF); PostgreSQL 18 — `NOT VALID`, `FOR UPDATE`, `lock_timeout`; источники лаб 2–4 — в их отчётах. Поведение брокера и Pillow проверено пробами: таблица «Пробы» в `openspec/changes/archive/2026-10-31-async-attachments/design.md`.
|
||
|
||
**Библиотеки:** новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); уровень 4 новых не добавил: WebP уже есть в Pillow (libwebp 1.6.0). Остальное — `uv.lock`. Пробы уровня 4 — таблица «Пробы» `openspec/changes/pipeline-reliability/design.md`.
|
||
|
||
**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Числа в отчёте перенесены из выводов команд на названном commit.
|