feat: add job outbox, relay, leases and image variants to the pipeline
Move publishing out of the upload path: a relay process publishes queued jobs with confirms. Add lease and attempt fencing, backoff with jitter, a per-job render process with CPU and memory limits, crop and optimized variants, the failed registry with audited replay, and staging cleanup. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -268,15 +268,16 @@ ACTION_SCRIPT=scripts/restart.sh` (`tests/README.md`), hook —
|
||||
- Ручки: `POST /api/v1/chats/{chat_id}/attachments?filename=…` — сырые
|
||||
байты одного PNG/JPEG (не multipart, не JSON), с лабы 5 — `202 Attachment`
|
||||
со снимком `status=queued`, `variants=[]`, `error_code=null` только после
|
||||
записи объекта в staging, `queued` с заданием в PostgreSQL и подтверждения
|
||||
брокера; брокер не подтвердил — 503 (design change `async-attachments`,
|
||||
решение 3); `GET /api/v1/attachments/{id}` — метаданные: `queued`,
|
||||
записи объекта в staging и `queued` с заданием в PostgreSQL; брокера в пути
|
||||
запроса нет: его отказ не меняет ни кода, ни срока ответа (design change
|
||||
`pipeline-reliability`, решение 1); `GET /api/v1/attachments/{id}` — метаданные: `queued`,
|
||||
`processing`, `ready`, `failed` — 200, у `ready` есть `variants`, у `failed`
|
||||
— `error_code` (`invalid_image`, `processing_failed`, `retry_exhausted`);
|
||||
`GET …/{id}/content` — байты оригинала или варианта потоком, `Content-Type`
|
||||
без параметров, `Content-Length`, `X-Content-Type-Options: nosniff`, без
|
||||
redirect. `variant` — `original`, `thumbnail`, `crop`, `optimized` (иное —
|
||||
400). Не `ready` — 409 `conflict` на любой `variant`; варианта нет — 404.
|
||||
400): у вложений этого уровня есть все три, у `ready` прежней версии — только
|
||||
thumbnail. Не `ready` — 409 `conflict` на любой `variant`; варианта нет — 404.
|
||||
Ключ объекта, адрес и ключи S3 в ответ не попадают.
|
||||
- Доступ — любой участник чата вложения. Посторонний, неизвестный id и
|
||||
вложение в статусе `pending` — одинаковый 404 «Not found».
|
||||
@@ -354,5 +355,5 @@ ACTION_SCRIPT=scripts/restart.sh` (`tests/README.md`), hook —
|
||||
`test_reconcile_finds_and_fixes`.
|
||||
- Отказ S3 — 503 только на загрузке и скачивании байтов. Метаданные,
|
||||
сообщения (в том числе со ссылкой на готовое вложение), история и
|
||||
`/health/ready` работают без S3. Отказ брокера — 503 только на загрузке,
|
||||
остальное API и готовность работают; worker в готовность не входит.
|
||||
`/health/ready` работают без S3. Отказ брокера, relay и worker API не видит:
|
||||
загрузка — 202, готовность — 200.
|
||||
|
||||
@@ -150,15 +150,15 @@ paths:
|
||||
api`. Больше самого долгого молчания живой загрузки: до тела `2 ×
|
||||
request_timeout_seconds + [uploads] wait_timeout_seconds` = 17 с
|
||||
(вход, членство, ожидание места), после тела — проверка (до ~4 с) +
|
||||
tx1 6 + PUT 5 + tx2 6 + публикация 2 + отметка или отмена 6 ≈ 29 с (change
|
||||
`async-attachments`, решение 3; ветка компенсации после неудачной tx2 —
|
||||
прежние 26 с). Тело ограничивают
|
||||
tx1 6 + PUT 5 + tx2 6 = 21 с, а ветка компенсации после неудачной tx2 — ещё
|
||||
DELETE 5, 26 с: брокера в пути нет (change `pipeline-reliability`, решение 11).
|
||||
Тело ограничивают
|
||||
`[uploads] body_timeout_seconds` (30 с) и `timeout client` (30 с).
|
||||
Остальные пути — прежние 10 с: общий 30 с держал бы любой запрос к
|
||||
зависшей реплике 30 с до 504, а замеры `failover` рассчитаны на 10.
|
||||
Выражение повторяет путь ручки в `src/api/routers/v1/attachment.py`:
|
||||
при смене префикса API менять вместе. Наибольшая длительность загрузки
|
||||
U = 17 + 30 + 29 ≈ 76 с < `ROLLOUT_DRAIN_TIMEOUT` 90 с;
|
||||
U = 17 + 30 + 26 ≈ 73 с < `ROLLOUT_DRAIN_TIMEOUT` 90 с;
|
||||
`graceful_shutdown_seconds` прежний (8 с): `stop-one.sh` и `docker
|
||||
stop` — отказ, загрузка дольше 8 с обрывается, строку `pending`
|
||||
убирает уборщик. Проверка поведения — `driver.py lb-upload-timeouts`:
|
||||
@@ -294,7 +294,7 @@ Compose не умеет rolling update сам (это `update_config` Swarm). Ц
|
||||
5. Вывод старой из LB через runtime API (ниже): `drain` → запросов в
|
||||
полёте (`scur`) 0, не дольше `ROLLOUT_DRAIN_TIMEOUT` 90 с (с change
|
||||
`upload-memory`; больше `timeout server` пути загрузки 30 с и
|
||||
наибольшей длительности загрузки ≈ 76 с, иначе замена обрывала бы
|
||||
наибольшей длительности загрузки ≈ 73 с, иначе замена обрывала бы
|
||||
живую загрузку; обычно дренаж — 0–2 с) → `maint` → `docker stop
|
||||
--timeout 10` (в строке скрипта —
|
||||
время и код выхода: 0 — graceful, 137 — SIGKILL по сроку) → `docker
|
||||
@@ -404,6 +404,17 @@ worker`. Смесь версий: прежняя реплика загружае
|
||||
время замены — названо в `REPORT.md`. Откат — `make rolling_update COMMIT=<прежний>
|
||||
MIGRATE=0`, `docker compose stop worker`, прежний образ уборщика.
|
||||
|
||||
**Порядок обновления с relay** (design change `pipeline-reliability`, Migration Plan):
|
||||
вперёд — `docker compose up -d s3-bootstrap`, `make rolling_update` (две ревизии, затем
|
||||
реплики), `docker compose up -d --no-deps worker cleaner`, затем `docker compose up -d
|
||||
--no-deps relay`: worker раньше relay, иначе прежний worker сделает `ready` только с
|
||||
thumbnail. До запуска relay новые загрузки отвечают 202 и ждут. Откат — `make
|
||||
rolling_update COMMIT=<прежний> MIGRATE=0
|
||||
COMPOSE_FILE=docker-compose.yml:infra/rollback/broker.compose.yml` (прежние реплики
|
||||
публикуют сами, и без адреса и пароля брокера их загрузка — 503), прежние
|
||||
worker и уборщик, relay останавливается, когда нет заданий `queued` без отметки. Схема
|
||||
остаётся.
|
||||
|
||||
**Bootstrap S3 скрипт не запускает** (design change `s3-storage`,
|
||||
решение 9): новая реплика поднимается с `--no-deps`. Bootstrap, как
|
||||
миграции, только расширяет: новые пользователи и политики не отбирают
|
||||
|
||||
+29
-15
@@ -276,9 +276,11 @@ change `s3-storage`, решение 9): старт стенда перечисл
|
||||
тег снимается при уборке. `--from <commit>` — отладка (`overrides`).
|
||||
- **Какой commit** (спек `load-benchmark`, «Прежний commit профиля
|
||||
замены»; design change `attachments`, решение 14): commit текущей лабы
|
||||
до изменения, которое показывает замена. Сейчас — `04f8592`, commit
|
||||
переноса лабы 4 в лабу 5: замена показывает миграции лабы 5. Commit
|
||||
меняется:
|
||||
до изменения, которое показывает замена. Сейчас — `7f38948`, последний
|
||||
перед change `pipeline-reliability`: замена показывает его две ревизии.
|
||||
Прежний образ брокера от реплики не требует: настройки `BROKER__*` у него
|
||||
необязательны, соединяется он первой публикацией, а `k6/failover.js`
|
||||
вложений не загружает. Commit меняется:
|
||||
- при переходе в следующую лабу — commit прошлой лабы в её истории нет
|
||||
(AGENTS.md, «Переход в следующую лабу»);
|
||||
- когда замена должна показать новое изменение схемы.
|
||||
@@ -295,6 +297,10 @@ change `s3-storage`, решение 9): старт стенда перечисл
|
||||
(события Docker с меткой проекта), шаги — события `create`/`start`
|
||||
новой и `kill`/`die`/`destroy` старой, `UP`/`drain`/`maint`/`ready`
|
||||
слотов из журнала LB, соответствие реплик слотам — строки скрипта.
|
||||
- Образы реплик в паспорте и сравнении «все на одном, отличном от прежнего» —
|
||||
метка `com.docker.compose.image`, у контейнера без неё — `.Image`
|
||||
(`CONTAINER_IMAGE` в `run.py`, `docker.md`, «Обновление кода на стенде»). Так
|
||||
же поле `id` образов `stand.*`: имя поля прежнее.
|
||||
- «Старые» и «новые» ответы — по `X-Instance-Id` контейнеров до и после.
|
||||
Ответ старой реплики, отправленный позже 0,2 с после её `drain`, —
|
||||
пометка `old_after_drain`: дренаж не сработал.
|
||||
@@ -327,17 +333,19 @@ change `s3-storage`, решение 9): старт стенда перечисл
|
||||
|
||||
Спек `load-benchmark`, «Профиль загрузок»; design change `upload-memory`,
|
||||
решение 10. Методика — поля `Profile` (`uploads_*`) в `run.py`, разбор без
|
||||
docker — `bench/uploads.py` (`--selftest`). С лабы 5 (design change
|
||||
`async-attachments`, решение 16) брокер запускает только этот профиль, на прогон —
|
||||
новый volume брокера, worker описан и не запускается; успех — 201 или 202 по
|
||||
варианту: столбец `s201` не переименован, код называет `success_code` в конце
|
||||
`runs.csv` и раздел `uploads` паспорта.
|
||||
docker — `bench/uploads.py` (`--selftest`). С change `pipeline-reliability`
|
||||
(решение 16) брокер, relay и worker описаны в `bench.compose.yml` (лимиты
|
||||
`BENCH_BROKER_*`, `BENCH_RELAY_*`, `BENCH_WORKER_*`, compose требует их при разборе
|
||||
у всех профилей) и не запускаются ни одним профилем: реплика к брокеру не обращается,
|
||||
задания ждут в PostgreSQL. Метка `baseline`, снятая на `ff1a83b` с брокером, с новыми
|
||||
не сравнивается. `Stand.start_broker` и поля `Profile` оставлены для трека 1; поля
|
||||
есть в `meta.profile` как часть определения стенда. Успех — 202, у варианта «до» —
|
||||
201: столбец `s201` не переименован, код называет `success_code` в конце `runs.csv` и
|
||||
раздел `uploads` паспорта.
|
||||
|
||||
- **Стенд:** LB, одна реплика API 1 CPU / 512 МБ без swap (OOM-kill
|
||||
виден, а не прячется в swap), PostgreSQL, Valkey, S3 и `s3-bootstrap`
|
||||
(раздел выше), брокер рабочего стенда (`BENCH_BROKER_*`, 1 CPU / 512 МБ,
|
||||
swap = память, `rabbitmq.conf` основного файла; образ — `stand.rabbitmq`,
|
||||
лимиты — `limits.rabbitmq`); k6 без лимита.
|
||||
(раздел выше); k6 без лимита.
|
||||
- **Варианты:** «до» — образ `Profile.uploads_before` (`04f8592`, commit
|
||||
переноса лабы 4: код лабы 4 с местами загрузок, успех 201; прежнего кода
|
||||
`f894040` в истории лабы 5 нет, поэтому H2 про «до» старой метки здесь не
|
||||
@@ -353,8 +361,8 @@ docker — `bench/uploads.py` (`--selftest`). С лабы 5 (design change
|
||||
10 485 760; размеры и SHA-256 — в паспорте. Тело 10 MiB у `uploads` и
|
||||
`uploads_quick` побайтно одно.
|
||||
- **Прогон:** вариант × размер × C ∈ {1, 10, 20, 40} × повтор (3), круги
|
||||
с перестановкой по зерну. Перед каждым — новые volume S3 с bootstrap и
|
||||
брокера (`kill`, очередь не копится), новая реплика с окружением варианта, ожидание процесса и `UP` в LB,
|
||||
с перестановкой по зерну. Перед каждым — новый volume S3 с bootstrap
|
||||
(`kill`), новая реплика с окружением варианта, ожидание процесса и `UP` в LB,
|
||||
одна разогревающая загрузка. PostgreSQL, пользователь и чат — один раз
|
||||
на метку. Окно — `constant-vus` k6 (`k6/uploads.js`): C VU, 3 с
|
||||
разгона и 20 с окна без пауз; на 429 — пауза `Retry-After`, на прочие
|
||||
@@ -367,7 +375,7 @@ docker — `bench/uploads.py` (`--selftest`). С лабы 5 (design change
|
||||
t0 + 23)`, ответы по кодам — за весь прогон, в том числе после OOM.
|
||||
- **Пометки:** `oom` (реплика завершена ядром — результат варианта, не
|
||||
сбой команды; следующий прогон на новой реплике), `host_swap`,
|
||||
`peak_sampled`, `s3_down`, `broker_down`. Блокировка `bench/.bench.lock`, отказ
|
||||
`peak_sampled`, `s3_down`. Блокировка `bench/.bench.lock`, отказ
|
||||
занятой метки и остатков стенда — как у остальных профилей.
|
||||
- **Результаты:** `evidence/uploads/<метка>/` — `meta.json` (раздел
|
||||
`uploads`: commit «до», образы, тела, план, `app_env`), `runs.csv`
|
||||
@@ -459,7 +467,13 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
||||
уборке `Stand.stop()`.
|
||||
- **Счёт S3:** шлюз считает HEAD типом GET, поэтому `LIST = list`,
|
||||
`GET = head + get`, `DELETE = delete`; в ячейках без нагрузки неравенство
|
||||
— пометка `count_mismatch` (строка остаётся).
|
||||
— пометка `count_mismatch` (строка остаётся). С change `pipeline-reliability`
|
||||
(решение 16) сверка на один LIST больше: страница списка staging, пустая, —
|
||||
в счёте обоих источников и в модели H1 (`reconcile.STAGING_PAGES`);
|
||||
`listed_objects` её не считает. Строки набора идут `\copy` без `staging_key` —
|
||||
строки прежней версии с объектом по `object_key`: так сверка их и читает.
|
||||
Новые `attempt_base` и `attachment_job_replays` принадлежат заданиям, набор их не
|
||||
пишет. Вариант `before` (`04f8592`) staging не знает, H1 его не считает.
|
||||
- **Ресурсы:** окно прохода — `[t − duration_ms, t]`, `t` — время записи
|
||||
«Finished reconcile pass» (часы ВМ); CPU уборщика (по `id` контейнера
|
||||
прохода), S3, PostgreSQL, реплик и LB — по отсчётам сэмплера; память
|
||||
|
||||
+15
-3
@@ -365,12 +365,24 @@ Design change `async-attachments`, решения 4, 6, 12, 14.
|
||||
`<<: [*db-env, *s3-env, *broker-env]`, `DATABASE__POOL_SIZE: "2"`, ключи
|
||||
`S3_WORKER_*`; `depends_on` PostgreSQL и брокер healthy, `migrate` и
|
||||
`s3-bootstrap` completed; `stop_grace_period: 10s`, лимиты 1 CPU / 1 ГБ.
|
||||
- **Секреты:** пароль брокера — только `rabbitmq`, `api`, `worker`; ключи worker —
|
||||
- **`relay`** (design change `pipeline-reliability`, решения 1, 2, 13) — образ API,
|
||||
`entrypoint: ["python", "-m", "src.relay"]` (аргументы после имени сервиса —
|
||||
подкоманда `replay`), `restart: unless-stopped`, без портов, `healthcheck: disable:
|
||||
true`, окружение `<<: [*db-env, *broker-env]`, `DATABASE__POOL_SIZE: "1"`; `depends_on`
|
||||
PostgreSQL и брокер healthy, `migrate` completed; `stop_grace_period: 10s`, лимиты
|
||||
0,25 CPU / 256 МБ. Реплики его не ждут. У `api` нет `*broker-env` и зависимости от
|
||||
брокера.
|
||||
- **Секреты:** пароль брокера — только `rabbitmq`, `relay`, `worker`; ключи worker —
|
||||
только `s3-bootstrap` и `worker`. Пользователь S3 `worker`, политика
|
||||
`worker-objects`: `s3:GetObject`, `s3:PutObject` на `<bucket>/*` — без удаления и
|
||||
списка; `check` печатает строки «worker key …».
|
||||
- **`restart.sh`** перезапускает и брокер; worker и уборщика не трогает: защита
|
||||
списка; `check` печатает строки «worker key …». Политика уборщика — список с условием
|
||||
на два префикса, `<база>/attachments/*` и `<база>/staging/*`; `check` — ещё строки
|
||||
«cleaner key list staging prefix» и «cleaner key list database prefix».
|
||||
- **`restart.sh`** перезапускает и брокер; relay, worker и уборщика не трогает: защита
|
||||
вызывает hook при остановленном worker, и он останется остановленным.
|
||||
- **Суммы:** постоянные 9,0 CPU, 4992 МБ, с разовыми 10,0 CPU, 5376 МБ; соединений
|
||||
PostgreSQL `API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1` = 25, при
|
||||
замене 35.
|
||||
|
||||
## Обновление кода на стенде
|
||||
|
||||
|
||||
@@ -14,6 +14,13 @@ paths:
|
||||
`src/schemas/jobs/attachment.py`, а не DTO: оно приходит извне и разбирается по
|
||||
`contracts/jobs.schema.json`.
|
||||
|
||||
С change `pipeline-reliability`: `AttachmentJobDTO.attempt_base`,
|
||||
`AttachmentInListDTO.status`, `updated_at`, `ReconcilePassDTO.listed_staging`, новые
|
||||
`AttachmentJobReplayDTO`, `FailedJobDTO`, `RelayPassDTO`, `StagingCleanupPassDTO`,
|
||||
`ReplayResultDTO`, `ReplayPassDTO`, `RenderedVariantDTO`, `RenderedVariantsDTO`;
|
||||
`AttachmentJobReason` — ещё лимиты, `render_killed`, `render_crashed`,
|
||||
`lease_expired`; `ReconcileFinding.ORPHAN_STAGING`.
|
||||
|
||||
`src/schemas/dataclasses/<domain>.py` — DTO между repo → service → api;
|
||||
`src/schemas/enums/<domain>.py` — `StrEnum` доменов. HTTP-модели
|
||||
(pydantic) лежат не здесь, а в `src/api/schemas/` (`api-layer.md`).
|
||||
|
||||
+14
-10
@@ -6,18 +6,22 @@ paths:
|
||||
# Инфраструктура (`src/infra/`)
|
||||
|
||||
Брокер (`broker/`, с лабы 5, design change `async-attachments`, решение 5):
|
||||
`client.py` — `JobPublisher`, `JobConsumer`, `JobDelivery`, `queue_name`;
|
||||
`instance.py` — глобал издателя процесса API (импортируют только `main.py` и
|
||||
`dependencies.py`). aio-pika без `connect_robust`: фоновый reconnect скрыл бы,
|
||||
что исход публикации неизвестен. Издатель открывает соединение первым вызовом,
|
||||
всё — под `[broker] publish_timeout_seconds`, `publisher_confirms=True`,
|
||||
`mandatory`, `on_return_raises=True`, очередь объявляется при каждом соединении.
|
||||
`client.py` — `JobPublisher` (только relay), `JobConsumer` (только worker),
|
||||
`JobDelivery`, `queue_name`; у реплик API клиента брокера нет (design change
|
||||
`pipeline-reliability`, решение 1). aio-pika без `connect_robust`: фоновый reconnect
|
||||
скрыл бы, что исход публикации неизвестен. Издатель открывает соединение первым
|
||||
вызовом, `publisher_confirms=True`, `mandatory`, `on_return_raises=True`, очередь
|
||||
объявляется при каждом соединении. `publish_many(items) -> set[UUID]` — задача на
|
||||
сообщение и `asyncio.wait` с общим сроком `[broker] publish_timeout_seconds`:
|
||||
подтверждённые до срока считаются, остальные отменяются; подмножество — ошибка уже
|
||||
записана, соединение сброшено. `ready_messages()` — активное объявление, считает
|
||||
только готовые; отказ — `BrokerUnavailable`.
|
||||
Любая ошибка — сброс соединения (`is_closed` соединения не верить: канал закрыт при
|
||||
«живом» соединении), закрытие в фоне (при заморозке оно само зависло бы),
|
||||
`warning` «Broker is unavailable», `BrokerUnavailable`; повторов нет. Закрытый
|
||||
канал (`is_closed` канала) перед публикацией — брокер перезапускался, пока
|
||||
загрузок не было: в него ничего не ушло, поэтому это новое соединение, а не повтор.
|
||||
Иначе первая загрузка на каждой реплике после возврата брокера получала 503.
|
||||
`warning` «Broker is unavailable»; повторов нет. Закрытый канал (`is_closed` канала)
|
||||
перед публикацией — брокер перезапускался, пока заданий не было: в него ничего не
|
||||
ушло, поэтому это новое соединение, а не повтор. Процесс обработки (`render/`):
|
||||
`ImageRenderer`, см. `worker.md`.
|
||||
Потребитель
|
||||
— своё соединение: блокировка публикации не должна останавливать ack. Строка URL
|
||||
с паролем не собирается, `aio_pika` и `aiormq` на `WARNING`.
|
||||
|
||||
@@ -125,10 +125,25 @@ failed» с traceback. Модуль `worker`: «Started worker» со всеми
|
||||
«Stopped worker» с `exit_code`, «Invalid worker settings» мимо structlog, «Stopped
|
||||
worker before startup». Модуль `broker`: `warning` «Broker is unavailable»,
|
||||
`info` «Broker is available again», `debug` на публикацию; API: «Uploaded attachment»
|
||||
— ещё `job_id`, `warning` «Attachment job was not published» (`outcome`:
|
||||
`cancelled`, `taken`), «Attachment job publish mark failed». «Started API» — ещё
|
||||
`broker_host`, `broker_port`, `broker_queue`, `broker_publish_timeout_seconds`.
|
||||
Пароля брокера и тел сообщений в записях нет.
|
||||
— ещё `job_id`, `content_type` значением. Пароля брокера и тел сообщений в записях нет.
|
||||
|
||||
С change `pipeline-reliability` (решение 18): «Started job attempt» — ещё `queue_wait_ms`
|
||||
(от подтверждения брокером до взятия), `message_attempt`, `redelivered`; «Attachment
|
||||
became ready» — вместо `variant_*` — `variants` (имя, ширина, высота, размер), `render_ms`,
|
||||
`render_peak_kib`, `render_memory_limit_applied`, `duration_ms`; «Retrying job» — ещё
|
||||
`next_attempt_at`; «Skipped job message» — ещё `not_due`, `superseded`. Модуль
|
||||
`image_renderer`: `warning` «Render process failed» (`exit_code`), «Render process output
|
||||
is damaged». Модуль `relay`: «Started relay» со всеми значениями, «Stopped relay»,
|
||||
«Invalid relay settings», «Stopped relay before startup», `warning` «Relay pass was
|
||||
interrupted», `error` «Relay pass failed». Модуль `attachment_relay_service`: «Relay
|
||||
pass» (`published`, `unconfirmed`, `recovered`, `republished`, `published_backlog`,
|
||||
`duration_ms`; `info`, пустой — `debug`), `warning` «Recovered expired lease», `info`
|
||||
«Relay backlog is full» / «Relay backlog has room» на смену состояния. Модуль
|
||||
`attachment_replay_service`: «Found failed job», «Replayed job» (`operator`, прежние
|
||||
`error_code`, `reason`), `warning` «Refused job replay» (`refusal`), «Finished replay
|
||||
pass». Модуль `attachment_cleanup_service`: «Finished staging cleanup pass»
|
||||
(`removed_ready`, `removed_failed`, `skipped`, `interrupted_by`, `duration_ms`), `warning`
|
||||
«Staging key is not own». Итог сверки — ещё `listed_staging`.
|
||||
|
||||
## Чего в логах быть не должно
|
||||
|
||||
|
||||
@@ -100,6 +100,17 @@ paths:
|
||||
VALID`: прежние строки условию отвечают. Первой строкой `SET LOCAL lock_timeout
|
||||
= '2s'`; `downgrade` — зеркально. Прежний образ на новой схеме работает, но
|
||||
падает 500 на чтении строки нового статуса: ограничение в `REPORT.md`.
|
||||
- Ревизии `c7e2f1a04b56` и `d3f9a6b2c1e7` (лаба 5, design change
|
||||
`pipeline-reliability`, решение 10). Первая, атомарная, первой строкой `SET LOCAL
|
||||
lock_timeout = '2s'`: `attachment_jobs.attempt_base` (`NOT NULL DEFAULT 0`), CHECK
|
||||
`attempt_base BETWEEN 0 AND attempt NOT VALID`, таблица `attachment_job_replays`
|
||||
(FK на задание без каскада). Вторая — `autocommit_block`, `SET lock_timeout`,
|
||||
`CONCURRENTLY`, `if_not_exists`: `ix_attachment_jobs_outbox` по выражению
|
||||
`COALESCE(next_attempt_at, created_at), id`, `ix_attachment_jobs_published`,
|
||||
`ix_attachment_jobs_lease`, `ix_attachments_staging_cleanup`. Autogenerate условие и
|
||||
выражение не видит. У `ix_attachment_jobs_published` условие `published_at IS NOT
|
||||
NULL` запрос называет явно: без него общий план на пробе — Seq Scan. Прежний образ
|
||||
на новой схеме работает: новых статусов и `error_code` нет.
|
||||
- **INVALID-индекс.** Прерванная `CREATE INDEX CONCURRENTLY` (сбой,
|
||||
`lock_timeout`, Ctrl+C) оставляет индекс с `pg_index.indisvalid =
|
||||
false`, и `IF NOT EXISTS` его не пересоздаст: повтор миграции
|
||||
|
||||
@@ -54,13 +54,21 @@ paths:
|
||||
одним значением), `mark_queued` (`UPDATE … WHERE status = 'pending'
|
||||
AND updated_at = created_at RETURNING`, `None` — строки `pending` нет
|
||||
или уборщик пометил её к уборке), с лабы 5 (design change
|
||||
`async-attachments`, решения 1–3) `return_to_pending`, `mark_processing`,
|
||||
`async-attachments`, решения 1–3) `mark_processing`,
|
||||
`return_to_queued`, `commit_ready`, `commit_failed` — условные `UPDATE`,
|
||||
`updated_at` через `greatest`: часы процессов расходятся, а CHECK
|
||||
`updated_at >= created_at` падал бы;
|
||||
`updated_at >= created_at` падал бы; с change `pipeline-reliability`
|
||||
`return_group_to_queued`, `replay_failed`, `lock_attachment` (`FOR NO KEY
|
||||
UPDATE`), `get_staging_candidates`, `lock_staging_candidate` (`FOR NO KEY
|
||||
UPDATE SKIP LOCKED`), `clear_staging_key` (`updated_at` не меняется);
|
||||
`attachment_job.py` (`insert_job`, `lock_job` — `FOR UPDATE`, `get_job`,
|
||||
`get_attachment_job`, `start_attempt`, `return_to_queued` с условием своей
|
||||
попытки, `finish_job`, `mark_published`, `delete_unstarted`) и
|
||||
попытки, `finish_job`; relay — `lock_due_jobs` (`FOR UPDATE SKIP LOCKED`,
|
||||
порядок по выражению индекса), `count_published`, `mark_published` пакета,
|
||||
`recover_expired_leases`, `has_published_before`, `reset_published_before`;
|
||||
`replay_job`, `list_failed` — состояние в выборках relay константой
|
||||
`literal_execute`), `attachment_job_replay.py` (`insert_replay`,
|
||||
`get_job_replays`) и
|
||||
`attachment_variant.py` (`insert_variant` — `ON CONFLICT DO NOTHING`,
|
||||
`get_variants`, `get_variant`);
|
||||
`get_attachment`, `get_attachments` (до 10 строк по первичному
|
||||
@@ -104,7 +112,9 @@ paths:
|
||||
под этим префиксом, без вызова S3), `parse_original_key`
|
||||
(`UUID` ключа `<id>/original` в записи сервера, иначе `None`),
|
||||
`list_originals` (страница списка), `probe_originals` (список с
|
||||
`MaxKeys=1`: bucket на месте и список разрешён), `head_original`;
|
||||
`MaxKeys=1`: bucket на месте и список разрешён), `head_original`; с change
|
||||
`pipeline-reliability` — `staging_prefix`, `is_own_staging_key`,
|
||||
`parse_staging_key`, `list_staging`, `variant_keys` (ключи вариантов всех имён);
|
||||
- `message.py`: `MESSAGE_COLUMNS` с коррелированным подзапросом
|
||||
`ARRAY(SELECT attachment_id … ORDER BY position)` — одно выражение на
|
||||
страницу и на сохранённый результат ключа; план — `SubPlan` по
|
||||
|
||||
@@ -163,11 +163,22 @@ access_log=False)`. Импорты в `src/__main__.py` — внутри `if __n
|
||||
`python -m src.worker` → `src/worker/__main__.py` → `early_stop.install("worker")`
|
||||
→ `main()` (`worker.md`), в compose — сервис `worker`, PID 1. SIGTERM: новые
|
||||
сообщения не берутся, начатые ждут ≤ `[worker] graceful_shutdown_seconds`,
|
||||
остальные отменяются, «Stopped worker», код 0, `os._exit`: поток декодирования не
|
||||
отменить. Сигнал на старте — «Stopped worker before startup». Неверные настройки —
|
||||
остальные отменяются (их процессы обработки убиты), «Stopped worker», код 0,
|
||||
`os._exit`. Сигнал на старте — «Stopped worker before startup». Неверные настройки —
|
||||
код 2. Отказ брокера, S3, PostgreSQL процесс не роняет. Консоль — `make run_dev`
|
||||
(поднимает и брокер) плюс `make run_worker` в другом терминале: тот же `.env`,
|
||||
ключи worker в окружении процесса.
|
||||
(поднимает и брокер) плюс `make run_worker` и `make run_relay` в других терминалах:
|
||||
тот же `.env`, ключи worker в окружении процесса. Без relay консольный API принимает
|
||||
файлы, а задания ждут в PostgreSQL. Лимит памяти процесса обработки на macOS не
|
||||
действует (`worker.md`).
|
||||
|
||||
## Relay (с лабы 5)
|
||||
|
||||
`python -m src.relay` → `src/relay/__main__.py` → `early_stop.install("relay")` →
|
||||
`main()`, в compose — сервис `relay`, PID 1. SIGTERM: текущий шаг доводится (≤ 6 с),
|
||||
новые не начинаются, паузу сигнал прерывает сразу, «Stopped relay», код 0, `os._exit`.
|
||||
Сигнал на старте — «Stopped relay before startup». Неверные настройки — код 2. Отказ
|
||||
брокера и PostgreSQL процесс не роняет. `python -m src.relay replay …` — разовая
|
||||
команда реестра `failed`, коды 0 / 3 / 1 / 2 (`make replay`).
|
||||
|
||||
## Makefile
|
||||
|
||||
|
||||
@@ -87,17 +87,11 @@ paths:
|
||||
`pending` с `object_key` и `staging_key` (commit) → `buffer.seek(0)`,
|
||||
PUT этим же `BytesIO` в staging (`attachment_object_repo.put_original(...,
|
||||
body=buffer, size=size)`), `buffer.close()` → `_mark_queued`: `queued` и
|
||||
задание одной транзакцией → `_publish_job`: публикация с подтверждением
|
||||
(`JobPublisher`), отметка `published_at` (сбой — `warning`, ответ 202) →
|
||||
снимок DTO; место освобождается при выходе из контекста, в том числе
|
||||
после компенсации и при отмене. С лабы 5 (design change
|
||||
`async-attachments`, решение 3) брокер не подтвердил (любой исход:
|
||||
исход по сроку неизвестен) — условная транзакция `_cancel_job`:
|
||||
`delete_unstarted` (0 строк — worker взял, сообщение дошло, 202) →
|
||||
`return_to_pending` (объект и строку убирает уборщик) → 503. Падение
|
||||
процесса между COMMIT и подтверждением оставляет `queued` без сообщения:
|
||||
разрыв закрывает `pipeline-reliability`. Worker — `worker.md`.
|
||||
Отказ S3 или БД после `pending` — 503, строка остаётся до уборщика.
|
||||
задание одной транзакцией → снимок DTO; место освобождается при выходе из
|
||||
контекста, в том числе после компенсации и при отмене. С change
|
||||
`pipeline-reliability` (решение 1) брокера в пути запроса нет: строка
|
||||
`queued` без `published_at` — намерение, его публикует relay. Worker и relay —
|
||||
`worker.md`. Отказ S3 или БД после `pending` — 503, строка остаётся до уборщика.
|
||||
Отклонённая до `pending` загрузка ничего не пишет (design change
|
||||
`upload-memory`, решения 1–5);
|
||||
- одна копия тела: `del data` до PUT обязателен. Пока жива ссылка на
|
||||
@@ -150,6 +144,13 @@ paths:
|
||||
помеченная строка ждёт следующего прохода — пометка ставится заново.
|
||||
`stop_requested()` проверяется перед строкой и между шагами. Итог —
|
||||
`CleanupPassDTO`;
|
||||
- очистка staging (`AttachmentCleanupService.clean_staging`, design change
|
||||
`pipeline-reliability`, решение 9): кандидаты keyset сначала `ready`, затем
|
||||
`failed` с `updated_at < retention_before`; строка — одна транзакция: `FOR NO
|
||||
KEY UPDATE SKIP LOCKED` с теми же условиями → DELETE в S3 → `staging_key = NULL`.
|
||||
`NO KEY`, не `FOR UPDATE`: отправка сообщения берёт `FOR KEY SHARE` и не должна
|
||||
ждать DELETE в S3. У `failed` ещё объекты вариантов всех имён и конечный
|
||||
оригинал; ключ вне своего префикса staging — `warning`, строка не меняется;
|
||||
- чтение: `pending`, нет строки, не участник — одно
|
||||
`AttachmentNotFound`; варианты подставляются только у `ready`;
|
||||
скачивание любого `variant` не `ready` вложения — `AttachmentNotReady`
|
||||
@@ -250,9 +251,12 @@ paths:
|
||||
`deep`, предел из настроек (`src/cleaner/main.py`);
|
||||
- сверка (с лабы 5, решение 11): объект варианта
|
||||
(`parse_variant_key`) — строка `id` есть, пропуск; нет — объект без
|
||||
метаданных (удаление с `--apply`), свежий — свежий. Staging вне префикса
|
||||
списка, `processing` и `failed` не находки, зависшая загрузка называет ключ
|
||||
staging;
|
||||
метаданных (удаление с `--apply`), свежий — свежий. `processing` и `failed` не
|
||||
находки, зависшая загрузка называет ключ staging. С change
|
||||
`pipeline-reliability` (решение 9) — ещё шаг `_list_staging` (та же обёртка
|
||||
сигнала и скорости): `<id>/original` строки с этим `staging_key` — пропуск; иначе
|
||||
`orphan_staging` старше срока хранения (`staging_older_than`), моложе — свежий;
|
||||
другой ключ под staging — `unknown_object`; итог — `listed_staging`;
|
||||
- `MessageService.send_message(..., attachment_ids)`: членство →
|
||||
`get_attachments` (все найдены, чат этого сообщения, не `pending`; иначе
|
||||
`AttachmentNotFound` до захвата ключа) → хэш → ключ → новый ключ при
|
||||
|
||||
@@ -213,15 +213,22 @@ API» называет все четыре.
|
||||
`[broker]` (класс `Broker`, design change `async-attachments`, решение 13):
|
||||
`host`, `port`, `user`, `password` (`SecretStr`) — мосты из `RABBITMQ_*` в `.env`,
|
||||
в docker — `x-broker-env`; `connect_timeout_seconds` (2),
|
||||
`publish_timeout_seconds` (2; при смене пересчитать цепочку LB: после тела 29 с
|
||||
< `timeout server` 30 с). `[worker]` (класс `Worker`): `concurrency` (2), `max_attempts`
|
||||
(5), `job_timeout_seconds` (60), `retry_delay_seconds` (10),
|
||||
`graceful_shutdown_seconds` (8, ≤ 9), `reconnect_seconds` (2). Подмена — `BROKER__*`,
|
||||
`WORKER__*`. Ключи worker `S3_WORKER_*` — в `.env`, контейнеру — `environment`
|
||||
compose, консоль — `make run_worker` (мост `S3__*` в `.env` — ключи API). Имена
|
||||
skeleton: `BROKER_URL_FILE` → мосты `RABBITMQ_*`; `WORKER_CONCURRENCY`,
|
||||
`JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS` → поля `[worker]`;
|
||||
`STAGING_RETENTION_SECONDS` — поля пока нет, появится с очисткой staging.
|
||||
`publish_timeout_seconds` (2; секцию читают relay и worker, в цепочку LB больше не
|
||||
входит). `[worker]` (класс `Worker`, design change `pipeline-reliability`, решение
|
||||
12): `concurrency` (2), `prefetch` (2), `max_attempts` (5), `job_timeout_seconds` (60),
|
||||
`lease_margin_seconds` (10), `retry_base_delay_seconds` (5), `retry_max_delay_seconds`
|
||||
(300, не меньше основы), `render_timeout_seconds` (40, меньше срока попытки),
|
||||
`render_cpu_limit_seconds` (15), `render_memory_limit_mib` (450),
|
||||
`graceful_shutdown_seconds` (8, ≤ 8), `reconnect_seconds` (2). Прежний ключ
|
||||
`retry_delay_seconds` в существующем `config.toml` молча игнорируется. `[relay]` (класс
|
||||
`Relay`): `poll_interval_seconds` (0,25), `batch_size` (100), `max_published_backlog`
|
||||
(1000, 0 — без предела), `republish_after_seconds` (300), `failure_pause_seconds` (2).
|
||||
`[cleaner] staging_retention_seconds` (86400). Подмена — `BROKER__*`, `WORKER__*`,
|
||||
`RELAY__*`. Ключи worker `S3_WORKER_*` — в `.env`, контейнеру — `environment`
|
||||
compose, консоль — `make run_worker` (мост `S3__*` в `.env` — ключи API); `make
|
||||
run_relay` — те же мосты. Имена skeleton: `BROKER_URL_FILE` → мосты `RABBITMQ_*`;
|
||||
`WORKER_CONCURRENCY`, `JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS` → поля `[worker]`;
|
||||
`STAGING_RETENTION_SECONDS` → `[cleaner] staging_retention_seconds`.
|
||||
|
||||
### Уборщик (с лабы 4)
|
||||
|
||||
|
||||
@@ -371,6 +371,36 @@ paths:
|
||||
~1300 с, вся команда ~22 мин. Описание лабы 4 выше — история: `upload` там
|
||||
отвечал 201, режим hook `ready` стал `queued`, тесты `test_ready_*` — `test_queued_*`.
|
||||
|
||||
С change `pipeline-reliability` (design, решения 14–15):
|
||||
|
||||
- `contract.py`: `assert_variant_image` (настоящий JPEG или WebP того размера);
|
||||
`images.py`: `png_stripes`, `png_solid`, `jpeg_with_metadata`, `jpeg_scan_bomb`
|
||||
(прогрессивный 8000 × 5000, самый маленький AC-скан повторён до 10 MiB);
|
||||
`test_failures.py`: `assert_variants` вместо `assert_one_thumbnail`;
|
||||
- hook: `stop|start|kill|pause|unpause relay`, `freeze worker` (`docker kill -s STOP`:
|
||||
контейнер `running`, поэтому KILL проходит), `pause|unpause worker`, `run-worker K=V…`,
|
||||
`run-relay K=V…`, `stop-extra`, `extra-log`, `kill-extra`, `pause-extra`,
|
||||
`unpause-extra`, `relay-log`, `relay-state`, `cleaner-log`, `kill-render`, `render-env`,
|
||||
`render-count`, `wait-commit-stall`, `object-sha256`, `broker-memory-limit`, режимы
|
||||
`ready-commit-stall`, `relay-stall`, `set-sha256`, `set-staging-key`,
|
||||
`set-next-attempt`, `expire-lease`, `attachment-row`, `attachment-free` (`FOR SHARE
|
||||
SKIP LOCKED`: держит ли строку чужая транзакция), `delete-variant`,
|
||||
`cancel-to-pending`, `replay`, `replays`, `reconcile … --staging-retention S --grace
|
||||
S`; `run-cleaner` ждёт конец первого прохода, а не весь срок; `peek-job`
|
||||
и `publish-job` — одноразовым контейнером relay;
|
||||
- окна сбоя — без точек в коде: после COMMIT до publish — relay убит; после confirm до
|
||||
отметки — `relay-stall`, `kill relay`; после записи S3 до COMMIT — `ready-stall`,
|
||||
`kill worker`; после COMMIT до ack — `ready-commit-stall`, `wait-commit-stall`, `freeze`,
|
||||
`kill`. Зависший worker: первый worker со сроками больше времени теста, иначе при
|
||||
разморозке его прервал бы таймер, а не fencing; аренду делает истекшей `expire-lease`;
|
||||
- стенд отказов: `relay` (`restart: "no"`, опрос 0,2 с, порог потерянного 5 с), worker —
|
||||
4 попытки, пауза 4–16 с, срок 10 с, запас аренды 2 с, процесс обработки 8 с / 3 с CPU,
|
||||
остановка 2 с; уборщик — срок хранения 60 с; `FAULT_RELAY_*`, новые `FAULT_WORKER_*`,
|
||||
`FAULT_CLEANER_STAGING_RETENTION_S`, журнал relay при падении, уборка
|
||||
`<проект>-worker-extra`, `<проект>-relay-extra`; `make test_isolated` — ещё контейнер
|
||||
`<проект>-test-relay`. После KILL новая попытка ждёт аренду 12 с. Время полного
|
||||
прогона — design change `pipeline-reliability`, «Уточнения apply».
|
||||
|
||||
Проверки отказов реплик (остановка, kill, зависание, rolling update) —
|
||||
не pytest, а `make test-failover`, профиль `failover` стенда `bench/`
|
||||
(`make bench_failover`, `bench.md`), команды драйвера `kill-inflight`,
|
||||
|
||||
+99
-43
@@ -1,53 +1,109 @@
|
||||
---
|
||||
paths:
|
||||
- "src/worker/**"
|
||||
- "src/relay/**"
|
||||
- "src/infra/render/**"
|
||||
- "src/core/services/attachment_processing.py"
|
||||
- "src/utils/thumbnail.py"
|
||||
- "src/core/services/attachment_relay.py"
|
||||
- "src/core/services/attachment_replay.py"
|
||||
- "src/utils/image_variants.py"
|
||||
---
|
||||
|
||||
# Worker обработки вложений (с лабы 5)
|
||||
# Worker, relay и процесс обработки (с лабы 5)
|
||||
|
||||
Спеки `attachment-processing`, `message-broker`; решения — design change
|
||||
`async-attachments` (решения 2, 6–8). Здесь то, что легко нарушить.
|
||||
Спеки `attachment-processing`, `message-broker`, `job-outbox`; решения — design
|
||||
change `async-attachments` (2, 6–8) и `pipeline-reliability` (1–9, 19). Здесь то,
|
||||
что легко нарушить.
|
||||
|
||||
- **Процесс:** `python -m src.worker` → `src/worker/__main__.py`
|
||||
- **Worker:** `python -m src.worker` → `src/worker/__main__.py`
|
||||
(`early_stop.install("worker")`, «Invalid worker settings» и код 2,
|
||||
`os._exit` в конце: поток декодирования отменить нельзя) →
|
||||
`src/worker/main.py`. Свои engine, клиент S3 с ключами worker и клиенты
|
||||
брокера; глобалы процесса API не импортируются. Сервис compose — на образе
|
||||
API, без портов и healthcheck, не реплика: вне `rolling-update.sh` и
|
||||
`restart.sh`. В консоли — `make run_worker`.
|
||||
- **Pillow** импортирует только `src/utils/thumbnail.py`, его — только сервис
|
||||
обработки: реплики API декодер в память не загружают и варианты не создают
|
||||
ни при каких условиях (проверка — `/proc/1/maps` реплики).
|
||||
- **Ack — только после устойчивого эффекта:** зафиксировано `ready` или
|
||||
`failed` либо брокер подтвердил сообщение следующей попытки. Подтверждает
|
||||
`main.py` по `JobOutcome` сервиса (`ACK`, `REQUEUE`, `DROP`).
|
||||
- **Сообщение** — `src/schemas/jobs/attachment.py`, по
|
||||
`contracts/jobs.schema.json`: только id и служебные поля. Ключи, размер,
|
||||
SHA-256 и тип worker берёт из PostgreSQL. Не по схеме — `error` без
|
||||
содержимого, `reject(requeue=False)`.
|
||||
- **Счёт попыток — в БД,** а не заголовками брокера: `attempt` растёт при
|
||||
взятии (`start_attempt`). `job_id` при повторах не меняется. Временная ошибка —
|
||||
S3, срок, непредвиденное: `queued`, пауза `retry_delay_seconds` (сигнал её
|
||||
прерывает), новое сообщение `attempt + 1`. Постоянная — сразу `failed`.
|
||||
PostgreSQL недоступен — пауза и `REQUEUE`, попытка не считается: записать
|
||||
нельзя.
|
||||
- **Порядок блокировок везде:** задание (`lock_job`), затем вложение; вызовов
|
||||
S3 внутри транзакций нет. Вложение `ready`, вариант и итог задания — одна
|
||||
транзакция; результат старой попытки принимается, эффект тот же: те же ключи.
|
||||
`os._exit` в конце) → `src/worker/main.py`. Свои engine, клиент S3 с ключами
|
||||
worker и потребитель брокера; издателя нет, глобалы процесса API не
|
||||
импортируются. Сервис compose — на образе API, без портов и healthcheck, не
|
||||
реплика: вне `rolling-update.sh` и `restart.sh`. В консоли — `make run_worker`.
|
||||
- **Relay:** `python -m src.relay` → `src/relay/__main__.py` → `src/relay/main.py`
|
||||
→ `AttachmentRelayService`. Свой engine (пул 1) и `JobPublisher`; S3 и Pillow
|
||||
нет. Не в репликах (издатели и пароль у всех), не в worker (остановка worker на
|
||||
защите остановила бы публикацию), не в уборщике (сверка держала бы цикл). В
|
||||
консоли — `make run_relay`.
|
||||
- **Проход relay** — три шага, сигнал проверяется между ними: истёкшие аренды
|
||||
(`processing` → `queued`, причина `lease_expired`, задание и вложение одной
|
||||
транзакцией); потерянные (есть `queued` с `published_at` старше `[relay]
|
||||
republish_after_seconds` и ноль готовых сообщений — отметка снимается; не ноль —
|
||||
ничего: длинная очередь не обрастает копиями); публикация (`room =
|
||||
max_published_backlog - count_published()`, `FOR UPDATE SKIP LOCKED`, порядок —
|
||||
`COALESCE(next_attempt_at, created_at), id`, `publish_many`, отметка
|
||||
подтверждённых, COMMIT). Публикация внутри транзакции — осознанное исключение:
|
||||
блокировка строки и есть признак «это задание публикует другой relay», срок 2 с
|
||||
< шага 6 с < простоя транзакции 10 с. Worker, получивший сообщение раньше
|
||||
COMMIT, ждёт блокировку и видит отметку. Статусы в выборках — константой
|
||||
(`literal_execute`), иначе общий план — Seq Scan.
|
||||
- **Pillow** импортирует только `src/utils/image_variants.py`, его — только
|
||||
`src/worker/render.py`, отдельный процесс на задание. Ни реплики API, ни процесс
|
||||
worker декодер в память не загружают (проверка — `/proc/1/maps`).
|
||||
- **Процесс обработки** — `ImageRenderer` (`src/infra/render/client.py`):
|
||||
`python -m src.worker.render`, окружение только `PATH`,
|
||||
`PYTHONDONTWRITEBYTECODE`, `PYTHONUNBUFFERED`, `MALLOC_MMAP_THRESHOLD_`: секретов в
|
||||
нём нет. Лимиты — первыми строками, до импорта Pillow: `RLIMIT_AS`,
|
||||
`RLIMIT_CPU` (жёсткий на секунду больше), `RLIMIT_CORE = 0`. Коды 3 / 4 / 5 —
|
||||
не декодируется, память, пиксели; −SIGXCPU — CPU (всё постоянные, `ImageRejected`);
|
||||
срок родителя — `TimeoutError`, −SIGKILL и иное — `RenderInterrupted` (временные).
|
||||
`finally` клиента убивает процесс и ждёт его: отмена попытки процесс не оставит.
|
||||
Пик — `VmHWM`, не `ru_maxrss`: тот наследует пик родителя через fork. На macOS
|
||||
`setrlimit(RLIMIT_AS)` — `ValueError`: процесс продолжает, вывод отмечает это.
|
||||
- **Claim** (`_claim`, таблица решения 3): сообщение — подсказка, истина в строке
|
||||
задания. `succeeded`, `failed`, чужое, `queued` раньше срока, `processing` с живой
|
||||
арендой — ACK без записи и без новой попытки; `redelivered` только в журнал: брокер
|
||||
ставит его и после `nack`, живого от потерянного он не отличает. Истёкшая аренда
|
||||
и `queued` — взять, если бюджет не исчерпан (`attempt - attempt_base >=
|
||||
max_attempts` — `failed` `retry_exhausted`). Взятие: `attempt + 1`,
|
||||
`lease_expires_at = now + job_timeout + lease_margin`.
|
||||
- **Fencing:** `ready`, `failed` и возврат фиксирует только попытка, номер которой
|
||||
равен текущему у задания в `processing` (`_own_attempt`, условие
|
||||
`return_to_queued`), иначе `Skipped job message`, `superseded`, ACK. Поэтому `attempt`
|
||||
монотонен, а бюджет после replay — `attempt_base`.
|
||||
- **Аренда без пульса:** шаги попытки под `asyncio.timeout(job_timeout)`, процесс
|
||||
убивается, поэтому попытка не живёт дольше срока. Цена — после KILL следующая
|
||||
попытка ждёт истечения аренды (до 70 с).
|
||||
- **Ack — только после устойчивого эффекта:** `ready` или `failed` зафиксированы,
|
||||
задание возвращено в `queued` со сроком либо записывать нечего. Подтверждает
|
||||
`main.py` по `JobOutcome`. `REQUEUE` — только отказ PostgreSQL: пауза
|
||||
`reconnect_seconds`, попытка не считается, если не начата.
|
||||
- **Повтор:** временная ошибка — `queued`, `next_attempt_at = now + uniform(d/2, d)`,
|
||||
`d = min(max, base × 2^(N−1))`, `N` от последнего replay (`retry_delay`), ACK.
|
||||
Следующее сообщение публикует relay, пауза места конкуренции не занимает.
|
||||
- **Prefetch и конкуренция:** `set_qos(prefetch)`, каждая доставка — задача,
|
||||
`asyncio.Semaphore(concurrency)` вокруг `service.handle`: сообщение сверх
|
||||
конкуренции ждёт без взятия и аренды, после сигнала попытка не начинается.
|
||||
- **Варианты:** одно декодирование, `fit_size` (округление вниз, не
|
||||
`Image.thumbnail`). `draft` у JPEG — под самый большой нужный размер. Основа 1280 —
|
||||
для optimized и thumbnail; crop — из основы, если её короткая сторона ≥ 256, иначе
|
||||
из декодированного (у 5000 × 10 основа 1280 × 2). Transpose на малых изображениях.
|
||||
Thumbnail и crop — JPEG `quality=85`, альфа на белый; optimized — WebP `quality=80`,
|
||||
`method=4`, прозрачность сохраняется. Метаданные в `save` не передаются: EXIF,
|
||||
XMP и ICC не пишутся, ориентация применена к пикселям. `FLIP_LEFT_RIGHT` равен 0:
|
||||
результат `.get` сравнивать с `None`.
|
||||
- **Replay:** `AttachmentReplayService`, `make replay` (`python -m src.relay replay`),
|
||||
только PostgreSQL. Транзакция: `lock_job`, `lock_attachment` (`FOR NO KEY UPDATE`),
|
||||
проверки (`not_found`, `already_ready`, `not_failed`, `source_gone` — отказ без
|
||||
изменений, код 3), `failed → queued`, `attempt_base = attempt`, запись
|
||||
`attachment_job_replays`. Сообщение публикует relay. С `--apply` выбор обязателен
|
||||
(код 2), `--attachment-id` и фильтр по коду вместе нельзя (код 2). HTTP-ручки нет.
|
||||
- **Остановка worker (S5):** `graceful_shutdown_seconds` ≤ 8, отмена задач 0,5,
|
||||
закрытие потребителя 0,5, engine и S3 — одним `gather` под сроком 0,5: 9,5 с < 10 с.
|
||||
Новые клиенты не добавляют срока. Задание, прерванное остановкой, получает
|
||||
следующую попытку по аренде: release на пути отмены ненадёжен.
|
||||
- **Сообщение** — `src/schemas/jobs/attachment.py`, по `contracts/jobs.schema.json`:
|
||||
только id и служебные поля. Ключи, размер, SHA-256 и тип worker берёт из
|
||||
PostgreSQL. Не по схеме — `error` без содержимого, `reject(requeue=False)`.
|
||||
- **Порядок блокировок везде:** задание (`lock_job`), затем вложение; вызовов S3
|
||||
внутри транзакций worker нет. Вложение `ready`, варианты и итог задания — одна
|
||||
транзакция.
|
||||
- **Ключ эффекта** `(attachment_id, pipeline_version, variant)` — первичный ключ
|
||||
`attachment_variants`; ключ объекта варианта из него следует. Оригинал — не
|
||||
строка этой таблицы.
|
||||
- **Thumbnail:** размер считает `thumbnail_size`, а не `Image.thumbnail`: Pillow
|
||||
округляет к ближайшему, контракт — вниз. `draft` у JPEG и transpose на малом
|
||||
изображении держат пик памяти. `Image.Transpose.FLIP_LEFT_RIGHT` равен 0:
|
||||
результат `.get` сравнивать с `None`, а не по истинности (нашёл тест всех
|
||||
ориентаций).
|
||||
- **Журнал:** `request_id` — `job_id` (ставит сервис: задача доставки своя, контекст
|
||||
не течёт); `filename`, байтов, тел сообщений и секретов в записях нет
|
||||
(`logging.md`, «Журнал worker»).
|
||||
- **Ограничения** называются в `REPORT.md`: зависший worker с живым соединением
|
||||
держит задание до срока подтверждения брокера, поток декодирования сроком не
|
||||
прерывается, пауза повтора постоянна; `lease`, backoff и outbox —
|
||||
`pipeline-reliability`.
|
||||
`attachment_variants`; ключ объекта варианта из него следует.
|
||||
- **Журнал:** `request_id` — `job_id` (ставит сервис); `filename`, байтов, тел
|
||||
сообщений и секретов в записях нет (`logging.md`).
|
||||
- **Ограничения** называются в `REPORT.md`: восстановление после KILL по аренде,
|
||||
дубли сообщений, объект, дописанный прежней попыткой теми же байтами, профиль ICC,
|
||||
лимит памяти на macOS, цена процесса на задание, удаление очереди при работающем
|
||||
worker.
|
||||
|
||||
@@ -1,17 +1,17 @@
|
||||
---
|
||||
name: run-mtusi-messenger
|
||||
description: Запустить, остановить, прогнать и подёргать API мессенджера MTUSI (FastAPI, PostgreSQL, Valkey; лаба 3 — HAProxy перед репликами API; лаба 4 — S3 на SeaweedFS; лаба 5 — RabbitMQ и worker) — на хосте или в Docker. Use when asked to run / start / stop the server or the stand, run the smoke test, `make test`, `make student_test`, `make test_isolated`, `make test-persistence` or `make test-failover`, `make s3_check`, check that the S3 bucket is private, run the defense scenario, check the broker or the worker process, stop or restore an API replica, show X-Instance-Id distribution, check that an API change works on a live server, send a request to an endpoint, reproduce a bug over HTTP, check the containers, or call services directly without HTTP.
|
||||
description: Запустить, остановить, прогнать и подёргать API мессенджера MTUSI (FastAPI, PostgreSQL, Valkey; лаба 3 — HAProxy перед репликами API; лаба 4 — S3 на SeaweedFS; лаба 5 — RabbitMQ, relay и worker) — на хосте или в Docker. Use when asked to run / start / stop the server or the stand, run the smoke test, `make test`, `make student_test`, `make test_isolated`, `make test-persistence` or `make test-failover`, `make s3_check`, check that the S3 bucket is private, run the defense scenario or its failure windows, check the broker, the worker or the relay process, show the pipeline state, stop or restore an API replica, show X-Instance-Id distribution, check that an API change works on a live server, send a request to an endpoint, reproduce a bug over HTTP, check the containers, or call services directly without HTTP.
|
||||
---
|
||||
|
||||
REST API мессенджера (пользователи, чаты, сообщения) — сервер на
|
||||
FastAPI/uvicorn, данные в PostgreSQL из compose, карточки чатов
|
||||
кэшируются в Valkey из compose, с лабы 4 есть S3 (SeaweedFS) для байтов
|
||||
вложений, с лабы 5 — RabbitMQ и worker: загрузка отвечает 202, файл
|
||||
вложений, с лабы 5 — RabbitMQ, relay и worker: загрузка отвечает 202, файл
|
||||
становится `ready` в фоне. Агент управляет им через
|
||||
`.claude/skills/run-mtusi-messenger/driver.py`: он поднимает Postgres,
|
||||
накатывает миграции, поднимает Valkey, S3 с bootstrap и брокер (`make
|
||||
upgrade start_cache start_s3 start_broker`),
|
||||
запускает свой экземпляр сервера и worker в фоне, гоняет сценарий по HTTP,
|
||||
запускает свой экземпляр сервера, worker и relay в фоне, гоняет сценарий по HTTP,
|
||||
публичный smoke и собственные тесты, шлёт одиночные запросы и
|
||||
останавливает их. Против стенда compose (`make run_docker`:
|
||||
HAProxy на `APP_OUT_PORT` перед репликами API) работают те же команды
|
||||
@@ -27,9 +27,10 @@ s3_check`) — приватность bucket вне API, `attachment-failover`
|
||||
`upload-consistency` — согласованность БД и S3 (компенсация и уборщик
|
||||
незавершённых загрузок), `reconcile-cycle` и `reconcile-stress` — сверка
|
||||
bucket и БД (расхождения с обеих сторон, dry-run, `--apply`, повтор,
|
||||
возврат оригинала; `--apply` под загрузками), `defense-scenario` — сценарий
|
||||
защиты лабы 5, `broker-check` и `worker-process` — брокер и процесс worker
|
||||
(раздел «Лаба 5: брокер и worker»). `upload` и
|
||||
возврат оригинала; `--apply` под загрузками), `defense-scenario` и
|
||||
`defense-faults` — сценарий защиты лабы 5 и его шаг 4, `broker-check`,
|
||||
`worker-process`, `relay-process` — брокер и процессы, `pipeline-state` — состояние
|
||||
конвейера (раздел «Лаба 5: брокер, relay и worker»). `upload` и
|
||||
`download` — загрузка и скачивание вложения с SHA-256 на любом
|
||||
сервере. `stop-at-start` — остановка
|
||||
контейнеров образа во время старта, без стенда. Только
|
||||
@@ -68,8 +69,9 @@ Postgres сервер стартует, но `/health/ready` отвечает 50
|
||||
всё работает, но мимо кэша (`warning` «Cache is unavailable» в логе);
|
||||
без S3 `/health/ready` — 200, а загрузка и скачивание байтов
|
||||
вложений — 503 (метаданные, сообщения и история работают). S3 нужен
|
||||
только путям вложений. Без брокера `/health/ready` — 200, а загрузка — 503;
|
||||
без worker загрузка — 202, вложение остаётся `queued`, скачивание — 409.
|
||||
только путям вложений. Без брокера, relay и worker `/health/ready` — 200, загрузка —
|
||||
202 (брокера в пути запроса нет, задание ждёт в PostgreSQL), вложение остаётся
|
||||
`queued`, скачивание — 409.
|
||||
`driver.py start` сам делает `make upgrade start_cache
|
||||
start_s3 start_broker`. В `.env`, созданном до `membership-cache` или `s3-storage`,
|
||||
нет строк Valkey или S3: их переносят из `.env.example` руками, иначе
|
||||
@@ -86,7 +88,7 @@ python3 $D all # start → flow → tests/smoke.py → student-tests → st
|
||||
посмотреть лог, послать свой запрос):
|
||||
|
||||
```bash
|
||||
python3 $D start # make upgrade start_cache start_s3 start_broker, затем API и worker в фоне; ждёт /health/ready и брокер до 30 с
|
||||
python3 $D start # make upgrade start_cache start_s3 start_broker, затем API, worker и relay в фоне; ждёт /health/ready, брокер и старт relay до 30 с
|
||||
python3 $D status # listeners: [pid reloader, pid worker], ready: True
|
||||
python3 $D flow # ~60 проверок: регистрация с паролем, вход, 409, неверный пароль,
|
||||
# 401 с WWW-Authenticate, X-User-Id игнорируется, чат, 5 сообщений,
|
||||
@@ -104,7 +106,7 @@ python3 $D upload --token <token> --chat <chat> --file tests/fixtures/sample.png
|
||||
# затем опрос до ready и итоговые метаданные
|
||||
python3 $D download --token <token> --attachment <id> [--out /tmp/x.png] [--variant thumbnail] [--wait]
|
||||
# 200, Content-Type, размер, SHA-256 полученного (99ea7533… у fixture),
|
||||
# у JPEG — размеры по SOF; не ready — 409, с --wait — сначала опрос
|
||||
# у JPEG и WebP — размеры по байтам; не ready — 409, с --wait — сначала опрос
|
||||
python3 $D smoke # публичный tests/smoke.py против этого порта
|
||||
python3 $D student # make student_test BASE_URL=http://localhost:<port> — ~20 с
|
||||
python3 $D --port 8080 instances # стенд через LB: X-Instance-Id 12 запросов одной сессии
|
||||
@@ -113,7 +115,7 @@ python3 $D stop
|
||||
|
||||
| команда | что делает |
|
||||
|---|---|
|
||||
| `start` | `make upgrade start_cache start_s3 start_broker`, затем `APP__RUN_MODE=console APP__PORT=<port> uv run python -m src` и `make run_worker` (ключи S3 worker) в одной группе процессов; готово — `/health/ready` 200 и запись worker «Connected to broker». Журнал worker — `/tmp/mtusi-worker-<port>.log` |
|
||||
| `start` | `make upgrade start_cache start_s3 start_broker`, затем `APP__RUN_MODE=console APP__PORT=<port> uv run python -m src`, `make run_worker` (ключи S3 worker) и `make run_relay` в одной группе процессов; готово — `/health/ready` 200, запись worker «Connected to broker» и запись «Started relay». Журналы — `/tmp/mtusi-worker-<port>.log`, `/tmp/mtusi-relay-<port>.log` |
|
||||
| `status` | кто слушает порт, отвечает ли `/health/ready`; код 1, если никого |
|
||||
| `flow` | сквозной сценарий; `[FAIL]` в строке и код 1 при провале; в конце печатает id alice/bob/eve/chat и синтетический токен alice |
|
||||
| `req METHOD PATH [--token T \| --basic USER:PASS] [--data JSON] [--key K \| --no-key]` | один запрос: статус, `x-request-id`, `x-instance-id`, `www-authenticate` у 401, тело; код 2 при статусе ≥ 400. `POST …/messages` без `--key` получает новый `Idempotency-Key` (он печатается), `--no-key` — без заголовка |
|
||||
@@ -125,16 +127,19 @@ python3 $D stop
|
||||
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
|
||||
| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
|
||||
| `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` |
|
||||
| `s3-check` | стенд compose (`make s3_check`), без приложения: спек `object-storage` «Проверка приватности вне API». `docker compose run --rm --no-deps s3-bootstrap check` — права ключа API (PUT/GET/HEAD объекта, 404 отсутствующего; 403 на список, создание и удаление bucket, политику и ACL bucket, публичный ACL объекта), права ключа уборщика (GET/HEAD/DELETE своего проверочного объекта, повторный DELETE и DELETE отсутствующего — 204; список с префиксом `<база>/attachments/` — 200, с change `track2-reconciler`; 403 на запись, список всего bucket и с чужим префиксом, bucket, политику, ACL), временный чужой bucket (403 на всё обоим ключам), аноним изнутри сервера (403); анонимные запросы с хоста (`127.0.0.1:S3_OUT_PORT`) и из сети стенда (одноразовый контейнер образа S3), порты контейнера S3: слушающие сокеты из `netstat -tuln` в контейнере — вне loopback ровно API S3 и gRPC шлюза, а остальные слушающие порты из сети закрыты (`nc -z`); затем `s3-bootstrap cleanup` и `weed shell` — проверочных объектов и bucket не осталось. Таблица «где → проверка → ожидаемо → получено» без секретов, код 1 при расхождении (печатает нарушенные). Вывод — `evidence/s3/privacy.md` |
|
||||
| `s3-check` | стенд compose (`make s3_check`), без приложения: спек `object-storage` «Проверка приватности вне API». `docker compose run --rm --no-deps s3-bootstrap check` — права ключа API (PUT/GET/HEAD объекта, 404 отсутствующего; 403 на список, создание и удаление bucket, политику и ACL bucket, публичный ACL объекта), права ключа уборщика (GET/HEAD/DELETE своего проверочного объекта, повторный DELETE и DELETE отсутствующего — 204; список с префиксами `<база>/attachments/` и `<база>/staging/` — 200, с change `track2-reconciler` и `pipeline-reliability`; 403 на запись, список всего bucket, префикса базы и с чужим префиксом, bucket, политику, ACL), временный чужой bucket (403 на всё обоим ключам), аноним изнутри сервера (403); анонимные запросы с хоста (`127.0.0.1:S3_OUT_PORT`) и из сети стенда (одноразовый контейнер образа S3), порты контейнера S3: слушающие сокеты из `netstat -tuln` в контейнере — вне loopback ровно API S3 и gRPC шлюза, а остальные слушающие порты из сети закрыты (`nc -z`); затем `s3-bootstrap cleanup` и `weed shell` — проверочных объектов и bucket не осталось. Строки списка уборщика по префиксам вложений, staging и базы обязательны: нет — код 1. Таблица «где → проверка → ожидаемо → получено» без секретов, код 1 при расхождении (печатает нарушенные). Вывод — `evidence/s3/privacy.md` |
|
||||
| `upload --token T --chat C --file F [--type …] [--filename …]` | загрузка файла сырыми байтами (`urllib`): статус (202), `x-instance-id`, снимок `Attachment`, размер и SHA-256 файла, совпал ли `sha256` ответа, затем опрос метаданных раз в 0,2 с до `ready` или `failed` (до 60 с) и итоговое тело. `--type` по умолчанию — по сигнатуре (PNG, JPEG, иначе `application/octet-stream`), `--filename` — имя файла. Код 2 при статусе ≥ 400, `failed` и сроке ожидания |
|
||||
| `download --token T --attachment A [--out F] [--variant …] [--wait]` | скачивание оригинала или варианта: статус, `x-instance-id`, `Content-Type`, `Content-Length`, размер и SHA-256 полученного, у JPEG — размеры по SOF; `--out` сохраняет байты. Код 2 при статусе ≠ 200 (тело ошибки печатается): не `ready` — 409 `conflict`, так его и показывают; `--wait` — сначала опрос до `ready` |
|
||||
| `defense-scenario` | только стенд с LB: сценарий защиты лабы 5, раздел «Лаба 5: брокер и worker» |
|
||||
| `download --token T --attachment A [--out F] [--variant …] [--wait]` | скачивание оригинала или варианта (`thumbnail`, `crop`, `optimized`): статус, `x-instance-id`, `Content-Type`, `Content-Length`, размер и SHA-256 полученного, у JPEG — размеры по SOF, у WebP — по заголовку; `--out` сохраняет байты. Код 2 при статусе ≠ 200 (тело ошибки печатается): не `ready` — 409 `conflict`, так его и показывают; `--wait` — сначала опрос до `ready` |
|
||||
| `defense-scenario` | только стенд с LB: сценарий защиты лабы 5, раздел «Лаба 5: брокер, relay и worker» |
|
||||
| `defense-faults` | только стенд с LB: шаг 4 защиты, окна отказа, тот же раздел |
|
||||
| `broker-check [--require-test-queue]` | стенд compose: брокер, тот же раздел |
|
||||
| `worker-process` | только стенд с LB: процесс worker, тот же раздел |
|
||||
| `relay-process` | только стенд с LB: процесс relay, тот же раздел |
|
||||
| `pipeline-state` | стенд compose, только чтение: JSON о конвейере, тот же раздел |
|
||||
| `attachment-failover [--mode stop\|kill]` | только стенд с LB: спек `attachments` «Принявшая реплика остановлена». Синтетические Алиса, Боб, Ева и чат; загрузка `tests/fixtures/sample.png` через LB — 202 и ожидание `ready` (реплика A — `X-Instance-Id` ответа), сообщение со ссылкой, `scripts/stop-one.sh` с `TARGET_INSTANCE_ID=A` и `STOP_MODE`, Боб скачивает через LB (до 30 попыток), пока не ответит другая реплика: SHA-256 совпадает, метаданные равны метаданным `ready`; Ева — 404 на метаданные и байты. В `finally` — `make replicas`, затем ожидание, пока LB снова видит все реплики `UP`. Печатает `docker compose ps` до и после и таблицу «шаг → ожидаемо → получено → реплика» без токенов. Код 1 при расхождении, без LB (порт консольного процесса драйвера) — код 2. Вывод — `evidence/attachments/failover.md` |
|
||||
| `attachment-storage` | только стенд с LB: спек `attachments` «Байты не в БД и не на диске API» и `data-storage` «Ограничения обработки в схеме». Две загрузки fixture через LB, 202 и ожидание `ready`; psql — колонки `attachments`, `message_attachments`, `attachment_jobs`, `attachment_variants` (из `bytea` только 32-байтные `sha256` вложения и варианта), `object_key` = `<база>/attachments/<id>/original` без `filename`, `staging_key` = `<база>/staging/<id>/original`; `weed shell fs.ls -l` — объект и thumbnail в bucket, размер; анонимный GET ключа и thumbnail с `127.0.0.1:S3_OUT_PORT` — 403; скачивание участником — тот же SHA-256; пробы в откатываемой транзакции — второе задание той же версии, второй вариант того же имени, `error_code` у не `failed`: каждая вставка отклонена (SQLSTATE и имя ограничения), после проб по одной строке задания и варианта; `docker diff` каждой реплики и worker — ни одного файла оригинала. Код 1 с названной проверкой, без LB — код 2. Вывод — `evidence/attachments/storage.md` |
|
||||
| `upload-consistency` | только стенд с LB: спеки `attachments` «Порядок записи» и `storage-consistency` (design change `upload-consistency`, решение 11; `async-attachments`, решения 3 и 11). Синтетические Алиса, Боб и чат; вложение R — 202 и `ready`. Шаги: (1) `docker compose pause s3` → загрузка через LB — 503 за ~5 с → `unpause` в `finally`; новая строка `pending` по psql (`id`, статус, возраст, ключ); (2) триггер «перевод в `queued` падает» (SQLSTATE 08006) на рабочей базе только для уникального `filename` прогона → загрузка 503 → строка `pending`, объекта staging уже нет (компенсация), триггер снят (`finally`, и остаток прошлого прогона — в начале); (3) метаданные, байты и сообщение со ссылкой на обе строки — 404; (4) после grace прогона 30 с — `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once`, его JSON-вывод; (5) psql и `weed shell fs.tree` (файлы `original`, а не каталоги, под `attachments/` и `staging/`) — ни строк, ни объектов обеих загрузок, объектов без строки под префиксом вложений рабочей базы нет; R скачивается с тем же SHA-256. Таблица «проверка → ожидаемо → получено» без токенов и секретов; код 1 при расхождении, без LB — код 2. ~45 с. Вывод — `evidence/attachments/consistency.md` |
|
||||
| `reconcile-cycle` | только стенд с LB: спеки `storage-consistency` (сверка bucket и БД) и `attachments` «Потерянный оригинал» (design change `track2-reconciler`, решение 12). (1) исходный dry-run с grace по умолчанию — расхождений нет, иначе код 2; (2) синтетические Алиса, Боб, чат, вложения A (в сообщении), B, C — 202 и `ready`; (3) объект O без строки и чужой ключ X — `docker exec` реплики (botocore образа её ключами), объект A удалён (`weed shell fs.rm`), строка B с заданием и вариантом удалена и размер C изменён (psql), P — триггер COMMIT перевода в `queued` на уникальный `filename` (503, строка `pending` и объект staging; находка называет ключ staging); (4) после grace 30 с dry-run: таблица «класс → действие → ключ → `id` → возраст», снимки строк, объектов и пометок до и после совпали; ещё находка — объект thumbnail B без строки; (5) байты A — 500; (6) свежий F, `--apply`: O, B и thumbnail B удалены, A, C помечены, P убрана, F не тронут, байты A — 404, метаданные A — 200 и равны ответу загрузки, история отдаёт A; (7) повтор — только чужой X, код 3; оператор удаляет X — код 0; после grace F удалён; (8) A возвращён теми же байтами — «оригинал вернулся», байты 200 с тем же SHA-256, итоговый dry-run — код 0. Таблица «проверка → ожидаемо → получено» без токенов; код 1 при расхождении, без LB — код 2. ~2 мин. Вывод — `evidence/reconcile/cycle.md` |
|
||||
| `attachment-storage` | только стенд с LB: спек `attachments` «Байты не в БД и не на диске API» и `data-storage` «Ограничения обработки в схеме». Две загрузки fixture через LB, 202 и ожидание `ready`; psql — колонки `attachments`, `message_attachments`, `attachment_jobs`, `attachment_variants` и `attachment_job_replays` (из `bytea` только 32-байтные `sha256` вложения и варианта), `object_key` = `<база>/attachments/<id>/original` без `filename`, `staging_key` = `<база>/staging/<id>/original` или уже пуст: готовое вложение его теряет на проходе уборщика; `weed shell fs.ls -l` — объект и три варианта в bucket, размер; анонимный GET ключа и каждого варианта с `127.0.0.1:S3_OUT_PORT` — 403; скачивание участником — тот же SHA-256; пробы в откатываемой транзакции — второе задание той же версии, второй вариант того же имени, `error_code` у не `failed`, `attachment_job_replays` с неизвестным заданием: каждая вставка отклонена (SQLSTATE и имя ограничения), после проб одна строка задания и три варианта; `docker diff` каждой реплики и worker — ни одного файла оригинала. Код 1 с названной проверкой, без LB — код 2. Вывод — `evidence/attachments/storage.md` |
|
||||
| `upload-consistency` | только стенд с LB: спеки `attachments` «Порядок записи» и `storage-consistency` (design change `upload-consistency`, решение 11; `async-attachments`, решения 3 и 11). Синтетические Алиса, Боб и чат; вложение R — 202 и `ready`. Шаги: (1) `docker compose pause s3` → загрузка через LB — 503 за ~5 с → `unpause` в `finally`; новая строка `pending` по psql (`id`, статус, возраст, ключ); (2) триггер «перевод в `queued` падает» (SQLSTATE 08006) на рабочей базе только для уникального `filename` прогона → загрузка 503 → строка `pending`, объекта staging уже нет (компенсация), триггер снят (`finally`, и остаток прошлого прогона — в начале); (3) метаданные, байты и сообщение со ссылкой на обе строки — 404; (4) после grace прогона 30 с — `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once`, его JSON-вывод; тот же проход убирает staging R: `staging_key` пуст, объекта нет, метаданные прежние; (5) psql и `weed shell fs.tree` (файлы `original`, а не каталоги, под `attachments/` и `staging/`) — ни строк, ни объектов обеих загрузок, объектов без строки под префиксом вложений рабочей базы нет; R скачивается с тем же SHA-256. Таблица «проверка → ожидаемо → получено» без токенов и секретов; код 1 при расхождении, без LB — код 2. ~45 с. Вывод — `evidence/attachments/consistency.md` |
|
||||
| `reconcile-cycle` | только стенд с LB: спеки `storage-consistency` (сверка bucket и БД) и `attachments` «Потерянный оригинал» (design change `track2-reconciler`, решение 12). (1) исходный dry-run с grace по умолчанию — расхождений нет, иначе код 2; (2) синтетические Алиса, Боб, чат, вложения A (в сообщении), B, C — 202 и `ready`; (3) объект O без строки и чужой ключ X — `docker exec` реплики (botocore образа её ключами), объект A удалён (`weed shell fs.rm`), строка B с заданием и вариантом удалена и размер C изменён (psql), P — триггер COMMIT перевода в `queued` на уникальный `filename` (503, строка `pending` и объект staging; находка называет ключ staging), S — объект staging без строки, Y — объект staging с ключом другого вида; (4) после grace 30 с dry-run со сроком хранения по умолчанию — S и Y свежие, не находки; dry-run со сроком хранения 30 с: таблица «класс → действие → ключ → `id` → возраст», снимки строк, объектов и пометок до и после совпали; ещё находки — три объекта вариантов B без строки, S — `orphan_staging`, Y — `unknown_object`; (5) байты A — 500; (6) свежий F, `--apply`: O, B, варианты B и S удалены, A, C помечены, P убрана, F не тронут, байты A — 404, метаданные A — 200 и равны ответу загрузки, история отдаёт A; (7) повтор — только чужие X и Y, код 3; оператор удаляет их — код 0; после grace F удалён; (8) A возвращён теми же байтами — «оригинал вернулся», байты 200 с тем же SHA-256, итоговый dry-run — код 0. Таблица «проверка → ожидаемо → получено» без токенов; код 1 при расхождении, без LB — код 2. ~2 мин. Вывод — `evidence/reconcile/cycle.md` |
|
||||
| `reconcile-stress [--seconds S] [--clients N]` | только стенд с LB: «Сверка под нагрузкой». Предусловие — dry-run с grace 20 с без расхождений (иначе код 2); два объекта без строки и два вложения без объекта; N клиентов (4) S секунд (40, больше grace) загружают PNG ~100 KiB из шума и отправляют сообщения, поток сверки — `--apply` с grace 20 с раз в ~3 с, затем ещё один проход. Итог: загрузки по кодам, сообщения, коды проходов, исправления по классам; проверки — внесённые исправлены (объекты удалены, новые пометки — ровно внесённые), каждое 202 дошло до `ready` и скачивается с тем же SHA-256, каждое сообщение отдаёт своё вложение, ни одного прерванного прохода, повтор dry-run — код 0. Проверка корректности, не замер. Вывод — `evidence/reconcile/stress.md` |
|
||||
| `reconcile-signal` | только не рабочий проект compose (выбор — окружением `COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`, `COMPOSE_ENV_FILES`; `mtusi-lab5` — отказ, код 2): спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом, — код 1 (design change `track2-reconciler`, «Уточнения apply», п. 23). Нужны запущенные `s3` и образ уборщика, LB и реплики не нужны. `docker compose pause s3` → `run -d --no-deps --name <проект>-reconcile-signal cleaner reconcile --apply` → через секунду после «Started cleaner» `docker stop` → код контейнера и журнал → `rm`, `unpause s3` в `finally`. Записи процесса (событие, уровень, операция, `interrupted_by`, `exit_code`) и таблица: код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, записей «Fixed» 0, остановка быстрее 10 с; код 1 при расхождении. ~10 с. `--pace` (design change `track2-reconcile-cost`, решение 14): вместо `pause s3` — 8 объектов пробы под `<база>/attachments/pace-signal-*` мимо API (`docker compose run --rm --no-deps -T --entrypoint python api -`: botocore образа ключами API из окружения контейнера), `cleaner reconcile --max-objects-per-second 1` (dry-run), `docker stop` через 2 с после «Started cleaner» — во время паузы предела скорости; ожидание — код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, остановка ≤ 1 с, `listed_objects` итога — 8 (ключи страницы перед паузой, verify W1); объекты пробы удаляются в `finally`. `--pace --apply` (verify W1, ~45 с): объекты пробы — `<база>/attachments/<uuid>/original` без строки, через 19 с (grace прохода 18 с, `-e CLEANER__PENDING_GRACE_SECONDS=18`) `reconcile --apply --max-objects-per-second 1`, `docker stop` через 19,5 с после «Started cleaner» — посреди удалений, в паузе после DELETE; перед уборкой — сколько объектов пробы осталось (HEAD); ожидание — то же и «Fixed» = `fixed.orphan_object` = удалённых > 0. Нужен ещё сервис `api` в конфигурации проекта (реплики не нужны). Вывод — раздел `evidence/reconcile/service.md` |
|
||||
| `s3-idle [--rounds 3] [--downloads 10] [--puts 12] [--size-mib 4] [--pause-ms 0.5]` | только стенд с LB: спеки `object-storage` «Вызов после простоя» и `attachments` «Загрузка после простоя S3» (design change `fix-upload-put-flake`, решение 4). Проба клиента S3 в первой работающей реплике `api`: `docker exec -i <реплика> python -` со скриптом из stdin — код, настройки и ключи образа, ключи в драйвер не попадают; uvloop, если есть. Два варианта по очереди, у каждого свой `ObjectStorage` и пул: `image` (как в образе) и `reference` (прежний `read_timeout` aiohttp = `[s3] timeout_seconds`, подменой `AioConfig` при создании клиента). Раунд: `--downloads` одновременных скачиваний объекта `--size-mib` MiB через `open` / `iter_chunks` с паузой `--pause-ms` после блока 64 KiB, простой `[s3] timeout_seconds + 0,5` с, `--puts` PUT по 128 KiB по одному. Таблица по раундам: `read_timeout` клиента, скачивания с тем же SHA-256, соединения пула со взведённым сроком чтения после скачиваний (`armed`) и с сохранённым исключением после простоя (`broken`) — закрытые поля aiohttp `_conns`, `_read_timeout_handle`, `_exception`, нет их — «n/a», тогда судят только по PUT; PUT прошло и упало, у упавших — цепочка исключений и мс; каждый записанный объект читается обратно (размер и SHA-256). Объекты — под `<база>/.s3-idle-probe/<uuid>/` (сверка этот префикс не читает), удаляются в `finally` отдельным клиентом; затем `weed shell fs.tree` — файлов пробы 0. Код 0 — у `image` ни испорченного соединения, ни упавшего PUT, ни расхождения байтов, все раунды пройдены и файлов не осталось; 1 — иначе (эталон может падать: так видно механизм); 2 — нет реплики или консольный процесс драйвера. Пул API не трогает (отдельный процесс), но на время команды берёт ~100 MiB и CPU реплики — без нагрузки на стенд. ~40 с при 3 раундах и `timeout_seconds` 5. Вывод — `evidence/s3/idle-connection.md` |
|
||||
@@ -157,14 +162,15 @@ python3 $D stop
|
||||
— 8334), `rabbitmq` (AMQP на `127.0.0.1:5673`, volume `rabbitmq_data`),
|
||||
`migrate` (одноразовые миграции), `s3-bootstrap` (одноразовый:
|
||||
приватный bucket, пользователи API, уборщика и worker), `api` × `API_REPLICAS`
|
||||
(по умолчанию 2, без портов на хосте), `worker` (`python -m src.worker`, без
|
||||
портов и healthcheck), `cleaner` (уборщик незавершённых
|
||||
(по умолчанию 2, без портов на хосте и без настроек брокера), `relay` (`python -m
|
||||
src.relay`, публикует задания из PostgreSQL), `worker` (`python -m src.worker`), оба
|
||||
без портов и healthcheck, `cleaner` (уборщик незавершённых
|
||||
загрузок, без портов и healthcheck) и `haproxy` — единственный порт API
|
||||
на хосте, `127.0.0.1:APP_OUT_PORT` (8080). Конфиг LB —
|
||||
`infra/haproxy/haproxy.cfg`, правила — `balancer.md` и `docker.md`.
|
||||
|
||||
```bash
|
||||
make run_docker # build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, worker, cleaner → haproxy
|
||||
make run_docker # build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy
|
||||
make s3_check # приватность bucket вне API: таблица проверок, код 0
|
||||
docker compose logs s3-bootstrap # bucket/user exists|created, checks passed
|
||||
docker compose run --rm s3-bootstrap # повтор bootstrap: «exists», код 0
|
||||
@@ -177,7 +183,7 @@ docker compose logs --no-log-prefix api | tail -5 # JSON всех реплик
|
||||
docker compose logs --no-log-prefix haproxy | tail # LB: ошибки, повторы (+N), смена состояния реплик
|
||||
docker compose exec valkey sh -c 'valkey-cli -p "$VALKEY_PORT" --scan --pattern "messenger:*" | head'
|
||||
# ключи кэша; пароль — из VALKEYCLI_AUTH контейнера
|
||||
scripts/restart.sh # рестарт LB, всех реплик, Postgres, Valkey, S3 и брокера (~35 с): данные, токены, объекты и очередь остаются, кэш пуст; worker и уборщик не трогает
|
||||
scripts/restart.sh # рестарт LB, всех реплик, Postgres, Valkey, S3 и брокера (~35 с): данные, токены, объекты и очередь остаются, кэш пуст; relay, worker и уборщик не трогает
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # то же публичной проверкой
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики, обслужившей тест; ~20 с
|
||||
STOP_MODE=kill STOP_ONE_LOG=/tmp/stop-one.log make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
@@ -200,9 +206,14 @@ COMPOSE_PROJECT_NAME=<временный> python3 $D reconcile-signal --pace #
|
||||
COMPOSE_PROJECT_NAME=<временный> python3 $D reconcile-signal --pace --apply # то же посреди удалений: каждое удалённое — «Fixed»
|
||||
python3 $D --port 8080 s3-idle # клиент S3 после скачиваний и простоя: у образа 0 испорченных соединений и упавших PUT, эталон портит; ~40 с
|
||||
python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 202 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с
|
||||
python3 $D --port 8080 defense-scenario # защита лабы 5: worker стоит, 202, 201, 409, 201, рестарт, worker, ready, оригинал и thumbnail; ~1,5 мин
|
||||
python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, остановка с кодом 0; ~30 с
|
||||
python3 $D --port 8080 defense-scenario # защита лабы 5: worker стоит, 202, 201, 409, 201, сообщение в очереди, рестарт, worker, ready, оригинал и три варианта; ~1,5 мин
|
||||
python3 $D --port 8080 defense-faults # шаг 4 защиты: crash до фиксации и до ack, relay убит до публикации и до отметки, replay; ~4 мин
|
||||
python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, пароль только у rabbitmq, relay, worker, остановка с кодом 0; ~30 с
|
||||
python3 $D --port 8080 worker-process # процесс worker: PID 1, лимиты, Pillow, журнал, неверные настройки, остановка, рестарт хранилищ; ~2 мин
|
||||
python3 $D --port 8080 relay-process # процесс relay: то же, окружение без S3 и Valkey; ~2 мин
|
||||
python3 $D pipeline-state # JSON: задания по состояниям, due, ждут срока, опубликованы и не взяты, истёкшие аренды, очередь
|
||||
make replay # реестр failed, только показ; APPLY=1 ATTACHMENT=<id> — вернуть в работу, код 3 — есть отказы
|
||||
docker compose logs --no-log-prefix relay | tail -3 # relay: Started relay, Relay pass, Recovered expired lease
|
||||
docker compose logs --no-log-prefix worker | tail -3 # worker: Started worker, Connected to broker, задания
|
||||
docker compose logs --no-log-prefix cleaner | tail -3 # уборщик: Started cleaner (60/900/100), проходы, отказы
|
||||
docker compose run --rm --no-deps cleaner --once # разовый проход уборщика (grace 900 с): код 0 — проход дошёл до конца
|
||||
@@ -243,11 +254,12 @@ replicas` он снова выберет ту же. Чтобы останови
|
||||
сдвигают одним запросом перед тестом: `curl -s -o /dev/null
|
||||
http://127.0.0.1:8080/health/live`.
|
||||
|
||||
## Лаба 5: брокер и worker
|
||||
## Лаба 5: брокер, relay и worker
|
||||
|
||||
Design change `async-attachments`, решение 17. Команды останавливают сервисы
|
||||
рабочего стенда, поэтому идут одни, без параллельных загрузок и тестов на нём.
|
||||
Вывод — без токенов и секретов.
|
||||
Design change `async-attachments`, решение 17, и `pipeline-reliability`, решения 8, 14,
|
||||
17. Команды останавливают сервисы рабочего стенда, поэтому идут одни, без параллельных
|
||||
загрузок и тестов на нём (кроме `pipeline-state`: она только читает). Вывод — без
|
||||
токенов и секретов.
|
||||
|
||||
**`defense-scenario`** (`--port <LB>`; спек `student-tests`, «Сценарий защиты
|
||||
автоматизирован»; ~1,5 мин). Синтетические Алиса, Боб, Ева и чат, затем:
|
||||
@@ -257,68 +269,143 @@ Design change `async-attachments`, решение 17. Команды остан
|
||||
3. сообщение с вложением — 201, `id` сообщения;
|
||||
4. скачивание Бобом — 409;
|
||||
5. текстовое сообщение — 201;
|
||||
6. в очереди ≥ 1 сообщение и 0 потребителей;
|
||||
6. опрос (до 20 с): в очереди ≥ 1 сообщение, его публикует relay, он не останавливается;
|
||||
0 потребителей;
|
||||
7. `scripts/restart.sh`, ожидание LB, сообщение всё ещё в очереди, прежний токен
|
||||
читает метаданные: `queued`;
|
||||
8. `docker compose start worker`, опрос до `ready` (до 60 с);
|
||||
9. оригинал — 200 и тот же SHA-256; thumbnail — 200, `image/jpeg`, 256×160 по
|
||||
SOF (без Pillow, стандартной библиотекой), SHA-256 равен метаданным;
|
||||
9. оригинал — 200 и тот же SHA-256; три варианта — 200, тип, размеры по самим байтам (без
|
||||
Pillow, стандартной библиотекой), SHA-256 равен метаданным: `thumbnail` JPEG 256×160,
|
||||
`crop` JPEG 128×128, `optimized` WebP 320×200;
|
||||
10. история отдаёт оба сообщения; `StartedAt` всех реплик `api` и `rabbitmq` до и
|
||||
после — разный.
|
||||
после — разный, у relay — тот же.
|
||||
|
||||
Коды: 0 — всё сошлось; 1 — расхождение (таблица «проверка → ожидаемо →
|
||||
получено»); 130 — прерван сигналом; 2 — нет стенда на порту или консольный процесс
|
||||
драйвера. Вывод — `evidence/attachments/defense.md`.
|
||||
|
||||
**`defense-faults`** (`--port <LB>`; спек `student-tests`, «Шаг 4 на рабочем стенде»;
|
||||
~4 мин, из них аренда 70 с). Порядок — тот же, что `test_defense_faults` на стенде
|
||||
отказов. Триггеры `driver_df_*` срабатывают только на уникальный `filename` прогона:
|
||||
|
||||
1. **после записи объектов до COMMIT:** триггер `pg_sleep(4)` на перевод в `ready`,
|
||||
загрузка 202, сессия worker в `PgSleep` на `UPDATE attachments` (объекты записаны),
|
||||
`docker kill worker`; `processing`, `attempt` 1, SHA-256 трёх объектов до сбоя, снятие
|
||||
триггера, запуск; `ready` не раньше истечения аренды (срок попытки 60 с + запас 10 с),
|
||||
те же SHA-256 в S3 и метаданных, `attempt` 2;
|
||||
2. **после COMMIT до ack:** отложенный триггер `pg_sleep(3)` в COMMIT, `docker kill -s
|
||||
STOP worker` (контейнер `running`, не `paused`: KILL проходит), `succeeded` при
|
||||
замороженном клиенте, `docker kill worker`, сообщение вернулось в очередь, запуск —
|
||||
запись «Skipped job message» `finished` по этому заданию, новых попыток 0, тот же
|
||||
`updated_at`, метаданные те же, `attempt` 1, очередь пуста;
|
||||
3. **после COMMIT `queued` до публикации:** `docker kill relay`, контейнер не вернулся,
|
||||
загрузка 202, `published_at` пуст, сообщений 0, запуск relay, `ready`, `attempt` 1;
|
||||
4. **после подтверждения до отметки:** worker остановлен, триггер `pg_sleep(3)` на
|
||||
`published_at`, загрузка 202, сессия relay в `PgSleep` на `UPDATE attachment_jobs`,
|
||||
`docker kill relay`, сообщение в очереди, `published_at` пуст, запуск relay — два
|
||||
сообщения при остановленном worker, запуск worker, `ready`, `attempt` 1, очередь пуста;
|
||||
5. **replay `failed`:** worker остановлен, загрузка 202, объект staging заменён другими
|
||||
байтами того же размера, запуск worker — `failed` `processing_failed`, причина
|
||||
`source_corrupted`; реестр `relay replay --error-code processing_failed` называет
|
||||
задание и ничего не меняет; объект возвращён; `relay replay --attachment-id … --apply
|
||||
--operator driver-defense-faults` — код 0, `ready`, оригинал с тем же SHA-256, то же
|
||||
задание, `attempt` 2, `attempt_base` 1, запись аудита;
|
||||
6. **replay готового:** новое `ready`, `--apply` — код 3, отказ `already_ready`,
|
||||
метаданные и задание те же, аудита нет.
|
||||
|
||||
Каждое вложение проверяется скачиванием трёх вариантов. Вывод — строки по окнам и шагам, в
|
||||
конце таблица «окно → действие → `id` задания → начатых попыток → итог» и таблица «проверка →
|
||||
ожидаемо → получено». В конце `pg_trigger` без `driver_df_*`. Коды: 0; 1 — расхождение; 130 —
|
||||
прерван сигналом; 2 — нет стенда на порту или консольный процесс драйвера. Вывод —
|
||||
`evidence/attachments/defense-faults.md`.
|
||||
|
||||
**`broker-check [--require-test-queue]`** (спек `message-broker`; ~30 с, порт не
|
||||
нужен). Таблица «проверка → ожидаемо → получено»: образ `rabbitmq:X.Y.Z@sha256:…` в
|
||||
`docker compose config`, `healthy`, volume `<проект>_rabbitmq_data` на
|
||||
`/var/lib/rabbitmq`, `docker port` — ровно AMQP на `127.0.0.1`, лимит контейнера 512
|
||||
МиБ и `vm_memory_high_watermark_limit` меньше него (`rabbitmqctl -q status --formatter
|
||||
json`), рабочая очередь `<база>.attachment.process.v1` durable (`rabbitmqctl -q
|
||||
list_queues … --formatter json`). С флагом — ещё очередь
|
||||
`test_<база>.attachment.process.v1`, без неё код 1, без флага — строка «not checked».
|
||||
Затем `docker compose stop rabbitmq` — код 0 раньше срока 20 с, код контейнера 0;
|
||||
`up -d --wait --no-recreate rabbitmq` (при любом исходе), очередь на месте, worker снова
|
||||
потребляет (если потреблял). Коды: 0, 1 — расхождение, 130 — сигнал. Вывод —
|
||||
`evidence/broker/stand.md`.
|
||||
json`), пароль брокера в `docker compose config` — только у `rabbitmq`, `relay`, `worker`
|
||||
(имена переменных, значения не печатаются), у `api` нет `BROKER__*`, рабочая очередь
|
||||
`<база>.attachment.process.v1` durable (`rabbitmqctl -q list_queues … --formatter json`).
|
||||
С флагом — ещё очередь `test_<база>.attachment.process.v1`, без неё код 1, без флага —
|
||||
строка «not checked». Затем `docker compose stop rabbitmq` — код 0 раньше срока 20 с, код
|
||||
контейнера 0; `up -d --wait --no-recreate rabbitmq` (при любом исходе), очередь на месте,
|
||||
worker снова потребляет (если потреблял), relay пережил отказ (прежний `StartedAt`). Коды: 0,
|
||||
1 — расхождение, 130 — сигнал. Вывод — `evidence/broker/stand.md`.
|
||||
|
||||
**`worker-process`** (`--port <LB>`; спеки `container-run`, `graceful-shutdown`,
|
||||
`service-configuration`; ~2 мин). PID 1 — `python -m src.worker`, healthcheck `NONE`, лимиты
|
||||
1 CPU и 1 ГБ; `_imaging` нет в `/proc/1/maps` ни одной реплики API; версия Pillow в
|
||||
образе равна `uv.lock`; последняя запись «Started worker» со всеми значениями, значения по
|
||||
умолчанию; `WORKER__CONCURRENCY=0`, `WORKER__MAX_ATTEMPTS=abc`,
|
||||
`WORKER__GRACEFUL_SHUTDOWN_SECONDS=10` (`docker compose run --rm --no-deps -e … worker`) —
|
||||
код 2, запись называет поле, значения в ней нет; подмена окружением в одноразовом контейнере
|
||||
(`WORKER__CONCURRENCY=3`, `WORKER__RECONNECT_SECONDS=1`); `docker compose stop worker` — код
|
||||
контейнера 0, быстрее 10 с, «Stopped worker» с `exit_code` 0, затем `start`; `docker stop`
|
||||
контейнера образа (без сети) через 0,2–0,4 с после `docker run` — код 0, не дольше 1 с,
|
||||
«Stopped worker before startup» хотя бы в одной попытке; `scripts/restart.sh` — у worker
|
||||
прежний `StartedAt`, `RestartCount` 0, новая загрузка `ready`. Коды: 0, 1 — расхождение, 130 —
|
||||
сигнал, 2 — нет стенда. Вывод — `evidence/worker/process.md`.
|
||||
1 CPU и 1 ГБ; `_imaging` нет в `/proc/1/maps` ни реплик API, ни процесса 1 worker (декодер —
|
||||
только в процессе обработки); версия Pillow в образе равна `uv.lock`; последняя запись
|
||||
«Started worker» со всеми значениями, значения по умолчанию (конкуренция 2, prefetch 2, 5
|
||||
попыток, срок 60 с, запас аренды 10 с, пауза 5 и 300 с, процесс обработки 40 с, 15 с CPU, 450
|
||||
МиБ, остановка 8 с, соединение 2 с); `WORKER__CONCURRENCY=0`, `WORKER__PREFETCH=0`,
|
||||
`WORKER__MAX_ATTEMPTS=abc`, `WORKER__GRACEFUL_SHUTDOWN_SECONDS=9`,
|
||||
`WORKER__RENDER_MEMORY_LIMIT_MIB=0`, `WORKER__RENDER_TIMEOUT_SECONDS=120` (`docker compose
|
||||
run --rm --no-deps -e … worker`) — код 2, запись называет поле, значения в ней нет; подмена
|
||||
окружением в одноразовом контейнере (`WORKER__CONCURRENCY=3`, `WORKER__RECONNECT_SECONDS=1`);
|
||||
`docker compose stop worker` — код контейнера 0, быстрее 10 с, «Stopped worker» с `exit_code`
|
||||
0, затем `start`; `docker stop` контейнера образа (без сети, лимиты сервиса) через 0,2–0,4 с
|
||||
после `docker run` — код 0, не дольше 1 с, «Stopped worker before startup» хотя бы в одной
|
||||
попытке; `scripts/restart.sh` — у worker прежний `StartedAt`, `RestartCount` 0, новая
|
||||
загрузка `ready`. Коды: 0, 1 — расхождение, 130 — сигнал, 2 — нет стенда. Вывод —
|
||||
`evidence/worker/process.md`.
|
||||
|
||||
**`relay-process`** (`--port <LB>`; те же спеки; ~2 мин). Те же шаги о сервисе `relay`: PID 1 —
|
||||
`python -m src.relay`, healthcheck `NONE`, лимиты 0,25 CPU и 256 МБ; в окружении нет `S3__`,
|
||||
`S3_`, `CACHE__`, `VALKEY` (только имена переменных); `_imaging` нет ни у реплик, ни у relay;
|
||||
«Started relay» со всеми значениями, значения по умолчанию (опрос 0,25 с, пакет 100, предел 1000,
|
||||
порог потерянного 300 с, пауза отказа 2 с); `RELAY__BATCH_SIZE=0`,
|
||||
`RELAY__MAX_PUBLISHED_BACKLOG=-1`, `RELAY__POLL_INTERVAL_SECONDS=abc` — код 2, поле, без
|
||||
значения; подмена окружением (`RELAY__BATCH_SIZE=7`, `RELAY__POLL_INTERVAL_SECONDS=1`);
|
||||
`docker compose stop relay` — код контейнера 0, быстрее 10 с, «Stopped relay» с `exit_code` 0;
|
||||
`docker stop` на старте — «Stopped relay before startup»; `scripts/restart.sh` — прежний
|
||||
`StartedAt`, `RestartCount` 0, новая загрузка `ready`. Коды те же. Вывод — `evidence/relay/process.md`.
|
||||
|
||||
**`pipeline-state`** (решение 8; порт не нужен, только чтение, идёт и под нагрузкой). JSON:
|
||||
`jobs_by_state` (`queued`, `processing`, `succeeded`, `failed`), `due` (`queued` без отметки, срок
|
||||
прошёл: публикует следующий проход relay), `waiting_for_time` (`queued`, срок впереди),
|
||||
`published_not_taken` (`queued` с отметкой), `expired_leases` (`processing`, аренда истекла:
|
||||
вернёт relay), `oldest_queued_age_seconds` (старейшее `queued`, `null` — таких нет), `queue`:
|
||||
`name`, `available`, `exists`, `durable`, `messages_ready`, `messages_unacknowledged`, `consumers`.
|
||||
Коды: 0, в том числе при недоступном брокере (`available: false`, ожидание до 15 с); 1 — нет
|
||||
PostgreSQL или конфигурации стенда, причина в stderr. `python3 $D pipeline-state | jq .due`.
|
||||
|
||||
Gotchas:
|
||||
|
||||
- **Сигнал во время `defense-scenario` или `worker-process`.** SIGINT, SIGTERM, SIGHUP
|
||||
прерывают сценарий с кодом 130. Начатый `restart.sh` (своя сессия) доводится до конца, worker
|
||||
запускается, повторные сигналы на это время игнорируются: выход может занять до минуты. От
|
||||
SIGKILL защиты нет: `docker compose start worker` руками.
|
||||
- **Сигнал во время `defense-scenario`, `defense-faults`, `worker-process`, `relay-process`.**
|
||||
SIGINT, SIGTERM, SIGHUP прерывают сценарий с кодом 130. Начатый `restart.sh` (своя сессия)
|
||||
доводится до конца, триггеры снимаются, замороженный worker добивается, worker и relay
|
||||
запускаются, повторные сигналы на это время игнорируются: выход может занять до минуты. От
|
||||
SIGKILL защиты нет: `docker compose start worker relay` руками, триггеры — следующий прогон
|
||||
`defense-faults` или `DROP TRIGGER` по `pg_trigger` с `driver_df_`.
|
||||
- **Прерванный `defense-faults` оставляет работу в строках, а не только в триггерах:** зависшая
|
||||
попытка вернётся по аренде через ≤ 70 с, строка `failed` окна replay остаётся в реестре.
|
||||
- **`docker kill` не перезапускает контейнер** при `restart: unless-stopped`: `docker start` делает
|
||||
сам драйвер (тот же контейнер, те же журнал и `StartedAt` следующего запуска).
|
||||
- **`broker-check --require-test-queue` имеет смысл только во время `make test_isolated`:**
|
||||
после прогона очереди временной базы нет (спек «Очереди разных баз разделены»), поэтому отдельный
|
||||
запуск — код 1, и это верно. Флаг запускают из другого терминала посреди прогона.
|
||||
- **На время `broker-check` загрузки стенда — 503:** брокер остановлен ~5–10 с.
|
||||
- **Без `--port` у `defense-scenario` и `worker-process` — код 2** («no stand on port 18080»):
|
||||
стенд на 8080, а порт драйвера по умолчанию 18080.
|
||||
- **Подмена окружением и `worker-process`.** Одноразовый контейнер — такой же потребитель рабочей
|
||||
очереди; он живёт секунды и убирается `docker rm -f`: задание, если оно ему досталось, брокер
|
||||
доставит снова.
|
||||
- **Staging после `ready` остаётся** (очистка — следующее изменение
|
||||
`pipeline-reliability`): `fs.tree … staging` показывает файлы готовых вложений, это не утечка.
|
||||
Сверка staging не видит; у `reconcile-cycle` строка B удаляется вместе с заданием и вариантом
|
||||
(FK без каскада), объект её варианта становится находкой, а её staging драйвер убирает сам.
|
||||
- **Консольный `driver.py start` и стенд делят очередь:** имя очереди — от имени базы, база та же.
|
||||
Если контейнер `worker` стенда запущен, задания консольного API может взять он (результат тот же).
|
||||
Worker в консоли не перезагружается при правке `src/`: `driver.py stop`, затем `start`.
|
||||
- **На время `broker-check` загрузки стенда — по-прежнему 202:** брокера в пути запроса нет.
|
||||
Брокер остановлен ~5–10 с, задания ждут в PostgreSQL, relay пишет «Broker is unavailable» и
|
||||
публикует их после возврата.
|
||||
- **Без `--port` у `defense-scenario`, `defense-faults`, `worker-process`, `relay-process` — код 2**
|
||||
(«no stand on port 18080»): стенд на 8080, а порт драйвера по умолчанию 18080.
|
||||
- **Подмена окружением.** Одноразовый контейнер `worker-process` — такой же потребитель рабочей
|
||||
очереди, у `relay-process` — такой же издатель; живёт секунды и убирается `docker rm -f`: задание
|
||||
worker вернётся по аренде, дубль relay — no-op.
|
||||
- **Staging готового вложения исчезает на проходе уборщика (до 60 с, `staging_key` становится
|
||||
`NULL`):** `attachment-storage` принимает оба вида. У `failed` объект живёт сутки: без него
|
||||
replay откажет `source_gone`. Сверка видит staging: объект без строки и ключ другого вида моложе
|
||||
срока хранения — свежие, старше — `orphan_staging` и `unknown_object`. `reconcile-cycle`
|
||||
задаёт срок хранения прогона 30 с. У него строка B удаляется вместе с заданием и вариантами (FK без
|
||||
каскада), три объекта вариантов становятся находками, а её staging драйвер убирает сам.
|
||||
- **Консольный `driver.py start` и стенд делят очередь и строки заданий:** имя очереди — от имени
|
||||
базы, база та же. Если контейнеры `worker` и `relay` стенда запущены, задания консольного API могут
|
||||
взять они (результат тот же). Worker и relay в консоли не перезагружаются при правке `src/`:
|
||||
`driver.py stop`, затем `start`.
|
||||
- **`pipeline-state` считает задания прежнего уровня как есть:** строка с отметкой без сообщения —
|
||||
`published_not_taken`, пока relay не снимет отметку по порогу `republish_after_seconds`.
|
||||
|
||||
## Direct invocation (без HTTP)
|
||||
|
||||
@@ -502,9 +589,10 @@ make lint # ruff; затрагивает и dr
|
||||
списке или нет колонки). Evidence — `evidence/reconcile/cycle.md`,
|
||||
`evidence/reconcile/stress.md`.
|
||||
- **Строки `s3-check` о списке уборщика** («cleaner key list attachments
|
||||
prefix» — 200, «… objects», «… other prefix», «… other bucket» — 403)
|
||||
печатает сам bootstrap в режиме `check`: разбор драйвера их не знает и
|
||||
не меняется.
|
||||
prefix», «… staging prefix» — 200, «… objects», «… database prefix», «…
|
||||
other prefix», «… other bucket» — 403) печатает сам bootstrap в режиме
|
||||
`check`. Драйвер требует строки трёх префиксов: на прежнем `bootstrap.sh`
|
||||
— код 1 и «no row from s3-bootstrap check».
|
||||
- **Пустой каталог `<id>/` в bucket после удаления объекта** SeaweedFS
|
||||
убирает лишь через ~2 мин: `fs.ls` его показывает, список S3 — нет.
|
||||
Объекты считать по файлам `original` (`fs.tree`), а не по каталогам.
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
+1
-2
@@ -20,8 +20,7 @@
|
||||
# С lab5 — BROKER_URL_FILE: [broker] мостами из RABBITMQ_* ниже (значения, а
|
||||
# не файл); WORKER_CONCURRENCY: [worker] concurrency; JOB_MAX_ATTEMPTS:
|
||||
# [worker] max_attempts; JOB_TIMEOUT_SECONDS: [worker] job_timeout_seconds;
|
||||
# STAGING_RETENTION_SECONDS: поля пока нет, появляется с очисткой staging в
|
||||
# change pipeline-reliability.
|
||||
# STAGING_RETENTION_SECONDS: [cleaner] staging_retention_seconds.
|
||||
|
||||
# порт сервиса ([app] port): на нём слушает приложение, его же
|
||||
# публикует compose, на нём же healthcheck
|
||||
|
||||
@@ -61,6 +61,11 @@ services:
|
||||
volumes: !reset []
|
||||
configs: *config-toml
|
||||
|
||||
relay:
|
||||
image: *ci-image
|
||||
volumes: !reset []
|
||||
configs: *config-toml
|
||||
|
||||
worker:
|
||||
image: *ci-image
|
||||
volumes: !reset []
|
||||
|
||||
@@ -17,7 +17,12 @@ RabbitMQ 4 (выбор пользователя), отдельный worker, с
|
||||
после staging, задания в PostgreSQL и подтверждения брокера, worker на
|
||||
образе API, thumbnail, очередь RabbitMQ 4, новые capability
|
||||
`attachment-processing` и `message-broker`; следующие —
|
||||
`pipeline-reliability` (4), `track1-queue-overload` (5). Код перенесён из
|
||||
`pipeline-reliability` (4), `track1-queue-overload` (5). Надёжность конвейера
|
||||
(уровень 4) — активный change `pipeline-reliability`
|
||||
(`openspec/changes/pipeline-reliability/`, новая capability `job-outbox`): outbox и
|
||||
relay вместо публикации в запросе, варианты `crop` и `optimized`, лимиты в процессе
|
||||
обработки на задание, backoff с jitter, реестр `failed` и replay, аренда и fencing,
|
||||
prefetch, очистка staging. Код перенесён из
|
||||
лабы 4 (репозиторий `mtusi2026lab4-safronov`, ветка
|
||||
`solution/bvt2301-safronov`, commit `2546deb`) по разделу «Переход в
|
||||
следующую лабу»; отчёт и evidence лабы 4 остались в её репозитории. Дальше
|
||||
@@ -76,13 +81,14 @@ max_objects_per_second` (2000 объектов S3/с), отказ по пред
|
||||
`profile-resources`). Changes лаб 2 и 3 и `s3-storage`, `attachments`,
|
||||
`upload-consistency`, `upload-memory`, `track2-reconciler`,
|
||||
`fix-upload-put-flake`, `track2-reconcile-cost` лабы 4, `async-attachments`
|
||||
лабы 5 — в `openspec/changes/archive/`, активных changes нет, спеки
|
||||
синхронизированы (новые capability: с `s3-storage` —
|
||||
лабы 5 — в `openspec/changes/archive/`, активный change —
|
||||
`pipeline-reliability`, его дельты уже синхронизированы в основные спеки (новые
|
||||
capability: с `s3-storage` —
|
||||
`object-storage`, с `attachments` — `attachments`, с
|
||||
`upload-consistency` — `storage-consistency`, с `async-attachments` —
|
||||
`attachment-processing`, `message-broker`); в `KNOWN_ISSUES.md` семь открытых записей (разрыв COMMIT и publish; смесь
|
||||
версий при замене реплик на первый релиз с обработкой; `content_type`
|
||||
записи «Uploaded attachment»; bootstrap после удаления
|
||||
`attachment-processing`, `message-broker`, с `pipeline-reliability` — `job-outbox`);
|
||||
в `KNOWN_ISSUES.md` пять открытых записей (смесь версий при замене реплик на первый
|
||||
релиз с обработкой; bootstrap после удаления
|
||||
bucket; уборщик
|
||||
удаляет объект зависшей загрузки по ключу вне своего префикса; 408 LB на медленные заголовки текстом HAProxy; поля `float` настроек принимают `inf`). Отчёт, evidence и рабочий план лабы 3 остались в её
|
||||
репозитории (`REPORT.md`, `evidence/`, `git show 063eedb:PLAN.md`).
|
||||
@@ -231,16 +237,30 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB; `timeout server` пути загрузки 30 с, остальных — 10
|
||||
с; `ROLLOUT_DRAIN_TIMEOUT` 90 с (`balancer.md`, `docker.md`).
|
||||
- Лаба 5, фоновая обработка (change `async-attachments`, `worker.md`): ответ 202
|
||||
— только после оригинала в staging (`<база>/staging/<id>/original`), `queued` с
|
||||
заданием одной транзакцией и подтверждения брокера; брокер не подтвердил — 503
|
||||
и условная отмена. Декодирует и делает варианты только worker
|
||||
(`python -m src.worker`), реплики API — никогда, Pillow в их процесс не
|
||||
загружается. Ack — после устойчивого эффекта, повтор — те же ключи, ключ эффекта
|
||||
`(attachment_id, pipeline_version, variant)`. Брокер и worker не входят в
|
||||
`/health/ready`, без них работают текст, история, метаданные и готовые байты.
|
||||
Очередь — `<база>.attachment.process.v1`, durable, сообщения persistent, в них
|
||||
только id и служебные поля (`contracts/jobs.schema.json`). Разрыв COMMIT и publish
|
||||
на этом уровне открыт и назван (`KNOWN_ISSUES.md`, `REPORT.md`).
|
||||
— только после оригинала в staging (`<база>/staging/<id>/original`) и `queued` с
|
||||
заданием одной транзакцией. Ack — после устойчивого эффекта, повтор — те же
|
||||
ключи, ключ эффекта `(attachment_id, pipeline_version, variant)`. Брокер, relay и
|
||||
worker не входят в `/health/ready`, без них работают загрузка (202), текст,
|
||||
история, метаданные и готовые байты. Очередь — `<база>.attachment.process.v1`,
|
||||
durable, сообщения persistent, в них только id и служебные поля
|
||||
(`contracts/jobs.schema.json`).
|
||||
- Лаба 5, надёжность конвейера (change `pipeline-reliability`, `worker.md`):
|
||||
брокера в пути запроса нет, у реплик API ни клиента, ни пароля; намерения
|
||||
(`attachment_jobs`, `state = 'queued' AND published_at IS NULL`) публикует
|
||||
relay (`python -m src.relay`, отдельный сервис) с подтверждением, отметка — только
|
||||
подтверждённым; доставка at least once, дубль — no-op. Сообщение — подсказка, истина
|
||||
в строке: дубль при живой аренде и сообщение раньше срока подтверждаются без
|
||||
эффекта, номер попытки — fencing. Аренда `job_timeout + lease_margin` без пульса,
|
||||
истёкшую возвращает relay. Следующую попытку публикует relay по `next_attempt_at`
|
||||
(backoff с jitter), пауза места конкуренции не занимает. Декодирует и делает три
|
||||
варианта только отдельный процесс на задание (`src/worker/render.py`, лимиты CPU и
|
||||
адресного пространства, без секретов в окружении): Pillow нет ни в репликах, ни в
|
||||
процессе worker. Постоянная ошибка — `failed` сразу, реестр — строки `failed`, возврат
|
||||
— `make replay` с записью аудита и новым бюджетом (`attempt_base`). Staging убирает
|
||||
только уборщик: у `ready` — следующим проходом, у `failed` — по `[cleaner]
|
||||
staging_retention_seconds` вместе с частично записанными объектами, блокировка `FOR
|
||||
NO KEY UPDATE`; сверка находит `orphan_staging`. Лимиты 0,25 CPU / 256 МБ у relay, пул
|
||||
1. Цепочка LB — 26 с и 73 с (`balancer.md`).
|
||||
- `.env`, `config.toml`, секреты, токены и реальные данные не попадают ни
|
||||
в git, ни в образ. В `evidence/` и `REPORT.md` — только обезличенные
|
||||
выводы команд.
|
||||
@@ -319,7 +339,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `docker.md` | `Dockerfile`, `docker-compose.yml`, `.dockerignore`, `scripts/restart.sh`, `infra/**`, `.github/ci/**`, `.github/workflows/application.yml`: мультистейдж, non-root, пины, healthcheck, стенд compose, S3 и bootstrap, секреты по сервисам, volumes, restart hook |
|
||||
| `balancer.md` | `docker-compose.yml`, `infra/haproxy/**`, `scripts/stop-one.sh`, `scripts/rolling-update.sh`: реплики за HAProxy, проверки и цепочка таймаутов, повторы LB, failover hook, поочерёдная замена, лимиты и пулы (с лабы 3) |
|
||||
| `student-tests.md` | `student-tests/**`: обязательные проверки уровня 4, black-box по HTTP, особый стенд |
|
||||
| `worker.md` | `src/worker/**`, `src/core/services/attachment_processing.py`, `src/utils/thumbnail.py`: процесс worker, ack и повторы, счёт попыток, thumbnail |
|
||||
| `worker.md` | `src/worker/**`, `src/relay/**`, `src/infra/render/**`, `src/core/services/attachment_processing.py`, `attachment_relay.py`, `attachment_replay.py`, `src/utils/image_variants.py`: worker, relay, процесс обработки, claim и fencing, аренда, бюджет, лимиты, варианты, replay |
|
||||
| `bench.md` | `bench/**`: нагрузочный стенд на Postgres (проект compose `mtusi-bench`), что не меняется между метками замеров, граница чёрного ящика и планы запроса, сравнение меток, коммиты измеренных состояний |
|
||||
| `migrations.md` | `migrations/**`, `alembic.ini`, `src/infra/db/models/**`: схема до запросов, ограничения, индексы, повторный запуск миграций |
|
||||
|
||||
@@ -432,10 +452,15 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `make lb_stats` | слоты HAProxy: адрес, состояние проверки (`DRAIN`, `MAINT` при замене), запросы, повторы, перенаправления (CSV статистики изнутри контейнера LB) |
|
||||
| `make rolling_update [COMMIT=...] [MIGRATE=0]` | поочерёдная замена реплик без простоя (`scripts/rolling-update.sh`, `balancer.md`): сборка из рабочего дерева (или файлов `COMMIT` через `git archive`), миграции один раз, затем по одной — новая `healthy` и `UP` в LB, старая `drain` → запросов в полёте 0 → `maint` → stop → rm → слот `ready`. Нужен штатный стенд (`make replicas`) без слотов LB в ручном `drain` / `maint` (иначе код 2 и команда `set server … state ready`); сбой и Ctrl+C — `API_REPLICAS` готовых реплик, повтор доводит; `MIGRATE=0` — откат на прежний образ (после него `docker compose up` без сборки не запускать: `migrate` прежнего образа упадёт на новой ревизии) |
|
||||
| `make run_worker` | worker в консоли (`python -m src.worker`, тот же `.env`, ключи `S3_WORKER_*` в окружении процесса, рецепт без эха); рядом с `make run_dev` |
|
||||
| `make run_relay` | relay в консоли (`python -m src.relay`, те же мосты `.env`); рядом с `make run_dev`: без него задания ждут в PostgreSQL |
|
||||
| `make replay [ATTACHMENT=…] [ERROR_CODE=…] [REASON=…] [LIMIT=…] [APPLY=1] [OPERATOR=…]` | реестр `failed` и возврат работы (`docker compose run --rm --no-deps relay replay …`): без `APPLY=1` только показ; с ним выбор обязателен, иначе код 2; 0 — выполнено или показано, 3 — есть отказы, 1 — отказ PostgreSQL |
|
||||
| `make start_broker` / `make stop_broker` | брокер стенда: `up -d --wait rabbitmq` / `stop rabbitmq` |
|
||||
| `driver.py --port <LB> defense-scenario` | сценарий защиты на рабочем стенде: worker остановлен → 202 → сообщение 201 → 409 → текст 201 → `scripts/restart.sh` → worker → `ready`, оригинал и thumbnail; `id` и `StartedAt`, worker запускается при любом исходе; `evidence/attachments/defense.md` |
|
||||
| `driver.py --port <LB> broker-check [--require-test-queue]` | образ и digest, volume, порт, предел памяти, очередь, остановка брокера; `evidence/broker/stand.md`, `evidence/broker/isolated.md` |
|
||||
| `driver.py --port <LB> worker-process` | PID 1, лимиты, остановка, неверные `WORKER__*`, рестарт хранилищ; `evidence/worker/process.md` |
|
||||
| `driver.py --port <LB> relay-process` | то же у relay: PID 1, нет healthcheck, лимиты, запись о старте, неверные `RELAY__*`, остановка простаивающего и на старте, рестарт хранилищ; `evidence/relay/process.md` |
|
||||
| `driver.py --port <LB> defense-faults` | шаг 4 защиты на рабочем стенде (~4 мин: аренда 70 с): crash после записи объектов и после фиксации до ack, relay убит до публикации и после подтверждения до отметки, replay неудачного и отказ replay готового; триггеры на `filename` прогона снимаются, worker и relay запускаются при любом исходе; `evidence/attachments/defense-faults.md` |
|
||||
| `driver.py --port <LB> pipeline-state` | только чтение, JSON: задания по состояниям, due, ждущие срока, опубликованные и не взятые, истёкшие аренды, возраст старейшего, очередь |
|
||||
| `make start_db` / `make stop_db` | Postgres стенда: `up -d --wait postgres` / `stop postgres` |
|
||||
| `make start_cache` / `make stop_cache` | Valkey стенда: `up -d --wait valkey` / `stop valkey`; volume нет, кэш после рестарта пуст |
|
||||
| `make start_s3` / `make stop_s3` | S3 стенда: `up -d --wait s3`, затем `up --no-deps --exit-code-from s3-bootstrap s3-bootstrap` (код bootstrap — код цели: `--wait` одноразовый сервис не ждёт) / `stop s3` |
|
||||
@@ -445,14 +470,14 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `make wipe_data` | `down -v` — удалить данные стенда (volumes Postgres и S3 называются в запросе) и кэш; только после ввода `yes` |
|
||||
| `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_<db>` с Valkey и S3 стенда (ключи кэша и объектов разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе — база и объекты под префиксом `test_<db>/` (`student-tests.md`) |
|
||||
| `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 99 проверок, ~22 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 140 проверок, ~39 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` |
|
||||
| `make bench_restore_quick` | то же на 1k / 5k / 10k (~1,5 мин), метка `quick-restore-<время>`, в git не идёт; сценарий защиты трека 2 |
|
||||
| `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом, CPU и память каждого компонента по окнам фазы (сэмплер `scan`, `resources.csv`, `samples.csv`; CPU на запрос — только до действия) — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`): питание, давление памяти, `Swapouts` без роста; сумма лимитов на пике больше CPU ВМ — код 2 |
|
||||
| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), с ресурсами, метка `quick-failover-<время>`, в git не идёт |
|
||||
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`; сейчас `04f8592` — commit переноса лабы 4, правило выбора — `bench.md`; commit вне истории — код 2 до стенда, отладка `--from`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
|
||||
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`; сейчас `7f38948` — commit до change `pipeline-reliability`, правило выбора — `bench.md`; commit вне истории — код 2 до стенда, отладка `--from`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
|
||||
| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), с ресурсами, метка `quick-rollout-<время>`, в git не идёт |
|
||||
| `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4 [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин); `db` — 1, 2, 4 реплики при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU (~50 мин); `db4` — только 4 × 1 при 0,5 и 2 CPU (~25 мин, «до/после» `scaling-improvement`); `db_quick` — самопроверка серии `db` (~4 мин, метка `quick-*`). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) |
|
||||
| `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт |
|
||||
@@ -478,7 +503,10 @@ src/
|
||||
__main__.py # python -m src: early_stop.install() до импорта приложения → main.main()
|
||||
main.py # FastAPI app: lifespan, middlewares, обработчики ошибок, uvicorn.run
|
||||
worker/__main__.py # python -m src.worker: early_stop.install("worker") до импорта → main(); неверные настройки — запись без значений и код 2; os._exit в конце
|
||||
worker/main.py # worker обработки вложений: свои engine, S3 и брокер; цикл соединений с паузой, задачи доставок с prefetch = concurrency, ack / requeue / drop по итогу, SIGTERM — начатые ждут в срок
|
||||
worker/main.py # worker обработки вложений: свои engine, S3 и потребитель; цикл соединений с паузой, задачи доставок (prefetch) под семафором concurrency, ack / requeue / drop по итогу, SIGTERM — начатые ждут в срок, закрытие клиентов одним gather
|
||||
worker/render.py # процесс обработки: python -m src.worker.render, лимиты первыми строками (RLIMIT_AS, RLIMIT_CPU, RLIMIT_CORE), затем Pillow; stdin — байты, stdout — строка JSON и варианты, коды 0/3/4/5
|
||||
relay/__main__.py # python -m src.relay: early_stop.install("relay") до импорта → main(); неверные настройки — запись без значений и код 2; os._exit в конце
|
||||
relay/main.py # relay: свои engine и издатель, цикл проходов с паузами, отказ брокера и PostgreSQL не роняет, SIGTERM — текущий шаг и выход 0; replay — разовая команда реестра, коды 0/3/1/2
|
||||
cleaner/__main__.py # python -m src.cleaner [--once]: early_stop.install("cleaner") до импорта → main(); неверные настройки — запись без значений и код 2
|
||||
cleaner/main.py # уборщик незавершённых загрузок: проверка grace > 2 × request_timeout + s3 timeout (иначе код 2), свой engine и клиент S3, цикл с интервалом и плановой сверкой (при старте и раз в [reconciler] interval_seconds), SIGTERM — довести текущий шаг и выйти 0, --once — коды 0/1/2; reconcile [--apply] [--max-changes N] [--strategy batch|head] [--deep] [--max-objects-per-second R] — разовая сверка, коды 0/3/1/2; плановая — batch, поверхностная, предел скорости из настроек
|
||||
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [s3] адрес, bucket (валидатор имени), ключи API, регион, сроки, пул и endpoint_url, [idempotency] ttl_seconds, [uploads] max_concurrent 4, max_waiting 16, wait_timeout_seconds 5, body_timeout_seconds 30 (места загрузок процесса API), [cleaner] interval_seconds 60, pending_grace_seconds 900, batch_size 100, [reconciler] interval_seconds 3600, page_size 1000, max_changes 100, max_objects_per_second 2000 (предел скорости сверки; 0 — без него)
|
||||
@@ -493,23 +521,26 @@ src/
|
||||
repos/<domain>.py # атомарный доступ к хранилищу, модульные функции
|
||||
repos/idempotency.py # ключ идемпотентности: захват ON CONFLICT DO UPDATE WHERE просрочен, чтение сохранённого результата
|
||||
repos/chat_cache.py # карточка чата в Valkey: ключ с именем базы, JSON ↔ ChatFullDTO
|
||||
repos/attachment_job.py # задание вложения: вставка, lock_job FOR UPDATE, start_attempt, return_to_queued своей попытки, finish_job, mark_published, delete_unstarted (queued и attempt 0)
|
||||
repos/attachment_job.py # задание вложения: вставка, lock_job FOR UPDATE, start_attempt, return_to_queued своей попытки, finish_job; relay — lock_due_jobs (SKIP LOCKED, порядок срока), count_published, mark_published пакета, recover_expired_leases, has_published_before, reset_published_before; replay_job, list_failed
|
||||
repos/attachment_job_replay.py # журнал replay: вставка записи аудита, чтение по заданию
|
||||
repos/attachment_variant.py # варианты: вставка ON CONFLICT DO NOTHING по ключу эффекта, варианты вложения, один по имени
|
||||
repos/attachment.py # строки вложений: вставка pending (created_at = updated_at), mark_queued (pending и непомеченная → queued RETURNING), return_to_pending, mark_processing, return_to_queued, commit_ready, commit_failed, чтение одной и до 10; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), mark_removing (пометка updated_at), delete_attachment; сверке — get_attachments_for_objects (id = ANY OR object_key = ANY), get_ready_page (keyset ready по id), find_attachment_reference, mark_lost / clear_lost (условный UPDATE lost_at)
|
||||
repos/attachment_object.py # объекты в S3: staging_key <база>/staging/<id>/original, variant_key и parse_variant_key <база>/attachments/<id>/v<N>-<имя>, оригинал <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original
|
||||
repos/attachment.py # строки вложений: вставка pending (created_at = updated_at), mark_queued (pending и непомеченная → queued RETURNING), mark_processing, return_to_queued, return_group_to_queued, replay_failed, lock_attachment (FOR NO KEY UPDATE), commit_ready, commit_failed, чтение одной и до 10; очистке staging — get_staging_candidates, lock_staging_candidate, clear_staging_key; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), mark_removing (пометка updated_at), delete_attachment; сверке — get_attachments_for_objects (id = ANY OR object_key = ANY), get_ready_page (keyset ready по id), find_attachment_reference, mark_lost / clear_lost (условный UPDATE lost_at)
|
||||
repos/attachment_object.py # объекты в S3: staging_key <база>/staging/<id>/original, variant_key и parse_variant_key <база>/attachments/<id>/v<N>-<имя>, оригинал <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original, staging_prefix, is_own_staging_key, parse_staging_key, list_staging; variant_keys — ключи вариантов всех имён
|
||||
repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой
|
||||
services/<domain>.py # <Domain>Service: логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем; отправка — ключ, сообщение и связи с вложениями одной транзакцией
|
||||
services/attachment.py # AttachmentService(db_scope, cache, storage, slots, publisher): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT в staging тем же BytesIO → queued и задание; сбой до COMMIT или пропавшая строка — удаление объекта и 503 → публикация с подтверждением, published_at; отказ брокера — условная отмена и 503; место — до ответа), метаданные с вариантами, отдача потоком
|
||||
services/attachment_processing.py # AttachmentProcessingService: разбор сообщения, claim, GET staging и сверка, PUT оригинала, thumbnail в потоке, PUT варианта, фиксация ready одной транзакцией; временные ошибки — queued и новое сообщение, постоянные — failed; JobOutcome
|
||||
services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO
|
||||
services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD; строка с ключом <id>/original другого вложения — HEAD её объекта, verify W2), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO. С change track2-reconcile-cost: strategy head (выборка строки на объект, HEAD на строку, без множества), deep (GET и SHA-256 потоком, checksum_mismatch; «оригинал вернулся» — тот же SHA-256), предел скорости после каждого вызова S3 (_pace, куски 0,2 с; сигнал прекращает паузу, останавливает следующий check_stop — verify W1), ранний отказ по пределу (unchecked), счёт сеансов обёрткой db_scope, стоимость в итоге (storage_objects, s3_requests, read_bytes, db_sessions, phase_ms)
|
||||
services/attachment.py # AttachmentService(db_scope, cache, storage, slots): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT в staging тем же BytesIO → queued и задание, ответ 202; сбой до COMMIT или пропавшая строка — удаление объекта и 503; брокера в пути нет; место — до ответа), метаданные с вариантами, отдача потоком
|
||||
services/attachment_processing.py # AttachmentProcessingService: разбор сообщения, claim с арендой и бюджетом, GET staging и сверка, PUT оригинала, варианты через ImageRenderer, PUT вариантов, фиксация ready с fencing одной транзакцией; временные ошибки — queued со сроком (retry_delay, jitter) и ACK, постоянные — failed; JobOutcome
|
||||
services/attachment_relay.py # AttachmentRelayService(db_scope, publisher): проход — истёкшие аренды, потерянные сообщения, публикация с подтверждением и отметка пакета внутри транзакции SKIP LOCKED, предел опубликованных; RelayPassDTO
|
||||
services/attachment_replay.py # AttachmentReplayService(db_scope): реестр failed, replay одной транзакцией с аудитом и новым бюджетом, отказы not_found / already_ready / not_failed / source_gone; ReplayPassDTO
|
||||
services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO; clean_staging — очистка staging ready и failed по сроку под FOR NO KEY UPDATE SKIP LOCKED, StagingCleanupPassDTO
|
||||
services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD; строка с ключом <id>/original другого вложения — HEAD её объекта, verify W2), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → объекты staging без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO. С change pipeline-reliability: шаг _list_staging, orphan_staging, listed_staging. С change track2-reconcile-cost: strategy head (выборка строки на объект, HEAD на строку, без множества), deep (GET и SHA-256 потоком, checksum_mismatch; «оригинал вернулся» — тот же SHA-256), предел скорости после каждого вызова S3 (_pace, куски 0,2 с; сигнал прекращает паузу, останавливает следующий check_stop — verify W1), ранний отказ по пределу (unchecked), счёт сеансов обёрткой db_scope, стоимость в итоге (storage_objects, s3_requests, read_bytes, db_sessions, phase_ms)
|
||||
exceptions/<domain>.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 500 пропавшего объекта
|
||||
infra/
|
||||
early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog
|
||||
logger.py # structlog, get_logger(), contextvar-ы request_id / user_id, instance_id в каждой записи
|
||||
password.py # Argon2id в потоке со своим лимитом, фиктивный хэш для неизвестного username
|
||||
broker/client.py # aio-pika: JobPublisher (соединение лениво, confirm и срок на всё, сброс после любой ошибки, BrokerUnavailable), JobConsumer (своё соединение, prefetch), JobDelivery, queue_name <база>.attachment.process.v1
|
||||
broker/instance.py # глобал job_publisher процесса API; импортируют main.py и dependencies.py
|
||||
broker/client.py # aio-pika: JobPublisher relay (соединение лениво, publish_many с confirm и общим сроком, ready_messages, сброс после любой ошибки), JobConsumer worker (своё соединение, prefetch), JobDelivery, queue_name <база>.attachment.process.v1
|
||||
render/client.py # ImageRenderer: процесс обработки на задание, окружение без секретов, срок и kill в finally, разбор вывода, коды в ImageRejected / RenderInterrupted
|
||||
upload_slots.py # UploadSlots (asyncio.Semaphore по порядку прихода, счётчик ожидающих, срок ожидания; slot() — UploadsBusy или ожидание в мс, место в finally) и глобал upload_slots из [uploads]; импортирует только dependencies.py
|
||||
db/engine.py # фабрики engine и сессий, BoundedCloseConnection, ping
|
||||
db/session.py # глобалы engine и session_factory процесса API
|
||||
@@ -525,7 +556,7 @@ src/
|
||||
dataclasses/<domain>.py # DTO между repo → service → api
|
||||
enums/<domain>.py # StrEnum доменов, RunModeEnum; attachment.py — AttachmentStatus, ImageType, ReconcileFinding, ReconcileAction, ReconcileStrategy (batch, head)
|
||||
utils/
|
||||
thumbnail.py # render_thumbnail: JPEG 256 × 256, размер вниз своим расчётом, EXIF orientation, alpha на белый, InvalidImage; импортирует Pillow, поэтому только сервис обработки
|
||||
image_variants.py # render_variants: thumbnail, crop, optimized из одного декодирования, fit_size вниз своим расчётом, EXIF orientation, alpha на белый у JPEG, InvalidImage; импортирует Pillow, поэтому только src/worker/render.py
|
||||
constants.py # лимиты контракта (с лабы 4 — 10 MiB, 40 млн пикселей, filename, 10 вложений), размер страницы, префиксы путей, имя bucket S3, разделитель и части ключа объекта, keep-alive клиента S3
|
||||
image.py # inspect_image: структурная проверка PNG/JPEG без декодирования пикселей (stdlib), тип, размеры, UnsupportedImage / DamagedImage / TooManyPixels; у JPEG ещё таблицы DQT/DHT, компоненты и полоса скана, определённые к скану таблицы (0 и 1 Хаффмана непрогрессивного кадра — необязательны), данные скана Хаффмана — условия отказа djpeg
|
||||
utc.py # utcnow() (aware UTC), формат RFC 3339 с Z
|
||||
@@ -546,7 +577,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
|
||||
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib)
|
||||
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), четыре API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV, «с коротким сроком S3» с S3_ENV → FAULT_S3_BASE_URL / FAULT_S3_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, set-key (object_key строки под <база>/), lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] [--strategy batch|head] [--deep] [--max-objects-per-second R] (аргументы по списку, записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib)
|
||||
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
|
||||
failures.compose.yml # override стенда отказов: relay (опрос 0,2 с, restart "no"), worker и уборщик с короткими сроками change pipeline-reliability, без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
|
||||
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling / bench_uploads (с S3)
|
||||
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json; профиль uploads (S3 и bootstrap на стенде, на прогон — новый volume S3 и реплика с окружением варианта через .work/variant.compose.yml, образ «до» — тег bench-from, сэмплер peak), в паспорте всех профилей stand.api_tcp_rmem и docker.kernel; профиль reconcile (S3 с портом метрик через .work/s3-metrics.compose.yml, наполнение \copy и загрузчиком, разовые проходы mtusi-bench-reconcile-<n> с лимитом CPU варианта, «до» — .work/cleaner-before.compose.yml, метрики шлюза и pg_stat_database до и после, блок H4 с k6 background.js, отказ по пределу S4)
|
||||
scaling.py # серии трека 1 без docker: лестница и автомат поиска R*, разбор итога k6 и строк сэмплера, агрегаты окна, вердикт SLO и брака генератора, признаки узкого места (THRESHOLDS), предельный CPU на запрос, сводка серии; --selftest
|
||||
@@ -563,17 +594,18 @@ bench/ # нагрузочный стенд на HAProxy +
|
||||
k6/ # сценарии k6 (через LB http://haproxy:8080): prepare (вход по Basic, фоновые чаты), prefill (по расписанию), cursors, plan_cursors (страницы плана фоновых чатов), explain, read, tail, write, after_backup и restore_check (этап восстановления), failover (постоянная интенсивность записи и чтения, строка на запрос) и retry (повтор неуспешных записей с тем же ключом), mixed (ступень серии трека 1: ramping-arrival-rate 70/20/10, тег окна, распределение по X-Instance-Id, досрочный выход), uploads (constant-vus загрузок тела из /work, пауза Retry-After на 429 и 1 с на прочие ошибки, строка на запрос, WARMUP — одна загрузка), background (профиль reconcile: constant-arrival-rate скачиваний, записи и чтения истории, строка bg на запрос, остановка SIGINT); lib.js — Bearer, messageHeaders (новый или заданный Idempotency-Key) и хелперы
|
||||
compare.py # make bench_compare: дельта двух меток (ячейки матрицы или общие конфигурации серий), уровень шума, эффект или шум; отказ при разной методике, в том числе метке без LB и серии против матрицы
|
||||
ab.py # make bench_ab: прогоны «до» и «после» одного изменения подряд, с --series — серии трека 1
|
||||
migrations/, alembic.ini # ревизии alembic, async env.py; применяет одноразовый сервис compose; 739b8f04d5fb — частичный индекс pending CONCURRENTLY в autocommit_block; 5c3e1f0a9b7d — attachments.lost_at (NULL, SET LOCAL lock_timeout)
|
||||
migrations/, alembic.ini # ревизии alembic, async env.py; применяет одноразовый сервис compose; 739b8f04d5fb — частичный индекс pending CONCURRENTLY в autocommit_block; 5c3e1f0a9b7d — attachments.lost_at (NULL, SET LOCAL lock_timeout); c7e2f1a04b56 — attempt_base и attachment_job_replays; d3f9a6b2c1e7 — индексы outbox, аренды и очистки staging CONCURRENTLY
|
||||
infra/ # конфигурации сервисов стенда; README.md — skeleton
|
||||
valkey/valkey.conf # лимит памяти и LRU, persistence выключен
|
||||
rabbitmq/rabbitmq.conf # предел памяти брокера 400 МиБ: лимит контейнера он не видит
|
||||
rollback/broker.compose.yml # override отката реплик на образ до pipeline-reliability (прежний код публикует сам): адрес и пароль брокера только на время отката
|
||||
s3/bootstrap.sh # bootstrap S3 (ещё пользователь worker: чтение и запись объектов; сервис s3-bootstrap, network_mode: service:s3): apply — bucket, анонимный доступ none, политики api-objects и cleaner-objects (у уборщика — ещё список только с префиксом S3_CLEANER_LIST_PREFIX = <база>/attachments/), пользователи api и cleaner с ключами из .env, проверки приватности обоих ключей; check (и строки ключа уборщика) и cleanup — для make s3_check; секреты — stdin weed shell и файл curl на tmpfs
|
||||
haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB и tune.rcvbuf.client 128 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене)
|
||||
scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); ожидание хранилищ — up --wait --no-recreate (Compose 5.4 иначе пересоздаёт контейнеры, чьи образы скачивались при первом up, и s3-bootstrap не стартует); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам
|
||||
scripts/stop-one.sh # failover hook для make test-failover: TARGET_INSTANCE_ID → реплика api этого проекта, STOP_MODE stop или kill, STOP_ONE_LOG
|
||||
scripts/rolling-update.sh # make rolling_update: предусловия (в том числе слоты LB без ручного состояния), сборка (или COMMIT через git archive), миграции один раз в контейнере сервиса migrate, по одной: новая UP в LB → старая drain (до 90 с: дольше загрузки) → maint → stop (код выхода в строке) → rm → слот ready; trap при сбое и Ctrl+C; тот же скрипт — профиль rollout стенда bench/
|
||||
Dockerfile # builder (uv sync --locked) → runtime: .venv + src + миграции, UID 10001, healthcheck, MALLOC_MMAP_THRESHOLD_ (буфер загрузки растёт без копии)
|
||||
docker-compose.yml # проект mtusi-lab5: postgres, valkey, s3 (SeaweedFS, служебное на loopback, API S3 на 127.0.0.1:S3_OUT_PORT), migrate, s3-bootstrap, api × API_REPLICAS без портов (sysctls: буфер приёма сокетов до 512 KiB), cleaner (уборщик: точка входа python -m src.cleaner, пул 1, ключи S3_CLEANER_*, без healthcheck), haproxy — единственный порт API; адреса и порты из .env, volumes postgres_data и s3_data, лимиты у всех, окружение и секреты по сервисам (x-db-env, x-cache-env, x-s3-env, x-s3-api-keys-env)
|
||||
docker-compose.yml # проект mtusi-lab5: postgres, valkey, s3 (SeaweedFS, служебное на loopback, API S3 на 127.0.0.1:S3_OUT_PORT), rabbitmq, migrate, s3-bootstrap, relay и worker (пароль брокера только у них и rabbitmq), api × API_REPLICAS без портов (sysctls: буфер приёма сокетов до 512 KiB), cleaner (уборщик: точка входа python -m src.cleaner, пул 1, ключи S3_CLEANER_*, без healthcheck), haproxy — единственный порт API; адреса и порты из .env, volumes postgres_data и s3_data, лимиты у всех, окружение и секреты по сервисам (x-db-env, x-cache-env, x-s3-env, x-s3-api-keys-env)
|
||||
.dockerignore
|
||||
config_example.toml, .env.example
|
||||
evidence/broker/ # change async-attachments: stand.md (driver.py broker-check), isolated.md (очередь временной базы)
|
||||
|
||||
@@ -3,20 +3,6 @@
|
||||
Найдены попутно, не исправлены без отдельной просьбы (AGENTS.md).
|
||||
Исправленные удаляются отсюда, история — в git.
|
||||
|
||||
## Разрыв COMMIT и publish: `queued` без сообщения
|
||||
|
||||
- **Где:** `src/core/services/attachment.py`, `_store` → `_publish_job`
|
||||
(design change `async-attachments`, решение 3).
|
||||
- **Что:** если процесс API умер между фиксацией `queued` с заданием и
|
||||
подтверждением брокера, либо PostgreSQL отказал в транзакции отмены, вложение
|
||||
остаётся `queued` с заданием без `published_at`, и никто его не публикует.
|
||||
Клиент 202 не получил, поэтому принятая работа не теряется, но строка и объект
|
||||
staging висят, а `id` никому не известен.
|
||||
- **Как увидеть:** `SELECT id FROM attachment_jobs WHERE state = 'queued' AND
|
||||
published_at IS NULL`.
|
||||
- **Предложение:** relay в change `pipeline-reliability` (outbox на этой же
|
||||
таблице). Внедрённого сбоя на этом уровне нет: это предмет проверки уровня 4.
|
||||
|
||||
## Смесь версий при замене реплик на первый релиз с обработкой
|
||||
|
||||
- **Где:** `make rolling_update` с прежней версии (design change
|
||||
@@ -29,15 +15,6 @@
|
||||
- **Предложение:** не лечить: объявленный переход контракта. Новые статусы в
|
||||
будущих версиях добавлять так, чтобы прежняя версия читала строку.
|
||||
|
||||
## Запись «Uploaded attachment»: `content_type` как представление enum
|
||||
|
||||
- **Где:** `src/core/services/attachment.py:276`: в журнал передаётся `ImageType`,
|
||||
а не `.value`.
|
||||
- **Что:** поле записи — `<ImageType.PNG: 'image/png'>` вместо `image/png`.
|
||||
Воспроизведение: любая загрузка, затем `docker compose logs api`. На поведение
|
||||
API не влияет. Найдено при снятии evidence change `async-attachments`.
|
||||
- **Предложение:** передавать `.value`.
|
||||
|
||||
## Bootstrap после удаления bucket на маленьком диске: «api key wait (code 500)»
|
||||
|
||||
- **Где:** `infra/s3/bootstrap.sh` (режим `apply`) и сервер `s3`
|
||||
|
||||
@@ -46,6 +46,21 @@ run_dev: upgrade start_cache start_s3 start_broker
|
||||
run_worker:
|
||||
@S3__ACCESS_KEY_ID="$(S3_WORKER_ACCESS_KEY)" S3__SECRET_ACCESS_KEY="$(S3_WORKER_SECRET_KEY)" APP__RUN_MODE=console uv run python -m src.worker
|
||||
|
||||
# relay публикации заданий в консоли: без него консольный API принимает файлы, а
|
||||
# задания ждут в PostgreSQL. Брокер поднимает make run_dev; те же мосты .env
|
||||
.PHONY: run_relay
|
||||
run_relay:
|
||||
@APP__RUN_MODE=console uv run python -m src.relay
|
||||
|
||||
# реестр failed и replay (design change pipeline-reliability, решение 5): без
|
||||
# APPLY=1 только показ; с APPLY=1 выбор обязателен (ATTACHMENT, ERROR_CODE или
|
||||
# REASON), иначе код 2. Коды: 0 — выполнено или показано, 3 — есть отказы, 1 —
|
||||
# отказ PostgreSQL. ATTACHMENT — id вложения, можно несколько через пробел
|
||||
OPERATOR ?= $(USER)
|
||||
.PHONY: replay
|
||||
replay:
|
||||
@$(DC) run --rm --no-deps relay replay$(foreach id,$(ATTACHMENT), --attachment-id $(id))$(if $(ERROR_CODE), --error-code $(ERROR_CODE))$(if $(REASON), --reason $(REASON))$(if $(LIMIT), --limit $(LIMIT))$(if $(filter 1,$(APPLY)), --apply)$(if $(OPERATOR), --operator $(OPERATOR))
|
||||
|
||||
# шаблоны копируются только если файла ещё нет: локальные значения
|
||||
# не затираются. В .env подставляются случайные пароли Postgres и
|
||||
# Valkey и секреты S3: в шаблоне они пустые, общего секрета стенда в git
|
||||
|
||||
+23
-1
@@ -18,12 +18,32 @@
|
||||
- Предупреждения о хосте, явно не влияющие на результат замера, прогон не
|
||||
останавливают.
|
||||
|
||||
## Ответы пользователя во время прогона (2026-10-31)
|
||||
|
||||
- Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API,
|
||||
worker, relay, уборщик, replay): сервисы получают UoW вместо `AsyncSession` и
|
||||
`db_scope`, repo доступны через него. Поведение и контракт не меняются.
|
||||
- UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как
|
||||
главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, `async with uow`
|
||||
в сервисе, откат при выходе без `commit`, фейки и быстрые тесты сервисов на них.
|
||||
Фейковые тесты — новый каталог вне `student-tests/`, правило black-box там остаётся.
|
||||
Не входят: доменная модель с classical mapping, агрегаты, события и message bus.
|
||||
- Порядок: отдельный change `unit-of-work` после архивации
|
||||
`pipeline-reliability` и до `track1-queue-overload`: трек 1 измеряет итоговый код.
|
||||
|
||||
## Для пользователя после прогона
|
||||
|
||||
- Остался volume пробы `asyncprobe_rabbitmq_data` (стадия propose
|
||||
`async-attachments`, контейнеров и сети нет). Агенту отказали в
|
||||
`docker compose down -v`, поэтому прогон его не удалял. Удалить вручную:
|
||||
`docker volume rm asyncprobe_rabbitmq_data`.
|
||||
- Остались volumes проб и временных проектов этого прогона: `bootprobe_s3_data`,
|
||||
`mtusi-lab5-rs_postgres_data`, `mtusi-lab5-rs_s3_data`,
|
||||
`mtusi-rsig_postgres_data`, `mtusi-rsig_rabbitmq_data`, `mtusi-rsig_s3_data`.
|
||||
Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет
|
||||
(`docker ps -a --filter volume=<имя>`), затем `docker volume rm <имя>`.
|
||||
- На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть
|
||||
чужой, поэтому `docker volume prune` без просмотра запускать не стоит.
|
||||
|
||||
## Перенос из лабы 4
|
||||
|
||||
@@ -100,7 +120,7 @@
|
||||
|
||||
### Предложения на потом
|
||||
|
||||
Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Берёт `pipeline-reliability`.
|
||||
Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Все пять закрыты изменением `pipeline-reliability` (S5, S6, W2 — кодом worker; два последних пункта — дельтой `load-benchmark` и `bench/run.py`).
|
||||
|
||||
- **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
|
||||
- **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`).
|
||||
@@ -149,6 +169,8 @@
|
||||
- **Остановка worker (S5):** верхняя граница `graceful_shutdown_seconds` — 8, закрытие клиентов одним сроком, худший случай 9,5 с.
|
||||
- **`bench/`:** профиль загрузок больше не запускает брокер, `Profile.rollout_from` → `7f38948`, образ в паспорте — метка `com.docker.compose.image`.
|
||||
- **Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем:** `openspec validate --strict` не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены.
|
||||
- **Решения apply (подробно — design, «Уточнения apply»):** у `make replay` `--attachment-id` и фильтр по коду или причине вместе нельзя (код 2); `FOR NO KEY UPDATE` и ack после фиксации проверяются пробой блокировки строки и счётчиком `messages_unacknowledged`: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с `infra/rollback/broker.compose.yml`, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и `expire-lease`, иначе его прерывал бы таймер, а не fencing.
|
||||
- **Не удалено:** `src/utils/thumbnail.py` и `src/infra/broker/instance.py` лежат на диске без импортов. Автоматическая проверка отклонила цепочку команд с их удалением (в ней был ещё `git`, которого там быть не могло), обходить её другой формулировкой нельзя. Их удаляет основная сессия.
|
||||
|
||||
### Вопросы
|
||||
|
||||
|
||||
+19
-9
@@ -83,12 +83,10 @@ services:
|
||||
memory: ${BENCH_CLEANER_MEMORY:?run make bench}
|
||||
memswap_limit: ${BENCH_CLEANER_MEMORY:?run make bench}
|
||||
|
||||
# брокер (design change async-attachments, решение 16) запускает только
|
||||
# профиль uploads: образ, rabbitmq.conf и лимиты рабочего стенда, swap =
|
||||
# память, на прогон — новый volume. Прочие профили его не запускают:
|
||||
# старт стенда перечисляет сервисы, реплики — с --no-deps (depends_on api
|
||||
# не действует), а издатель API соединяется первой публикацией. Без порта
|
||||
# хоста, без перезапуска, под своим именем
|
||||
# брокер описан и не запускается ни одним профилем (design change
|
||||
# pipeline-reliability, решение 16): реплика к нему не обращается, задания
|
||||
# ждут в PostgreSQL. Образ, rabbitmq.conf и лимиты рабочего стенда, swap =
|
||||
# память; без порта хоста, без перезапуска, под своим именем
|
||||
rabbitmq:
|
||||
container_name: mtusi-bench-rabbitmq
|
||||
restart: "no"
|
||||
@@ -100,9 +98,21 @@ services:
|
||||
memory: ${BENCH_BROKER_MEMORY:?run make bench}
|
||||
memswap_limit: ${BENCH_BROKER_MEMORY:?run make bench}
|
||||
|
||||
# worker описан и не запускается ни одним профилем: стенд меряет реплику,
|
||||
# а не обработку, задания ждут в очереди. Образ стенда, без config.toml
|
||||
# рабочего стенда; лимиты BENCH_WORKER_* compose требует при разборе
|
||||
# relay и worker описаны и не запускаются ни одним профилем: стенд меряет
|
||||
# реплику, а не обработку. Образ стенда, без config.toml рабочего стенда;
|
||||
# лимиты BENCH_RELAY_* и BENCH_WORKER_* compose требует при разборе
|
||||
relay:
|
||||
container_name: mtusi-bench-relay
|
||||
image: mtusi-messenger:bench
|
||||
restart: "no"
|
||||
volumes: !reset []
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: ${BENCH_RELAY_CPUS:?run make bench}
|
||||
memory: ${BENCH_RELAY_MEMORY:?run make bench}
|
||||
memswap_limit: ${BENCH_RELAY_MEMORY:?run make bench}
|
||||
|
||||
worker:
|
||||
container_name: mtusi-bench-worker
|
||||
image: mtusi-messenger:bench
|
||||
|
||||
+2
-1
@@ -13,7 +13,8 @@ VALKEY_PORT=6379
|
||||
S3_HOST=s3
|
||||
S3_PORT=8333
|
||||
S3__BUCKET=bench
|
||||
# брокер запускает только профиль uploads (лаба 5); пароль генерирует run.py
|
||||
# брокер, relay и worker описаны и не запускаются (лаба 5); compose требует эти
|
||||
# значения при разборе, пароль брокера генерирует run.py
|
||||
RABBITMQ_HOST=rabbitmq
|
||||
RABBITMQ_PORT=5672
|
||||
RABBITMQ_DEFAULT_USER=bench
|
||||
|
||||
+17
-11
@@ -139,6 +139,9 @@ S4_MS_PER_CANDIDATE = 5
|
||||
# проходы стенда; по ним H1 считает ожидаемые LIST и сеансы
|
||||
PAGE_SIZE = 1000
|
||||
STALE_BATCH = 100
|
||||
# страниц списка staging за проход: staging набора пуст, строки и объекты
|
||||
# пишет оркестратор мимо API
|
||||
STAGING_PAGES = 1
|
||||
# записи журнала уборщика, которые идут в raw/<проход>-cleaner.json
|
||||
STARTED = "Started cleaner"
|
||||
FINISHED = "Finished reconcile pass"
|
||||
@@ -1056,11 +1059,13 @@ def stage_n(meta: dict[str, Any], stage: str) -> int | None:
|
||||
def expected_batch_requests(row: dict[str, Any]) -> tuple[int, int, int]:
|
||||
"""LIST, HEAD и сеансы PostgreSQL поверхностного dry-run `batch` по
|
||||
модели прохода (H1): страницы списка (страница без ключей — только у
|
||||
пустого bucket) и проба bucket, если есть кандидаты без объекта или с
|
||||
другим размером; HEAD — по одному на такого кандидата и объект без
|
||||
строки; сеанс — на страницу списка с ключами, на каждую страницу строк
|
||||
`ready` и выборку зависших (последняя — неполная) и на перепроверку
|
||||
кандидата, кроме зависших."""
|
||||
пустого bucket), одна страница списка staging (пустая: загрузок в наборе
|
||||
нет, сеанса с БД не даёт; design change `pipeline-reliability`, решение
|
||||
16) и проба bucket, если есть кандидаты без объекта или с другим размером;
|
||||
HEAD — по одному на такого кандидата и объект без строки; сеанс — на
|
||||
страницу списка с ключами, на каждую страницу строк `ready` и выборку
|
||||
зависших (последняя — неполная) и на перепроверку кандидата, кроме
|
||||
зависших."""
|
||||
|
||||
def count(column: str) -> int:
|
||||
return int(num(row.get(column)) or 0)
|
||||
@@ -1079,7 +1084,7 @@ def expected_batch_requests(row: dict[str, Any]) -> tuple[int, int, int]:
|
||||
),
|
||||
)
|
||||
probe = 1 if missing or size else 0
|
||||
lists = max(1, math.ceil(objects / PAGE_SIZE)) + probe
|
||||
lists = max(1, math.ceil(objects / PAGE_SIZE)) + STAGING_PAGES + probe
|
||||
heads = orphan + missing + size
|
||||
sessions = (
|
||||
math.ceil(objects / PAGE_SIZE)
|
||||
@@ -1144,7 +1149,8 @@ def verdict_h1(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict:
|
||||
return Verdict(
|
||||
"H1",
|
||||
f"цена на объект `batch` различается не больше чем на "
|
||||
f"{H1_SPREAD:.0%}; LIST = ⌈N/1000⌉ + 1, HEAD — только у кандидатов; "
|
||||
f"{H1_SPREAD:.0%}; LIST = ⌈N/1000⌉ + 2 (страницы вложений, страница "
|
||||
"staging, проба bucket), HEAD — только у кандидатов; "
|
||||
"сеансов — по одному на страницу списка, страницу строк `ready` и "
|
||||
"выборку зависших плюс по одному на кандидата, кроме зависших; "
|
||||
f"прирост пика памяти уборщика от N ≤ {H1_BYTES_PER_KEY} Б на ключ",
|
||||
@@ -2115,7 +2121,7 @@ def selftest() -> int:
|
||||
"ready_rows": mdl.ready_rows,
|
||||
"us_per_object": us,
|
||||
"duration_ms": us * mdl.objects / 1000,
|
||||
"s3_list": math.ceil(mdl.objects / 1000) + 1,
|
||||
"s3_list": math.ceil(mdl.objects / 1000) + 2,
|
||||
"s3_head": sum(
|
||||
mdl.found[k]
|
||||
for k in (
|
||||
@@ -2144,12 +2150,12 @@ def selftest() -> int:
|
||||
expect(
|
||||
"batch requests B",
|
||||
expected_batch_requests(b_batch),
|
||||
(11, 75, 96),
|
||||
(12, 75, 96),
|
||||
)
|
||||
expect(
|
||||
"batch requests D",
|
||||
expected_batch_requests(synthetic("D", "batch", 100_000, 300)),
|
||||
(101, 750, 953),
|
||||
(102, 750, 953),
|
||||
)
|
||||
passes = [
|
||||
b_batch,
|
||||
@@ -2209,7 +2215,7 @@ def selftest() -> int:
|
||||
expect(f"verdict {name} refuted by {sorted(change)}", verdict, REFUTED)
|
||||
|
||||
refuted("H1", 0, db_sessions=97)
|
||||
refuted("H1", 0, s3_list=12)
|
||||
refuted("H1", 0, s3_list=13)
|
||||
refuted("H2", 2, db_sessions=500)
|
||||
refuted("H3", 3, s3_get=9950)
|
||||
refuted("S4", 7, fixed_total=1)
|
||||
|
||||
+50
-54
@@ -72,11 +72,18 @@ CACHE = "mtusi-bench-valkey"
|
||||
# только профиль uploads, volume пересоздаётся перед каждым прогоном
|
||||
S3 = "mtusi-bench-s3"
|
||||
S3_VOLUME = f"{PROJECT}_s3_data"
|
||||
# брокер стенда (design change async-attachments, решение 16): запускает
|
||||
# только профиль uploads, volume пересоздаётся перед каждым прогоном
|
||||
# брокер стенда описан, ни один профиль его не запускает: реплика к нему не
|
||||
# обращается (design change pipeline-reliability, решение 16); start_broker —
|
||||
# для профиля, который будет мерить обработку (трек 1)
|
||||
BROKER_SERVICE = "rabbitmq"
|
||||
BROKER = "mtusi-bench-rabbitmq"
|
||||
BROKER_VOLUME = f"{PROJECT}_rabbitmq_data"
|
||||
# образ контейнера в паспорте: манифест платформы из метки compose, у контейнера
|
||||
# без неё — `.Image`. Само `.Image` при том же манифесте различается: оно
|
||||
# совпадает с индексом тега на момент создания (`docker.md`, «Обновление кода
|
||||
# на стенде»; design change pipeline-reliability, решение 16)
|
||||
CONTAINER_IMAGE = (
|
||||
'{{with index .Config.Labels "com.docker.compose.image"}}{{.}}'
|
||||
"{{else}}{{.Image}}{{end}}"
|
||||
)
|
||||
# окружение реплики по варианту профиля uploads: override поверх
|
||||
# bench.compose.yml в рабочем каталоге метки
|
||||
VARIANT_COMPOSE = "variant.compose.yml"
|
||||
@@ -125,8 +132,8 @@ ENV_FILE = ROOT / "bench" / "bench.env"
|
||||
# числе POSTGRES_* из shell) в стенд не попадает
|
||||
HOST_ENV = ("PATH", "HOME", "USER", "TMPDIR", "DOCKER_HOST", "DOCKER_CONFIG")
|
||||
# части имён переменных окружения API, которые в паспорт (stand.app_env) не
|
||||
# пишутся: пароли Postgres, Valkey и брокера (PASS — и BROKER__PASSWORD, и
|
||||
# RABBITMQ_DEFAULT_PASS), секреты и ключи доступа S3, в том числе S3_WORKER_*
|
||||
# пишутся: пароли Postgres и Valkey (PASS — и пароль брокера, если реплика его
|
||||
# когда-нибудь получит), секреты и ключи доступа S3
|
||||
SECRET_ENV_MARKS = ("PASS", "SECRET", "ACCESS_KEY")
|
||||
# статистика HAProxy изнутри контейнера LB (как make lb_stats): порт 8404
|
||||
# наружу не опубликован, curl в образе нет, bash есть
|
||||
@@ -373,11 +380,14 @@ class Profile:
|
||||
uploads_sample_interval_s: float = 0.2
|
||||
s3_cpus: str = "1"
|
||||
s3_memory: str = "512m"
|
||||
# брокер и worker: лимиты рабочего стенда без swap — у всех профилей
|
||||
# (compose требует их при разборе); брокер запускает только профиль
|
||||
# загрузок, worker — никто (design change async-attachments, решение 16)
|
||||
# брокер, relay и worker: лимиты рабочего стенда без swap — у всех профилей
|
||||
# (compose требует их при разборе); не запускает их ни один профиль: стенд
|
||||
# меряет реплику, задания ждут в PostgreSQL (design change
|
||||
# pipeline-reliability, решение 16)
|
||||
broker_cpus: str = "1"
|
||||
broker_memory: str = "512m"
|
||||
relay_cpus: str = "0.25"
|
||||
relay_memory: str = "256m"
|
||||
worker_cpus: str = "1"
|
||||
worker_memory: str = "1g"
|
||||
# уборщик (сервис cleaner): лимиты рабочего стенда без swap — у всех
|
||||
@@ -614,7 +624,7 @@ PROFILES = {
|
||||
replicas=2,
|
||||
failover_write_rate=100,
|
||||
failover_read_rate=100,
|
||||
rollout_from="04f8592",
|
||||
rollout_from="7f38948",
|
||||
rollout_before_s=15,
|
||||
rollout_budget_s=90,
|
||||
rollout_after_s=15,
|
||||
@@ -639,7 +649,7 @@ PROFILES = {
|
||||
replicas=2,
|
||||
failover_write_rate=100,
|
||||
failover_read_rate=100,
|
||||
rollout_from="04f8592",
|
||||
rollout_from="7f38948",
|
||||
rollout_before_s=5,
|
||||
rollout_budget_s=60,
|
||||
rollout_after_s=8,
|
||||
@@ -1237,10 +1247,9 @@ def vm_warnings(profile: Profile) -> list[str]:
|
||||
elif profile.sample_resources:
|
||||
extra = (profile.sampler_memory,)
|
||||
elif profile.is_uploads:
|
||||
# профиль загрузок: S3, брокер и сэмплер peak
|
||||
# профиль загрузок: S3 и сэмплер peak
|
||||
extra = (
|
||||
profile.s3_memory,
|
||||
profile.broker_memory,
|
||||
profile.sampler_memory,
|
||||
)
|
||||
elif profile.is_reconcile:
|
||||
@@ -1473,9 +1482,10 @@ def compose_env(profile: Profile) -> dict[str, str]:
|
||||
реплики API получают ключи, но к S3 не обращаются (design change
|
||||
`s3-storage`, решение 9). С уборщиком (design change
|
||||
`upload-consistency`, решение 9) — ещё ключи его пользователя: сервис
|
||||
`cleaner` описан, но профили его не запускают. С брокером и worker (design
|
||||
change `async-attachments`, решение 16) — пароль брокера и ключи
|
||||
пользователя worker: bootstrap S3 заводит его и в профилях с S3.
|
||||
`cleaner` описан, но профили его не запускают. С брокером, relay и worker
|
||||
(design change `async-attachments`, решение 16; `pipeline-reliability`,
|
||||
решение 16) — пароль брокера и ключи пользователя worker: bootstrap S3
|
||||
заводит его и в профилях с S3. Реплики пароля брокера не получают.
|
||||
"""
|
||||
env = {key: os.environ[key] for key in HOST_ENV if key in os.environ}
|
||||
return {
|
||||
@@ -1510,6 +1520,8 @@ def compose_env(profile: Profile) -> dict[str, str]:
|
||||
"BENCH_CLEANER_MEMORY": profile.cleaner_memory,
|
||||
"BENCH_BROKER_CPUS": profile.broker_cpus,
|
||||
"BENCH_BROKER_MEMORY": profile.broker_memory,
|
||||
"BENCH_RELAY_CPUS": profile.relay_cpus,
|
||||
"BENCH_RELAY_MEMORY": profile.relay_memory,
|
||||
"BENCH_WORKER_CPUS": profile.worker_cpus,
|
||||
"BENCH_WORKER_MEMORY": profile.worker_memory,
|
||||
}
|
||||
@@ -1732,16 +1744,17 @@ class Stand:
|
||||
|
||||
def app_containers(self) -> list[dict[str, Any]]:
|
||||
"""Реплики `api` (и остановленные): имя, `X-Instance-Id`, тег и
|
||||
digest конфигурации образа. В хранилище containerd у тега и у
|
||||
контейнера разные digest (индекс и конфигурация), поэтому
|
||||
сравниваются контейнеры между собой, а не с тегом."""
|
||||
образ по метке (`CONTAINER_IMAGE`). Сравниваются контейнеры между
|
||||
собой, а не с тегом: у тега индекс образа, у метки — манифест
|
||||
платформы."""
|
||||
rows = []
|
||||
for name in self.replicas(stopped=True):
|
||||
full, tag, image, running = sh(
|
||||
"docker",
|
||||
"inspect",
|
||||
"-f",
|
||||
"{{.Id}}|{{.Config.Image}}|{{.Image}}|{{.State.Running}}",
|
||||
f"{{{{.Id}}}}|{{{{.Config.Image}}}}|{CONTAINER_IMAGE}|"
|
||||
"{{.State.Running}}",
|
||||
name,
|
||||
).split("|")
|
||||
rows.append(
|
||||
@@ -1768,10 +1781,6 @@ class Stand:
|
||||
# решение 10) и сверки; прочие профили его не запускают
|
||||
self.start_s3()
|
||||
say("s3 healthy, bootstrap done")
|
||||
# брокер — только профиль загрузок (design change
|
||||
# async-attachments, решение 16); worker не запускается никем
|
||||
self.start_broker()
|
||||
say("broker healthy")
|
||||
if self.profile.is_reconcile:
|
||||
# профиль сверки: аргументы S3 рабочего стенда и порт метрик
|
||||
# шлюза на loopback контейнера (design change
|
||||
@@ -2063,31 +2072,27 @@ class Stand:
|
||||
)
|
||||
|
||||
def recycle_uploads(self, image: str, env: dict[str, str]) -> None:
|
||||
"""Перед прогоном профиля загрузок (решение 10): новые volume S3 с
|
||||
bootstrap и брокера (иначе очередь копилась бы между прогонами) и
|
||||
новый контейнер реплики на образе варианта `image` с окружением
|
||||
`env` (override `VARIANT_COMPOSE`), затем готовность процесса и `UP`
|
||||
в LB.
|
||||
"""Перед прогоном профиля загрузок (решение 10): новый volume S3 с
|
||||
bootstrap и новый контейнер реплики на образе варианта `image` с
|
||||
окружением `env` (override `VARIANT_COMPOSE`), затем готовность
|
||||
процесса и `UP` в LB.
|
||||
|
||||
S3 и брокер останавливаются `kill`, а не плавно (у S3 ~15 с): их
|
||||
volume всё равно удаляются. Реплика — сначала удаляется: новый
|
||||
контейнер может получить тот же адрес, и LB держал бы слот `UP` от
|
||||
прежнего (поэтому, как в `switch_api`, сначала готовность
|
||||
процесса)."""
|
||||
S3 останавливается `kill`, а не плавно (~15 с): его volume всё равно
|
||||
удаляется. Реплика — сначала удаляется: новый контейнер может
|
||||
получить тот же адрес, и LB держал бы слот `UP` от прежнего (поэтому,
|
||||
как в `switch_api`, сначала готовность процесса)."""
|
||||
self.compose("rm", "-s", "-f", APP_SERVICE, check=False)
|
||||
services = ("s3", "s3-bootstrap", BROKER_SERVICE)
|
||||
services = ("s3", "s3-bootstrap")
|
||||
self.compose("kill", *services, check=False)
|
||||
self.compose("rm", "-f", *services)
|
||||
for volume in (S3_VOLUME, BROKER_VOLUME):
|
||||
subprocess.run(
|
||||
["docker", "volume", "rm", volume],
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
if volume in sh("docker", "volume", "ls", "-q").split():
|
||||
raise BenchError(f"volume {volume} was not removed")
|
||||
subprocess.run(
|
||||
["docker", "volume", "rm", S3_VOLUME],
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
if S3_VOLUME in sh("docker", "volume", "ls", "-q").split():
|
||||
raise BenchError(f"volume {S3_VOLUME} was not removed")
|
||||
self.start_s3()
|
||||
self.start_broker()
|
||||
sh("docker", "tag", image, APP_IMAGE)
|
||||
path = self.work_dir / VARIANT_COMPOSE
|
||||
self.extra_files = []
|
||||
@@ -2421,8 +2426,6 @@ class Stand:
|
||||
roles = {APP_SERVICE: replicas[0], **CONTAINERS, "k6": K6}
|
||||
if self.profile.is_uploads or self.profile.is_reconcile:
|
||||
roles["s3"] = S3
|
||||
if self.profile.is_uploads:
|
||||
roles[BROKER_SERVICE] = BROKER
|
||||
limits: dict[str, Any] = {}
|
||||
for role, name in roles.items():
|
||||
limits[role] = self.container_limits(name)
|
||||
@@ -2938,7 +2941,7 @@ class Stand:
|
||||
"{{.Config.Image}}",
|
||||
name,
|
||||
),
|
||||
"id": sh("docker", "inspect", "-f", "{{.Image}}", name),
|
||||
"id": sh("docker", "inspect", "-f", CONTAINER_IMAGE, name),
|
||||
}
|
||||
|
||||
extra: dict[str, Any] = {}
|
||||
@@ -2946,9 +2949,6 @@ class Stand:
|
||||
# S3 — только у профилей загрузок и сверки; образ и аргументы —
|
||||
# рабочего стенда (у сверки ещё порт метрик, meta.reconcile)
|
||||
extra["s3"] = image(S3)
|
||||
if self.profile.is_uploads:
|
||||
# брокер — только у профиля загрузок; лимиты — limits.rabbitmq
|
||||
extra[BROKER_SERVICE] = image(BROKER)
|
||||
return {
|
||||
**extra,
|
||||
# буфер приёма сокетов реплики: sysctls сервиса api (design
|
||||
@@ -6072,10 +6072,6 @@ class Bench:
|
||||
state = stand.exit_state(replica)
|
||||
s3_state = stand.exit_state(S3)
|
||||
state["s3_down"] = not s3_state["running"] or s3_state["oom_killed"]
|
||||
broker_state = stand.exit_state(BROKER)
|
||||
state["broker_down"] = (
|
||||
not broker_state["running"] or broker_state["oom_killed"]
|
||||
)
|
||||
text = (stand.work_dir / log_name).read_text(
|
||||
encoding="utf-8",
|
||||
errors="replace",
|
||||
|
||||
+8
-13
@@ -379,8 +379,7 @@ def run_row(
|
||||
из-за памяти (`OOMKilled` контейнера или `oom_kill` cgroup),
|
||||
`host_swap` — хост выгружал страницы в swap во время прогона,
|
||||
`peak_sampled` — пик окна по выборкам, а не по сброшенному
|
||||
`memory.peak`, `s3_down` и `broker_down` — S3 или брокер не дожил до
|
||||
конца прогона."""
|
||||
`memory.peak`, `s3_down` — S3 не дожил до конца прогона."""
|
||||
app = peaks.roles.get("api", Peak())
|
||||
s3 = peaks.roles.get("s3", Peak())
|
||||
lb = peaks.roles.get("haproxy", Peak())
|
||||
@@ -394,8 +393,6 @@ def run_row(
|
||||
flags.append("peak_sampled")
|
||||
if state.get("s3_down"):
|
||||
flags.append("s3_down")
|
||||
if state.get("broker_down"):
|
||||
flags.append("broker_down")
|
||||
return {
|
||||
**{key: run[key] for key in ("run", "variant", "size", "clients")},
|
||||
"repeat": run["repeat"],
|
||||
@@ -691,10 +688,9 @@ def render_summary(meta: dict[str, Any], rows: list[dict[str, Any]]) -> str:
|
||||
),
|
||||
f"- Реплика {profile['cpus']} CPU / {profile['memory']} без swap, "
|
||||
f"буфер приёма `{meta.get('stand', {}).get('api_tcp_rmem', '—')}`; "
|
||||
f"S3 {profile['s3_cpus']} CPU / {profile['s3_memory']}; брокер "
|
||||
f"{profile['broker_cpus']} CPU / {profile['broker_memory']}; LB "
|
||||
f"{profile['lb_cpus']} CPU / {profile['lb_memory']}. Worker не "
|
||||
"запущен: задания ждут в очереди, на прогон — новый volume брокера",
|
||||
f"S3 {profile['s3_cpus']} CPU / {profile['s3_memory']}; LB "
|
||||
f"{profile['lb_cpus']} CPU / {profile['lb_memory']}. Обработка не "
|
||||
"запущена: задания ждут в PostgreSQL",
|
||||
"- Код успеха: "
|
||||
+ (
|
||||
", ".join(
|
||||
@@ -1027,8 +1023,8 @@ def selftest() -> int:
|
||||
expect("row fields", set(RUN_FIELDS) >= set(row), True)
|
||||
expect("row peak", row["peak_mib"], 145.0)
|
||||
expect("row success code", row["success_code"], 201)
|
||||
downed = run_row(run, 1, parsed, stats, {"broker_down": True}, 0)
|
||||
expect("row broker_down", downed["flags"], "broker_down")
|
||||
downed = run_row(run, 1, parsed, stats, {"s3_down": True}, 0)
|
||||
expect("row s3_down", downed["flags"], "s3_down")
|
||||
|
||||
def synth(variant: str, clients: int, peak: float, **extra: Any) -> dict:
|
||||
base = {
|
||||
@@ -1095,8 +1091,6 @@ def selftest() -> int:
|
||||
"memory": "512m",
|
||||
"s3_cpus": "1",
|
||||
"s3_memory": "512m",
|
||||
"broker_cpus": "1",
|
||||
"broker_memory": "512m",
|
||||
"lb_cpus": "1",
|
||||
"lb_memory": "256m",
|
||||
},
|
||||
@@ -1113,7 +1107,8 @@ def selftest() -> int:
|
||||
False,
|
||||
)
|
||||
expect("summary names code", "«с лимитом» — 202" in text, True)
|
||||
expect("summary names broker", "брокер 1 CPU / 512m" in text, True)
|
||||
expect("summary has no broker", "брокер" in text.lower(), False)
|
||||
expect("summary jobs wait", "задания ждут в PostgreSQL" in text, True)
|
||||
expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True)
|
||||
expect(
|
||||
"replica growth over C=10",
|
||||
|
||||
+43
-11
@@ -103,8 +103,11 @@ interval_seconds = 60
|
||||
# Должно быть больше 2 × [database] request_timeout_seconds +
|
||||
# [s3] timeout_seconds (17 с), иначе уборщик не стартует
|
||||
pending_grace_seconds = 900
|
||||
# строк pending в одной выборке кандидатов
|
||||
# строк pending или вложений со staging в одной выборке кандидатов
|
||||
batch_size = 100
|
||||
# секунды хранения объекта staging вложения failed и объекта staging без
|
||||
# метаданных; у ready staging убирается следующим проходом
|
||||
staging_retention_seconds = 86400
|
||||
|
||||
[reconciler]
|
||||
# Сверка bucket и БД процессом уборщика: плановая в сервисе cleaner и
|
||||
@@ -127,24 +130,53 @@ max_objects_per_second = 2000
|
||||
# RABBITMQ_*) и из environment compose; здесь их не указывать.
|
||||
# секунды на установку соединения с брокером
|
||||
connect_timeout_seconds = 2
|
||||
# секунды на публикацию целиком: соединение, канал, публикация и
|
||||
# подтверждение; по сроку загрузка отвечает 503. Часть цепочки таймаутов
|
||||
# пути загрузки: после тела 29 с меньше timeout server LB (30 с)
|
||||
# секунды на публикацию пакета заданий relay целиком: соединение, канал,
|
||||
# публикация и подтверждения; меньше срока шага с БД: блокировки строк
|
||||
# держатся не дольше него
|
||||
publish_timeout_seconds = 2
|
||||
|
||||
[worker]
|
||||
# Worker обработки вложений (сервис compose worker); реплики API секцию не
|
||||
# читают. Разовая подмена — окружением WORKER__*.
|
||||
# Worker обработки вложений (сервис compose worker); реплики API и relay
|
||||
# секцию не читают. Разовая подмена — окружением WORKER__*.
|
||||
# заданий, которые worker обрабатывает одновременно (лимит памяти
|
||||
# контейнера — на эту конкуренцию)
|
||||
concurrency = 2
|
||||
# начатых попыток у задания, включая первую
|
||||
# неподтверждённых сообщений, которые выдаёт брокер
|
||||
prefetch = 2
|
||||
# попыток у задания с последнего replay, включая первую
|
||||
max_attempts = 5
|
||||
# секунды на одну попытку
|
||||
job_timeout_seconds = 60
|
||||
# секунды паузы перед следующей попыткой
|
||||
retry_delay_seconds = 10
|
||||
# секунды, которые worker ждёт начатые задания после SIGTERM, не больше 9
|
||||
# секунды запаса аренды сверх срока попытки
|
||||
lease_margin_seconds = 10
|
||||
# секунды, основа паузы перед следующей попыткой: случайно из [d / 2, d],
|
||||
# d = min(предел, основа × 2^(N − 1))
|
||||
retry_base_delay_seconds = 5
|
||||
# секунды, предел паузы; не меньше основы
|
||||
retry_max_delay_seconds = 300
|
||||
# секунды жизни процесса обработки; меньше срока попытки
|
||||
render_timeout_seconds = 40
|
||||
# секунды CPU процесса обработки, целое
|
||||
render_cpu_limit_seconds = 15
|
||||
# МиБ адресного пространства процесса обработки, целое
|
||||
render_memory_limit_mib = 450
|
||||
# секунды, которые worker ждёт начатые задания после SIGTERM, не больше 8
|
||||
graceful_shutdown_seconds = 8
|
||||
# секунды паузы между попытками соединиться с брокером
|
||||
# секунды паузы между попытками соединиться с брокером и перед возвратом
|
||||
# сообщения при отказе PostgreSQL
|
||||
reconnect_seconds = 2
|
||||
|
||||
[relay]
|
||||
# Relay публикации заданий (сервис compose relay); реплики API и worker секцию
|
||||
# не читают. Разовая подмена — окружением RELAY__*.
|
||||
# секунды паузы между проходами, когда публиковать нечего
|
||||
poll_interval_seconds = 0.25
|
||||
# заданий за один проход
|
||||
batch_size = 100
|
||||
# предел опубликованных и не взятых заданий; 0 — без предела
|
||||
max_published_backlog = 1000
|
||||
# секунды: отмеченное задание старше может считаться потерянным, если в
|
||||
# очереди нет готовых сообщений
|
||||
republish_after_seconds = 300
|
||||
# секунды паузы после отказа брокера или PostgreSQL
|
||||
failure_pause_seconds = 2
|
||||
|
||||
+55
-17
@@ -1,7 +1,7 @@
|
||||
# Стенд лабы 5: HAProxy — единственная точка входа, за ним API ×
|
||||
# API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений),
|
||||
# RabbitMQ (задания обработки), одноразовые миграции и bootstrap S3, уборщик
|
||||
# незавершённых загрузок, worker обработки вложений.
|
||||
# незавершённых загрузок, relay публикации заданий, worker обработки вложений.
|
||||
# Правила — .claude/rules/docker.md и balancer.md. Значения — из .env
|
||||
# (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и
|
||||
# у режима docker. Имя проекта меняется в каждой лабе: от него зависят
|
||||
@@ -9,7 +9,7 @@
|
||||
name: mtusi-lab5
|
||||
|
||||
# окружение по сервисам: секреты получают только те, кому они нужны.
|
||||
# PostgreSQL — api, cleaner, worker и migrate
|
||||
# PostgreSQL — api, cleaner, relay, worker и migrate
|
||||
x-db-env: &db-env
|
||||
APP__RUN_MODE: docker
|
||||
DATABASE__HOST: ${POSTGRES_HOST:-postgres}
|
||||
@@ -40,9 +40,10 @@ x-s3-api-keys-env: &s3-api-keys-env
|
||||
S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||||
S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||||
|
||||
# RabbitMQ — api и worker: адрес в сети и учётные данные; один пользователь
|
||||
# RabbitMQ — relay и worker: адрес в сети и учётные данные; один пользователь
|
||||
# на оба сервиса, разделение прав — лаба 7 (design change async-attachments,
|
||||
# решение 4)
|
||||
# решение 4). У реплик API брокера нет (design change pipeline-reliability,
|
||||
# решение 1)
|
||||
x-broker-env: &broker-env
|
||||
BROKER__HOST: ${RABBITMQ_HOST:-rabbitmq}
|
||||
BROKER__PORT: ${RABBITMQ_PORT:-5672}
|
||||
@@ -99,9 +100,9 @@ services:
|
||||
resources:
|
||||
limits:
|
||||
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
|
||||
# max_overflow 0) + migrate + cleaner (пул 1) + worker (пул 2) ≤
|
||||
# max_connections (100): 2 × 10 + 1 + 1 + 2, при поочерёдной замене
|
||||
# 3 × 10 + 1 + 1 + 2; расчёт — REPORT.md
|
||||
# max_overflow 0) + migrate + cleaner (пул 1) + worker (пул 2) +
|
||||
# relay (пул 1) ≤ max_connections (100): 2 × 10 + 1 + 1 + 2 + 1 = 25,
|
||||
# при поочерёдной замене 3 × 10 + 1 + 1 + 2 + 1 = 35; расчёт — REPORT.md
|
||||
cpus: "2.0"
|
||||
memory: 1G
|
||||
|
||||
@@ -357,7 +358,7 @@ services:
|
||||
image: mtusi-messenger:lab5
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
<<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env, *broker-env]
|
||||
<<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env]
|
||||
APP__PORT: ${APP__PORT:-8080}
|
||||
volumes:
|
||||
- *config-toml
|
||||
@@ -367,10 +368,6 @@ services:
|
||||
# без кэша API работает, но в штатном стенде он есть с первого запроса
|
||||
valkey:
|
||||
condition: service_healthy
|
||||
# без брокера API стартует и отвечает 503 на загрузке, но в штатном
|
||||
# стенде он есть с первого запроса
|
||||
rabbitmq:
|
||||
condition: service_healthy
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
# bucket и пользователь API есть до первого запроса
|
||||
@@ -437,9 +434,48 @@ services:
|
||||
cpus: "0.25"
|
||||
memory: 256M
|
||||
|
||||
# relay (design change pipeline-reliability, решения 1 и 2): доводит намерения
|
||||
# из PostgreSQL до брокера, возвращает истёкшие аренды. Один процесс на образе
|
||||
# API; реплики его не ждут: без него загрузка отвечает 202, задания ждут в
|
||||
# PostgreSQL. Разовая команда реестра — make replay (docker compose run --rm
|
||||
# --no-deps relay replay …). Портов нет, HTTP не слушает
|
||||
relay:
|
||||
image: mtusi-messenger:lab5
|
||||
pull_policy: never
|
||||
# точка входа, а не command: аргументы после имени сервиса — подкоманда
|
||||
entrypoint: ["python", "-m", "src.relay"]
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
# только PostgreSQL и брокер: ни ключей S3, ни пароля Valkey
|
||||
<<: [*db-env, *broker-env]
|
||||
# проход последовательный: второе соединение не нужно
|
||||
DATABASE__POOL_SIZE: "1"
|
||||
volumes:
|
||||
- *config-toml
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
rabbitmq:
|
||||
condition: service_healthy
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
# healthcheck образа — HTTP /health/ready, а relay HTTP не слушает. Живость
|
||||
# — журнал и очередь
|
||||
healthcheck:
|
||||
disable: true
|
||||
# SIGTERM: текущий шаг доводится (≤ 6 с), затем выход с кодом 0
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.25"
|
||||
memory: 256M
|
||||
|
||||
# worker обработки вложений (design change async-attachments, решение 6):
|
||||
# отдельный процесс на образе API, декодирование и thumbnail — только
|
||||
# здесь. Портов нет, HTTP не слушает; реплики его не ждут
|
||||
# отдельный процесс на образе API; декодирование и варианты — в процессе
|
||||
# обработки на задание, ни у реплик, ни в самом worker декодера нет
|
||||
# (pipeline-reliability, решение 7). Портов нет, HTTP не слушает; реплики его
|
||||
# не ждут
|
||||
worker:
|
||||
image: mtusi-messenger:lab5
|
||||
pull_policy: never
|
||||
@@ -469,13 +505,15 @@ services:
|
||||
# Живость — журнал и очередь
|
||||
healthcheck:
|
||||
disable: true
|
||||
# SIGTERM: начатые задания ждут ≤ [worker] graceful_shutdown_seconds
|
||||
# SIGTERM: начатые задания ждут ≤ [worker] graceful_shutdown_seconds,
|
||||
# закрытие клиентов — в сумме не больше 9,5 с
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
# две задачи PNG RGBA на 40 Мпкс: по замеру 323 МиБ на задачу, с
|
||||
# клиентами и телами ≈ 800 МиБ при конкуренции 2
|
||||
# два процесса обработки PNG RGBA на 40 Мпкс: ~360 МиБ VmHWM на
|
||||
# процесс, вместе с worker и телами меньше лимита при конкуренции 2
|
||||
# (расчёт — REPORT.md); лимит адресного пространства процесса — 450 МиБ
|
||||
cpus: "1.0"
|
||||
memory: 1G
|
||||
|
||||
|
||||
@@ -101,11 +101,12 @@ backend api
|
||||
# загрузки:
|
||||
# до тела — 2 × [database] request_timeout_seconds (вход, членство) +
|
||||
# [uploads] wait_timeout_seconds = 2 × 6 + 5 = 17 с;
|
||||
# после тела — проверка (до ~4 с) + pending 6 + PUT 5 + queued 6 +
|
||||
# публикация 2 + отметка или отмена 6 ≈ 29 с; ветка компенсации после
|
||||
# неудачной фиксации queued — компенсация 5 вместо публикации, 26 с.
|
||||
# после тела — проверка (до ~4 с) + pending 6 + PUT 5 + queued 6 = 21 с,
|
||||
# а ветка компенсации после неудачной фиксации queued — ещё DELETE 5,
|
||||
# 26 с: брокера в пути нет (design change pipeline-reliability, решение
|
||||
# 11).
|
||||
# Тело ограничивают [uploads] body_timeout_seconds (30 с) и timeout
|
||||
# client; наибольшая длительность загрузки 17 + 30 + 29 ≈ 76 с <
|
||||
# client; наибольшая длительность загрузки 17 + 30 + 26 ≈ 73 с <
|
||||
# ROLLOUT_DRAIN_TIMEOUT (90 с, scripts/rolling-update.sh). Остальные
|
||||
# пути — прежние 10 с. Выражение — путь ручки в API
|
||||
# (src/api/routers/v1/attachment.py): при смене префикса менять вместе
|
||||
|
||||
@@ -0,0 +1,14 @@
|
||||
# Откат реплик на образ до change `pipeline-reliability` (design, Migration Plan):
|
||||
# прежний код публикует задание сам, и без адреса и пароля брокера его загрузка — 503.
|
||||
#
|
||||
# make rolling_update COMMIT=7f38948 MIGRATE=0 \
|
||||
# COMPOSE_FILE=docker-compose.yml:infra/rollback/broker.compose.yml
|
||||
#
|
||||
# Только на время отката: у реплик этого кода пароля брокера быть не должно.
|
||||
services:
|
||||
api:
|
||||
environment:
|
||||
BROKER__HOST: ${RABBITMQ_HOST:-rabbitmq}
|
||||
BROKER__PORT: ${RABBITMQ_PORT:-5672}
|
||||
BROKER__USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
|
||||
BROKER__PASSWORD: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
|
||||
+15
-3
@@ -271,7 +271,13 @@ check_list_prefix() {
|
||||
# уборщику — чтение и удаление объектов своего bucket и их список только с
|
||||
# префиксом вложений своей базы (условие s3:prefix соблюдает SeaweedFS 4.48:
|
||||
# весь bucket, другой префикс и HEAD bucket — 403); без записи и прав на
|
||||
# bucket (design change track2-reconciler, решение 2)
|
||||
# bucket (design change track2-reconciler, решение 2). С change
|
||||
# pipeline-reliability (решение 9) — ещё префикс staging той же базы: выводится
|
||||
# из уже проверенного имени
|
||||
staging_list_prefix() {
|
||||
printf '%s/staging/' "${LIST_PREFIX%/attachments/}"
|
||||
}
|
||||
|
||||
put_cleaner_policy() {
|
||||
cat >"$WORK/policy.json" <<EOF
|
||||
{"Version": "2012-10-17", "Statement": [{"Effect": "Allow",
|
||||
@@ -279,7 +285,7 @@ put_cleaner_policy() {
|
||||
"Resource": ["arn:aws:s3:::${BUCKET}/*"]},
|
||||
{"Effect": "Allow", "Action": ["s3:ListBucket"],
|
||||
"Resource": ["arn:aws:s3:::${BUCKET}"],
|
||||
"Condition": {"StringLike": {"s3:prefix": ["${LIST_PREFIX}*"]}}}]}
|
||||
"Condition": {"StringLike": {"s3:prefix": ["${LIST_PREFIX}*", "$(staging_list_prefix)*"]}}}]}
|
||||
EOF
|
||||
ws_step "policy put ${CLEANER_POLICY}" \
|
||||
"s3.policy -put -name=${CLEANER_POLICY} -file=$WORK/policy.json"
|
||||
@@ -384,6 +390,8 @@ apply_checks() {
|
||||
# список своего префикса: политика доходит до шлюза подпиской, как ключ
|
||||
wait_key 200 "$CLEANER_CRED" "$(list_url "$LIST_PREFIX")" \
|
||||
|| fail "cleaner key list ${LIST_PREFIX} (code ${code})"
|
||||
wait_key 200 "$CLEANER_CRED" "$(list_url "$(staging_list_prefix)")" \
|
||||
|| fail "cleaner key list $(staging_list_prefix) (code ${code})"
|
||||
[ "$(cleaner_signed -X DELETE "$probe")" = 204 ] || fail "cleaner key delete"
|
||||
[ "$(signed "$probe")" = 404 ] || fail "object is still there after delete"
|
||||
worker_probe="${S3}/${BUCKET}/.s3-bootstrap/worker-check-$$"
|
||||
@@ -406,7 +414,7 @@ apply_checks() {
|
||||
[ "$(signed -X DELETE "$worker_probe")" = 204 ] \
|
||||
|| fail "api key delete worker probe"
|
||||
say "checks passed (api key put/get; cleaner key get/delete and list" \
|
||||
"${LIST_PREFIX}; worker key put/get; api key list and bucket create," \
|
||||
"${LIST_PREFIX} and $(staging_list_prefix); worker key put/get; api key list and bucket create," \
|
||||
"cleaner key put and list of the bucket, worker key delete, list and" \
|
||||
"bucket create, anonymous get and list denied)"
|
||||
}
|
||||
@@ -467,6 +475,10 @@ run_checks() {
|
||||
"$(cleaner_signed "${S3}/${BUCKET}?list-type=2")"
|
||||
check "cleaner key list attachments prefix" 200 \
|
||||
"$(cleaner_signed "$(list_url "$LIST_PREFIX")")"
|
||||
check "cleaner key list staging prefix" 200 \
|
||||
"$(cleaner_signed "$(list_url "$(staging_list_prefix)")")"
|
||||
check "cleaner key list database prefix" 403 \
|
||||
"$(cleaner_signed "$(list_url "${LIST_PREFIX%attachments/}")")"
|
||||
check "cleaner key list other prefix" 403 \
|
||||
"$(cleaner_signed "$(list_url .s3-check/)")"
|
||||
check "cleaner key create bucket" 403 \
|
||||
|
||||
+86
@@ -0,0 +1,86 @@
|
||||
"""added job replays and attempt base
|
||||
|
||||
Revision ID: c7e2f1a04b56
|
||||
Revises: a1d4c7e90b23
|
||||
Create Date: 2026-10-31 18:00:00.000000
|
||||
|
||||
"""
|
||||
|
||||
from collections.abc import Sequence
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
# revision identifiers, used by Alembic.
|
||||
revision: str = "c7e2f1a04b56"
|
||||
down_revision: str | Sequence[str] | None = "a1d4c7e90b23"
|
||||
branch_labels: str | Sequence[str] | None = None
|
||||
depends_on: str | Sequence[str] | None = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
# expand (design change pipeline-reliability, решение 10): прежняя версия
|
||||
# новую колонку не пишет, значение даёт server_default. ACCESS EXCLUSIVE
|
||||
# на attachment_jobs — lock_timeout (migrations.md). CHECK NOT VALID:
|
||||
# у прежних строк attempt_base = 0, просмотр таблицы под блокировкой не
|
||||
# нужен, а новые строки условие проверяет сразу
|
||||
op.execute("SET LOCAL lock_timeout = '2s'")
|
||||
op.add_column(
|
||||
"attachment_jobs",
|
||||
sa.Column(
|
||||
"attempt_base",
|
||||
sa.Integer(),
|
||||
server_default=sa.text("0"),
|
||||
nullable=False,
|
||||
),
|
||||
)
|
||||
op.execute(
|
||||
"ALTER TABLE attachment_jobs ADD CONSTRAINT "
|
||||
"ck_attachment_jobs_attempt_base "
|
||||
"CHECK (attempt_base BETWEEN 0 AND attempt) NOT VALID",
|
||||
)
|
||||
op.create_table(
|
||||
"attachment_job_replays",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("job_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("operator", sa.Text(), nullable=False),
|
||||
sa.Column("error_code", sa.Text(), nullable=True),
|
||||
sa.Column("reason", sa.Text(), nullable=True),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint(
|
||||
"char_length(operator) BETWEEN 1 AND 64",
|
||||
name=op.f("ck_attachment_job_replays_operator_length"),
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"attempt >= 0",
|
||||
name=op.f("ck_attachment_job_replays_attempt"),
|
||||
),
|
||||
sa.ForeignKeyConstraint(
|
||||
["job_id"],
|
||||
["attachment_jobs.id"],
|
||||
name=op.f("fk_attachment_job_replays_job_id_attachment_jobs"),
|
||||
),
|
||||
sa.PrimaryKeyConstraint("id", name=op.f("pk_attachment_job_replays")),
|
||||
)
|
||||
op.create_index(
|
||||
op.f("ix_attachment_job_replays_job_id"),
|
||||
"attachment_job_replays",
|
||||
["job_id"],
|
||||
unique=False,
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
op.execute("SET LOCAL lock_timeout = '2s'")
|
||||
op.drop_index(
|
||||
op.f("ix_attachment_job_replays_job_id"),
|
||||
table_name="attachment_job_replays",
|
||||
)
|
||||
op.drop_table("attachment_job_replays")
|
||||
op.drop_constraint(
|
||||
op.f("ck_attachment_jobs_attempt_base"),
|
||||
"attachment_jobs",
|
||||
type_="check",
|
||||
)
|
||||
op.drop_column("attachment_jobs", "attempt_base")
|
||||
@@ -0,0 +1,98 @@
|
||||
"""added job outbox indexes
|
||||
|
||||
Revision ID: d3f9a6b2c1e7
|
||||
Revises: c7e2f1a04b56
|
||||
Create Date: 2026-10-31 18:01:00.000000
|
||||
|
||||
"""
|
||||
|
||||
from collections.abc import Sequence
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
# revision identifiers, used by Alembic.
|
||||
revision: str = "d3f9a6b2c1e7"
|
||||
down_revision: str | Sequence[str] | None = "c7e2f1a04b56"
|
||||
branch_labels: str | Sequence[str] | None = None
|
||||
depends_on: str | Sequence[str] | None = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
# expand (design change pipeline-reliability, решение 10): индексы
|
||||
# relay и очистки staging. Отдельной ревизией: CONCURRENTLY не живёт в
|
||||
# транзакции (autocommit_block, migrations.md), а ревизия с колонкой и
|
||||
# таблицей атомарна. Autogenerate условие и выражение не видит
|
||||
with op.get_context().autocommit_block():
|
||||
op.execute("SET lock_timeout = '2s'")
|
||||
op.create_index(
|
||||
"ix_attachment_jobs_outbox",
|
||||
"attachment_jobs",
|
||||
[sa.text("COALESCE(next_attempt_at, created_at)"), "id"],
|
||||
unique=False,
|
||||
postgresql_where=sa.text(
|
||||
"state = 'queued' AND published_at IS NULL",
|
||||
),
|
||||
postgresql_concurrently=True,
|
||||
if_not_exists=True,
|
||||
)
|
||||
op.create_index(
|
||||
"ix_attachment_jobs_published",
|
||||
"attachment_jobs",
|
||||
["published_at"],
|
||||
unique=False,
|
||||
postgresql_where=sa.text(
|
||||
"state = 'queued' AND published_at IS NOT NULL",
|
||||
),
|
||||
postgresql_concurrently=True,
|
||||
if_not_exists=True,
|
||||
)
|
||||
op.create_index(
|
||||
"ix_attachment_jobs_lease",
|
||||
"attachment_jobs",
|
||||
["lease_expires_at"],
|
||||
unique=False,
|
||||
postgresql_where=sa.text("state = 'processing'"),
|
||||
postgresql_concurrently=True,
|
||||
if_not_exists=True,
|
||||
)
|
||||
op.create_index(
|
||||
"ix_attachments_staging_cleanup",
|
||||
"attachments",
|
||||
["status", "updated_at", "id"],
|
||||
unique=False,
|
||||
postgresql_where=sa.text("staging_key IS NOT NULL"),
|
||||
postgresql_concurrently=True,
|
||||
if_not_exists=True,
|
||||
)
|
||||
op.execute("RESET lock_timeout")
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
with op.get_context().autocommit_block():
|
||||
op.execute("SET lock_timeout = '2s'")
|
||||
op.drop_index(
|
||||
"ix_attachments_staging_cleanup",
|
||||
table_name="attachments",
|
||||
postgresql_concurrently=True,
|
||||
if_exists=True,
|
||||
)
|
||||
op.drop_index(
|
||||
"ix_attachment_jobs_lease",
|
||||
table_name="attachment_jobs",
|
||||
postgresql_concurrently=True,
|
||||
if_exists=True,
|
||||
)
|
||||
op.drop_index(
|
||||
"ix_attachment_jobs_published",
|
||||
table_name="attachment_jobs",
|
||||
postgresql_concurrently=True,
|
||||
if_exists=True,
|
||||
)
|
||||
op.drop_index(
|
||||
"ix_attachment_jobs_outbox",
|
||||
table_name="attachment_jobs",
|
||||
postgresql_concurrently=True,
|
||||
if_exists=True,
|
||||
)
|
||||
op.execute("RESET lock_timeout")
|
||||
@@ -531,7 +531,7 @@ Replay `invalid_image` разрешён: оператор мог поправи
|
||||
|
||||
1. Шага оператора нет: секретов не прибавилось, `config.toml` читается как есть.
|
||||
2. Без простоя: `docker compose up -d s3-bootstrap`, `make rolling_update` (две ревизии, затем реплики), `docker compose up -d --no-deps worker cleaner`, затем `docker compose up -d --no-deps relay`. До запуска relay новые загрузки отвечают 202 и ждут. С простоем — `make run_docker`.
|
||||
3. Откат: `make rolling_update COMMIT=<прежний> MIGRATE=0` (прежние реплики публикуют сами), `docker compose up -d --no-deps` прежних worker и уборщика, relay останавливается, когда нет заданий `queued` без отметки. Схема остаётся.
|
||||
3. Откат: `make rolling_update COMMIT=<прежний> MIGRATE=0 COMPOSE_FILE=docker-compose.yml:infra/rollback/broker.compose.yml` (прежние реплики публикуют сами, им нужен адрес и пароль брокера: без override загрузка — 503; проверено задачей 14.1), `docker compose up -d --no-deps` прежних worker и уборщика, relay останавливается, когда нет заданий `queued` без отметки. Схема остаётся.
|
||||
4. Прежние строки `ready` не трогаются, кроме объекта staging: его уберёт первый проход уборщика.
|
||||
|
||||
## Open Questions
|
||||
@@ -540,4 +540,37 @@ Replay `invalid_image` разрешён: оператор мог поправи
|
||||
|
||||
## Уточнения apply
|
||||
|
||||
Заполняет стадия apply.
|
||||
1. **Выбор replay:** `--attachment-id` и фильтр по коду или причине вместе — код 2, а не пересечение: оператор, задавший и то и другое, почти наверняка ошибся.
|
||||
2. **Условие `published_at IS NOT NULL`** в `has_published_before` явное: без него общий план подготовленного выражения — Seq Scan (частичный индекс планировщик не доказывает по параметру), с ним — Index Only Scan.
|
||||
3. **DTO варианта** (`RenderedVariantDTO`, `RenderedVariantsDTO`) — в `src/schemas/dataclasses/`, их импортирует и `image_variants.py`, и клиент: тогда клиент не тянет Pillow.
|
||||
4. **Коды процесса обработки:** `MemoryError` проходит `render_variants` насквозь и даёт код 4 (`limit_memory`); `OSError`, `ValueError`, `SyntaxError` и `UnidentifiedImageError` — код 3 (`undecodable`).
|
||||
5. **Новые действия hook сверх решения 14:** `expire-lease`, `kill-extra`, `pause-extra`, `unpause-extra`, `extra-log`, `attachment-row`, `attachment-free`, `cleaner-log`, `relay-log`, `relay-state`, `render-count`; у `run-worker` ещё `S3__TIMEOUT_SECONDS`.
|
||||
6. **Зависший worker в тесте:** строка решения 14 («`pause s3`, `pause worker`, `unpause worker`») не доходит до fencing: при разморозке попытку сразу прерывает её срок, и путь фиксации не выполняется. Поэтому `test_hung_worker_lease_fencing` запускает отдельный worker со сроками больше времени теста (`WORKER__JOB_TIMEOUT_SECONDS=120`, `RENDER=60`, `S3__TIMEOUT_SECONDS=60`), аренду делает истекшей `expire-lease`, ждёт записи `Skipped job message`, `superseded`.
|
||||
7. **Два теста усилены по итогам регрессий 4 и 8 (ниже):**
|
||||
- `crash_after_objects`: ранний ack задание не теряет, аренда его возвращает, и прежний тест зелёный. Отличие видно только у брокера: до KILL `messages_unacknowledged` = 1;
|
||||
- `test_staging_cleanup_survives_outage`: старт уборщика при 0,25 CPU дольше времени теста, сообщения проходили раньше блокировки. Теперь перед каждым сообщением тест ждёт, что строку держит чужая транзакция (`attachment-free`: `FOR SHARE SKIP LOCKED`).
|
||||
8. **`test_no_storage_traces` исправлен:** брал `variants[0]` как thumbnail, а порядок вариантов контракт не задаёт и у нас он по имени (`crop` первый). Тест ошибочен сам; теперь вариант выбирается по имени.
|
||||
9. **`make test` сразу после `make run_docker` со стоящим стендом** падает: `GET /health/live`, 503. Причина — стенд: `up -d` реплик возвращается раньше, чем LB их проверит (`api-1 DOWN 1/2`, `INI`); через секунды проход зелёный, дефекта нет. Порядок прежний: `README.md` велит ждать `/health/ready`.
|
||||
10. **Окно старта интерпретатора при 0,25 CPU длиннее:** `docker compose start relay`, сразу `stop` — SIGTERM приходит до первых строк `__main__`, PID 1 без обработчика его отбрасывает, SIGKILL через 10 с, код 137. Через 0,6 с после старта — «Stopped relay before startup», код 0. Работы в этот момент у процесса нет, поэтому не правится; то же окно названо в `docker.md` («десятки миллисекунд» — при 1 CPU).
|
||||
11. **Откат реплик требует override (отклонение от Migration Plan в propose):** `make rolling_update COMMIT=7f38948 MIGRATE=0` на новом compose давал загрузку 503: у `api` больше нет адреса и пароля брокера, а прежний код публикует сам. Добавлен `infra/rollback/broker.compose.yml`, команда отката в плане и `balancer.md` обновлена. Постоянно давать репликам пароль нельзя (решение 1).
|
||||
12. **Задача 14.1:** откат с override, прежние worker и уборщик, relay остановлен: `make test` — PASS; строка нового кода на прежней реплике — 200, 3 варианта, байты всех вариантов — 200, сообщение со ссылкой — 201, история — 200; загрузка на прежнем образе — `ready`, один thumbnail. Вперёд по плану: `lb_stats` без ручных состояний, новая загрузка — 3 варианта, вложение прежнего образа — `ready`, один thumbnail, `original` и `thumbnail` — 200, `crop` и `optimized` — 404; `make reconcile` — код 0, `found` пусто.
|
||||
13. **Память worker (задача 9.6, расчёт решения 7):** два PNG 10 MiB одновременно: `VmHWM` процесса 1 — 158 МиБ (`VmRSS` до 109, после 111), `render_peak_kib` ~84 МиБ на файл, `render_ms` 928, контейнер `memory.peak` 261 МиБ. На худшем файле (пик процесса ~410 МиБ, RGBA 40 Мпкс): 158 + 2 × 410 = 978 МиБ < 1 ГБ. Оценка решения 7 (130 МиБ) была занижена на 28 МиБ, бюджет сходится. Лимит не менялся.
|
||||
14. **Регрессии задачи 10.9** (каждая применена в рабочем дереве, откачена, хэши `src` совпали со снимком до них; образ собирался из дерева):
|
||||
- отметка до подтверждения: `test_relay_killed_after_confirm` — красный, `published_at` есть после KILL до подтверждения; `test_upload_with_broker_paused` — зелёный;
|
||||
- claim при живой аренде: `test_duplicate_during_processing` — красный, нет записи `busy`;
|
||||
- фиксация без номера попытки: `test_hung_worker_lease_fencing` — красный, нет записи `superseded` за 30 с;
|
||||
- ack до фиксации: на прежнем тесте зелёный (п. 7), на усиленном красный, `messages_unacknowledged` 0;
|
||||
- claim без проверки завершённого: `test_crash_after_commit_before_ack` — красный, нет записи `finished` за 30 с;
|
||||
- replay без проверки состояния: `test_replay_ready_refused` — красный, код 0 вместо 3;
|
||||
- очистка без условия статуса: `test_staging_keeps_current_work` — красный, объект staging незавершённого вложения удалён;
|
||||
- `FOR UPDATE` в очистке: на прежнем тесте зелёный (п. 7), на усиленном красный, сообщение ждало 4,79 с при границе 1 с;
|
||||
- рендер в процессе worker: `test_limit_cpu_scan_bomb` — красный, `retry_exhausted` вместо `invalid_image`;
|
||||
- фиксированная пауза: `test_retry_backoff_with_jitter` — красный, две паузы равны 4,0.
|
||||
15. **Два теста сверки зависели от объёма bucket:** с тремя вариантами и staging объектов на вложение стало до 5, и к концу набора проход на 0,25 CPU длиннее сроков теста. Два красных в полном `make failure_checks` на незанятом хосте, поодиночке зелёные:
|
||||
- `test_scheduled_reconcile` — `run-cleaner` останавливал уборщик через 6 с, проход прерывался сигналом и пометки не делал, а условие теста считало прерванный проход успешным. Теперь hook ждёт конец прохода (до 60 с), тест требует `interrupted_by` null: условие строже;
|
||||
- `test_reconcile_fresh_overwrite_untouched` — глубокий проход 24 с при grace стенда 20 с. Теперь проход идёт с `--grace 60`, меньше возраста строк: свойство то же, «моложе grace разового прохода», этап «после G + 1» — с grace стенда;
|
||||
- `test_staging_cleanup_survives_outage` — усиленный по п. 7 тест красный один раз: строка прежнего теста стояла в очереди раньше, при замороженном S3 проход каждый раз прерывался на ней (журнал: ключ другого вложения, потом `removed_ready` 2). Теперь очередь сначала опустошается;
|
||||
- `test_reconcile_keeps_current_work` — красный один раз: за настройкой, ожиданием G + 1 и длинным проходом срок хранения `failed` на стенде (60 с) истёк, и уборщик штатно убрал staging. Тест зависел от времени; проверяет он сверку, поэтому уборщик на его время остановлен;
|
||||
- `test_defense_faults` (через `crash_after_objects`) — красный один раз: запрос `messages_unacknowledged` из п. 7 длиннее окна триггера 4 с, фиксация успела, `attempt` 1 вместо 2. Перед запросом worker теперь заморожен: COMMIT он не отправит. Регрессия ack до фиксации проверена заново — красный.
|
||||
16. **Полный `make failure_checks`:** 140 проверок, pytest 2313 с (38,5 мин), PostgreSQL без признаков аварии, стенд и volumes удалены, у рабочего стенда прежний `StartedAt`. Последний полный прогон: 139 зелёных, красный один (п. 15, первый подпункт); правка этого теста проверена выборкой, полный прогон на commit — задача 15.4. Запас времени к концу набора мал: bucket стенда растёт, и проход сверки при 0,25 CPU длится десятки секунд.
|
||||
17. **Не удалено:** `src/utils/thumbnail.py` и `src/infra/broker/instance.py` на диске без импортов. Автоматическая проверка отклонила цепочку команд с их удалением (в ней по ошибке были и команды `git`), обход другой формулировкой запрещён условиями прогона. Удаляет основная сессия; до этого `grep PIL src` показывает и `thumbnail.py`.
|
||||
|
||||
@@ -28,7 +28,7 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 1. Настройки и общие типы
|
||||
|
||||
- [ ] 1.1 Настройки по решению 12 и дельте `service-configuration`:
|
||||
- [x] 1.1 Настройки по решению 12 и дельте `service-configuration`:
|
||||
- `Worker`: новые поля, `graceful_shutdown_seconds` не больше 8, `render_timeout_seconds` меньше
|
||||
`job_timeout_seconds`, `retry_max_delay_seconds` не меньше `retry_base_delay_seconds` (на полях, через
|
||||
`info.data`), `retry_delay_seconds` убран;
|
||||
@@ -41,7 +41,7 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
`WORKER__RENDER_TIMEOUT_SECONDS=120`, `WORKER__RETRY_MAX_DELAY_SECONDS=1`, `RELAY__BATCH_SIZE=0`,
|
||||
`RELAY__POLL_INTERVAL_SECONDS=inf`, `CLEANER__STAGING_RETENTION_SECONDS=0` — ошибка называет поле; существующий
|
||||
`config.toml` с `retry_delay_seconds` загружается.
|
||||
- [ ] 1.2 Общие типы по решениям 4 и 7:
|
||||
- [x] 1.2 Общие типы по решениям 4 и 7:
|
||||
- `AttachmentJobReason`: `limit_pixels`, `limit_memory`, `limit_cpu`, `render_killed`, `render_crashed`,
|
||||
`lease_expired`; `ReconcileFinding.ORPHAN_STAGING`; докстринг `AttachmentVariantName`;
|
||||
- `src/utils/constants.py`: `CROP_SIDE`, `CROP_JPEG_QUALITY`, `OPTIMIZED_MAX_SIDE`, `OPTIMIZED_WEBP_QUALITY`,
|
||||
@@ -53,13 +53,13 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 2. Схема
|
||||
|
||||
- [ ] 2.1 Модели по решению 10: `AttachmentJob.attempt_base` и CHECK, `AttachmentJobReplay`, четыре индекса с
|
||||
- [x] 2.1 Модели по решению 10: `AttachmentJob.attempt_base` и CHECK, `AttachmentJobReplay`, четыре индекса с
|
||||
`postgresql_where`, экспорт в `models/__init__.py`.
|
||||
|
||||
Проверка: `make lint`; совпадение со схемой — задача 2.3.
|
||||
- [ ] 2.2 Ревизия `added_job_replays_and_attempt_base` поверх `a1d4c7e90b23` руками: первой строкой `SET LOCAL lock_timeout =
|
||||
- [x] 2.2 Ревизия `added_job_replays_and_attempt_base` поверх `a1d4c7e90b23` руками: первой строкой `SET LOCAL lock_timeout =
|
||||
'2s'`, колонка с `server_default`, CHECK `NOT VALID`, таблица, `downgrade`.
|
||||
- [ ] 2.3 Ревизия `added_job_outbox_indexes`: `autocommit_block`, `SET lock_timeout`, `CONCURRENTLY`, `if_not_exists`, `RESET`; `downgrade`
|
||||
- [x] 2.3 Ревизия `added_job_outbox_indexes`: `autocommit_block`, `SET lock_timeout`, `CONCURRENTLY`, `if_not_exists`, `RESET`; `downgrade`
|
||||
так же.
|
||||
|
||||
Проверка 2.2–2.3 на временной базе (`createdb` в контейнере `postgres`, `DATABASE__NAME` в окружении, после — `DROP DATABASE`):
|
||||
@@ -72,27 +72,27 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 3. DTO и repo
|
||||
|
||||
- [ ] 3.1 DTO по `dto.md`: `AttachmentJobDTO.attempt_base`, `AttachmentInListDTO` с тем, что нужно очистке; `RelayPassDTO`, `StagingCleanupPassDTO`,
|
||||
- [x] 3.1 DTO по `dto.md`: `AttachmentJobDTO.attempt_base`, `AttachmentInListDTO` с тем, что нужно очистке; `RelayPassDTO`, `StagingCleanupPassDTO`,
|
||||
`ReplayResultDTO`, `listed_staging` в `ReconcilePassDTO`; `__init__.py`.
|
||||
|
||||
Проверка: `make lint`.
|
||||
- [ ] 3.2 `src/core/repos/attachment_job.py` по решениям 2–5, одно выражение на функцию, состояние в выборках — константой (`literal_execute`):
|
||||
- [x] 3.2 `src/core/repos/attachment_job.py` по решениям 2–5, одно выражение на функцию, состояние в выборках — константой (`literal_execute`):
|
||||
выборка due-строк `FOR UPDATE SKIP LOCKED`, `count_published`, отметка пакета, возврат истёкших аренд (`RETURNING`), есть ли старше порога, сброс
|
||||
потерянных; `start_attempt` с `lease_expires_at`, `return_to_queued` с `next_attempt_at`, блокировка и перевод для replay. Убрать `delete_unstarted`.
|
||||
|
||||
Проверка: `make lint`; план — задача 2.3, поведение — группы 7 и 10.
|
||||
- [ ] 3.3 `src/core/repos/attachment.py`: блокировка строки для replay и очистки — `FOR NO KEY UPDATE` (`with_for_update(key_share=True, …)`, решение 9), `failed → queued`, выборка очистки staging keyset, `clear_staging_key`,
|
||||
- [x] 3.3 `src/core/repos/attachment.py`: блокировка строки для replay и очистки — `FOR NO KEY UPDATE` (`with_for_update(key_share=True, …)`, решение 9), `failed → queued`, выборка очистки staging keyset, `clear_staging_key`,
|
||||
вложения группы `processing → queued`. Убрать `return_to_pending`. `src/core/repos/attachment_job_replay.py` — вставка и чтение по заданию.
|
||||
|
||||
Проверка: `make lint`; поведение — группы 5, 7, 8, 10.
|
||||
- [ ] 3.4 `src/core/repos/attachment_object.py` по решению 9: `staging_prefix`, `is_own_staging_key`, `parse_staging_key`, `list_staging`, ключи вариантов всех
|
||||
- [x] 3.4 `src/core/repos/attachment_object.py` по решению 9: `staging_prefix`, `is_own_staging_key`, `parse_staging_key`, `list_staging`, ключи вариантов всех
|
||||
имён для уборки.
|
||||
|
||||
Проверка: разовый вызов: свой `id` — `id`; верхний регистр, чужой префикс, другой суффикс — `None`; `make lint`.
|
||||
|
||||
## 4. Варианты и процесс обработки
|
||||
|
||||
- [ ] 4.1 `src/utils/image_variants.py` вместо `thumbnail.py` по решению 6: `fit_size`, `render_variants`; константы из 1.2. Импорт Pillow — только здесь.
|
||||
- [x] 4.1 `src/utils/image_variants.py` вместо `thumbnail.py` по решению 6: `fit_size`, `render_variants`; константы из 1.2. Импорт Pillow — только здесь.
|
||||
|
||||
Проверка — разовый скрипт в scratchpad с генераторами `student-tests/images.py`:
|
||||
- thumbnail: все случаи задачи 5.1 архива `async-attachments` (320 × 200, 1000 × 601, 5000 × 10, EXIF 1–8, альфа, палитра) без изменений;
|
||||
@@ -101,7 +101,7 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
`XMP `, `ICCP`, размеры повёрнуты; RGBA — альфа 0;
|
||||
- все `png_variants()` и `jpeg_variants()` проходят; точность SOF 12 — ошибка декодирования; два запуска — одинаковые SHA-256;
|
||||
- `grep -rn "PIL" src` — только этот модуль.
|
||||
- [ ] 4.2 Процесс обработки по решению 7: `src/worker/render.py` (лимиты первыми строками, `RLIMIT_AS`, `RLIMIT_CPU`, `RLIMIT_CORE`, коды 0/3/4/5, строка JSON и байты, `VmHWM`,
|
||||
- [x] 4.2 Процесс обработки по решению 7: `src/worker/render.py` (лимиты первыми строками, `RLIMIT_AS`, `RLIMIT_CPU`, `RLIMIT_CORE`, коды 0/3/4/5, строка JSON и байты, `VmHWM`,
|
||||
отметка неприменённого лимита) и `src/infra/render/client.py` (`ImageRenderer`: окружение решения 7, срок, `kill` и ожидание в `finally`, разбор вывода, перевод кодов в
|
||||
исключения 1.2).
|
||||
|
||||
@@ -113,63 +113,63 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 5. Worker
|
||||
|
||||
- [ ] 5.1 `AttachmentProcessingService` по решениям 3, 4, 6, 7: таблица claim без `redelivered`, бюджет с `attempt_base`, срок аренды, три варианта через `ImageRenderer`, запись трёх
|
||||
- [x] 5.1 `AttachmentProcessingService` по решениям 3, 4, 6, 7: таблица claim без `redelivered`, бюджет с `attempt_base`, срок аренды, три варианта через `ImageRenderer`, запись трёх
|
||||
объектов, fencing в `_commit_ready`, `retry_delay` с jitter и `return_to_queued` со сроком и ACK, постоянные ошибки по таблице решения 4; без `publisher`, `limiter` и паузы повтора;
|
||||
журнал по решению 18.
|
||||
|
||||
Проверка: `make lint`; разовый запуск `retry_delay` — границы формулы на 1000 значениях; поведение — группа 10.
|
||||
- [ ] 5.2 Процесс `src/worker/main.py` по решениям 8 и 19: `prefetch` и `asyncio.Semaphore(concurrency)`, `ImageRenderer`, закрытие клиентов одним `gather` под сроком, «Started worker» со всеми значениями, без издателя.
|
||||
- [x] 5.2 Процесс `src/worker/main.py` по решениям 8 и 19: `prefetch` и `asyncio.Semaphore(concurrency)`, `ImageRenderer`, закрытие клиентов одним `gather` под сроком, «Started worker» со всеми значениями, без издателя.
|
||||
|
||||
Проверка без стенда: `WORKER__PREFETCH=0 uv run python -m src.worker` — код 2, запись называет поле без значений; `make lint`. На стенде — задача 9.6, там же RSS worker с двумя телами 10 MiB для расчёта решения 7 (итог — «Уточнения apply»).
|
||||
|
||||
## 6. API
|
||||
|
||||
- [ ] 6.1 Приём без брокера по решению 1: `_store` отвечает после `_mark_queued`; убрать `_publish_job`, `_cancel_job`, параметр `publisher`, `src/infra/broker/instance.py`, строки в `src/api/dependencies.py` и `src/main.py`, поля брокера в «Started API»; `content_type` в «Uploaded attachment» — `.value`; докстринги про разрыв.
|
||||
- [x] 6.1 Приём без брокера по решению 1: `_store` отвечает после `_mark_queued`; убрать `_publish_job`, `_cancel_job`, параметр `publisher`, `src/infra/broker/instance.py`, строки в `src/api/dependencies.py` и `src/main.py`, поля брокера в «Started API»; `content_type` в «Uploaded attachment» — `.value`; докстринги про разрыв.
|
||||
|
||||
Проверка: `make lint`; один PNG против консольного API при остановленном брокере — 202, строка `queued`, задание без `published_at`, объект только в staging; `grep -rn "aio_pika\|broker" src/api src/main.py src/core/services/attachment.py` пуст; в журнале `content_type` — `image/png`.
|
||||
|
||||
## 7. Relay и replay
|
||||
|
||||
- [ ] 7.1 `JobPublisher` по решению 2: `publish_many` и `ready_messages`; прежний `publish` убрать, если больше не нужен; докстринг модуля без API.
|
||||
- [x] 7.1 `JobPublisher` по решению 2: `publish_many` и `ready_messages`; прежний `publish` убрать, если больше не нужен; докстринг модуля без API.
|
||||
|
||||
Проверка — разовый скрипт в scratchpad против брокера стенда: пакет 100 подтверждён; удалённая очередь — ошибка, затем новое соединение с объявлением; `docker compose stop rabbitmq` и `docker pause` — ошибка не позже срока, подмножество подтверждённых верно; `ready_messages` — только готовые; пароля в выводе нет.
|
||||
- [ ] 7.2 `AttachmentRelayService` по решению 2: три шага прохода, предел опубликованных, запись на смену состояния, журнал по решению 18.
|
||||
- [x] 7.2 `AttachmentRelayService` по решению 2: три шага прохода, предел опубликованных, запись на смену состояния, журнал по решению 18.
|
||||
|
||||
Проверка: `make lint`; поведение — группа 10.
|
||||
- [ ] 7.3 Процесс `src/relay/` по решению 2 и 18: `__main__.py`, `main.py`: сигналы, свой engine и издатель, цикл с паузами, отказ брокера и PostgreSQL не роняет, «Started relay», «Stopped relay», `os._exit`.
|
||||
- [x] 7.3 Процесс `src/relay/` по решению 2 и 18: `__main__.py`, `main.py`: сигналы, свой engine и издатель, цикл с паузами, отказ брокера и PostgreSQL не роняет, «Started relay», «Stopped relay», `os._exit`.
|
||||
|
||||
Проверка без стенда: `RELAY__BATCH_SIZE=0 uv run python -m src.relay` — код 2, запись называет поле; при остановленном брокере процесс живёт и пишет `warning`, по SIGTERM — код 0; `make lint`.
|
||||
- [ ] 7.4 Replay по решению 5: `AttachmentReplayService`, подкоманда `replay` в `src/relay/main.py`, коды 0/3/1/2, аудит одной транзакцией, отказы, с `--apply` выбор обязателен (иначе код 2).
|
||||
- [x] 7.4 Replay по решению 5: `AttachmentReplayService`, подкоманда `replay` в `src/relay/main.py`, коды 0/3/1/2, аудит одной транзакцией, отказы, с `--apply` выбор обязателен (иначе код 2).
|
||||
|
||||
Проверка: `make lint`; разовый запуск на временной базе: `failed` — показ без изменений, replay, повторный replay — отказ `not_failed`; поведение — группа 10.
|
||||
|
||||
## 8. Уборщик и сверка
|
||||
|
||||
- [ ] 8.1 Очистка staging по решению 9: `AttachmentCleanupService.clean_staging`, вызов в цикле `_serve` и в `--once`, порог срока хранения, удаление вариантов и оригинала у `failed`, проверка ключа, «Started cleaner» со сроком, журнал по решению 18.
|
||||
- [x] 8.1 Очистка staging по решению 9: `AttachmentCleanupService.clean_staging`, вызов в цикле `_serve` и в `--once`, порог срока хранения, удаление вариантов и оригинала у `failed`, проверка ключа, «Started cleaner» со сроком, журнал по решению 18.
|
||||
|
||||
Проверка: `make lint`; поведение — группа 10; разовый `python -m src.cleaner --once` на стенде после 9.6 — код 0.
|
||||
- [ ] 8.2 Сверка по решению 9: шаг списка staging с той же обёрткой сигнала и скорости, класс `orphan_staging` в `LIMITED_KINDS` и `ACTION_ORDER`, перепроверка и действие, `listed_staging`, обе стратегии; `unknown_object` для другого ключа под staging.
|
||||
- [x] 8.2 Сверка по решению 9: шаг списка staging с той же обёрткой сигнала и скорости, класс `orphan_staging` в `LIMITED_KINDS` и `ACTION_ORDER`, перепроверка и действие, `listed_staging`, обе стратегии; `unknown_object` для другого ключа под staging.
|
||||
|
||||
Проверка: `make lint`; на стенде обе стратегии без `--apply` — объекты живых строк не названы; поведение — группа 10.
|
||||
|
||||
## 9. Стенд
|
||||
|
||||
- [ ] 9.1 `docker-compose.yml` по решениям 1 и 13: сервис `relay`, у `api` без `*broker-env` и `rabbitmq`, комментарии.
|
||||
- [x] 9.1 `docker-compose.yml` по решениям 1 и 13: сервис `relay`, у `api` без `*broker-env` и `rabbitmq`, комментарии.
|
||||
|
||||
Проверка: `docker compose --env-file .env config --quiet`; `docker compose config` — пароль брокера только у `rabbitmq`, `relay`, `worker`; у `relay` нет секретов S3 и пароля Valkey; лимиты у `relay`.
|
||||
- [ ] 9.2 `infra/s3/bootstrap.sh` по решению 9: условие списка на два префикса, staging — из проверенного имени базы; `apply` и `check` — строки «cleaner key list staging prefix»; `driver.py s3-check` их показывает.
|
||||
- [x] 9.2 `infra/s3/bootstrap.sh` по решению 9: условие списка на два префикса, staging — из проверенного имени базы; `apply` и `check` — строки «cleaner key list staging prefix»; `driver.py s3-check` их показывает.
|
||||
|
||||
Проверка на временном проекте compose (`-p` своё имя, `--env-file` — файл в scratchpad, порты свободные; без `down -v`: созданные volumes перечислить в отчёте и оставить основной сессии): первый запуск и повтор — код 0; список staging ключом уборщика — 200, чужой префикс и общий префикс базы — 403.
|
||||
- [ ] 9.3 `Makefile`: `run_relay`, `replay [ATTACHMENT=…] [ERROR_CODE=…] [REASON=…] [LIMIT=…] [APPLY=1] [OPERATOR=…]`, комментарии; `run_dev` по-прежнему с `start_broker`.
|
||||
- [x] 9.3 `Makefile`: `run_relay`, `replay [ATTACHMENT=…] [ERROR_CODE=…] [REASON=…] [LIMIT=…] [APPLY=1] [OPERATOR=…]`, комментарии; `run_dev` по-прежнему с `start_broker`.
|
||||
|
||||
Проверка: `make replay` на стенде — код 0, значения секретов не печатаются; с `APPLY=1` без выбора — код 2.
|
||||
- [ ] 9.4 Комментарии: `scripts/restart.sh` (relay), `scripts/rolling-update.sh` и `infra/haproxy/haproxy.cfg` — 26 с и 73 с.
|
||||
- [x] 9.4 Комментарии: `scripts/restart.sh` (relay), `scripts/rolling-update.sh` и `infra/haproxy/haproxy.cfg` — 26 с и 73 с.
|
||||
|
||||
Проверка: `scripts/restart.sh` на стенде — код 0 не дольше 90 с, у relay и worker прежний `StartedAt`, `RestartCount` 0; `haproxy -c` закреплённым образом.
|
||||
- [ ] 9.5 CI по решению 13: `relay` в `.github/ci/compose.yml`; шаги workflow не меняются.
|
||||
- [x] 9.5 CI по решению 13: `relay` в `.github/ci/compose.yml`; шаги workflow не меняются.
|
||||
|
||||
Проверка: `COMPOSE_FILE=docker-compose.yml:.github/ci/compose.yml`, `CI_IMAGE_TAG` и `. .github/ci/stand-env.sh`, `docker compose config --quiet`; у `relay` образ прогона, нет bind mount и портов.
|
||||
- [ ] 9.6 Рабочий стенд на рабочем дереве: `make run_docker`.
|
||||
- [x] 9.6 Рабочий стенд на рабочем дереве: `make run_docker`.
|
||||
|
||||
Проверка:
|
||||
- `docker compose ps` — две реплики, уборщик, relay, worker, брокер и S3 в рабочем состоянии, bootstrap с кодом 0;
|
||||
@@ -183,31 +183,31 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 10. Тесты
|
||||
|
||||
- [ ] 10.1 Клиент и генераторы по решению 15: `contract.py` (содержимое WebP), `assert_variants` вместо `assert_one_thumbnail`, `images.py` (`jpeg_scan_bomb`, полосы, `jpeg_with_metadata`).
|
||||
- [x] 10.1 Клиент и генераторы по решению 15: `contract.py` (содержимое WebP), `assert_variants` вместо `assert_one_thumbnail`, `images.py` (`jpeg_scan_bomb`, полосы, `jpeg_with_metadata`).
|
||||
|
||||
Проверка: `make lint`; `jpeg_scan_bomb()` проходит загрузку по HTTP (202) на стенде.
|
||||
- [ ] 10.2 Hook `student-tests/fault_hook.py` по решению 14: все новые действия и режимы, `peek-job` и `publish-job` — через одноразовый контейнер relay, `delete-row` с аудитом, `job` — ещё `attempt_base`, `updated_at`; docstring; ключи и пароль hook не получает и не печатает.
|
||||
- [x] 10.2 Hook `student-tests/fault_hook.py` по решению 14: все новые действия и режимы, `peek-job` и `publish-job` — через одноразовый контейнер relay, `delete-row` с аудитом, `job` — ещё `attempt_base`, `updated_at`; docstring; ключи и пароль hook не получает и не печатает.
|
||||
|
||||
Проверка: hook отказывается работать с проектом рабочего стенда; поведение — тесты 10.5 и 10.6.
|
||||
- [ ] 10.3 Стенд отказов по решению 15: `failures.compose.yml`, `run_failures.py`: relay в запуске, `FAULT_RELAY_*`, новые `FAULT_WORKER_*`, журнал relay при падении, уборка дополнительных контейнеров; docstring.
|
||||
- [x] 10.3 Стенд отказов по решению 15: `failures.compose.yml`, `run_failures.py`: relay в запуске, `FAULT_RELAY_*`, новые `FAULT_WORKER_*`, журнал relay при падении, уборка дополнительных контейнеров; docstring.
|
||||
|
||||
Проверка: `make failure_checks FAULT_ARGS='-k health'` — код 0, строка relay в выводе, стенд и volumes удалены; `-k no_such_test` — ненулевой код, журналы напечатаны, стенд удалён.
|
||||
- [ ] 10.4 Новые тесты обычного набора по таблице «Покрытие сценариев»: `test_crop_*`, `test_optimized_*`, `test_download_crop_optimized`; `test_attachment_becomes_ready`, `test_thumbnail_format_variants`; маркеры `spec` дословно по сценариям дельт.
|
||||
- [x] 10.4 Новые тесты обычного набора по таблице «Покрытие сценариев»: `test_crop_*`, `test_optimized_*`, `test_download_crop_optimized`; `test_attachment_becomes_ready`, `test_thumbnail_format_variants`; маркеры `spec` дословно по сценариям дельт.
|
||||
|
||||
Проверка: `uv run pytest student-tests/test_attachment_processing.py` с `BASE_URL` стенда; настоящие размеры, байты, SHA-256 и `size_bytes` сверены с метаданными.
|
||||
- [ ] 10.5 Прежние проверки отказов по решению 15 и дельтам: перечисленные там тесты меняют ожидания (202 без брокера, аренда вместо немедленного взятия, три варианта, ожидание сообщения опросом); проверки не ослабляются и не пропускаются.
|
||||
- [x] 10.5 Прежние проверки отказов по решению 15 и дельтам: перечисленные там тесты меняют ожидания (202 без брокера, аренда вместо немедленного взятия, три варианта, ожидание сообщения опросом); проверки не ослабляются и не пропускаются.
|
||||
|
||||
Проверка: `make failure_checks FAULT_ARGS='-k "attachment or broker or worker or cleaner or reconcile or upload or defense"'` — код 0.
|
||||
- [ ] 10.6 Новые проверки отказов по таблице «Покрытие сценариев», `test_worker_stop_during_render` (спек `graceful-shutdown` в докстринге) и `test_defense_faults` — шаг 4 защиты тем же порядком, что `driver.py defense-faults` (спек `student-tests` в докстринге). Отказы — в `with outage(...)`, worker и relay запускаются в `finally`, триггеры снимаются в `finally`.
|
||||
- [x] 10.6 Новые проверки отказов по таблице «Покрытие сценариев», `test_worker_stop_during_render` (спек `graceful-shutdown` в докстринге) и `test_defense_faults` — шаг 4 защиты тем же порядком, что `driver.py defense-faults` (спек `student-tests` в докстринге). Отказы — в `with outage(...)`, worker и relay запускаются в `finally`, триггеры снимаются в `finally`.
|
||||
|
||||
Проверка: полный `make failure_checks` — код 0, сводка журнала PostgreSQL без признаков аварии, стенд удалён, у контейнеров рабочего стенда прежний `StartedAt`; число проверок и время — «Уточнения apply».
|
||||
- [ ] 10.7 `make test_isolated` по решению 13: `run_isolated.py` — контейнер `<проект>-test-relay` с той же подменой базы, журналы, уборка.
|
||||
- [x] 10.7 `make test_isolated` по решению 13: `run_isolated.py` — контейнер `<проект>-test-relay` с той же подменой базы, журналы, уборка.
|
||||
|
||||
Проверка: `make test_isolated` при работающем стенде — код 0; после него нет контейнеров, базы, объектов и очереди временной базы, у рабочего стенда прежний `StartedAt`; прерывание Ctrl+C — уборка выполнена.
|
||||
- [ ] 10.8 Сверка покрытия: `job-outbox` в `CAPABILITIES`, расширение исключения `data-storage`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`.
|
||||
- [x] 10.8 Сверка покрытия: `job-outbox` в `CAPABILITIES`, расширение исключения `data-storage`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`.
|
||||
|
||||
Проверка: `openspec validate --specs`; `make student_test` — сверка без «no test and no exclusion» и «unknown scenario», красное только `missing_evidence`; итог называет число сценариев проверок отказов.
|
||||
- [ ] 10.9 Тесты ловят нарушение: временные регрессии, каждая откатывается и не попадает в рабочее дерево:
|
||||
- [x] 10.9 Тесты ловят нарушение: временные регрессии, каждая откатывается и не попадает в рабочее дерево:
|
||||
- отметка `published_at` до подтверждения → `test_relay_killed_after_confirm` или `test_upload_with_broker_paused` красный;
|
||||
- claim берёт задание при живой аренде → `test_duplicate_during_processing` красный;
|
||||
- фиксация без проверки номера попытки → `test_hung_worker_lease_fencing` красный;
|
||||
@@ -223,22 +223,22 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 11. `bench/`
|
||||
|
||||
- [ ] 11.1 Стенд по решению 16: `bench.compose.yml` (`relay`, лимиты, реплики без окружения брокера), `bench.env`, `compose_env`, поля `Profile`; паспорт: метка `com.docker.compose.image`, при её отсутствии — `.Image`, в `app_containers` и `image()`; сравнение реплик профиля замены по ней.
|
||||
- [x] 11.1 Стенд по решению 16: `bench.compose.yml` (`relay`, лимиты, реплики без окружения брокера), `bench.env`, `compose_env`, поля `Profile`; паспорт: метка `com.docker.compose.image`, при её отсутствии — `.Image`, в `app_containers` и `image()`; сравнение реплик профиля замены по ней.
|
||||
|
||||
Проверка: `uv run python bench/uploads.py --selftest`; `make bench_quick` — код 0, брокер, relay и worker не запущены, `stand.app_env` без секретов и без `BROKER__*`.
|
||||
- [ ] 11.2 Профиль загрузок по решению 16: без брокера, `uploads.py` и сводка.
|
||||
- [x] 11.2 Профиль загрузок по решению 16: без брокера, `uploads.py` и сводка.
|
||||
|
||||
Проверка: `make bench_uploads_quick` — код 0, успешные загрузки — 202, брокера нет в паспорте, пик памяти реплики и 429 — в тех же границах, что у прежних сценариев спека.
|
||||
- [ ] 11.3 `Profile.rollout_from` → `7f38948`, профиль сверки по решению 16; `make bench_rollout_quick`, `make bench_reconcile_quick`.
|
||||
- [x] 11.3 `Profile.rollout_from` → `7f38948`, профиль сверки по решению 16; `make bench_rollout_quick`, `make bench_reconcile_quick`.
|
||||
|
||||
Проверка: обе — код 0; у замены ревизия до и после — новые две ревизии; реплики на одном образе по метке; у сверки сверка моделей сошлась. Метки `quick-*` в git не идут.
|
||||
|
||||
## 12. Драйвер скилла `run-mtusi-messenger`
|
||||
|
||||
- [ ] 12.1 Прежние команды по решению 17: `start` поднимает ещё relay, `defense-scenario`, `broker-check`, `worker-process`, `attachment-storage` (пустой `staging_key`, проба аудита), `s3-check`, `upload-consistency`, `reconcile-*` — по изменениям.
|
||||
- [x] 12.1 Прежние команды по решению 17: `start` поднимает ещё relay, `defense-scenario`, `broker-check`, `worker-process`, `attachment-storage` (пустой `staging_key`, проба аудита), `s3-check`, `upload-consistency`, `reconcile-*` — по изменениям.
|
||||
|
||||
Проверка: каждая из этих команд на рабочем стенде — код 0; `driver.py lb-upload-timeouts` — код 0; `ruff format --check` драйвера.
|
||||
- [ ] 12.2 Новые команды по решению 17: `defense-faults`, `relay-process`, `pipeline-state`; раздел в `SKILL.md`: шаги, что проверяется, коды выхода, gotchas.
|
||||
- [x] 12.2 Новые команды по решению 17: `defense-faults`, `relay-process`, `pipeline-state`; раздел в `SKILL.md`: шаги, что проверяется, коды выхода, gotchas.
|
||||
|
||||
Проверка:
|
||||
- `defense-faults` на рабочем стенде — код 0, вывод по каждому окну, токенов и секретов нет, триггеров после прогона нет;
|
||||
@@ -247,21 +247,21 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
|
||||
## 13. Правила и карта кода
|
||||
|
||||
- [ ] 13.1 Правила по решениям:
|
||||
- [x] 13.1 Правила по решениям:
|
||||
- `.claude/rules/worker.md`: `paths` — ещё `src/relay/**`, `src/worker/render.py`, `src/infra/render/**`, сервисы relay и replay, `image_variants.py`; claim, аренда, fencing, бюджет, лимиты, варианты, relay, replay; строка в `AGENTS.md`;
|
||||
- `service-layer.md`, `repo-layer.md`, `dto.md`, `infra.md` (`broker/` без `instance.py`, `render/`), `migrations.md` (две ревизии), `logging.md`, `settings.md`, `run-modes.md` (relay), `docker.md` (relay, секреты, порядок), `balancer.md` (26 с и 73 с, порядок обновления), `student-tests.md` (hook, окна, время прогона), `bench.md` (профиль загрузок, `rollout_from`, паспорт), `api-contract.md` (503, варианты).
|
||||
|
||||
Проверка: `grep -rn "retry_delay_seconds\|_publish_job\|delete_unstarted\|thumbnail.py" .claude AGENTS.md src student-tests bench` — только верные упоминания; `make lint`.
|
||||
- [ ] 13.2 `AGENTS.md`: текущий статус, правила лабы 5, таблица важных файлов и команд, карта кода (`src/relay/`, `src/infra/render/`, `src/worker/render.py`, новые сервисы и repo). `KNOWN_ISSUES.md`: удалить «Разрыв COMMIT и publish» и «`content_type`». `QUESTIONS.md`: решения, принятые в apply. Замечания S5, S6, W2 и пункты «Предложения на потом» отметить закрытыми. Граф кода: `graphify update .`.
|
||||
- [x] 13.2 `AGENTS.md`: текущий статус, правила лабы 5, таблица важных файлов и команд, карта кода (`src/relay/`, `src/infra/render/`, `src/worker/render.py`, новые сервисы и repo). `KNOWN_ISSUES.md`: удалить «Разрыв COMMIT и publish» и «`content_type`». `QUESTIONS.md`: решения, принятые в apply. Замечания S5, S6, W2 и пункты «Предложения на потом» отметить закрытыми. Граф кода: `graphify update .`.
|
||||
|
||||
Проверка: каждый новый файл `git status` назван в карте кода или таблице; `make lint`, `make check`.
|
||||
|
||||
## 14. Регресс на рабочем дереве
|
||||
|
||||
- [ ] 14.1 Смесь версий и откат по Migration Plan на рабочем стенде: `make rolling_update COMMIT=7f38948 MIGRATE=0`, затем вперёд по порядку плана.
|
||||
- [x] 14.1 Смесь версий и откат по Migration Plan на рабочем стенде: `make rolling_update COMMIT=7f38948 MIGRATE=0`, затем вперёд по порядку плана.
|
||||
|
||||
Проверка: на прежнем образе сообщения, история и загрузка работают, строки нового кода читаются; после возврата `lb_stats` без ручных состояний, новые вложения — три варианта, вложение прежнего образа — `ready` с одним thumbnail, `variant=crop` — 404; сверка без расхождений по нему.
|
||||
- [ ] 14.2 Рабочий стенд:
|
||||
- [x] 14.2 Рабочий стенд:
|
||||
- `make test` — `PASS: lab5`, `make validate`, `make check`;
|
||||
- `make student_test` через LB — красное только `missing_evidence`;
|
||||
- `make run_dev` с `make run_relay`, `make run_worker` и `EXPECT_REPLICAS=1 make student_test` — те же итоги, кроме тестов реплик;
|
||||
@@ -271,9 +271,9 @@ evidence и `REPORT.md`: её запускает основная сессия
|
||||
- `make s3_check`, `make reconcile` — код 0;
|
||||
- `driver.py --port <LB> defense-scenario`, `defense-faults`;
|
||||
- `make wipe_data` не выполнять.
|
||||
- [ ] 14.3 Регресс `bench/`: `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick`, `make bench_restore_quick`, `make bench_uploads_quick`, `make bench_reconcile_quick` — код 0.
|
||||
- [ ] 14.4 Сборка из чистого дерева: команда `git ls-files -z -co --exclude-standard | tar …` из `docker.md`; в образе импорт Pillow с WebP, версии как в `uv.lock`, `uv` и компиляторов нет. `make lint`, `openspec validate pipeline-reliability --strict`, `openspec validate --specs`.
|
||||
- [ ] 14.5 Отчёт apply для основной сессии: `git status`, `git diff --stat`, предложенное сообщение коммита, созданные пробами volumes, что осталось красным и почему. Агент останавливается здесь: коммит и группу 15 выполняет основная сессия.
|
||||
- [x] 14.3 Регресс `bench/`: `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick`, `make bench_restore_quick`, `make bench_uploads_quick`, `make bench_reconcile_quick` — код 0.
|
||||
- [x] 14.4 Сборка из чистого дерева: команда `git ls-files -z -co --exclude-standard | tar …` из `docker.md`; в образе импорт Pillow с WebP, версии как в `uv.lock`, `uv` и компиляторов нет. `make lint`, `openspec validate pipeline-reliability --strict`, `openspec validate --specs`.
|
||||
- [x] 14.5 Отчёт apply для основной сессии: `git status`, `git diff --stat`, предложенное сообщение коммита, созданные пробами volumes, что осталось красным и почему. Агент останавливается здесь: коммит и группу 15 выполняет основная сессия.
|
||||
|
||||
## 15. Evidence и отчёт (после коммита, основная сессия)
|
||||
|
||||
|
||||
@@ -17,19 +17,20 @@
|
||||
Вложение, принятое ответом 202, SHALL находиться в одном из состояний
|
||||
API: `queued`, `processing`, `ready`, `failed`. Переходы:
|
||||
- `queued` → `processing` — worker взял задание; зафиксированы номер
|
||||
попытки и её срок;
|
||||
попытки и срок её аренды;
|
||||
- `processing` → `queued` — временная ошибка, попытки остались;
|
||||
зафиксированы причина без секретов и время следующей попытки;
|
||||
- `processing` → `ready` — оригинал и thumbnail записаны, а метаданные
|
||||
вариантов и состояние зафиксированы одной транзакцией;
|
||||
- `processing` → `queued` — истёк срок аренды (требование «Аренда попытки»);
|
||||
- `processing` → `ready` — оригинал, thumbnail, crop и optimized записаны, а
|
||||
метаданные вариантов и состояние зафиксированы одной транзакцией;
|
||||
- `processing` → `failed` — ошибка постоянная или попытки исчерпаны;
|
||||
зафиксированы код ошибки и запись для оператора.
|
||||
зафиксированы код ошибки и запись для оператора;
|
||||
- `failed` → `queued` — явный replay оператора (требование «Реестр failed и
|
||||
replay»).
|
||||
|
||||
Готовое вложение MUST NOT возвращаться в другое состояние, в том числе
|
||||
из-за повторной доставки. Отправка в `queued` из `failed` (replay) на
|
||||
этом уровне не входит: `failed` окончательно. `error_code` SHALL быть
|
||||
null во всех состояниях, кроме `failed`, `variants` — пустым во всех,
|
||||
кроме `ready`.
|
||||
из-за повторной доставки и replay. `error_code` SHALL быть null во всех
|
||||
состояниях, кроме `failed`, `variants` — пустым во всех, кроме `ready`.
|
||||
|
||||
#### Scenario: Принятое вложение в очереди
|
||||
|
||||
@@ -42,7 +43,7 @@ null во всех состояниях, кроме `failed`, `variants` — п
|
||||
- **WHEN** worker работает, участник загружает `tests/fixtures/sample.png`
|
||||
и опрашивает метаданные
|
||||
- **THEN** не позже чем через 60 с `status` `ready`, `error_code` null,
|
||||
а в `variants` ровно один элемент `thumbnail`
|
||||
а в `variants` ровно по одному элементу `thumbnail`, `crop` и `optimized`
|
||||
|
||||
#### Scenario: Обработка видна в API
|
||||
|
||||
@@ -60,20 +61,24 @@ null во всех состояниях, кроме `failed`, `variants` — п
|
||||
|
||||
Вложению SHALL соответствовать одно логическое задание на
|
||||
`pipeline_version`; в курсе `pipeline_version` равен 1. У задания есть
|
||||
идентификатор, вложение, версия, состояние, число начатых попыток,
|
||||
причина последней ошибки, время следующей попытки, срок текущей попытки
|
||||
и время, когда брокер подтвердил его последнее сообщение.
|
||||
идентификатор, вложение, версия, состояние, число начатых попыток, число
|
||||
попыток до последнего replay, причина последней ошибки, время следующей
|
||||
попытки, срок аренды текущей попытки и время, когда брокер подтвердил его
|
||||
последнее сообщение.
|
||||
|
||||
Перевод вложения в `queued` и запись задания SHALL быть одной
|
||||
транзакцией: это устойчивое намерение обработать файл. Идентификатор
|
||||
задания MUST NOT меняться при повторах и повторной доставке.
|
||||
транзакцией: это устойчивое намерение обработать файл (`job-outbox`).
|
||||
Идентификатор задания MUST NOT меняться при повторах, повторной доставке и
|
||||
replay.
|
||||
|
||||
#### Scenario: Что сохранено к ответу 202
|
||||
|
||||
- **WHEN** worker остановлен, и участник получил ответ 202
|
||||
- **WHEN** worker и relay остановлены, и участник получил ответ 202
|
||||
- **THEN** объект оригинала есть в staging, а в конечном префиксе его
|
||||
нет, в PostgreSQL вложение `queued` и одно задание с нулём начатых
|
||||
попыток и временем подтверждения брокером, а в очереди одно сообщение
|
||||
попыток без времени подтверждения брокером, а в очереди сообщения нет
|
||||
- **AND** после запуска relay в очереди одно сообщение, а у задания есть время
|
||||
подтверждения
|
||||
|
||||
#### Scenario: Повторы под одним заданием
|
||||
|
||||
@@ -119,30 +124,31 @@ null во всех состояниях, кроме `failed`, `variants` — п
|
||||
|
||||
### Requirement: Доставка at least once
|
||||
|
||||
Worker SHALL подтверждать сообщение (ack) только после устойчивого
|
||||
эффекта: в PostgreSQL зафиксировано `ready` или `failed`, либо следующая
|
||||
попытка уже передана брокеру и подтверждена им. Если worker потерян до
|
||||
подтверждения, брокер SHALL доставить сообщение снова, и задание
|
||||
доводится до конца, в том числе если его состояние осталось
|
||||
`processing`.
|
||||
Сообщение брокера SHALL быть подсказкой: истина о задании — в PostgreSQL. Worker
|
||||
SHALL подтверждать сообщение (ack) только после того, как устойчиво записано, что
|
||||
делать с заданием дальше:
|
||||
- зафиксировано `ready` или `failed`;
|
||||
- задание возвращено в `queued` со временем следующей попытки, и следующее сообщение
|
||||
опубликует relay (`job-outbox`);
|
||||
- задание уже завершено, или его ведёт попытка с живой арендой, или его срок ещё не
|
||||
наступил: сообщение лишнее, и записывать нечего.
|
||||
|
||||
Если worker потерян до подтверждения, брокер SHALL доставить сообщение снова, и задание
|
||||
SHALL быть доведено до конца: сразу, если аренда уже истекла, иначе — когда её вернёт
|
||||
relay (требование «Аренда попытки»).
|
||||
|
||||
Повторная доставка завершённого задания SHALL быть no-op с подтверждением
|
||||
после проверки зафиксированного эффекта.
|
||||
|
||||
Дубль сообщения, пока попытка другого worker идёт в свой срок, MUST NOT
|
||||
порождать второй набор вариантов.
|
||||
|
||||
Ограничение называется в `REPORT.md`. Зависший worker, у которого живо
|
||||
соединение, на этом уровне освобождает задание только по сроку
|
||||
подтверждения брокера; срок аренды и его восстановление —
|
||||
`pipeline-reliability`.
|
||||
Дубль сообщения, пока идёт попытка с живой арендой, MUST NOT начинать новую попытку и
|
||||
тратить её номер.
|
||||
|
||||
#### Scenario: Worker убит посреди обработки
|
||||
|
||||
- **WHEN** worker завершён сигналом KILL, пока задание в `processing`, и
|
||||
затем снова запущен
|
||||
- **THEN** вложение становится `ready` с одним `thumbnail`, число начатых
|
||||
попыток — 2, сообщений в очереди не осталось
|
||||
- **THEN** вложение становится `ready` со всеми вариантами не позже срока аренды с
|
||||
запасом, число начатых попыток — 2, сообщений в очереди не осталось
|
||||
|
||||
#### Scenario: Повторная доставка готового
|
||||
|
||||
@@ -153,10 +159,26 @@ Worker SHALL подтверждать сообщение (ack) только по
|
||||
|
||||
#### Scenario: Дубль во время обработки
|
||||
|
||||
- **WHEN** пока попытка задания идёт, в очередь попадает ещё одно сообщение
|
||||
этого задания
|
||||
- **THEN** вложение становится `ready` с одним `thumbnail`, сообщений в
|
||||
очереди не осталось
|
||||
- **WHEN** пока попытка задания идёт, в очередь дважды попадает сообщение этого
|
||||
задания, и попытка длится дольше времени их доставки
|
||||
- **THEN** сообщения подтверждены без новой попытки, вложение становится `ready` с
|
||||
одним набором вариантов, число начатых попыток — 1, сообщений в очереди не
|
||||
осталось
|
||||
|
||||
#### Scenario: Crash после записи объектов до фиксации
|
||||
|
||||
- **WHEN** worker записал оригинал и все варианты, фиксация `ready` задержана, worker
|
||||
завершён сигналом KILL и снова запущен
|
||||
- **THEN** вложение становится `ready`, число начатых попыток — 2, у каждого варианта
|
||||
один объект, а его SHA-256 равен SHA-256 объекта, записанного до сбоя
|
||||
|
||||
#### Scenario: Crash после фиксации до подтверждения
|
||||
|
||||
- **WHEN** фиксация `ready` дошла до COMMIT, worker заморожен до ответа PostgreSQL, фиксация
|
||||
завершена, worker завершён сигналом KILL без подтверждения сообщения и снова запущен
|
||||
- **THEN** брокер доставляет сообщение снова, worker подтверждает его без эффекта, метаданные
|
||||
совпадают с зафиксированными во всех полях, включая `updated_at`, число начатых попыток —
|
||||
1, а сообщений в очереди не осталось
|
||||
|
||||
### Requirement: Публикация оригинала
|
||||
|
||||
@@ -164,22 +186,19 @@ Worker SHALL прочитать оригинал из staging по ключу и
|
||||
его размер и SHA-256 с метаданными вложения и записать те же байты в
|
||||
конечный префикс. Оригинал SHALL оставаться неизменным: скачанные после
|
||||
`ready` байты равны загруженным. Объект staging MUST NOT удаляться до
|
||||
фиксации `ready`.
|
||||
фиксации `ready`; worker его не удаляет: это делает уборщик
|
||||
(`storage-consistency`, «Очистка staging»).
|
||||
|
||||
Объект staging другого размера или с другим SHA-256 и его отсутствие —
|
||||
постоянная ошибка `processing_failed`. Причина SHALL быть в записи для
|
||||
оператора.
|
||||
|
||||
Ограничение называется в `REPORT.md`. На этом уровне объект staging после
|
||||
`ready` остаётся, а у `failed` не имеет срока хранения; очистка —
|
||||
`pipeline-reliability`.
|
||||
|
||||
#### Scenario: Оригинал неизменен
|
||||
|
||||
- **WHEN** загруженный PNG стал `ready`
|
||||
- **THEN** скачанный оригинал побайтно равен загруженному, а его SHA-256
|
||||
равен `sha256` метаданных, и объект есть и в конечном префиксе, и в
|
||||
staging
|
||||
равен `sha256` метаданных, объект есть в конечном префиксе, а объекта в
|
||||
staging нет не позже следующего прохода уборщика с запасом
|
||||
|
||||
#### Scenario: Испорченный staging
|
||||
|
||||
@@ -208,9 +227,8 @@ Thumbnail SHALL быть изображением JPEG, вписанным в 25
|
||||
|
||||
Метаданные варианта SHALL содержать `name` `thumbnail`, `content_type`
|
||||
`image/jpeg`, `size_bytes`, `sha256`, `width` и `height` записанного
|
||||
объекта. Формат декодируется только как PNG или JPEG. Память декодирования
|
||||
SHALL укладываться в лимит контейнера worker на изображении в лимит
|
||||
контракта при настроенной конкуренции.
|
||||
объекта. Формат декодируется только как PNG или JPEG. Ограничения памяти и
|
||||
времени — требование «Лимиты обработки».
|
||||
|
||||
#### Scenario: Fixture 320 × 200
|
||||
|
||||
@@ -249,50 +267,60 @@ SHALL укладываться в лимит контейнера worker на и
|
||||
- **WHEN** участник загружает PNG с палитрой, с альфа-каналом, серый с
|
||||
альфа-каналом, серый 16 бит, RGB 16 бит, 1 бит, чересстрочный и JPEG
|
||||
прогрессивный, серый, CMYK, с EXIF и без таблиц Хаффмана
|
||||
- **THEN** каждое вложение становится `ready`, а его thumbnail — настоящий
|
||||
JPEG
|
||||
- **THEN** каждое вложение становится `ready`, его thumbnail и crop —
|
||||
настоящие JPEG, а optimized — настоящий WebP
|
||||
|
||||
#### Scenario: Изображение в лимите пикселей
|
||||
|
||||
- **WHEN** участник загружает столько PNG с альфа-каналом 8000 × 5000, сколько
|
||||
заданий worker обрабатывает одновременно
|
||||
- **THEN** каждое вложение становится `ready`, thumbnail 256 × 160, а контейнер
|
||||
worker не завершён из-за памяти
|
||||
- **THEN** каждое вложение становится `ready`, thumbnail 256 × 160, crop 128 × 128,
|
||||
optimized 1280 × 800, а контейнер worker не завершён из-за памяти
|
||||
|
||||
### Requirement: Идемпотентный эффект
|
||||
|
||||
Ключ эффекта SHALL быть `(attachment_id, pipeline_version, variant)`. Из
|
||||
него однозначно следует ключ объекта варианта, а метаданные варианта
|
||||
уникальны по нему в PostgreSQL. Повтор задания MUST NOT создавать второй
|
||||
набор вариантов: он пишет те же ключи объектов. Метаданные вариантов и
|
||||
состояние `ready` SHALL фиксироваться одной транзакцией: вложение `ready`
|
||||
без метаданных варианта MUST NOT появляться.
|
||||
набор вариантов: он пишет те же ключи объектов теми же байтами при той же версии
|
||||
декодера. Метаданные всех вариантов и состояние `ready` SHALL фиксироваться одной
|
||||
транзакцией: вложение `ready` без метаданных любого варианта уровня MUST NOT
|
||||
появляться.
|
||||
|
||||
#### Scenario: Повтор после записи объектов
|
||||
|
||||
- **WHEN** объекты вложения записаны, а фиксация `ready` не удалась, и
|
||||
worker выполняет следующую попытку
|
||||
- **THEN** вложение `ready`, у него один вариант `thumbnail`, а объект
|
||||
варианта в bucket один, и его SHA-256 равен `sha256` варианта
|
||||
- **THEN** вложение `ready`, у него по одному варианту `thumbnail`, `crop` и
|
||||
`optimized`, а объект каждого варианта в bucket один, и его SHA-256 равен
|
||||
`sha256` варианта
|
||||
|
||||
### Requirement: Ограниченные повторы
|
||||
|
||||
Временная ошибка — недоступность или отказ S3, истёкший срок попытки или
|
||||
другая непредвиденная ошибка — SHALL вести к новой попытке, пока их число
|
||||
не достигло `[worker] max_attempts` (`service-configuration`, «Параметры
|
||||
worker»). Между попытками вложение SHALL быть в `queued`, новая попытка
|
||||
начинается не раньше паузы `[worker] retry_delay_seconds`. Сообщение новой
|
||||
попытки несёт тот же `job_id` и `attempt` на единицу больше.
|
||||
Временная ошибка — недоступность или отказ S3, истёкший срок попытки или процесса
|
||||
обработки, процесс обработки убит или упал, другая непредвиденная ошибка — SHALL вести к
|
||||
новой попытке, пока число попыток с последнего replay не достигло `[worker] max_attempts`
|
||||
(`service-configuration`, «Параметры worker»). Между попытками вложение SHALL быть в
|
||||
`queued`.
|
||||
|
||||
Пауза перед попыткой N + 1 SHALL быть экспоненциальной со случайной добавкой: это случайная
|
||||
величина из `[d / 2, d]`, где `d = min([worker] retry_max_delay_seconds, [worker]
|
||||
retry_base_delay_seconds × 2^(N − 1))`. Она записывается временем следующей попытки. На время
|
||||
паузы задание MUST NOT занимать место конкуренции worker: сообщение прежней попытки
|
||||
подтверждено, а новое сообщение с тем же `job_id` и `attempt` на единицу больше публикует relay,
|
||||
когда срок наступил (`job-outbox`). Сообщение, пришедшее раньше срока, worker подтверждает без
|
||||
новой попытки.
|
||||
|
||||
Каждая начатая попытка считается, в том числе та, в которой worker был
|
||||
потерян. Когда попытки исчерпаны, вложение SHALL стать `failed` с
|
||||
`error_code` `retry_exhausted`. Бесконечный немой повтор MUST NOT
|
||||
происходить. Пока недоступен PostgreSQL, исход записать нельзя: задание
|
||||
остаётся в очереди, попытки не считаются, а журнал worker называет отказ.
|
||||
происходить. Пока недоступен PostgreSQL, исход записать нельзя: сообщение
|
||||
возвращается в очередь после паузы, новые попытки не начинаются, а журнал worker называет
|
||||
отказ.
|
||||
|
||||
Ограничение называется в `REPORT.md`. Пауза постоянна, поэтому отказ S3
|
||||
дольше суммы пауз и сроков переводит взятые задания в `failed`; backoff с
|
||||
jitter и replay — `pipeline-reliability`.
|
||||
Ограничение называется в `REPORT.md`. Отказ S3 дольше суммы пауз и сроков переводит взятые
|
||||
задания в `failed`; после возврата S3 их возвращает replay (требование «Реестр failed и
|
||||
replay»).
|
||||
|
||||
#### Scenario: Временная ошибка
|
||||
|
||||
@@ -321,17 +349,41 @@ jitter и replay — `pipeline-reliability`.
|
||||
- **THEN** worker без перезапуска доводит задание до `ready`, сообщений в
|
||||
очереди не осталось
|
||||
|
||||
#### Scenario: Пауза растёт со случайной добавкой
|
||||
|
||||
- **WHEN** S3 остановлен, и два задания проходят все попытки
|
||||
- **THEN** пауза каждой попытки лежит в границах формулы, у следующей попытки верхняя
|
||||
граница вдвое больше, а паузы двух заданий на одной попытке различаются
|
||||
|
||||
#### Scenario: Попытка не раньше срока
|
||||
|
||||
- **WHEN** задание ждёт следующую попытку, в очередь попало его сообщение, а worker
|
||||
перезапущен
|
||||
- **THEN** сообщение подтверждено без новой попытки, число начатых попыток прежнее, а
|
||||
следующая попытка начинается не раньше записанного времени
|
||||
|
||||
#### Scenario: Пауза не занимает место конкуренции
|
||||
|
||||
- **WHEN** задание ждёт следующую попытку, S3 доступен, и участник загружает другой файл
|
||||
- **THEN** другое вложение становится `ready` раньше срока следующей попытки первого, а первое
|
||||
в это время `queued`
|
||||
|
||||
### Requirement: Постоянные ошибки и коды
|
||||
|
||||
Ошибка, которую повтор не исправит, SHALL сразу вести к `failed`, без
|
||||
новых попыток. Коды `error_code`:
|
||||
- `invalid_image` — изображение прошло проверку при загрузке, но не
|
||||
декодируется;
|
||||
декодируется или не укладывается в лимиты обработки (требование «Лимиты
|
||||
обработки»);
|
||||
- `processing_failed` — объект staging отсутствует или испорчен;
|
||||
- `retry_exhausted` — попытки исчерпаны.
|
||||
|
||||
`error_code` MUST NOT содержать stack trace, пути, ключи и адреса. Причину
|
||||
SHALL называть запись задания и журнал worker, доступные оператору.
|
||||
SHALL называть запись задания и журнал worker, доступные оператору. Причины
|
||||
постоянных ошибок: не декодируется, больше лимита пикселей, памяти или CPU, объект
|
||||
staging отсутствует или испорчен. Причины временных: S3 недоступен, истёк срок попытки
|
||||
или процесса обработки, процесс обработки убит или упал, истёк срок аренды, непредвиденная
|
||||
ошибка.
|
||||
|
||||
#### Scenario: Изображение не декодируется
|
||||
|
||||
@@ -346,7 +398,7 @@ SHALL называть запись задания и журнал worker, до
|
||||
Реплики API MUST NOT декодировать изображения и создавать варианты ни при
|
||||
каких обстоятельствах, в том числе когда worker недоступен. Worker SHALL
|
||||
обрабатывать одновременно не больше `[worker] concurrency` заданий, а брокер
|
||||
выдаёт ему не больше стольких неподтверждённых сообщений.
|
||||
выдаёт ему не больше `[worker] prefetch` неподтверждённых сообщений.
|
||||
|
||||
#### Scenario: Worker недоступен
|
||||
|
||||
@@ -394,3 +446,242 @@ SHALL называть запись задания и журнал worker, до
|
||||
затем перезапущены API и брокер с сохранёнными volumes и запущен worker
|
||||
- **THEN** то же вложение становится `ready`, его оригинал равен загруженному, а
|
||||
thumbnail — настоящий JPEG, и сообщение отдаёт `attachment_ids` с ним
|
||||
|
||||
### Requirement: Вариант crop
|
||||
|
||||
Crop SHALL быть изображением JPEG 128 × 128: центрированный квадрат по короткой стороне
|
||||
показанного изображения, сжатый или растянутый до 128 × 128. Маленькое изображение
|
||||
увеличивается. EXIF orientation SHALL применяться, alpha — компоноваться на белый.
|
||||
Параметры кодирования (`quality`, отсутствие EXIF и ICC) SHALL быть описаны в `REPORT.md`.
|
||||
|
||||
Метаданные варианта SHALL содержать `name` `crop`, `content_type` `image/jpeg`,
|
||||
`size_bytes`, `sha256`, `width` и `height` записанного объекта.
|
||||
|
||||
#### Scenario: Crop большого изображения
|
||||
|
||||
- **WHEN** участник загружает PNG 400 × 200: полосы шириной 100, 200 и 100 красного, синего и
|
||||
зелёного
|
||||
- **THEN** вариант `crop` — настоящий JPEG 128 × 128, синий в центре и по краям, а поля варианта
|
||||
совпадают со скачанным объектом
|
||||
|
||||
#### Scenario: Crop маленького изображения
|
||||
|
||||
- **WHEN** участник загружает PNG 50 × 20
|
||||
- **THEN** вариант `crop` — настоящий JPEG 128 × 128
|
||||
|
||||
#### Scenario: Crop с ориентацией и прозрачностью
|
||||
|
||||
- **WHEN** участник загружает JPEG 400 × 200 с левой половиной красной и правой синей и EXIF
|
||||
orientation 6 и PNG с прозрачной половиной
|
||||
- **THEN** у первого crop верхняя половина красная, а нижняя синяя, а у второго на месте
|
||||
прозрачных пикселей белый
|
||||
|
||||
### Requirement: Вариант optimized
|
||||
|
||||
Optimized SHALL быть изображением WebP, вписанным в 1280 × 1280 с сохранением пропорций:
|
||||
большая сторона становится 1280, меньшая округляется вниз, но не меньше 1 px; изображение,
|
||||
которое и так вписано, MUST NOT увеличиваться. EXIF orientation SHALL применяться, потому что
|
||||
EXIF, XMP и ICC в результат MUST NOT попадать. Прозрачность SHALL сохраняться. Уменьшение
|
||||
каждого маленького файла MUST NOT обещаться. Параметры кодирования SHALL быть описаны в
|
||||
`REPORT.md`.
|
||||
|
||||
Метаданные варианта SHALL содержать `name` `optimized`, `content_type` `image/webp`,
|
||||
`size_bytes`, `sha256`, `width` и `height` записанного объекта.
|
||||
|
||||
#### Scenario: Optimized большого изображения
|
||||
|
||||
- **WHEN** участник загружает изображения 2000 × 1000, 5000 × 3001 и 5000 × 10
|
||||
- **THEN** варианты `optimized` — настоящие WebP 1280 × 640, 1280 × 768 и 1280 × 2, а поля
|
||||
варианта совпадают со скачанным объектом
|
||||
|
||||
#### Scenario: Optimized маленького изображения
|
||||
|
||||
- **WHEN** участник загружает PNG 100 × 50
|
||||
- **THEN** вариант `optimized` — настоящий WebP 100 × 50
|
||||
|
||||
#### Scenario: Optimized без метаданных
|
||||
|
||||
- **WHEN** участник загружает JPEG 400 × 200 с EXIF orientation 6, строкой производителя в EXIF
|
||||
и профилем ICC
|
||||
- **THEN** вариант `optimized` — WebP 200 × 400 с верхней половиной цвета левой половины
|
||||
исходника, а чанков EXIF, XMP и ICC и строки производителя в его байтах нет
|
||||
|
||||
#### Scenario: Optimized сохраняет прозрачность
|
||||
|
||||
- **WHEN** участник загружает PNG с прозрачной половиной
|
||||
- **THEN** на месте прозрачных пикселей у варианта `optimized` альфа-канал равен нулю
|
||||
|
||||
### Requirement: Лимиты обработки
|
||||
|
||||
Декодирование и преобразование изображения SHALL выполняться в отдельном процессе на задание,
|
||||
а не в процессе worker. У этого процесса в окружении MUST NOT быть секретов приложения. Лимиты:
|
||||
- байты: объект staging другого размера, чем в метаданных, MUST NOT читаться: это постоянная
|
||||
ошибка `processing_failed`. Размер в метаданных ограничен контрактом;
|
||||
- пиксели: изображение больше лимита контракта MUST NOT декодироваться, постоянная ошибка
|
||||
`invalid_image`;
|
||||
- память: адресное пространство процесса ограничено `[worker] render_memory_limit_mib`,
|
||||
превышение — постоянная ошибка `invalid_image`;
|
||||
- CPU: время процессора ограничено `[worker] render_cpu_limit_seconds`, превышение — постоянная
|
||||
ошибка `invalid_image`;
|
||||
- время: процесс, не закончивший за `[worker] render_timeout_seconds`, SHALL быть убит, это
|
||||
временная ошибка.
|
||||
|
||||
Процесс, убитый ядром или упавший, — временная ошибка. Сам worker SHALL продолжать работу в
|
||||
каждом из этих случаев, без перезапуска контейнера. Пик памяти процессов обработки на изображении
|
||||
в лимите контракта при настроенной конкуренции вместе с памятью самого worker SHALL укладываться в
|
||||
лимит контейнера; расчёт SHALL быть в `REPORT.md`.
|
||||
|
||||
Ограничение называется в `REPORT.md`. Лимит адресного пространства не действует там, где его не
|
||||
поддерживает ядро (worker на хосте macOS).
|
||||
|
||||
#### Scenario: Пикселей больше лимита
|
||||
|
||||
- **WHEN** worker остановлен, объект staging заменён PNG с заголовком на 50 млн пикселей, размер и
|
||||
SHA-256 в метаданных приведены в соответствие с ним, и worker запущен
|
||||
- **THEN** вложение `failed` с `error_code` `invalid_image`, причина — лимит пикселей, число начатых
|
||||
попыток — 1
|
||||
|
||||
#### Scenario: Объект больше лимита не читается
|
||||
|
||||
- **WHEN** worker остановлен, объект staging заменён объектом больше 10 MiB, и worker запущен
|
||||
- **THEN** вложение `failed` с `error_code` `processing_failed`, причина — испорченный объект, число
|
||||
начатых попыток — 1
|
||||
|
||||
#### Scenario: Дорогое изображение
|
||||
|
||||
- **WHEN** участник загружает JPEG в пределах лимитов контракта, декодирование которого занимает
|
||||
больше лимита CPU: прогрессивный, с сотнями тысяч повторённых сканов
|
||||
- **THEN** ответ 202, вложение `failed` с `error_code` `invalid_image`, причина — лимит CPU, число
|
||||
начатых попыток — 1, у контейнера worker счётчик перезапусков 0, а следующий файл становится `ready`
|
||||
|
||||
#### Scenario: Предел памяти процесса обработки
|
||||
|
||||
- **WHEN** worker запущен с пределом памяти 200 МиБ, и участник загружает PNG с альфа-каналом 8000 × 5000
|
||||
- **THEN** вложение `failed` с `error_code` `invalid_image`, причина — лимит памяти, число начатых
|
||||
попыток — 1, а процесс worker работает
|
||||
|
||||
#### Scenario: Срок процесса обработки
|
||||
|
||||
- **WHEN** worker запущен со сроком процесса обработки короче времени декодирования, и участник загружает
|
||||
файл
|
||||
- **THEN** каждая попытка заканчивается временной ошибкой, вложение `failed` с `error_code`
|
||||
`retry_exhausted`, причина — срок, а процессов обработки после этого не осталось
|
||||
|
||||
#### Scenario: Процесс обработки убит
|
||||
|
||||
- **WHEN** во время попытки процесс обработки завершён сигналом KILL
|
||||
- **THEN** worker продолжает работу, у контейнера счётчик перезапусков 0, а задание получает новую попытку
|
||||
с причиной «процесс обработки убит»
|
||||
|
||||
#### Scenario: Секретов нет у процесса обработки
|
||||
|
||||
- **WHEN** идёт декодирование, и проверяющий смотрит окружение процесса обработки
|
||||
- **THEN** в нём нет переменных настроек PostgreSQL, S3 и брокера
|
||||
|
||||
### Requirement: Аренда попытки
|
||||
|
||||
При взятии задания SHALL фиксироваться срок аренды: `[worker] job_timeout_seconds` + `[worker]
|
||||
lease_margin_seconds`. Живая попытка SHALL укладываться в этот срок: по `job_timeout_seconds` её шаги
|
||||
прерываются, а процесс обработки убивается. Поэтому истёкшая аренда значит, что worker потерян или завис,
|
||||
а долго работающий, но живой worker свою аренду не теряет.
|
||||
|
||||
Relay SHALL возвращать задание с истёкшей арендой в `queued` с причиной «истёк срок аренды», без паузы, а
|
||||
worker SHALL брать такое задание и сам, если сообщение пришло раньше. Пока аренда жива, новая попытка MUST
|
||||
NOT начинаться: сообщение подтверждается без эффекта.
|
||||
|
||||
Номер попытки SHALL защищать итог: `ready`, `failed` и возврат в очередь фиксирует только та попытка, номер
|
||||
которой равен текущему у задания в `processing`. Прежняя попытка, которая пережила срок аренды, MUST NOT
|
||||
менять итог, в том числе после разморозки процесса.
|
||||
|
||||
Попытка, потерянная при исчерпанном бюджете, SHALL вести к `failed` с `retry_exhausted` при следующем взятии.
|
||||
|
||||
#### Scenario: Зависший worker
|
||||
|
||||
- **WHEN** worker заморожен посреди попытки, срок аренды истёк, второй worker довёл задание до `ready`, и
|
||||
первый разморожен
|
||||
- **THEN** число начатых попыток — 2, причина возврата записана в журнал relay, а метаданные после разморозки
|
||||
совпадают с зафиксированными вторым worker во всех полях
|
||||
|
||||
#### Scenario: Долгая живая попытка
|
||||
|
||||
- **WHEN** фиксация результата задержана дольше всех пауз, но попытка укладывается в срок
|
||||
- **THEN** вложение становится `ready`, а число начатых попыток — 1
|
||||
|
||||
#### Scenario: Последняя попытка потеряна
|
||||
|
||||
- **WHEN** worker с `max_attempts` 1 завершён сигналом KILL посреди попытки, снова запущен, и срок аренды истёк
|
||||
- **THEN** вложение `failed` с `error_code` `retry_exhausted`, а число начатых попыток — 1
|
||||
|
||||
### Requirement: Реестр failed и replay
|
||||
|
||||
Реестр неудач SHALL быть записями заданий `failed` в PostgreSQL: идентификатор задания и вложения, код, причина,
|
||||
число попыток, время. Операторская команда SHALL показывать реестр и возвращать из него работу: по умолчанию
|
||||
ничего не меняет и называет, что сделала бы; с `--apply` выполняет. Выбор — по `id` вложения, по коду или причине,
|
||||
не больше заданного числа заданий. С `--apply` выбор обязателен. Публичному API replay MUST NOT быть доступен.
|
||||
|
||||
Replay задания SHALL одной транзакцией:
|
||||
- вернуть вложение из `failed` в `queued` с `error_code` null, а задание — в `queued` без причины и времени
|
||||
окончания;
|
||||
- начать новый бюджет: следующие `max_attempts` попыток считаются заново, а сам номер попытки продолжает расти;
|
||||
- записать аудит: кто, когда, прежние код и причина, число попыток.
|
||||
|
||||
Идентификатор задания SHALL оставаться прежним, сообщение публикует relay, а ключи объектов и варианты защищены ключом
|
||||
эффекта. Команда SHALL отказывать и ничего не менять, если задание:
|
||||
- завершено успешно: «повторить» не значит исполнить дубль готовой работы;
|
||||
- ещё идёт или ждёт в очереди;
|
||||
- потеряло исходник: объект staging убран по сроку хранения;
|
||||
- не найдено.
|
||||
|
||||
Код выхода: 0 — всё выбранное выполнено или показано, 3 — есть отказы, 1 — отказ PostgreSQL, 2 — неверные аргументы или
|
||||
конфигурация.
|
||||
|
||||
#### Scenario: Реестр показан без изменений
|
||||
|
||||
- **WHEN** есть вложение `failed`, и выполняется команда без `--apply`
|
||||
- **THEN** журнал называет его задание, код и причину, код выхода 0, а вложение и задание не изменились
|
||||
|
||||
#### Scenario: Replay возвращает работу
|
||||
|
||||
- **WHEN** объект staging был заменён, вложение стало `failed` с `processing_failed`, объект возвращён, и выполняется
|
||||
команда с `--apply`
|
||||
- **THEN** вложение становится `ready`, задание то же, число начатых попыток — 2, в журнале аудита одна запись с прежним
|
||||
кодом, а оригинал скачивается с тем же SHA-256
|
||||
|
||||
#### Scenario: Replay готового не создаёт дубль
|
||||
|
||||
- **WHEN** выполняется команда с `--apply` для готового вложения
|
||||
- **THEN** код выхода 3, отказ называет причину, метаданные совпадают с прежними во всех полях, включая `updated_at`,
|
||||
число начатых попыток и объекты вариантов не изменились, а записи аудита нет
|
||||
|
||||
#### Scenario: Replay идущей работы
|
||||
|
||||
- **WHEN** выполняется команда с `--apply` для вложения в `queued` и для вложения в `processing`
|
||||
- **THEN** код выхода 3, отказ называет причину, а новых сообщений и попыток нет
|
||||
|
||||
#### Scenario: Replay без исходника
|
||||
|
||||
- **WHEN** срок хранения staging вложения `failed` истёк, объект убран, и выполняется команда с `--apply`
|
||||
- **THEN** код выхода 3, отказ называет причину, вложение остаётся `failed` с прежним кодом
|
||||
|
||||
#### Scenario: Новый бюджет попыток
|
||||
|
||||
- **WHEN** вложение стало `failed` с `retry_exhausted`, S3 возвращён, и выполняется команда с `--apply`
|
||||
- **THEN** вложение становится `ready`, а число начатых попыток больше `max_attempts`
|
||||
|
||||
#### Scenario: Replay по причине
|
||||
|
||||
- **WHEN** несколько вложений стали `failed` с `retry_exhausted`, другое — с `invalid_image`, и выполняется команда с
|
||||
выбором по коду `retry_exhausted` и `--apply`
|
||||
- **THEN** первые становятся `ready`, а второе остаётся `failed`
|
||||
|
||||
### Requirement: Ограниченный prefetch
|
||||
|
||||
Брокер SHALL выдавать worker не больше `[worker] prefetch` неподтверждённых сообщений. Сообщение, для которого нет места
|
||||
конкуренции, SHALL ждать в процессе worker без взятия: попытка и её аренда начинаются, когда место есть. Значения
|
||||
конкуренции и prefetch SHALL быть в записи о старте worker, а время ожидания в очереди, длительность обработки и пик памяти
|
||||
процесса обработки — в записях задания (`service-logging`, «Журнал worker»), чтобы их можно было мерить.
|
||||
|
||||
#### Scenario: Prefetch больше конкуренции
|
||||
|
||||
- **WHEN** worker запущен с конкуренцией 1 и prefetch 3, в очереди 5 заданий, и фиксация результатов задержана
|
||||
- **THEN** неподтверждённых сообщений не больше 3, вложений в `processing` не больше 1, а все вложения затем становятся `ready`
|
||||
|
||||
@@ -364,8 +364,9 @@ SHALL получать одинаковый 404 `not_found`. Запрос без
|
||||
SHALL совпадать с ответом на загрузку. `size_bytes`, `sha256` и `content_type`
|
||||
всегда описывают оригинал, у вариантов — свои поля. `status`, `variants`,
|
||||
`error_code` и `updated_at` SHALL отражать текущее состояние. У готового вложения
|
||||
`variants` содержит каждый записанный вариант; вложение, ставшее готовым до этого
|
||||
изменения, вариантов не имеет.
|
||||
`variants` содержит каждый записанный вариант: у вложений этого уровня — `thumbnail`,
|
||||
`crop` и `optimized`. Вложение, ставшее готовым до обработки вариантов, вариантов не
|
||||
имеет, а ставшее готовым на уровне 3 — только `thumbnail`.
|
||||
|
||||
#### Scenario: Метаданные равны ответу загрузки
|
||||
|
||||
@@ -445,7 +446,8 @@ SHALL быть 409 `conflict` без обращения к S3.
|
||||
приватном bucket S3 (`object-storage`). Байты MUST NOT храниться ни в
|
||||
PostgreSQL, ни в файлах реплики API и worker. Ключ объекта назначает
|
||||
сервер, `filename` в него MUST NOT входить:
|
||||
- устойчивый staging — `<база>/staging/<id>/original`;
|
||||
- устойчивый staging — `<база>/staging/<id>/original`, живёт до фиксации `ready`, а
|
||||
у `failed` — до конца срока хранения (`storage-consistency`, «Очистка staging»);
|
||||
- конечный оригинал — `<база>/attachments/<id>/original`;
|
||||
- вариант — `<база>/attachments/<id>/v<pipeline_version>-<вариант>`.
|
||||
|
||||
@@ -482,8 +484,10 @@ staging — устойчивость этого сервера. Граница
|
||||
ключами объектов, фиксация в PostgreSQL;
|
||||
3. запись оригинала в staging;
|
||||
4. статус `queued` и задание обработки — одной транзакцией;
|
||||
5. публикация задания брокеру и его подтверждение (`message-broker`);
|
||||
6. ответ 202.
|
||||
5. ответ 202.
|
||||
|
||||
К брокеру загрузка MUST NOT обращаться: задание до него доводит relay
|
||||
(`job-outbox`).
|
||||
|
||||
Объект, который записал API, SHALL быть известен PostgreSQL до записи в
|
||||
S3: без зафиксированных метаданных объект не записывается. Вложение в
|
||||
@@ -491,31 +495,19 @@ S3: без зафиксированных метаданных объект не
|
||||
— 404, ссылка на него в сообщении — 404.
|
||||
|
||||
Сбой после шага 2 из-за отказа хранилища SHALL давать 503
|
||||
`unavailable`, а не 500. Отказ — S3, PostgreSQL или брокер недоступен,
|
||||
не ответил за срок или отказал. Метаданные «загружается» при этом
|
||||
`unavailable`, а не 500. Отказ — S3 или PostgreSQL недоступен, не ответил
|
||||
за срок или отказал. Метаданные «загружается» при этом
|
||||
остаются. Их и объект убирает уборщик после grace period (capability
|
||||
`storage-consistency`). Компенсация — сверх этого:
|
||||
- объект записан, а шаг 4 не удался до того, как фиксация отправлена в
|
||||
PostgreSQL. API SHALL удалить записанный объект до ответа. Удаление не
|
||||
гарантировано: если оно не удалось, объект убирает уборщик;
|
||||
- исход фиксации шага 4 неизвестен: связь оборвалась во время фиксации.
|
||||
API MUST NOT удалять объект — вложение могло стать `queued`;
|
||||
API MUST NOT удалять объект — вложение могло стать `queued`, и тогда его
|
||||
доведёт до `ready` relay и worker, хотя клиент получил 503;
|
||||
- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их
|
||||
уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть
|
||||
503 `unavailable`, и API SHALL удалить записанный объект;
|
||||
- брокер не подтвердил задание на шаге 5. API SHALL вернуть вложение в
|
||||
`pending`, отменить задание и ответить 503 `unavailable`: 202 без
|
||||
подтверждения брокера MUST NOT отдаваться. Объект убирает уборщик.
|
||||
Сообщение, дошедшее до брокера после отмены, worker подтверждает без
|
||||
эффекта. Если worker уже взял задание, сообщение дошло: ответ SHALL
|
||||
быть 202.
|
||||
|
||||
Ограничение называется в `REPORT.md`, это разрыв между фиксацией и
|
||||
публикацией на этом уровне. Если процесс API завершился между шагами 4
|
||||
и 5 или не смог отменить задание, клиент 202 не получил, а вложение
|
||||
остаётся `queued` с заданием без подтверждения брокера, и его никто не
|
||||
публикует. Принятая работа при этом не теряется: 202 не было. Закрывает
|
||||
разрыв `pipeline-reliability`.
|
||||
503 `unavailable`, и API SHALL удалить записанный объект.
|
||||
|
||||
Если запись метаданных на шаге 2 не удалась, объект MUST NOT
|
||||
записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка,
|
||||
@@ -580,9 +572,9 @@ S3: без зафиксированных метаданных объект не
|
||||
#### Scenario: Брокер не подтвердил задание
|
||||
|
||||
- **WHEN** брокер остановлен, и участник загружает настоящий PNG
|
||||
- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и по
|
||||
API не видно, задания у него нет
|
||||
- **AND** после grace уборщик убирает и метаданные, и объект staging
|
||||
- **THEN** ответ 202, а не 503, вложение `queued`, у его задания нет времени
|
||||
подтверждения брокером, а объект — в staging
|
||||
- **AND** после запуска брокера вложение становится `ready`
|
||||
|
||||
#### Scenario: Обрыв передачи тела
|
||||
|
||||
@@ -762,17 +754,17 @@ body_timeout_seconds` после того, как загрузка заняла
|
||||
|
||||
### Requirement: Скачивание варианта
|
||||
|
||||
`GET /api/v1/attachments/{attachment_id}/content?variant=thumbnail` у
|
||||
готового вложения SHALL отвечать 200 с байтами варианта через API, без
|
||||
`GET /api/v1/attachments/{attachment_id}/content?variant=<имя>` у готового вложения
|
||||
SHALL отвечать 200 с байтами варианта `thumbnail`, `crop` или `optimized` через API, без
|
||||
перенаправления. Заголовки ответа: `Content-Type` — `content_type` варианта,
|
||||
`Content-Length` — его размер, `X-Content-Type-Options: nosniff`. Размер и
|
||||
SHA-256 байтов равны полям варианта в метаданных. Доступ — как у оригинала
|
||||
(требование «Доступ к вложению»).
|
||||
|
||||
Вариант, которого у готового вложения нет, SHALL давать 404 `not_found`. На
|
||||
этом уровне это `crop` и `optimized`, а ещё `thumbnail` у вложения, ставшего
|
||||
готовым до этого изменения. Нет объекта варианта в S3 или размер другой — 500
|
||||
`internal_error` без деталей, причина в журнале.
|
||||
Вариант, которого у готового вложения нет, SHALL давать 404 `not_found`. Это вложения,
|
||||
ставшие готовыми раньше: до обработки вариантов — любой вариант, на уровне 3 — `crop` и
|
||||
`optimized`. Нет объекта варианта в S3 или размер другой — 500 `internal_error` без деталей,
|
||||
причина в журнале.
|
||||
|
||||
#### Scenario: Скачивание thumbnail
|
||||
|
||||
@@ -782,11 +774,19 @@ SHA-256 байтов равны полям варианта в метаданн
|
||||
`Content-Length` равен `size_bytes` варианта, есть `X-Content-Type-Options:
|
||||
nosniff`, а SHA-256 равен `sha256` варианта
|
||||
|
||||
#### Scenario: Скачивание crop и optimized
|
||||
|
||||
- **WHEN** Боб скачивает `variant=crop` и `variant=optimized` готового вложения,
|
||||
загруженного Алисой
|
||||
- **THEN** оба ответа 200, не перенаправление, `Content-Type` — `image/jpeg` и
|
||||
`image/webp`, `Content-Length` равен `size_bytes` варианта, есть
|
||||
`X-Content-Type-Options: nosniff`, а SHA-256 равен `sha256` варианта
|
||||
|
||||
#### Scenario: Отсутствующий вариант
|
||||
|
||||
- **WHEN** участник скачивает `variant=crop` и `variant=optimized` готового
|
||||
вложения
|
||||
- **THEN** оба ответа 404 `not_found` в формате ошибки
|
||||
- **WHEN** у готового вложения нет метаданных варианта `crop`, потому что оно стало
|
||||
готовым раньше этого уровня, и участник скачивает `variant=crop`
|
||||
- **THEN** ответ 404 `not_found` в формате ошибки, а остальные варианты скачиваются
|
||||
|
||||
#### Scenario: Вариант для постороннего
|
||||
|
||||
|
||||
@@ -120,7 +120,8 @@ Worker SHALL запускаться из того же образа, что и A
|
||||
проверяет HTTP и worker не подходит: у контейнера worker он SHALL быть выключен, и
|
||||
живость видна по журналу.
|
||||
|
||||
Реплики API MUST NOT загружать декодер изображений в память процесса.
|
||||
Реплики API и сам процесс worker MUST NOT загружать декодер изображений в память: его
|
||||
загружает только дочерний процесс обработки (`attachment-processing`, «Лимиты обработки»).
|
||||
|
||||
#### Scenario: PID 1 worker
|
||||
|
||||
@@ -132,10 +133,24 @@ Worker SHALL запускаться из того же образа, что и A
|
||||
|
||||
- **WHEN** в образе, собранном из чистого clone, импортируется декодер изображений
|
||||
и запрашивается версия
|
||||
- **THEN** импорт проходит, версия совпадает с `uv.lock`, а `uv` и компиляторов в
|
||||
образе нет
|
||||
- **THEN** импорт проходит, версия совпадает с `uv.lock`, поддержка WebP есть, а `uv` и
|
||||
компиляторов в образе нет
|
||||
|
||||
#### Scenario: Декодера нет в процессе API
|
||||
|
||||
- **WHEN** в работающей реплике API проверяются загруженные модули
|
||||
- **WHEN** в работающей реплике API и в процессе 1 контейнера worker проверяются
|
||||
загруженные модули
|
||||
- **THEN** декодера изображений среди них нет
|
||||
|
||||
### Requirement: Relay на образе приложения
|
||||
|
||||
Relay SHALL запускаться из того же образа, что и API, своей командой. Процессом с PID 1
|
||||
контейнера relay SHALL быть сам relay (`python -m src.relay`), без оболочки между Docker
|
||||
и им. Healthcheck образа проверяет HTTP и relay не подходит: у контейнера он SHALL быть
|
||||
выключен, живость видна по журналу.
|
||||
|
||||
#### Scenario: PID 1 relay
|
||||
|
||||
- **WHEN** в работающем контейнере relay читается командная строка процесса 1
|
||||
- **THEN** это `python -m src.relay`, а `docker inspect` не показывает у контейнера проверки
|
||||
здоровья
|
||||
|
||||
@@ -21,18 +21,21 @@ Valkey, сервером S3, одноразовыми миграциями и bo
|
||||
- `API_REPLICAS` реплик API (capability `load-balancing`);
|
||||
- уборщик незавершённых загрузок (capability `storage-consistency`) —
|
||||
один долгоживущий процесс на образе API со своей командой;
|
||||
- relay (capability `job-outbox`) — долгоживущий процесс на образе API со своей
|
||||
командой;
|
||||
- worker (capability `attachment-processing`) — долгоживущий процесс на образе
|
||||
API со своей командой;
|
||||
- балансировщик (LB).
|
||||
|
||||
Реплики API SHALL стартовать после готовности PostgreSQL, Valkey и брокера,
|
||||
успешных миграций и успешного bootstrap S3. Миграции и bootstrap SHALL
|
||||
выполняться один раз за запуск отдельными сервисами, а не репликами.
|
||||
Уборщик SHALL стартовать после готовности PostgreSQL, успешных миграций
|
||||
и успешного bootstrap S3. Worker SHALL стартовать после готовности PostgreSQL
|
||||
и брокера, успешных миграций и успешного bootstrap S3. Реплики API их не ждут,
|
||||
а фоновую уборку и обработку изображений MUST NOT выполнять сами. Уборщик и
|
||||
worker MUST NOT публиковать порты и SHALL перезапускаться после сбоя.
|
||||
Реплики API SHALL стартовать после готовности PostgreSQL и Valkey,
|
||||
успешных миграций и успешного bootstrap S3. Брокера реплики не ждут: они к нему не
|
||||
обращаются. Миграции и bootstrap SHALL выполняться один раз за запуск отдельными
|
||||
сервисами, а не репликами. Уборщик SHALL стартовать после готовности PostgreSQL,
|
||||
успешных миграций и успешного bootstrap S3. Relay SHALL стартовать после готовности
|
||||
PostgreSQL и брокера и успешных миграций. Worker SHALL стартовать после готовности
|
||||
PostgreSQL и брокера, успешных миграций и успешного bootstrap S3. Реплики API их не ждут,
|
||||
а фоновую уборку, публикацию заданий и обработку изображений MUST NOT выполнять сами.
|
||||
Уборщик, relay и worker MUST NOT публиковать порты и SHALL перезапускаться после сбоя.
|
||||
|
||||
Перед этим цель SHALL создавать недостающие `.env` и `config.toml` из
|
||||
шаблонов (`make env_setup`) и MUST NOT перезаписывать существующие: в
|
||||
@@ -47,14 +50,14 @@ worker MUST NOT публиковать порты и SHALL перезапуск
|
||||
- **WHEN** в свежем clone выполнен `make run_docker`
|
||||
- **THEN** сервис отвечает через LB на
|
||||
`http://localhost:8080/health/ready`, работают две реплики API,
|
||||
уборщик и worker, сервер S3 и брокер в состоянии `healthy`, bootstrap S3
|
||||
уборщик, relay и worker, сервер S3 и брокер в состоянии `healthy`, bootstrap S3
|
||||
завершился с кодом 0, и `make student_test` проходит
|
||||
|
||||
#### Scenario: Миграции один раз
|
||||
|
||||
- **WHEN** выполнен `make run_docker` с двумя репликами
|
||||
- **THEN** журнал сервиса миграций содержит один прогон, а в журналах
|
||||
реплик API и worker нет запуска миграций
|
||||
реплик API, relay и worker нет запуска миграций
|
||||
|
||||
#### Scenario: Bootstrap S3 один раз
|
||||
|
||||
@@ -82,7 +85,7 @@ worker MUST NOT публиковать порты и SHALL перезапуск
|
||||
S3, используют API в docker и bootstrap; внешний — `S3_OUT_PORT` на
|
||||
`127.0.0.1` для запуска в консоли;
|
||||
- порт AMQP брокера внутри сети compose — `RABBITMQ_PORT`, его слушает сам
|
||||
брокер, используют API и worker в docker; внешний — `RABBITMQ_OUT_PORT` на
|
||||
брокер, используют relay и worker в docker; внешний — `RABBITMQ_OUT_PORT` на
|
||||
`127.0.0.1` для запуска в консоли.
|
||||
|
||||
Если переменная порта API не задана, SHALL действовать 8080. Параметры
|
||||
@@ -132,7 +135,7 @@ MUST NOT быть записаны в compose литералами.
|
||||
- **WHEN** в `.env` заданы другие `RABBITMQ_PORT` и `RABBITMQ_OUT_PORT`, а
|
||||
compose не правился
|
||||
- **THEN** брокер слушает `RABBITMQ_PORT` и становится `healthy`, загрузка
|
||||
через LB становится `ready`, а приложение в консоли обращается к брокеру на
|
||||
через LB становится `ready`, а relay и worker в консоли обращаются к брокеру на
|
||||
`127.0.0.1:$RABBITMQ_OUT_PORT`
|
||||
|
||||
### Requirement: Оба способа запуска описаны в REPORT.md
|
||||
@@ -141,7 +144,8 @@ MUST NOT быть записаны в compose литералами.
|
||||
способа запуска стенда:
|
||||
- `make run_docker` — всё в compose;
|
||||
- `make run_dev` — PostgreSQL, Valkey, S3 с bootstrap и брокер в compose,
|
||||
сервис на хосте; worker на хосте — `make run_worker`.
|
||||
сервис на хосте; relay на хосте — `make run_relay`, worker на хосте —
|
||||
`make run_worker`.
|
||||
|
||||
Для каждого SHALL быть указаны подготовка (`make env_setup`), команды,
|
||||
которые выполняет цель Makefile, применение миграций и bootstrap S3,
|
||||
@@ -160,17 +164,17 @@ MUST NOT быть записаны в compose литералами.
|
||||
публиковаться в compose только на `127.0.0.1` хоста. Адрес публикации SHALL быть
|
||||
записан литералом, а не переменной. Другие порты сервера S3 (консоль,
|
||||
UI, внутренние серверы хранилища) и другие порты брокера (метрики, связь узлов)
|
||||
MUST NOT публиковаться. Реплики API, worker и одноразовые сервисы MUST NOT
|
||||
MUST NOT публиковаться. Реплики API, relay, worker и одноразовые сервисы MUST NOT
|
||||
публиковать порты на хосте: к репликам ходят только LB и контейнеры сети compose.
|
||||
Учебный стенд MUST NOT быть доступен с других машин сети.
|
||||
|
||||
#### Scenario: Адрес публикации
|
||||
|
||||
- **WHEN** для запущенных контейнеров LB, API, worker, Postgres, Valkey, S3 и
|
||||
- **WHEN** для запущенных контейнеров LB, API, relay, worker, Postgres, Valkey, S3 и
|
||||
брокера выполняется `docker port`
|
||||
- **THEN** порты LB, Postgres, Valkey, порт API S3 и порт AMQP брокера
|
||||
опубликованы на `127.0.0.1`, а не на `0.0.0.0`; других портов у S3 и брокера
|
||||
не опубликовано, а у контейнеров API и worker опубликованных портов нет
|
||||
не опубликовано, а у контейнеров API, relay и worker опубликованных портов нет
|
||||
|
||||
### Requirement: Конфигурация на старте
|
||||
|
||||
@@ -207,7 +211,7 @@ compose, и приложению, SHALL передаваться через `env
|
||||
bucket, учётные записи S3, очередь, её сообщения и данные SHALL сохраняться: без
|
||||
удаления volumes, очистки и повторного наполнения. Bootstrap S3, который снова
|
||||
выполняется при старте реплик, состояние хранилища не меняет. Число
|
||||
реплик после рестарта SHALL оставаться прежним. Worker и уборщика скрипт не
|
||||
реплик после рестарта SHALL оставаться прежним. Relay, worker и уборщика скрипт не
|
||||
трогает: они переживают рестарт хранилищ сами, а остановленный worker остаётся
|
||||
остановленным. Скрипт SHALL быть исполняемым, завершаться с кодом 0 только после
|
||||
перезапуска, укладываться в 90 с и MUST NOT печатать секреты. Публичная проверка
|
||||
@@ -231,9 +235,9 @@ bucket, учётные записи S3, очередь, её сообщения
|
||||
|
||||
#### Scenario: Worker переживает рестарт хранилищ
|
||||
|
||||
- **WHEN** worker работает, выполнен `scripts/restart.sh`, и участник загружает
|
||||
- **WHEN** relay и worker работают, выполнен `scripts/restart.sh`, и участник загружает
|
||||
файл
|
||||
- **THEN** вложение становится `ready`, а у контейнера worker прежнее время
|
||||
- **THEN** вложение становится `ready`, а у контейнеров relay и worker прежнее время
|
||||
старта и счётчик перезапусков 0
|
||||
|
||||
### Requirement: Удаление учебных данных
|
||||
@@ -287,31 +291,32 @@ MUST NOT затрагивать ресурсы проектов прошлых
|
||||
### Requirement: Лимиты ресурсов и секреты по сервисам
|
||||
|
||||
Каждый сервис стенда SHALL иметь лимиты CPU и памяти: LB, реплики API,
|
||||
уборщик, worker, сервисы миграций и bootstrap S3, PostgreSQL, Valkey, сервер
|
||||
уборщик, relay, worker, сервисы миграций и bootstrap S3, PostgreSQL, Valkey, сервер
|
||||
S3 и брокер. Сумма лимитов и расчёт соединений PostgreSQL для заявленного числа
|
||||
реплик, уборщика и worker SHALL быть описаны в `REPORT.md`. Секреты SHALL
|
||||
реплик, уборщика, relay и worker SHALL быть описаны в `REPORT.md`. Секреты SHALL
|
||||
передаваться только тем сервисам, которым они нужны:
|
||||
|
||||
- пароль PostgreSQL — PostgreSQL, репликам API, уборщику, worker и сервису
|
||||
- пароль PostgreSQL — PostgreSQL, репликам API, уборщику, relay, worker и сервису
|
||||
миграций;
|
||||
- пароль Valkey — Valkey и репликам API;
|
||||
- пароль брокера — брокеру, репликам API и worker;
|
||||
- пароль брокера — брокеру, relay и worker;
|
||||
- административные ключ и секрет S3 — только серверу S3;
|
||||
- ключ подписи служебных вызовов S3 — серверу S3 и bootstrap;
|
||||
- ключи пользователя API в S3 — bootstrap и репликам API;
|
||||
- ключи пользователя уборщика в S3 — bootstrap и уборщику;
|
||||
- ключи пользователя worker в S3 — bootstrap и worker;
|
||||
- LB MUST NOT получать ни одного секрета, а сервис миграций, PostgreSQL,
|
||||
Valkey и брокер MUST NOT получать секретов S3. Уборщик MUST NOT получать
|
||||
пароли Valkey и брокера, ключи API и worker, административные ключи S3 и ключ
|
||||
подписи. Worker MUST NOT получать пароль Valkey, ключи API и уборщика,
|
||||
административные ключи S3 и ключ подписи.
|
||||
Valkey и брокер MUST NOT получать секретов S3. Реплики API MUST NOT получать пароль
|
||||
брокера. Уборщик MUST NOT получать пароли Valkey и брокера, ключи API и worker,
|
||||
административные ключи S3 и ключ подписи. Relay MUST NOT получать пароль Valkey и секреты
|
||||
S3. Worker MUST NOT получать пароль Valkey, ключи API и уборщика, административные ключи
|
||||
S3 и ключ подписи.
|
||||
|
||||
#### Scenario: Лимиты у всех контейнеров
|
||||
|
||||
- **WHEN** для каждого контейнера запущенного стенда выполняется
|
||||
`docker inspect` (`HostConfig.NanoCpus`, `HostConfig.Memory`)
|
||||
- **THEN** у LB, каждой реплики API, уборщика, worker, сервисов миграций и
|
||||
- **THEN** у LB, каждой реплики API, уборщика, relay, worker, сервисов миграций и
|
||||
bootstrap S3, PostgreSQL, Valkey, сервера S3 и брокера оба значения больше нуля
|
||||
|
||||
#### Scenario: Секреты по сервисам
|
||||
@@ -320,7 +325,7 @@ S3 и брокер. Сумма лимитов и расчёт соединени
|
||||
`docker compose config`
|
||||
- **THEN** у LB нет ни одного секрета; у сервиса миграций нет паролей
|
||||
Valkey и брокера и секретов S3; пароль Valkey есть только у Valkey и реплик
|
||||
API; пароль брокера — только у брокера, реплик API и worker; административные
|
||||
API; пароль брокера — только у брокера, relay и worker; административные
|
||||
ключи S3 — только у сервера S3, ключ подписи — у сервера S3 и bootstrap, ключи
|
||||
API в S3 — у bootstrap и реплик API, ключи уборщика в S3 — у bootstrap и
|
||||
уборщика, ключи worker в S3 — у bootstrap и worker
|
||||
|
||||
@@ -92,10 +92,13 @@ SQLite. Сообщение брокера лишь сообщает о зада
|
||||
- код ошибки есть только у вложения `failed`, и у `failed` он есть;
|
||||
- на вложение и версию конвейера одно задание, оно ссылается на существующее
|
||||
вложение; вложение с заданием удалить нельзя;
|
||||
- допустимые значения состояния и числа попыток задания;
|
||||
- допустимые значения состояния и числа попыток задания; число попыток до
|
||||
последнего replay не больше числа начатых;
|
||||
- вариант уникален по вложению, версии конвейера и имени; он ссылается на
|
||||
существующее вложение; допустимые значения имени, типа, размера, ширины,
|
||||
высоты и SHA-256; ключ объекта варианта уникален.
|
||||
высоты и SHA-256; ключ объекта варианта уникален;
|
||||
- запись аудита replay ссылается на существующее задание; задание с такой записью
|
||||
удалить нельзя.
|
||||
|
||||
Порядок `member_ids`, заданный при создании чата, и порядок
|
||||
`attachment_ids` сообщения SHALL сохраняться. Принадлежность вложения
|
||||
@@ -117,7 +120,8 @@ SQLite. Сообщение брокера лишь сообщает о зада
|
||||
#### Scenario: Ограничения обработки в схеме
|
||||
|
||||
- **WHEN** проверяющий пытается вставить второе задание той же версии конвейера,
|
||||
второй вариант с тем же именем и `error_code` у вложения не `failed`
|
||||
второй вариант с тем же именем, `error_code` у вложения не `failed` и запись аудита
|
||||
replay с неизвестным заданием
|
||||
- **THEN** PostgreSQL отклоняет каждую вставку нарушением ограничения
|
||||
|
||||
### Requirement: Составная операция в одной транзакции
|
||||
|
||||
@@ -93,7 +93,8 @@
|
||||
Миграция SHALL только расширять схему:
|
||||
- новая таблица со своими ограничениями и внешними ключами;
|
||||
- новая колонка, допускающая NULL или со значением по умолчанию;
|
||||
- новый индекс;
|
||||
- новый индекс; на таблице, в которую идёт запись, — без блокировки записи на время
|
||||
сборки;
|
||||
- ослабление ограничения: новое условие пропускает всё, что пропускало
|
||||
прежнее, поэтому прежняя версия не пишет значений, которые новое
|
||||
условие запретит.
|
||||
@@ -133,7 +134,7 @@
|
||||
- **THEN** проверки, которые прежний образ проходил на прежней схеме,
|
||||
проходят и на новой: запись сообщений через прежние реплики — 201,
|
||||
история — 200, ответов 5xx нет (замер замены реплик —
|
||||
`evidence/rollout/async-attachments/summary.md`)
|
||||
`evidence/rollout/pipeline-reliability/summary.md`)
|
||||
- **AND** проверки, которых прежний образ не проходил и на прежней схеме
|
||||
(новые требования контракта, например вложения лабы 4 для образа лабы
|
||||
4 до `attachments`), совместимостью схемы не считаются
|
||||
@@ -170,6 +171,13 @@
|
||||
блокировкой, их `status` прежний, загрузка через прежнюю реплику проходит,
|
||||
как раньше, а повторный запуск миграций ничего не меняет
|
||||
|
||||
#### Scenario: Поля надёжности обработки
|
||||
|
||||
- **WHEN** миграции этого уровня применены к базе с заданиями всех состояний, а реплики и
|
||||
worker прежнего образа ещё работают
|
||||
- **THEN** индексы построены без блокировки записи, задание прежнего образа вставляется без
|
||||
новых колонок, прежние строки не меняются, а повторный запуск миграций ничего не меняет
|
||||
|
||||
### Requirement: Однократные миграции при замене реплик
|
||||
|
||||
Поочерёдная замена реплик (`load-balancing`) SHALL применять миграции
|
||||
|
||||
@@ -244,16 +244,17 @@ PostgreSQL доводится до конца или до отката. Новы
|
||||
новые сообщения и дать начатым заданиям завершиться, но не дольше `[worker]
|
||||
graceful_shutdown_seconds`. Задание, которое не успело, SHALL оставаться
|
||||
неподтверждённым: брокер доставит его снова (`attachment-processing`, «Доставка at
|
||||
least once»). Затем worker SHALL выйти с кодом 0 раньше срока остановки контейнера
|
||||
(10 с), а не по SIGKILL, в том числе если декодирование ещё идёт.
|
||||
least once»), а его процесс обработки SHALL быть убит. Затем worker SHALL выйти с кодом 0
|
||||
раньше срока остановки контейнера (10 с), а не по SIGKILL, в том числе если декодирование
|
||||
ещё идёт.
|
||||
|
||||
Значение `graceful_shutdown_seconds` MUST быть не больше 9. Сигнал во время старта
|
||||
процесса SHALL завершать его с кодом 0 без traceback, как у API (требование
|
||||
«Остановка во время старта»). Остановка SHALL быть видна в журнале записью об
|
||||
остановке worker.
|
||||
Значение `graceful_shutdown_seconds` MUST быть не больше 8: вместе с закрытием клиентов
|
||||
остановка в худшем случае укладывается в 9,5 с. Сигнал во время старта процесса SHALL
|
||||
завершать его с кодом 0 без traceback, как у API (требование «Остановка во время старта»).
|
||||
Остановка SHALL быть видна в журнале записью об остановке worker.
|
||||
|
||||
Ограничение называется в `REPORT.md`. Задание, прерванное остановкой, считается
|
||||
начатой попыткой.
|
||||
Ограничение называется в `REPORT.md`. Задание, прерванное остановкой, считается начатой
|
||||
попыткой: следующую она получит, когда истечёт срок её аренды.
|
||||
|
||||
#### Scenario: docker stop простаивающего worker
|
||||
|
||||
@@ -268,9 +269,37 @@ least once»). Затем worker SHALL выйти с кодом 0 раньше
|
||||
- **THEN** команда завершается быстрее 10 с, код выхода контейнера 0, сообщение
|
||||
задания снова в очереди, а после запуска worker вложение становится `ready`
|
||||
|
||||
#### Scenario: docker stop во время декодирования
|
||||
|
||||
- **WHEN** `docker compose stop worker` выполняется, пока идёт декодирование дольше срока
|
||||
остановки worker
|
||||
- **THEN** команда завершается быстрее 10 с, код выхода контейнера 0, процесса обработки не
|
||||
осталось, а задание получает следующую попытку после запуска worker
|
||||
|
||||
#### Scenario: docker stop во время старта worker
|
||||
|
||||
- **WHEN** контейнер worker остановлен в первые доли секунды после старта, пока
|
||||
процесс ещё импортирует приложение
|
||||
- **THEN** `docker stop` завершается не дольше чем за 1 с, код выхода контейнера 0, а в
|
||||
журнале есть запись об остановке worker до старта
|
||||
|
||||
### Requirement: Остановка relay
|
||||
|
||||
По SIGTERM relay (capability `job-outbox`) SHALL довести текущий проход до фиксации или
|
||||
отката и выйти с кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL. Новые
|
||||
проходы не начинаются, а паузу между проходами сигнал прерывает сразу. Незаписанное время
|
||||
подтверждения ничего не теряет: следующий запуск опубликует задание снова. Сигнал во время
|
||||
старта процесса SHALL завершать его с кодом 0 без traceback. Остановка SHALL быть видна в
|
||||
журнале.
|
||||
|
||||
#### Scenario: docker stop relay
|
||||
|
||||
- **WHEN** выполняется `docker compose stop relay`, в том числе при замороженном брокере
|
||||
- **THEN** команда завершается быстрее 10 с, код выхода контейнера 0, а в журнале есть запись
|
||||
об остановке relay
|
||||
|
||||
#### Scenario: docker stop во время старта relay
|
||||
|
||||
- **WHEN** контейнер relay остановлен в первые доли секунды после старта
|
||||
- **THEN** `docker stop` завершается не дольше чем за 1 с, код выхода контейнера 0, а в журнале
|
||||
есть запись об остановке relay до старта
|
||||
|
||||
@@ -27,14 +27,14 @@ MUST NOT зависеть от состояния хранилища.
|
||||
зависимость — PostgreSQL: проверка SHALL выполнять запрос к нему с
|
||||
коротким таймаутом при каждом обращении.
|
||||
|
||||
Четыре зависимости не критичны, и их недоступность MUST NOT делать сервис
|
||||
Пять зависимостей не критичны, и их недоступность MUST NOT делать сервис
|
||||
неготовым:
|
||||
- Valkey — кэш: без него обязательные запросы обслуживаются из
|
||||
PostgreSQL;
|
||||
- S3 — хранилище байтов вложений: путь без вложений его не использует;
|
||||
- брокер — приём новых вложений: без него загрузка отвечает 503, а текст,
|
||||
история, метаданные и скачивание готового вложения работают. Иначе отказ
|
||||
брокера вывел бы из балансировщика все реплики разом;
|
||||
- брокер — доставка заданий: реплики API к нему не обращаются, загрузка отвечает
|
||||
202, а задания ждут в PostgreSQL;
|
||||
- relay — публикация заданий: без него задания ждут в PostgreSQL;
|
||||
- worker — фоновая обработка: без него загрузки ждут в очереди.
|
||||
|
||||
Проверка MUST NOT обращаться к S3 и брокеру и MUST NOT требовать
|
||||
@@ -67,8 +67,8 @@ SHALL быть в `REPORT.md`.
|
||||
|
||||
#### Scenario: Брокер и worker недоступны
|
||||
|
||||
- **WHEN** брокер остановлен или заморожен (`docker pause`), worker
|
||||
остановлен, а PostgreSQL доступен
|
||||
- **WHEN** брокер остановлен или заморожен (`docker pause`), relay и worker
|
||||
остановлены, а PostgreSQL доступен
|
||||
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
||||
секунды: проверка к брокеру не обращается
|
||||
|
||||
|
||||
@@ -0,0 +1,169 @@
|
||||
# job-outbox Specification
|
||||
|
||||
## Purpose
|
||||
|
||||
Transactional outbox заданий обработки вложений с лабы 5, уровень 4: намерение
|
||||
обработать файл фиксируется в PostgreSQL вместе с приёмом, а до брокера его доводит
|
||||
отдельный процесс relay. Здесь описано:
|
||||
- что означает приём и почему он не зависит от брокера;
|
||||
- публикация с подтверждением и доставка at least once;
|
||||
- несколько экземпляров relay, срок следующей попытки и порядок;
|
||||
- потерянные сообщения и предел опубликованных заданий.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: Приём не зависит от брокера
|
||||
|
||||
Реплики API MUST NOT обращаться к брокеру и MUST NOT получать его пароль. Ответ 202 на
|
||||
загрузку SHALL означать, что оригинал записан в staging, а вложение `queued` и его
|
||||
задание зафиксированы в PostgreSQL одной транзакцией (`attachments`, «Порядок
|
||||
записи»). Зафиксированное задание без времени подтверждения брокером — это намерение:
|
||||
оно уже не может потеряться, его SHALL довести до брокера relay.
|
||||
|
||||
Ответ на загрузку MUST NOT зависеть от состояния брокера и relay: их отказ, заморозка и
|
||||
остановка не меняют ни кода ответа, ни срока, в который он приходит.
|
||||
|
||||
#### Scenario: Загрузка при остановленном брокере
|
||||
|
||||
- **WHEN** брокер остановлен, и участник загружает настоящий PNG
|
||||
- **THEN** ответ 202 быстрее секунды, вложение `queued`, его задание без времени
|
||||
подтверждения брокером
|
||||
- **AND** после запуска брокера вложение становится `ready` без действий клиента
|
||||
|
||||
#### Scenario: Загрузка при замороженном брокере
|
||||
|
||||
- **WHEN** контейнер брокера заморожен (`docker pause`), и участник загружает настоящий
|
||||
PNG
|
||||
- **THEN** ответ 202 быстрее секунды, а после разморозки вложение становится `ready`
|
||||
|
||||
#### Scenario: Ответ не ждёт публикации
|
||||
|
||||
- **WHEN** relay остановлен, и участник загружает настоящий PNG
|
||||
- **THEN** ответ 202, в очереди нет сообщения этого задания, а метаданные — 200 со
|
||||
`status` `queued`
|
||||
|
||||
### Requirement: Relay публикует намерения
|
||||
|
||||
Намерения SHALL публиковать relay — отдельный процесс стенда (`container-run`). Он MUST
|
||||
NOT читать байты вложений и обращаться к S3. Relay SHALL проходить по заданиям не реже
|
||||
чем раз в `[relay] poll_interval_seconds` и публиковать каждое задание `queued`, срок
|
||||
которого наступил (требование «Порядок и срок публикации»), а время подтверждения брокером
|
||||
записывать только после подтверждения этого сообщения брокером.
|
||||
|
||||
Сообщение SHALL соответствовать `contracts/jobs.schema.json`: тот же `job_id`, а `attempt`
|
||||
на единицу больше числа начатых попыток задания.
|
||||
|
||||
Доставка at least once: сбой relay или брокера до записи времени подтверждения SHALL вести
|
||||
к новой публикации того же задания. Лишнее сообщение MUST NOT создавать второго набора
|
||||
вариантов и новой попытки у завершённого задания (`attachment-processing`, «Доставка at least
|
||||
once»). Отказ брокера и PostgreSQL MUST NOT завершать процесс relay: он повторяет проход
|
||||
после паузы `[relay] failure_pause_seconds`, а журнал называет отказ.
|
||||
|
||||
Задание `queued` без времени подтверждения, записанное предыдущей версией кода, SHALL
|
||||
публиковаться так же.
|
||||
|
||||
#### Scenario: Crash между фиксацией и публикацией
|
||||
|
||||
- **WHEN** relay завершён сигналом KILL, участник загрузил файл (202), а затем relay снова
|
||||
запущен
|
||||
- **THEN** до запуска в очереди нет сообщения этого задания и у него нет времени
|
||||
подтверждения, а после запуска вложение становится `ready` с тем же заданием, без создания
|
||||
нового задания вручную
|
||||
|
||||
#### Scenario: Задание без отметки от прежней версии
|
||||
|
||||
- **WHEN** в базе есть вложение `queued` с заданием без времени подтверждения, а сообщения о
|
||||
нём в очереди нет
|
||||
- **THEN** relay публикует его сообщение, у задания появляется время подтверждения, а
|
||||
вложение становится `ready`
|
||||
|
||||
#### Scenario: Crash после подтверждения до отметки
|
||||
|
||||
- **WHEN** worker остановлен, запись времени подтверждения задержана, брокер уже подтвердил
|
||||
сообщение задания, relay завершён сигналом KILL и снова запущен, а затем запущен worker
|
||||
- **THEN** relay публикует задание ещё раз, вложение становится `ready`, число начатых
|
||||
попыток — 1, у каждого варианта один объект, а сообщений в очереди не осталось
|
||||
|
||||
#### Scenario: Отказ брокера во время работы relay
|
||||
|
||||
- **WHEN** брокер остановлен, пока relay работает, участник загружает файл, а затем брокер
|
||||
запущен
|
||||
- **THEN** в журнале relay есть запись об отказе брокера, вложение становится `ready`, а у
|
||||
контейнера relay прежнее время старта и счётчик перезапусков 0
|
||||
|
||||
#### Scenario: Отказ PostgreSQL во время работы relay
|
||||
|
||||
- **WHEN** PostgreSQL останавливается и снова запускается, пока relay работает, а затем
|
||||
участник загружает файл
|
||||
- **THEN** в журнале relay есть запись об отказе, вложение становится `ready`, а у контейнера
|
||||
relay прежнее время старта и счётчик перезапусков 0
|
||||
|
||||
### Requirement: Несколько экземпляров relay
|
||||
|
||||
Одновременно могут работать несколько процессов relay. Каждое задание за один проход SHALL
|
||||
публиковать один из них: задание, которое публикует другой процесс, relay пропускает, а не
|
||||
ждёт. Если процесс завершился до записи времени подтверждения, задание публикует следующий
|
||||
проход любого из них. На стенде relay один; второй экземпляр нужен на время замены.
|
||||
|
||||
#### Scenario: Два relay
|
||||
|
||||
- **WHEN** worker остановлен, работают два процесса relay, и участник загружает несколько
|
||||
файлов
|
||||
- **THEN** в очереди ровно по одному сообщению на вложение
|
||||
|
||||
### Requirement: Порядок и срок публикации
|
||||
|
||||
Срок нового задания SHALL наступать при его записи, а срок следующей попытки — в момент,
|
||||
записанный в задании (`attachment-processing`, «Ограниченные повторы»). Раньше срока задание
|
||||
MUST NOT публиковаться. Задания SHALL выбираться в порядке наступления срока: повтор не стоит
|
||||
за всеми новыми заданиями. Порядок обработки при этом не гарантирован: обработка одного
|
||||
вложения не зависит от другого.
|
||||
|
||||
#### Scenario: Следующая попытка не раньше срока
|
||||
|
||||
- **WHEN** попытка задания закончилась временной ошибкой, и срок следующей попытки ещё не
|
||||
наступил
|
||||
- **THEN** в очереди нет сообщения этого задания, а когда срок наступил, relay публикует его с
|
||||
`attempt` на единицу больше
|
||||
|
||||
### Requirement: Потерянное сообщение
|
||||
|
||||
Если задание `queued` отмечено подтверждённым брокером дольше `[relay]
|
||||
republish_after_seconds` назад, а готовых сообщений в его очереди нет, сообщение считается
|
||||
потерянным: очередь удалена или данные брокера утрачены. Relay SHALL опубликовать такое задание
|
||||
снова. Пока в очереди есть готовые сообщения, relay MUST NOT публиковать задания повторно: так
|
||||
длинная очередь не обрастает копиями.
|
||||
|
||||
#### Scenario: Очередь удалена вместе с сообщением
|
||||
|
||||
- **WHEN** worker остановлен, сообщение задания подтверждено брокером, очередь удалена мимо
|
||||
приложения, срок прошёл, и worker запущен
|
||||
- **THEN** relay объявляет очередь и публикует задание снова, а вложение становится `ready`
|
||||
|
||||
#### Scenario: Очередь с сообщениями не обрастает копиями
|
||||
|
||||
- **WHEN** worker остановлен, в очереди есть сообщения подтверждённых заданий, и срок прошёл
|
||||
- **THEN** число сообщений в очереди не меняется, а после запуска worker все вложения становятся
|
||||
`ready`
|
||||
|
||||
### Requirement: Предел опубликованных заданий
|
||||
|
||||
Relay MUST NOT публиковать новые задания, пока заданий `queued` с подтверждением брокера не
|
||||
меньше `[relay] max_published_backlog`: остальные ждут в PostgreSQL. Значение 0 — без предела.
|
||||
Так длина очереди брокера ограничена настройкой, а накопление видно в PostgreSQL. Срабатывание
|
||||
предела памяти брокера SHALL сдерживать публикацию так же: relay получает отказ по сроку, задания
|
||||
ждут в PostgreSQL, а загрузки по-прежнему отвечают 202.
|
||||
|
||||
Ограничение принятой работы на входе API здесь не вводится: это `track1-queue-overload`.
|
||||
|
||||
#### Scenario: Очередь ограничена пределом
|
||||
|
||||
- **WHEN** worker остановлен, relay работает с пределом 2, и участник загружает 5 файлов
|
||||
- **THEN** каждый ответ 202, в очереди 2 сообщения, у остальных заданий нет времени подтверждения,
|
||||
а после запуска worker все вложения становятся `ready`
|
||||
|
||||
#### Scenario: Брокер сдерживает публикацию
|
||||
|
||||
- **WHEN** сработал предел памяти брокера, и участник загружает файл
|
||||
- **THEN** ответ 202 быстрее секунды, у задания нет времени подтверждения, журнал relay называет
|
||||
отказ брокера, а после снятия предела вложение становится `ready`
|
||||
@@ -488,17 +488,17 @@ SHALL быть без состояния, выставленного вручн
|
||||
дольше `2 × [database] request_timeout_seconds + [uploads]
|
||||
wait_timeout_seconds` (17 с);
|
||||
- после тела — проверка изображения, запись метаданных, запись объекта в
|
||||
staging, перевод в `queued` с заданием и либо удаление объекта при
|
||||
компенсации, либо публикация брокеру и запись о ней, не дольше `3 ×
|
||||
request_timeout_seconds + [s3] timeout_seconds + [broker]
|
||||
publish_timeout_seconds` плюс проверка изображения (около 29 с).
|
||||
staging, перевод в `queued` с заданием и удаление объекта при
|
||||
компенсации, не дольше `2 × request_timeout_seconds + 2 × [s3]
|
||||
timeout_seconds` плюс проверка изображения (около 26 с). Брокера на этом
|
||||
пути нет.
|
||||
|
||||
У остальных путей срок SHALL оставаться прежним, 10 с: цепочка
|
||||
таймаутов лабы 3 для них не меняется.
|
||||
|
||||
Наибольшая длительность живой загрузки — молчание до тела, срок
|
||||
передачи тела (`[uploads] body_timeout_seconds`) и молчание после тела,
|
||||
около 76 с при значениях по умолчанию. Она и формула SHALL быть в
|
||||
около 73 с при значениях по умолчанию. Она и формула SHALL быть в
|
||||
`REPORT.md`.
|
||||
|
||||
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
|
||||
|
||||
@@ -69,10 +69,10 @@ run_dev` / `make run_docker`). После завершения, в том чис
|
||||
|
||||
Стенд SHALL состоять из балансировщика (LB), реплик приложения,
|
||||
PostgreSQL и Valkey. В профилях загрузок и сверки к ним SHALL
|
||||
добавляться S3 с его bootstrap, в профиле загрузок — ещё брокер, а в профиле
|
||||
сверки — разовые проходы процесса уборщика. Worker стенд не запускает: профили
|
||||
этого спека меряют реплику, а не обработку. Число реплик SHALL задаваться
|
||||
методикой, по умолчанию одна. Приложение SHALL запускаться в контейнерах из образа,
|
||||
добавляться S3 с его bootstrap, а в профиле сверки — разовые проходы процесса
|
||||
уборщика. Брокер, relay и worker стенд не запускает: профили этого спека меряют
|
||||
реплику, а не обработку, и реплика к брокеру не обращается. Число реплик SHALL
|
||||
задаваться методикой, по умолчанию одна. Приложение SHALL запускаться в контейнерах из образа,
|
||||
собранного из текущего checkout тем же `Dockerfile`. Исключения — профиль
|
||||
поочерёдной замены и варианты «до» профилей загрузок и сверки. Они берут
|
||||
образ commit, заданного методикой: образ собирается тем же `Dockerfile`
|
||||
@@ -84,8 +84,7 @@ PostgreSQL и Valkey. В профилях загрузок и сверки к н
|
||||
получает те же настройки образа плюс модуль записи планов, выключенный
|
||||
вне снятия плана. S3 SHALL запускаться из того же образа и с теми же
|
||||
аргументами сервера, что у рабочего стенда, а bucket и пользователей
|
||||
создаёт тот же bootstrap. Брокер SHALL запускаться из того же образа и с той же
|
||||
конфигурацией, что у рабочего стенда. В профиле сверки к аргументам S3 добавляется
|
||||
создаёт тот же bootstrap. В профиле сверки к аргументам S3 добавляется
|
||||
порт метрик шлюза: он слушает только loopback контейнера S3, и по нему
|
||||
оркестратор считает запросы к S3. В сериях трека 1 предел соединений
|
||||
PostgreSQL (`max_connections`) — параметр конфигурации серии, по
|
||||
@@ -97,7 +96,7 @@ PostgreSQL (`max_connections`) — параметр конфигурации с
|
||||
- у каждой реплики приложения — лимит CPU и памяти без swap, заданный
|
||||
методикой (в профилях лабы 2 — 1 CPU и 2 ГБ, в серии трека 1 — по
|
||||
конфигурации);
|
||||
- у LB, PostgreSQL, Valkey, S3, брокера и уборщика — свои лимиты CPU и памяти
|
||||
- у LB, PostgreSQL, Valkey, S3 и уборщика — свои лимиты CPU и памяти
|
||||
без swap, заданные методикой; в серии трека 1 они одинаковы во всех
|
||||
конфигурациях; у уборщика в управляемом опыте профиля сверки — другой
|
||||
лимит CPU, тоже заданный методикой;
|
||||
@@ -108,6 +107,10 @@ PostgreSQL (`max_connections`) — параметр конфигурации с
|
||||
у рабочего стенда (`load-balancing`, «Загрузки через балансировщик»).
|
||||
Значение SHALL записываться в паспорт.
|
||||
|
||||
Образ контейнера в паспорте SHALL называться тем значением, по которому образы
|
||||
контейнеров можно сравнивать: меткой манифеста compose, а у контейнера без неё — идентификатором
|
||||
образа.
|
||||
|
||||
Healthcheck образа приложения SHALL быть отключён: готовность реплик
|
||||
проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки
|
||||
приложения и хранилищ SHALL браться из методики стенда, а не из `.env`
|
||||
@@ -176,8 +179,8 @@ docker-сети и обращаться к приложению через LB п
|
||||
#### Scenario: Брокер в профиле загрузок
|
||||
|
||||
- **WHEN** запускается профиль загрузок
|
||||
- **THEN** брокер стенда запущен из образа рабочего стенда с его конфигурацией и
|
||||
лимитами, worker не запущен, а образ и лимиты брокера записаны в паспорт
|
||||
- **THEN** брокер, relay и worker стенда не запущены, а загрузки отвечают 202: задания ждут в
|
||||
PostgreSQL
|
||||
|
||||
#### Scenario: S3 и уборщик в профиле сверки
|
||||
|
||||
@@ -1837,8 +1840,8 @@ SHALL описывать трек 1:
|
||||
Commit, с образа которого стартуют реплики профилей `rollout` и
|
||||
`rollout_quick`, SHALL задаваться методикой профиля. Это commit
|
||||
текущей лабы до изменения, которое показывает замена. Сейчас таким
|
||||
изменением SHALL быть миграция вложений: commit — последний перед
|
||||
change `attachments`. Commit SHALL меняться при переходе в следующую
|
||||
изменением SHALL быть миграции надёжности обработки: commit — последний перед
|
||||
change `pipeline-reliability`. Commit SHALL меняться при переходе в следующую
|
||||
лабу (commit прошлой лабы в её истории нет) и когда замена показывает
|
||||
новое изменение схемы. Правило и текущее значение SHALL быть в
|
||||
`.claude/rules/bench.md`, commit — в паспорте метки.
|
||||
@@ -1849,9 +1852,9 @@ change `attachments`. Commit SHALL меняться при переходе в
|
||||
|
||||
#### Scenario: Замена на схему с вложениями
|
||||
|
||||
- **WHEN** выполнен `make bench_rollout_quick` на коде с вложениями
|
||||
- **THEN** реплики стартуют на образе commit до change `attachments`,
|
||||
ревизия схемы до замены — без таблиц вложений, после — с ними, а
|
||||
- **WHEN** выполнен `make bench_rollout_quick` на коде этого изменения
|
||||
- **THEN** реплики стартуют на образе commit до change `pipeline-reliability`,
|
||||
ревизия схемы до замены — без новых колонок и таблицы, после — с ними, а
|
||||
команда завершается с кодом 0
|
||||
|
||||
#### Scenario: Commit вне истории
|
||||
@@ -1870,8 +1873,8 @@ change `attachments`. Commit SHALL меняться при переходе в
|
||||
отказ до запуска стенда.
|
||||
|
||||
Стенд — LB и одна реплика с лимитами рабочего стенда (1 CPU, 512 МБ без
|
||||
swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочего стенда. Worker не
|
||||
запускается: задания ждут в очереди.
|
||||
swap), PostgreSQL, Valkey и S3 с лимитами рабочего стенда. Брокер, relay и
|
||||
worker не запускаются: задания ждут в PostgreSQL.
|
||||
|
||||
Варианты кода:
|
||||
- «до» — образ commit из методики; у лабы 5 это commit переноса лабы 4, в
|
||||
@@ -1890,7 +1893,7 @@ swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочег
|
||||
|
||||
Прогон — вариант × размер × число одновременных клиентов (1, 10, 20 и
|
||||
40) × повтор. Повторов в полном профиле три. Каждый прогон SHALL идти на
|
||||
новом контейнере реплики и новых volume S3 и брокера. Клиенты загружают без пауз
|
||||
новом контейнере реплики и новом volume S3. Клиенты загружают без пауз
|
||||
окно, заданное методикой. На 429 клиент ждёт `Retry-After`, на прочие
|
||||
ошибки — секунду.
|
||||
|
||||
@@ -1910,8 +1913,7 @@ swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочег
|
||||
Граница чёрного ящика: генератор обращается к приложению только по HTTP
|
||||
через LB, оркестратор управляет стендом через docker CLI. Сверх этого он
|
||||
читает счётчики памяти cgroup контейнеров и пересоздаёт volume S3 с
|
||||
bootstrap и volume брокера между прогонами. К bucket, объектам и сообщениям он не
|
||||
обращается.
|
||||
bootstrap между прогонами. К bucket и объектам он не обращается.
|
||||
|
||||
В паспорте метки SHALL быть:
|
||||
- лимиты и образы, в том числе commit варианта «до»;
|
||||
@@ -2029,8 +2031,8 @@ bench_reconcile_quick` — то же на малом наборе и одним
|
||||
скачивания вложений набора, запись сообщений и чтение истории. До и
|
||||
после каждого прохода — окна без прохода;
|
||||
- отказ по пределу: `--apply` с пределом изменений 100, когда
|
||||
кандидатов 1 000 и 10 000, — на образе до change и на образе текущего
|
||||
checkout.
|
||||
кандидатов 1 000 и 10 000, — на образе commit из методики и на образе
|
||||
текущего checkout.
|
||||
|
||||
Каждый проход повторяется три раза, повторы одной ячейки не идут подряд.
|
||||
Исключение — группа проходов из одной ячейки (этап 100k без нагрузки —
|
||||
|
||||
@@ -49,12 +49,13 @@ volume. Пользователя с паролем по умолчанию MUST
|
||||
сообщениями. Имя очереди SHALL содержать имя базы PostgreSQL процесса: так
|
||||
прогон на временной базе не смешивается с рабочим, как объекты S3 и ключи кэша.
|
||||
Очередь SHALL существовать к первой публикации, даже если worker ни разу не
|
||||
запускался: её объявляет и издатель, и потребитель, повторное объявление
|
||||
запускался: её объявляет и relay, и потребитель, повторное объявление
|
||||
безопасно.
|
||||
|
||||
#### Scenario: Очередь и сообщения устойчивы
|
||||
|
||||
- **WHEN** участник загрузил файл при остановленном worker
|
||||
- **WHEN** участник загрузил файл при остановленном worker, и relay опубликовал его
|
||||
задание
|
||||
- **THEN** очередь в брокере `durable`, в ней одно сообщение с постоянной
|
||||
доставкой, а прочитанное без подтверждения сообщение возвращается в очередь
|
||||
|
||||
@@ -66,16 +67,17 @@ volume. Пользователя с паролем по умолчанию MUST
|
||||
|
||||
### Requirement: Подтверждение публикации
|
||||
|
||||
Издатель SHALL считать сообщение принятым только после подтверждения брокера
|
||||
Relay SHALL считать сообщение принятым только после подтверждения брокера
|
||||
(publisher confirm). Сообщение, которое брокеру некуда направить, отказ брокера,
|
||||
обрыв соединения и истечение `[broker] publish_timeout_seconds` SHALL быть
|
||||
ошибкой недоступности, и API отвечает 503 `unavailable` в формате контракта, а не
|
||||
500 и не зависанием. Ответ SHALL приходить не позже этого срока с запасом.
|
||||
Издатель MUST NOT повторять публикацию сам.
|
||||
ошибкой публикации: время подтверждения у задания не записывается, намерение остаётся в
|
||||
PostgreSQL, и следующий проход публикует его снова. Исход публикации по сроку неизвестен,
|
||||
поэтому сообщение может дойти дважды (`job-outbox`, «Relay публикует намерения»).
|
||||
Отдельный вызов публикации MUST NOT зависать дольше этого срока.
|
||||
|
||||
Брокер не критичен для обязательного пути: без него SHALL работать отправка
|
||||
текста, история, метаданные, скачивание готового вложения и `/health/ready`
|
||||
(`health`, «Readiness»).
|
||||
Брокер не критичен для обязательного пути и для приёма файлов: без него SHALL работать
|
||||
загрузка (202), отправка текста, история, метаданные, скачивание готового вложения и
|
||||
`/health/ready` (`health`, «Readiness»).
|
||||
|
||||
После возврата брокера публикация SHALL проходить без перезапуска процесса.
|
||||
|
||||
@@ -83,28 +85,25 @@ volume. Пользователя с паролем по умолчанию MUST
|
||||
|
||||
- **WHEN** брокер остановлен, и участник загружает файл, отправляет текст,
|
||||
читает метаданные готового вложения и скачивает его
|
||||
- **THEN** загрузка — 503 `unavailable` быстрее срока публикации с запасом,
|
||||
отправка — 201, метаданные и скачивание — 200, а вложения этой загрузки по API не
|
||||
видно
|
||||
- **THEN** загрузка — 202 быстрее секунды, отправка — 201, метаданные и скачивание —
|
||||
200, а новое вложение видно по API со `status` `queued`
|
||||
|
||||
#### Scenario: Брокер завис
|
||||
|
||||
- **WHEN** контейнер брокера заморожен (`docker pause`), и участник загружает файл
|
||||
- **THEN** ответ 503 `unavailable` не позже срока публикации с запасом, а сообщение,
|
||||
дошедшее до брокера после разморозки, не делает вложение видимым и не создаёт
|
||||
объектов варианта
|
||||
- **THEN** ответ 202 быстрее секунды, а после разморозки вложение становится `ready` с одним
|
||||
набором вариантов, даже если сообщение, дошедшее после разморозки, опубликовано ещё раз
|
||||
|
||||
#### Scenario: Брокер вернулся
|
||||
|
||||
- **WHEN** брокер снова запущен, а реплика API не перезапускалась
|
||||
- **THEN** следующая загрузка — 202, и вложение становится `ready`
|
||||
- **WHEN** брокер снова запущен, а relay и worker не перезапускались
|
||||
- **THEN** вложение, принятое без брокера, и следующая загрузка становятся `ready`
|
||||
|
||||
#### Scenario: Очередь удалена
|
||||
|
||||
- **WHEN** worker остановлен, очередь заданий удалена мимо приложения, участник
|
||||
дважды загружает файл, а затем worker запущен
|
||||
- **THEN** первая загрузка — 503 `unavailable`, вторая — 202, очередь объявлена
|
||||
заново, и принятое вложение становится `ready`
|
||||
- **THEN** обе загрузки — 202, очередь объявлена заново, и оба вложения становятся `ready`
|
||||
|
||||
### Requirement: Данные брокера переживают рестарт
|
||||
|
||||
@@ -128,22 +127,20 @@ volume. Пользователя с паролем по умолчанию MUST
|
||||
|
||||
### Requirement: Клиент брокера в приложении
|
||||
|
||||
Реплики API и worker SHALL обращаться к брокеру с настройками секции `[broker]`.
|
||||
Соединение SHALL открываться при первом вызове, а не при старте: без брокера
|
||||
процесс стартует. При остановке сервиса клиент SHALL закрываться. Потерянное
|
||||
соединение SHALL восстанавливаться следующим вызовом, у worker — с паузой между
|
||||
попытками, без перезапуска процесса. Пароль брокера MUST NOT попадать в журнал и
|
||||
в ответы API.
|
||||
Relay и worker SHALL обращаться к брокеру с настройками секции `[broker]`. Реплики API MUST
|
||||
NOT к нему обращаться. Соединение SHALL открываться при первом вызове, а не при старте: без
|
||||
брокера процесс стартует. При остановке сервиса клиент SHALL закрываться. Потерянное
|
||||
соединение SHALL восстанавливаться следующим вызовом, с паузой между попытками, без
|
||||
перезапуска процесса. Пароль брокера MUST NOT попадать в журнал.
|
||||
|
||||
#### Scenario: Старт без брокера
|
||||
|
||||
- **WHEN** реплика API и worker запускаются при остановленном брокере
|
||||
- **THEN** реплика становится готовой и обслуживает текст, worker пишет в журнал
|
||||
об отказе брокера и не завершается, а после запуска брокера загрузка — 202, и
|
||||
вложение становится `ready`
|
||||
- **WHEN** реплика API, relay и worker запускаются при остановленном брокере
|
||||
- **THEN** реплика становится готовой и принимает файл (202), relay и worker пишут в журнал об
|
||||
отказе брокера и не завершаются, а после запуска брокера вложение становится `ready`
|
||||
|
||||
#### Scenario: Рестарт брокера при работающем worker
|
||||
|
||||
- **WHEN** брокер перезапущен, а worker в это время работает
|
||||
- **WHEN** брокер перезапущен, а relay и worker в это время работают
|
||||
- **THEN** worker без перезапуска снова получает задания: новая загрузка становится
|
||||
`ready`, а счётчик перезапусков контейнера worker не изменился
|
||||
`ready`, а счётчики перезапусков контейнеров relay и worker не изменились
|
||||
|
||||
@@ -229,14 +229,14 @@ SHALL получать 403 на:
|
||||
данные S3, отдельные от учётных данных API и административных.
|
||||
Пользователю уборщика SHALL быть разрешены только:
|
||||
- чтение и удаление объектов своего bucket;
|
||||
- список объектов своего bucket с префиксом вложений своей базы,
|
||||
`<имя базы>/attachments/`, — для сверки bucket и БД.
|
||||
- список объектов своего bucket с префиксами вложений и staging своей базы,
|
||||
`<имя базы>/attachments/` и `<имя базы>/staging/`, — для сверки bucket и БД.
|
||||
|
||||
Префикс задаёт bootstrap по имени базы стенда.
|
||||
Префиксы задаёт bootstrap по имени базы стенда.
|
||||
|
||||
Пользователю уборщика MUST NOT быть разрешены:
|
||||
- запись объектов;
|
||||
- список объектов без этого префикса или с другим префиксом, в том числе
|
||||
- список объектов без этих префиксов или с другим префиксом, в том числе
|
||||
с префиксом другой базы;
|
||||
- операции с bucket: создание, удаление, политика, ACL;
|
||||
- публичный ACL объекта;
|
||||
@@ -250,16 +250,16 @@ SHALL получать 403 на:
|
||||
|
||||
- **WHEN** ключом API записан объект, а ключом уборщика он прочитан,
|
||||
удалён и удалён ещё раз, и запрошен список объектов с префиксом
|
||||
вложений базы
|
||||
вложений базы и с префиксом staging базы
|
||||
- **THEN** чтение отдаёт те же байты, оба удаления успешны, объекта
|
||||
после них нет, а список отвечает 200
|
||||
после них нет, а оба списка отвечают 200
|
||||
|
||||
#### Scenario: Запрещённые операции уборщика
|
||||
|
||||
- **WHEN** ключом уборщика запрашиваются:
|
||||
- запись объекта;
|
||||
- список объектов всего bucket и с префиксом, не принадлежащим
|
||||
вложениям его базы;
|
||||
- список объектов всего bucket, с общим префиксом базы и с префиксом, не
|
||||
принадлежащим его базе;
|
||||
- создание и удаление bucket, политика и ACL bucket;
|
||||
- публичный ACL объекта;
|
||||
- объект другого bucket и его список
|
||||
@@ -277,8 +277,8 @@ SHALL получать 403 на:
|
||||
- ключ worker записывает и читает проверочный объект и получает отказ на
|
||||
удаление, на список и на создание bucket;
|
||||
- ключ уборщика читает и удаляет проверочный объект. Он получает отказ на
|
||||
запись и на список всего bucket, а список с префиксом вложений своей
|
||||
базы у него проходит;
|
||||
запись и на список всего bucket, а списки с префиксами вложений и staging
|
||||
своей базы у него проходят;
|
||||
- аноним получает отказ на чтение существующего объекта и на список.
|
||||
|
||||
При нарушении bootstrap завершается с ненулевым кодом, и реплики API
|
||||
@@ -289,8 +289,8 @@ SHALL получать 403 на:
|
||||
- запросы ключей API, уборщика и worker к чужому bucket;
|
||||
- административные запросы ключей API, уборщика и worker;
|
||||
- запись ключом уборщика;
|
||||
- его список всего bucket и с чужим префиксом — отказ, с префиксом
|
||||
вложений своей базы — 200.
|
||||
- его список всего bucket и с чужим префиксом — отказ, с префиксами
|
||||
вложений и staging своей базы — 200.
|
||||
|
||||
Команда SHALL печатать по каждой проверке ожидаемый и полученный код
|
||||
ответа без секретов. При любом нарушении код выхода SHALL быть
|
||||
@@ -300,7 +300,7 @@ SHALL получать 403 на:
|
||||
|
||||
- **WHEN** на запущенном стенде выполняется `make s3_check`
|
||||
- **THEN** каждая проверка напечатана с полученным кодом ответа, в том
|
||||
числе проверки списка ключом уборщика по своему и чужому префиксу и
|
||||
числе проверки списка ключом уборщика по своим и чужому префиксу и
|
||||
отказ ключу worker на удаление и список, код выхода 0, а проверочных
|
||||
объектов и bucket после команды нет
|
||||
|
||||
|
||||
@@ -377,8 +377,11 @@ MUST NOT стартовать. Как эти сроки согласованы
|
||||
`storage-consistency`) SHALL задаваться в секции `[cleaner]`:
|
||||
- `interval_seconds` — пауза между проходами, по умолчанию 60;
|
||||
- `pending_grace_seconds` — grace period, по умолчанию 900;
|
||||
- `batch_size` — сколько незавершённых загрузок уборщик выбирает одним
|
||||
запросом к PostgreSQL, по умолчанию 100.
|
||||
- `batch_size` — сколько незавершённых загрузок или вложений с объектом staging
|
||||
уборщик выбирает одним запросом к PostgreSQL, по умолчанию 100;
|
||||
- `staging_retention_seconds` — срок хранения объекта staging вложения `failed` и объекта
|
||||
staging без метаданных, по умолчанию 86400 (сутки, как у имени skeleton
|
||||
`STAGING_RETENTION_SECONDS`).
|
||||
|
||||
Значения SHALL быть положительными, `batch_size` — целым. Иначе уборщик
|
||||
MUST NOT стартовать (требование «Некорректное значение останавливает
|
||||
@@ -394,14 +397,15 @@ timeout_seconds`, по настройкам процесса уборщика (1
|
||||
старте: реплики API секцию `[cleaner]` не используют и от этой
|
||||
проверки не зависят. Разовая подмена SHALL работать через окружение
|
||||
`CLEANER__*` без правки файлов. Значения по умолчанию и обоснование
|
||||
grace SHALL быть описаны в `REPORT.md`.
|
||||
grace и срока хранения SHALL быть описаны в `REPORT.md`, соответствие имени skeleton
|
||||
`STAGING_RETENTION_SECONDS` — ещё и в шапке `.env.example`.
|
||||
|
||||
#### Scenario: Параметры по умолчанию
|
||||
|
||||
- **WHEN** уборщик запущен без секции `[cleaner]` и без
|
||||
переменных `CLEANER__*`
|
||||
- **THEN** запись о его старте называет интервал 60 с, grace 900 с и
|
||||
выборку 100
|
||||
- **THEN** запись о его старте называет интервал 60 с, grace 900 с,
|
||||
выборку 100 и срок хранения staging 86400 с
|
||||
|
||||
#### Scenario: Grace не больше границы
|
||||
|
||||
@@ -412,8 +416,8 @@ grace SHALL быть описаны в `REPORT.md`.
|
||||
|
||||
#### Scenario: Интервал не число
|
||||
|
||||
- **WHEN** уборщик запускается с `CLEANER__INTERVAL_SECONDS=0` или
|
||||
`CLEANER__INTERVAL_SECONDS=abc`
|
||||
- **WHEN** уборщик запускается с `CLEANER__INTERVAL_SECONDS=0`,
|
||||
`CLEANER__INTERVAL_SECONDS=abc` или `CLEANER__STAGING_RETENTION_SECONDS=0`
|
||||
- **THEN** уборщик не стартует, в журнале — ошибка проверки настроек
|
||||
|
||||
### Requirement: Параметры загрузок
|
||||
@@ -515,14 +519,15 @@ pending_grace_seconds` и его проверку границы живой за
|
||||
- адрес и порт;
|
||||
- пользователь и пароль;
|
||||
- срок установки соединения;
|
||||
- срок публикации — от начала публикации до подтверждения брокера, включая
|
||||
установку соединения; по умолчанию 2 с.
|
||||
- срок публикации — от начала публикации пакета заданий до подтверждений брокера,
|
||||
включая установку соединения; по умолчанию 2 с.
|
||||
|
||||
Пароль SHALL иметь один источник — переменную `.env`, которую читает и контейнер
|
||||
брокера. Новый `.env` из `make env_setup` SHALL получать случайный пароль. Пароль
|
||||
MUST NOT попадать в журнал. Сроки SHALL быть положительными числами, иначе сервис
|
||||
MUST NOT стартовать (требование «Некорректное значение останавливает запуск»).
|
||||
Разовая подмена SHALL работать через окружение `BROKER__*` без правки файлов.
|
||||
Секцию читают relay и worker, реплики API её не используют. Пароль SHALL иметь один
|
||||
источник — переменную `.env`, которую читает и контейнер брокера. Новый `.env` из `make
|
||||
env_setup` SHALL получать случайный пароль. Пароль MUST NOT попадать в журнал. Сроки SHALL
|
||||
быть положительными числами, иначе процесс MUST NOT стартовать (требование «Некорректное
|
||||
значение останавливает запуск»). Разовая подмена SHALL работать через окружение `BROKER__*`
|
||||
без правки файлов.
|
||||
|
||||
Соответствие имени skeleton `BROKER_URL_FILE` реальной конфигурации SHALL быть
|
||||
описано в шапке `.env.example` и в `REPORT.md`.
|
||||
@@ -530,53 +535,62 @@ MUST NOT стартовать (требование «Некорректное
|
||||
#### Scenario: Пароль брокера в одном месте
|
||||
|
||||
- **WHEN** в `.env` задан пароль брокера, и стенд поднят на новом volume
|
||||
- **THEN** брокер, реплики и worker в консоли и в docker используют его без правки
|
||||
- **THEN** брокер, relay и worker в консоли и в docker используют его без правки
|
||||
других файлов
|
||||
|
||||
#### Scenario: Пароль брокера не в журнале
|
||||
|
||||
- **WHEN** сервис и worker стартуют и обращаются к брокеру, в том числе при его
|
||||
- **WHEN** relay и worker стартуют и обращаются к брокеру, в том числе при его
|
||||
недоступности
|
||||
- **THEN** в журнале нет значения пароля
|
||||
|
||||
#### Scenario: Запись о старте называет брокер
|
||||
|
||||
- **WHEN** реплика API и worker стартуют
|
||||
- **WHEN** relay и worker стартуют
|
||||
- **THEN** их записи о старте называют адрес брокера и имя очереди, а срок публикации
|
||||
по умолчанию — 2 с
|
||||
по умолчанию в записи relay — 2 с
|
||||
|
||||
#### Scenario: Неверный срок публикации
|
||||
|
||||
- **WHEN** сервис запускается с `BROKER__PUBLISH_TIMEOUT_SECONDS=0` или `abc`
|
||||
- **THEN** сервис не стартует, в журнале — ошибка проверки настроек с именем поля
|
||||
- **WHEN** relay запускается с `BROKER__PUBLISH_TIMEOUT_SECONDS=0` или `abc`
|
||||
- **THEN** relay не стартует, в журнале — ошибка проверки настроек с именем поля
|
||||
|
||||
### Requirement: Параметры worker
|
||||
|
||||
Параметры worker (capability `attachment-processing`) SHALL задаваться в секции
|
||||
`[worker]`:
|
||||
- `concurrency` — сколько заданий worker обрабатывает одновременно, по умолчанию 2;
|
||||
- `max_attempts` — сколько попыток у задания, по умолчанию 5;
|
||||
- `prefetch` — сколько неподтверждённых сообщений выдаёт ему брокер, по умолчанию 2;
|
||||
- `max_attempts` — сколько попыток у задания с последнего replay, по умолчанию 5;
|
||||
- `job_timeout_seconds` — срок одной попытки, по умолчанию 60;
|
||||
- `retry_delay_seconds` — пауза перед следующей попыткой, по умолчанию 10;
|
||||
- `lease_margin_seconds` — запас аренды сверх срока попытки, по умолчанию 10;
|
||||
- `retry_base_delay_seconds` — основа паузы перед следующей попыткой, по умолчанию 5;
|
||||
- `retry_max_delay_seconds` — верхняя граница паузы, по умолчанию 300;
|
||||
- `render_timeout_seconds` — срок процесса обработки, по умолчанию 40, меньше срока попытки;
|
||||
- `render_cpu_limit_seconds` — лимит CPU процесса обработки в секундах, целое, по умолчанию 15;
|
||||
- `render_memory_limit_mib` — лимит адресного пространства процесса обработки в МиБ, целое,
|
||||
по умолчанию 450;
|
||||
- `graceful_shutdown_seconds` — сколько worker ждёт начатые задания после SIGTERM,
|
||||
по умолчанию 8, не больше 9;
|
||||
- `reconnect_seconds` — пауза между попытками соединиться с брокером, по умолчанию 2.
|
||||
по умолчанию 8, не больше 8;
|
||||
- `reconnect_seconds` — пауза между попытками соединиться с брокером и перед возвратом сообщения
|
||||
при отказе PostgreSQL, по умолчанию 2.
|
||||
|
||||
`concurrency` и `max_attempts` SHALL быть целыми не меньше 1, сроки — положительными
|
||||
числами. Иначе worker MUST NOT стартовать: код выхода ненулевой, а ошибка называет
|
||||
поле. Разовая подмена SHALL работать через окружение `WORKER__*` без правки файлов.
|
||||
Реплики API секцию `[worker]` не используют. Запись о старте worker SHALL называть
|
||||
`concurrency`, `prefetch`, `max_attempts`, лимиты CPU и памяти SHALL быть целыми не меньше 1,
|
||||
сроки — положительными конечными числами, `retry_max_delay_seconds` — не меньше
|
||||
`retry_base_delay_seconds`. Иначе worker MUST NOT стартовать: код выхода ненулевой, а ошибка называет
|
||||
поле. Разовая подмена SHALL работать через окружение `WORKER__*` без правки файлов. Реплики API
|
||||
секцию `[worker]` не используют; relay её тоже не читает. Запись о старте worker SHALL называть
|
||||
все значения.
|
||||
|
||||
Соответствие имён skeleton `WORKER_CONCURRENCY`, `JOB_MAX_ATTEMPTS` и
|
||||
`JOB_TIMEOUT_SECONDS` этим полям, а `STAGING_RETENTION_SECONDS` — очистке staging в
|
||||
следующем изменении SHALL быть описано в шапке `.env.example` и в `REPORT.md`.
|
||||
`JOB_TIMEOUT_SECONDS` этим полям SHALL быть описано в шапке `.env.example` и в `REPORT.md`.
|
||||
|
||||
#### Scenario: Параметры worker по умолчанию
|
||||
|
||||
- **WHEN** worker запущен без секции `[worker]` и без переменных `WORKER__*`
|
||||
- **THEN** запись о его старте называет конкуренцию 2, 5 попыток, срок 60 с, паузу
|
||||
10 с, срок остановки 8 с и паузу соединения 2 с
|
||||
- **THEN** запись о его старте называет конкуренцию 2, prefetch 2, 5 попыток, срок 60 с, запас
|
||||
аренды 10 с, основу паузы 5 с и её предел 300 с, лимиты процесса обработки 40 с, 15 с CPU и
|
||||
450 МиБ, срок остановки 8 с и паузу соединения 2 с
|
||||
|
||||
#### Scenario: Подмена параметров worker окружением
|
||||
|
||||
@@ -587,7 +601,39 @@ MUST NOT стартовать (требование «Некорректное
|
||||
|
||||
#### Scenario: Неверный параметр worker
|
||||
|
||||
- **WHEN** worker запускается с `WORKER__CONCURRENCY=0`, `WORKER__MAX_ATTEMPTS=abc` или
|
||||
`WORKER__GRACEFUL_SHUTDOWN_SECONDS=10`
|
||||
- **WHEN** worker запускается с `WORKER__CONCURRENCY=0`, `WORKER__PREFETCH=0`,
|
||||
`WORKER__MAX_ATTEMPTS=abc`, `WORKER__GRACEFUL_SHUTDOWN_SECONDS=9`,
|
||||
`WORKER__RENDER_MEMORY_LIMIT_MIB=0` или `WORKER__RENDER_TIMEOUT_SECONDS=120` при сроке
|
||||
попытки 60 с
|
||||
- **THEN** worker не стартует, код выхода ненулевой, в журнале — запись с именем поля
|
||||
без значений настроек
|
||||
|
||||
### Requirement: Параметры relay
|
||||
|
||||
Параметры relay (capability `job-outbox`) SHALL задаваться в секции `[relay]`:
|
||||
- `poll_interval_seconds` — пауза между проходами, когда публиковать нечего, по умолчанию 0,25;
|
||||
- `batch_size` — сколько заданий relay берёт за один проход, по умолчанию 100;
|
||||
- `max_published_backlog` — предел опубликованных и не взятых заданий, по умолчанию 1000;
|
||||
0 — без предела;
|
||||
- `republish_after_seconds` — через сколько секунд отмеченное задание может считаться потерянным,
|
||||
по умолчанию 300;
|
||||
- `failure_pause_seconds` — пауза после отказа брокера или PostgreSQL, по умолчанию 2.
|
||||
|
||||
`batch_size` SHALL быть целым не меньше 1, `max_published_backlog` — целым не меньше 0, сроки —
|
||||
положительными конечными числами. Иначе relay MUST NOT стартовать: код выхода ненулевой, а ошибка
|
||||
называет поле. Разовая подмена SHALL работать через окружение `RELAY__*` без правки файлов. Реплики API и
|
||||
worker секцию не используют. Запись о старте relay SHALL называть все значения. Значения по умолчанию и их
|
||||
обоснование SHALL быть в `REPORT.md`.
|
||||
|
||||
#### Scenario: Параметры relay по умолчанию
|
||||
|
||||
- **WHEN** relay запущен без секции `[relay]` и без переменных `RELAY__*`
|
||||
- **THEN** запись о его старте называет паузу 0,25 с, пакет 100, предел 1000, порог потерянного
|
||||
сообщения 300 с и паузу отказа 2 с
|
||||
|
||||
#### Scenario: Неверный параметр relay
|
||||
|
||||
- **WHEN** relay запускается с `RELAY__BATCH_SIZE=0`, `RELAY__MAX_PUBLISHED_BACKLOG=-1` или
|
||||
`RELAY__POLL_INTERVAL_SECONDS=abc`
|
||||
- **THEN** relay не стартует, код выхода ненулевой, в журнале — запись с именем поля без значений
|
||||
настроек
|
||||
|
||||
@@ -156,12 +156,17 @@ traceback и `request_id` запроса.
|
||||
Уборщик незавершённых загрузок (capability `storage-consistency`) SHALL
|
||||
писать журнал в формате этой capability: JSON-записи в stdout, в каждой
|
||||
`instance_id` процесса уборщика. Записи:
|
||||
- старт — интервал, grace, размер выборки, адрес S3, bucket и имя базы;
|
||||
- старт — интервал, grace, размер выборки, срок хранения staging, адрес S3, bucket и
|
||||
имя базы;
|
||||
- каждая убранная загрузка — `id` вложения, ключ объекта и возраст
|
||||
загрузки;
|
||||
- проход, который убрал хотя бы одну загрузку или прервался отказом
|
||||
хранилища, — сколько убрано, сколько пропущено (их держит другой
|
||||
процесс), причина прерывания и длительность;
|
||||
- проход очистки staging, который что-то удалил или прервался отказом хранилища, —
|
||||
сколько объектов staging убрано у готовых и у неудачных вложений, сколько пропущено,
|
||||
причина прерывания и длительность; ключ staging другого вида — уровень `warning` с
|
||||
ключом;
|
||||
- отказ S3 или PostgreSQL — уровень `warning`, непредвиденная ошибка —
|
||||
`error` с traceback;
|
||||
- остановка процесса.
|
||||
@@ -183,6 +188,12 @@ traceback и `request_id` запроса.
|
||||
- **THEN** в журнале запись уровня `warning` о прерванном проходе с
|
||||
причиной, без секретов, а метаданные загрузки на месте
|
||||
|
||||
#### Scenario: Очистка staging в журнале
|
||||
|
||||
- **WHEN** уборщик удаляет объект staging готового вложения
|
||||
- **THEN** в журнале запись прохода очистки с числом убранных объектов, а секретов S3 и
|
||||
`filename` в журнале нет
|
||||
|
||||
### Requirement: Журнал сверки
|
||||
|
||||
Сверка bucket и БД (capability `storage-consistency`) SHALL писать в
|
||||
@@ -196,10 +207,10 @@ traceback и `request_id` запроса.
|
||||
разные. Уровень `warning`, если расхождение осталось, и `info`, если
|
||||
проход с `--apply` его исправил, с названием действия;
|
||||
- итог прохода — режим, стратегия, глубина, предел скорости, сколько
|
||||
объектов и строк просмотрено, сколько найдено и исправлено по классам,
|
||||
сколько свежих и уже помеченных, сколько кандидатов не перепроверено,
|
||||
длительность и причина прерывания. Ещё итог называет стоимость
|
||||
прохода: сколько объектов S3 он затронул, запросы к S3 по операциям
|
||||
объектов и строк просмотрено, сколько объектов staging просмотрено, сколько
|
||||
найдено и исправлено по классам, сколько свежих и уже помеченных, сколько
|
||||
кандидатов не перепроверено, длительность и причина прерывания. Ещё итог называет
|
||||
стоимость прохода: сколько объектов S3 он затронул, запросы к S3 по операциям
|
||||
(список, запрос метаданных, чтение, удаление), сколько байтов объектов
|
||||
прочитано, сколько было сеансов с PostgreSQL и длительность каждого
|
||||
шага прохода. Уровень `info`, если расхождений не осталось, иначе
|
||||
@@ -249,13 +260,17 @@ SHA-256.
|
||||
Worker (capability `attachment-processing`) SHALL писать журнал в формате этой
|
||||
capability: JSON-записи в stdout, в каждой `instance_id` процесса worker и `request_id`
|
||||
— `id` обрабатываемого задания. Записи:
|
||||
- старт — конкуренция, число попыток, сроки, адрес брокера и имя очереди, адрес S3,
|
||||
bucket и имя базы;
|
||||
- взятое задание — `id` задания и вложения, номер попытки, признак повторной доставки;
|
||||
- готовое вложение — размеры thumbnail, размер объекта, длительность;
|
||||
- новая попытка — код причины, номер попытки, пауза; уровень `warning`;
|
||||
- старт — конкуренция, prefetch, число попыток, сроки и лимиты, адрес брокера и имя
|
||||
очереди, адрес S3, bucket и имя базы;
|
||||
- взятое задание — `id` задания и вложения, номер попытки, номер попытки из сообщения,
|
||||
время ожидания от подтверждения брокером до взятия;
|
||||
- готовое вложение — размеры каждого варианта, размер объекта, длительность попытки и
|
||||
процесса обработки, пик памяти процесса обработки;
|
||||
- новая попытка — код причины, номер попытки, пауза, время следующей попытки; уровень
|
||||
`warning`;
|
||||
- `failed` — код и причина; уровень `warning`;
|
||||
- пропущенное сообщение — причина: задание завершено, неизвестно, занято;
|
||||
- пропущенное сообщение — причина: задание завершено, неизвестно, идёт живая попытка, срок ещё
|
||||
не наступил, задание ведёт другая попытка;
|
||||
- сообщение не по схеме — уровень `error`, без содержимого сообщения;
|
||||
- отказ брокера, S3 или PostgreSQL — уровень `warning`, непредвиденная ошибка — `error` с
|
||||
traceback;
|
||||
@@ -268,10 +283,41 @@ capability: JSON-записи в stdout, в каждой `instance_id` проц
|
||||
|
||||
- **WHEN** worker доводит вложение с уникальным `filename` F до `ready`
|
||||
- **THEN** все записи этого задания связаны одним `request_id` — `id` задания, в них
|
||||
есть номер попытки, размеры thumbnail и длительность, а F и секретов в журнале нет
|
||||
есть номер попытки, размеры трёх вариантов, длительность и пик памяти процесса обработки, а F и
|
||||
секретов в журнале нет
|
||||
|
||||
#### Scenario: Постоянная ошибка в журнале
|
||||
|
||||
- **WHEN** вложение стало `failed` с `invalid_image`
|
||||
- **THEN** в журнале есть запись `warning` с `id` задания и вложения и кодом, без
|
||||
stack trace и байтов
|
||||
|
||||
### Requirement: Журнал relay и replay
|
||||
|
||||
Relay и команда replay (capability `job-outbox`, `attachment-processing`) SHALL писать журнал в формате этой
|
||||
capability: JSON-записи в stdout, в каждой `instance_id` процесса. Записи relay:
|
||||
- старт — все параметры секции, адрес брокера, имя очереди и имя базы; остановка с кодом выхода;
|
||||
- проход, который что-то опубликовал или вернул, — сколько опубликовано, сколько не подтверждено,
|
||||
сколько возвращено по истёкшей аренде и сколько опубликовано снова как потерянные, сколько опубликованных и не
|
||||
взятых заданий и длительность; проход без работы — не выше уровня `debug`;
|
||||
- достижение предела опубликованных — один раз на смену состояния, уровень `info`;
|
||||
- возврат по истёкшей аренде — `id` задания и вложения и номер попытки, уровень `warning`;
|
||||
- отказ брокера и PostgreSQL — уровень `warning`, возврат брокера — `info`, непредвиденная ошибка — `error` с traceback.
|
||||
|
||||
Записи replay: каждое задание реестра в показе — `id` задания и вложения, код, причина, число попыток и время; выполненный
|
||||
replay — те же поля и оператор, уровень `info`; отказ — `id` и причина отказа, уровень `warning`; итог прохода — сколько показано,
|
||||
выполнено и отказано.
|
||||
|
||||
Записи MUST NOT содержать `filename` вложений, тела сообщений и секреты.
|
||||
|
||||
#### Scenario: Проход relay в журнале
|
||||
|
||||
- **WHEN** relay публикует задание
|
||||
- **THEN** в журнале есть запись прохода с числом опубликованных и опубликованных и не взятых заданий, а `filename`, тел сообщений
|
||||
и пароля брокера в журнале нет
|
||||
|
||||
#### Scenario: Replay в журнале
|
||||
|
||||
- **WHEN** команда replay выполняет replay задания и отказывает другому
|
||||
- **THEN** в журнале запись `info` с `id` задания, оператором, прежними кодом и причиной, запись `warning` с причиной отказа и итог
|
||||
прохода, а `filename` и секретов нет
|
||||
|
||||
@@ -43,11 +43,10 @@ period), он SHALL убирать по шагам:
|
||||
метаданных, если процесс API заморожен дольше grace посреди записи
|
||||
объекта. После разморозки он дописывает объект уже убранной загрузки, а
|
||||
удалить его не может: запись объекта завершилась для API ошибкой по
|
||||
сроку, или не удалось удаление при компенсации. Такой объект под конечным
|
||||
префиксом находит и удаляет сверка bucket и БД (требование «Сверка bucket и
|
||||
БД»), когда он старше grace, на стенде — не позже следующей плановой сверки
|
||||
(требование «Плановая сверка»). Такой объект в staging сверка не видит: его
|
||||
убирает очистка staging в `pipeline-reliability`.
|
||||
сроку, или не удалось удаление при компенсации. Такой объект находит и удаляет
|
||||
сверка bucket и БД (требование «Сверка bucket и БД»): под конечным префиксом —
|
||||
когда он старше grace, в staging — когда он старше срока хранения staging, на
|
||||
стенде — не позже следующей плановой сверки (требование «Плановая сверка»).
|
||||
|
||||
#### Scenario: Зависшая загрузка убрана
|
||||
|
||||
@@ -68,26 +67,26 @@ period), он SHALL убирать по шагам:
|
||||
|
||||
#### Scenario: Загрузка без подтверждения брокера убрана
|
||||
|
||||
- **WHEN** загрузка получила 503, потому что брокер не подтвердил задание,
|
||||
и с записи метаданных прошло больше grace
|
||||
- **THEN** ни метаданных, ни объекта staging этого вложения нет, а задание у
|
||||
него было отменено ещё до ответа
|
||||
- **WHEN** реплика прежней версии на время замены не дождалась подтверждения брокера,
|
||||
отменила задание, вернула вложение в статус «загружается» и ответила 503, и с записи
|
||||
метаданных прошло больше grace
|
||||
- **THEN** ни метаданных, ни объекта staging этого вложения нет, а задания у него нет
|
||||
|
||||
### Requirement: Безопасность уборки
|
||||
|
||||
Уборщик MUST NOT трогать принятые вложения (`queued`, `processing`, `ready`,
|
||||
Уборщик MUST NOT убирать принятые вложения (`queued`, `processing`, `ready`,
|
||||
`failed`) ни в каком возрасте: на них уже ответили 202, и это либо текущая
|
||||
работа, либо её итог. Незавершённую загрузку моложе grace он тоже MUST NOT
|
||||
трогать.
|
||||
работа, либо её итог. Их объекты staging и `failed` с частично записанными объектами
|
||||
подчиняются требованию «Очистка staging». Незавершённую загрузку моложе grace он тоже
|
||||
MUST NOT трогать.
|
||||
|
||||
Grace SHALL быть больше наибольшего времени, за которое живая загрузка
|
||||
проходит путь от записи метаданных до фиксации `queued`. Это два шага с
|
||||
PostgreSQL и запись объекта, у каждого свой срок (capability
|
||||
`service-configuration`, «Параметры уборщика»). Публикация брокеру идёт после
|
||||
фиксации и в эту границу не входит. Возраст загрузки отсчитывается от записи её
|
||||
метаданных по часам приложения. Ожидание места загрузки, чтение тела и проверка
|
||||
изображения (capability `attachments`, «Одновременные загрузки реплики», «Срок
|
||||
передачи тела») SHALL идти до записи метаданных и в эту границу не входят:
|
||||
`service-configuration`, «Параметры уборщика»). Возраст загрузки отсчитывается от
|
||||
записи её метаданных по часам приложения. Ожидание места загрузки, чтение тела и
|
||||
проверка изображения (capability `attachments`, «Одновременные загрузки реплики»,
|
||||
«Срок передачи тела») SHALL идти до записи метаданных и в эту границу не входят:
|
||||
очередь загрузок и медленный клиент её не удлиняют.
|
||||
|
||||
Загрузка, которая длится дольше grace (процесс API заморожен), и
|
||||
@@ -137,14 +136,15 @@ S3 выполнил удаление уже после срока вызова.
|
||||
#### Scenario: Готовые вложения не тронуты
|
||||
|
||||
- **WHEN** готовому вложению больше grace, и уборщик всё это время
|
||||
работал, в том числе убирал незавершённые загрузки
|
||||
- **THEN** метаданные вложения — 200 в статусе `ready`, а байты
|
||||
скачиваются с тем же SHA-256
|
||||
работал, в том числе убирал незавершённые загрузки и объекты staging
|
||||
- **THEN** метаданные вложения — 200 в статусе `ready`, а байты оригинала и
|
||||
вариантов скачиваются с теми же SHA-256
|
||||
|
||||
#### Scenario: Текущая работа не тронута
|
||||
|
||||
- **WHEN** worker остановлен, у вложений в `queued`, `processing` и `failed`
|
||||
возраст больше grace, и уборщик всё это время работает
|
||||
возраст больше grace, но у `failed` меньше срока хранения staging, и уборщик всё
|
||||
это время работает
|
||||
- **THEN** их метаданные и объекты staging на месте, а после запуска worker
|
||||
вложение в `queued` становится `ready`
|
||||
|
||||
@@ -185,13 +185,16 @@ S3 выполнил удаление уже после срока вызова.
|
||||
|
||||
### Requirement: Сверка bucket и БД
|
||||
|
||||
Сверка SHALL сравнивать объекты вложений в bucket — ключи с префиксом
|
||||
`<имя базы>/attachments/` — с метаданными вложений той же базы в
|
||||
PostgreSQL и находить расхождения семи классов:
|
||||
Сверка SHALL сравнивать объекты вложений в bucket — ключи с префиксами
|
||||
`<имя базы>/attachments/` и `<имя базы>/staging/` — с метаданными вложений той же
|
||||
базы в PostgreSQL и находить расхождения восьми классов:
|
||||
- **объект без метаданных** — объект с ключом вида
|
||||
`<база>/attachments/<id>/original` или ключом варианта
|
||||
`<база>/attachments/<id>/v<версия>-<вариант>`, на который не ссылается ни
|
||||
одна строка и для `id` которого строки нет;
|
||||
- **объект staging без метаданных** — объект с ключом вида
|
||||
`<база>/staging/<id>/original`, на который не ссылается строка этого `id`:
|
||||
строки нет или её объект staging уже убран;
|
||||
- **метаданные без объекта** — вложение `ready`, объекта по ключу из его
|
||||
метаданных в bucket нет;
|
||||
- **другой размер** — вложение `ready`, размер объекта не равен
|
||||
@@ -206,23 +209,23 @@ PostgreSQL и находить расхождения семи классов:
|
||||
(требование «Потерянный оригинал»), а объект снова есть с тем же
|
||||
размером и тем же SHA-256;
|
||||
- **чужой объект** — то, что сверка не меняет и оставляет оператору:
|
||||
- объект под префиксом вложений, ключа такого вида API не пишет;
|
||||
- объект под префиксом вложений или staging, ключа такого вида API не пишет;
|
||||
- объект с ключом вида `<id>/original`, у строки которого другой ключ
|
||||
или на который ссылается строка другого `id`;
|
||||
- ключ вне префикса вложений своей базы в метаданных вложения: объект
|
||||
по такому ключу сверка не читает.
|
||||
|
||||
Объект варианта, у `id` которого строка есть, расхождением не считается, в
|
||||
каком бы состоянии ни было вложение. Объекты staging — ключи вне префикса
|
||||
вложений — сверка MUST NOT читать и менять: это текущая работа. Наличие и размер
|
||||
объектов вариантов сверка на этом уровне не проверяет; это ограничение SHALL быть
|
||||
в `REPORT.md`.
|
||||
каком бы состоянии ни было вложение. Объект staging, на который ссылается строка, —
|
||||
текущая работа или дело очистки staging (требование «Очистка staging»): сверка его
|
||||
MUST NOT читать и менять. Наличие и размер объектов вариантов сверка не проверяет; это
|
||||
ограничение SHALL быть в `REPORT.md`.
|
||||
|
||||
Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым
|
||||
проходом (`make reconcile` или команда сверки в контейнере уборщика) и
|
||||
плановым (требование «Плановая сверка»). Разовый проход по умолчанию
|
||||
SHALL ничего не менять (dry-run). С `--apply` он SHALL исправлять:
|
||||
- объект без метаданных — удалить объект;
|
||||
- объект без метаданных и объект staging без метаданных — удалить объект;
|
||||
- метаданные без объекта, другой размер и другой SHA-256 — пометить
|
||||
оригинал вложения потерянным;
|
||||
- зависшую загрузку — убрать тем же порядком, что уборщик;
|
||||
@@ -259,7 +262,7 @@ SHA-256 его содержимого с метаданными. Планова
|
||||
«Безопасность сверки»): итог называет их число. Итог прохода SHALL
|
||||
называть:
|
||||
- стратегию, глубину и предел скорости (требование «Скорость сверки»);
|
||||
- сколько объектов и строк просмотрено;
|
||||
- сколько объектов и строк просмотрено, объекты staging — отдельным числом;
|
||||
- сколько расхождений найдено и исправлено по классам;
|
||||
- сколько объектов и строк пропущено как свежие;
|
||||
- сколько вложений уже помечены потерянными;
|
||||
@@ -344,8 +347,8 @@ SHA-256 его содержимого с метаданными. Планова
|
||||
|
||||
#### Scenario: Объекты вариантов своих вложений
|
||||
|
||||
- **WHEN** готовые вложения с thumbnail старше grace, и выполняется сверка без
|
||||
`--apply` обеими стратегиями
|
||||
- **WHEN** готовые вложения с thumbnail, crop и optimized старше grace, и выполняется
|
||||
сверка без `--apply` обеими стратегиями
|
||||
- **THEN** объекты вариантов не названы расхождениями и чужими, а код выхода не
|
||||
зависит от них
|
||||
|
||||
@@ -355,6 +358,14 @@ SHA-256 его содержимого с метаданными. Планова
|
||||
строки нет, ему больше grace, и выполняется сверка с `--apply`
|
||||
- **THEN** объект удалён, а отчёт называет его объектом без метаданных
|
||||
|
||||
#### Scenario: Объект staging без метаданных
|
||||
|
||||
- **WHEN** в bucket мимо API записан объект с ключом staging, для `id` которого строки нет, и
|
||||
выполняется сверка: сначала без `--apply`, пока объект моложе срока хранения staging, затем без
|
||||
`--apply` и с `--apply`, когда он старше, обеими стратегиями
|
||||
- **THEN** молодой объект считается свежим и на месте, старший назван объектом staging без
|
||||
метаданных с кодом выхода 3, а с `--apply` удалён с кодом выхода 0
|
||||
|
||||
### Requirement: Безопасность сверки
|
||||
|
||||
Сверка MUST NOT удалять:
|
||||
@@ -362,7 +373,8 @@ SHA-256 его содержимого с метаданными. Планова
|
||||
- объект, на который ссылаются метаданные, в любом статусе;
|
||||
- объект с ключом вида `<id>/original` или ключом варианта, если строка
|
||||
этого `id` есть;
|
||||
- объект staging.
|
||||
- объект staging, на который ссылается строка, и объект staging моложе срока хранения
|
||||
staging.
|
||||
|
||||
Вложение в `queued`, `processing` или `failed` сверка MUST NOT помечать
|
||||
потерянным и считать зависшей загрузкой: объекта конечного префикса у него может
|
||||
@@ -373,7 +385,8 @@ SHA-256 его содержимого с метаданными. Планова
|
||||
потерян, сверка его только помечает.
|
||||
|
||||
Свежее сверка MUST NOT трогать и не считает расхождением:
|
||||
- объект, записанный или изменённый в S3 меньше grace назад;
|
||||
- объект, записанный или изменённый в S3 меньше grace назад; объект staging —
|
||||
меньше срока хранения staging назад;
|
||||
- вложение, метаданные которого записаны или переведены в `ready` меньше
|
||||
grace назад.
|
||||
|
||||
@@ -384,6 +397,8 @@ Grace — тот же, что у уборщика (capability `service-configura
|
||||
непосредственно перед действием:
|
||||
- объект без метаданных — строки с этим ключом или `id` по-прежнему
|
||||
нет, объект на месте и старше grace;
|
||||
- объект staging без метаданных — строка этого `id` по-прежнему не ссылается на этот ключ,
|
||||
объект на месте и старше срока хранения staging;
|
||||
- метаданные без объекта и другой размер — вложение по-прежнему `ready`
|
||||
с тем же ключом, а объекта по ключу нет или его размер другой;
|
||||
- другой SHA-256 — вложение по-прежнему `ready` с тем же ключом, объект
|
||||
@@ -517,8 +532,8 @@ NOT читать и менять. Вложение, в метаданных ко
|
||||
#### Scenario: Текущая работа не считается расхождением
|
||||
|
||||
- **WHEN** worker остановлен, вложения в `queued`, `processing` и `failed`
|
||||
старше grace, их объекты в staging, у одного из них уже есть объект конечного
|
||||
ключа, и выполняется сверка с `--apply`
|
||||
старше grace, их объекты в staging старше срока хранения, у одного из них уже есть
|
||||
объект конечного ключа, и выполняется сверка с `--apply`
|
||||
- **THEN** ни одно из них не названо расхождением и не помечено потерянным, а их
|
||||
метаданные, объекты staging и этот объект конечного ключа на месте, код выхода
|
||||
от них не зависит
|
||||
@@ -642,3 +657,60 @@ bucket нет, либо недоступна PostgreSQL, проход сверк
|
||||
- **WHEN** тот же проход выполняется с пределом 0
|
||||
- **THEN** он не ждёт: проход короче, чем с пределом, а итог называет
|
||||
предел 0
|
||||
|
||||
### Requirement: Очистка staging
|
||||
|
||||
Объекты staging SHALL убирать уборщик; worker и реплики API их не удаляют. Не реже чем раз в
|
||||
`[cleaner] interval_seconds` он SHALL:
|
||||
- у вложения `ready` — удалить объект staging: результат уже безопасно зафиксирован;
|
||||
- у вложения `failed`, которое не менялось дольше `[cleaner] staging_retention_seconds` (срок
|
||||
хранения, имя skeleton `STAGING_RETENTION_SECONDS`), — удалить объекты конечного оригинала и
|
||||
вариантов, которые успела записать прежняя попытка, затем объект staging.
|
||||
|
||||
После удаления ключ staging в метаданных SHALL очищаться: replay такого вложения невозможен
|
||||
(`attachment-processing`, «Реестр failed и replay»). Метаданные вложения MUST NOT удаляться: на него
|
||||
могут ссылаться сообщения.
|
||||
|
||||
Вложение в `queued` и `processing` — текущая работа: его объекты MUST NOT удаляться ни в каком
|
||||
возрасте. Удаляется только ключ под префиксом staging своей базы: ключ другого вида уборщик оставляет и
|
||||
называет в журнале. Шаг одного вложения SHALL быть безопасно повторяемым: сбой между удалением объекта и
|
||||
записью в PostgreSQL оставляет ключ в метаданных, а следующий проход удаляет отсутствующий объект без ошибки.
|
||||
При отказе S3 или PostgreSQL проход SHALL прерываться, как уборка незавершённых загрузок (требование «Уборка при
|
||||
отказах хранилищ»), и доводиться следующим.
|
||||
|
||||
Срок хранения и его обоснование SHALL быть описаны в `REPORT.md`.
|
||||
|
||||
#### Scenario: Staging готового вложения убран
|
||||
|
||||
- **WHEN** вложение стало `ready`
|
||||
- **THEN** не позже следующего прохода уборщика с запасом объекта staging нет, ключ staging в метаданных
|
||||
пуст, а оригинал и варианты скачиваются с теми же SHA-256
|
||||
|
||||
#### Scenario: Staging неудачного вложения хранится до срока
|
||||
|
||||
- **WHEN** вложение стало `failed`, а срок хранения ещё не прошёл, и уборщик делает несколько проходов
|
||||
- **THEN** объект staging на месте, а replay возможен
|
||||
|
||||
#### Scenario: Срок хранения прошёл
|
||||
|
||||
- **WHEN** вложение стало `failed` после записи конечного оригинала и вариантов, и его возраст больше срока
|
||||
хранения
|
||||
- **THEN** не позже следующего прохода уборщика с запасом ни объекта staging, ни конечного оригинала, ни объектов
|
||||
вариантов нет, а метаданные — 200 с `status` `failed` и тем же `error_code`
|
||||
|
||||
#### Scenario: Текущая работа не убирается
|
||||
|
||||
- **WHEN** worker остановлен, а вложению в `queued` больше срока хранения
|
||||
- **THEN** его объект staging на месте, а после запуска worker вложение становится `ready`
|
||||
|
||||
#### Scenario: Очистка при отказе S3
|
||||
|
||||
- **WHEN** вложение стало `ready`, S3 заморожен (`docker pause`), уборщик делает несколько проходов, и участник отправляет
|
||||
сообщение со ссылкой на это вложение
|
||||
- **THEN** отправка — 201 быстрее секунды: очистка её не держит, ключ staging в метаданных на месте, уборщик работает без
|
||||
перезапуска, а после разморозки S3 не позже следующего прохода с запасом объекта staging нет
|
||||
|
||||
#### Scenario: Ключ staging другого вида не удаляется
|
||||
|
||||
- **WHEN** у готового вложения в метаданных ключ staging вне префикса staging своей базы
|
||||
- **THEN** объект по этому ключу на месте, а журнал уборщика называет ключ
|
||||
|
||||
@@ -41,16 +41,16 @@ MUST завершаться с ненулевым кодом и сообщени
|
||||
|
||||
Тесты SHALL обращаться к сервису только по HTTP и MUST NOT импортировать
|
||||
код приложения, запускать или останавливать сервер. Проверки отказов
|
||||
SHALL действовать на хранилища стенда, брокер и worker и узнавать их состояние
|
||||
только через hook, который им передаёт `make failure_checks`. Без hook они
|
||||
SHALL действовать на хранилища стенда, брокер, relay и worker и узнавать их
|
||||
состояние только через hook, который им передаёт `make failure_checks`. Без hook они
|
||||
MUST завершаться ошибкой с указанием этой команды, а не обращаться к
|
||||
хранилищам сами. Один и тот же набор SHALL проходить против сервера,
|
||||
запущенного на хосте, и против контейнера.
|
||||
|
||||
#### Scenario: Консоль и контейнер
|
||||
|
||||
- **WHEN** набор запускается сначала против `make run_dev` с `make run_worker`,
|
||||
затем против `make run_docker`
|
||||
- **WHEN** набор запускается сначала против `make run_dev` с `make run_relay` и `make
|
||||
run_worker`, затем против `make run_docker`
|
||||
- **THEN** оба прогона проходят одинаково
|
||||
|
||||
#### Scenario: Проверка отказа без hook
|
||||
@@ -236,7 +236,7 @@ MUST NOT считаться пройденными. При `EXPECT_REPLICAS` ≥
|
||||
`identification`, `sessions`, `users`, `chats`, `messages`,
|
||||
`pagination`, `data-storage`, `chat-cache`, `health`, `idempotency`, с
|
||||
лабы 4 `attachments` и `storage-consistency` и с лабы 5
|
||||
`attachment-processing` и `message-broker`, который воспроизводится
|
||||
`attachment-processing`, `message-broker` и `job-outbox`, который воспроизводится
|
||||
по HTTP против работающего сервера, в том числе на стенде отказов,
|
||||
SHALL быть тест. Из имени или описания теста SHALL быть понятно, какой
|
||||
capability и сценарий он проверяет. Сценарий, который проверяет тест
|
||||
@@ -296,12 +296,12 @@ PostgreSQL стенда, с Valkey, S3 и брокером стенда. Ком
|
||||
1. поднять PostgreSQL, Valkey, S3 с bootstrap и брокер;
|
||||
2. собрать образ и создать базу заново;
|
||||
3. применить к ней миграции сервисом миграций compose;
|
||||
4. запустить отдельный контейнер API и отдельный контейнер worker из определений
|
||||
сервисов compose, в которых подменено только имя базы, и опубликовать API на
|
||||
`127.0.0.1:TEST_APP_PORT` из `.env`;
|
||||
4. запустить отдельный контейнер API, отдельный контейнер relay и отдельный контейнер
|
||||
worker из определений сервисов compose, в которых подменено только имя базы, и
|
||||
опубликовать API на `127.0.0.1:TEST_APP_PORT` из `.env`;
|
||||
5. дождаться готовности и выполнить публичный smoke (`make test`) и
|
||||
весь набор (`make student_test`) против этого контейнера;
|
||||
6. остановить и удалить оба контейнера, удалить базу, объекты S3 под
|
||||
6. остановить и удалить все три контейнера, удалить базу, объекты S3 под
|
||||
префиксом `test_<db>/` и очередь временной базы.
|
||||
|
||||
Это один процесс API без балансировщика: набор SHALL запускаться с
|
||||
@@ -378,10 +378,12 @@ PostgreSQL стенда, с Valkey, S3 и брокером стенда. Ком
|
||||
передачи тела», «Отказ раньше
|
||||
очереди», «Все места заняты», «Очередь ожидания полна», «Ожидание места», «Место
|
||||
освобождается», «Медленный клиент», «Медленная передача в срок», «Потерянный
|
||||
оригинал», «Загрузка после простоя S3», «Скачивание до готовности»;
|
||||
- `attachment-processing`: все сценарии, которым нужны остановка worker, брокера или
|
||||
S3 и сбой внутри обработки;
|
||||
оригинал», «Загрузка после простоя S3», «Скачивание до готовности», «Отсутствующий
|
||||
вариант»;
|
||||
- `attachment-processing`: все сценарии, которым нужны остановка worker, relay, брокера или
|
||||
S3, сбой внутри обработки, запуск worker с другими параметрами или команда replay;
|
||||
- `message-broker`: все сценарии, которые не названы исключениями сверки покрытия;
|
||||
- `job-outbox`: все сценарии;
|
||||
- `storage-consistency`: все сценарии.
|
||||
|
||||
Команда SHALL:
|
||||
@@ -399,12 +401,14 @@ PostgreSQL стенда, с Valkey, S3 и брокером стенда. Ком
|
||||
|
||||
Значения «узкого» API и API с коротким сроком S3 SHALL передаваться
|
||||
проверкам, и проверки SHALL сверять с ними стенд;
|
||||
- запустить уборщика с коротким grace и интервалом, сравнимыми со
|
||||
- запустить уборщика с коротким grace, интервалом и сроком хранения staging, сравнимыми со
|
||||
временем теста, без плановой сверки, и передать их значения
|
||||
проверкам. Grace при этом SHALL проходить проверку границы живой
|
||||
загрузки (`service-configuration`, «Параметры уборщика»). Сверку
|
||||
проверки запускают сами, и плановая сверка не меняет стенд у них за
|
||||
спиной;
|
||||
- запустить relay с короткими паузой и порогом потерянного сообщения и передать их значения
|
||||
проверкам;
|
||||
- запустить worker с короткими сроками и малым числом попыток, сравнимыми со
|
||||
временем теста, и передать их значения проверкам;
|
||||
- выполнить проверки отказов;
|
||||
@@ -414,30 +418,41 @@ Hook стенда отказов SHALL уметь:
|
||||
- сообщить вложения стенда в PostgreSQL с их статусами, `id` последнего
|
||||
вложения в статусе «загружается» и `id` вложений с потерянным
|
||||
оригиналом;
|
||||
- сообщить задание вложения: идентификатор, состояние, число начатых попыток,
|
||||
причину последней ошибки, время следующей попытки и время подтверждения брокером;
|
||||
- сообщить задание вложения: идентификатор, состояние, число начатых попыток, число
|
||||
попыток до последнего replay, причину последней ошибки, время следующей попытки, срок
|
||||
аренды и время подтверждения брокером, а также записи аудита replay;
|
||||
- сообщить, у каких вложений есть объект в конечном префиксе и в staging bucket
|
||||
стенда, и сколько у вложения объектов вариантов, — по самим объектам, а не по
|
||||
каталогам хранилища;
|
||||
каталогам хранилища, и SHA-256 объекта по ключу;
|
||||
- внедрить отказ PostgreSQL:
|
||||
- при записи метаданных загрузки с заданным `filename`;
|
||||
- при фиксации её `queued`, и задержать такую фиксацию;
|
||||
- при фиксации `ready` с заданным `filename`, и задержать такую фиксацию;
|
||||
- при фиксации `ready` с заданным `filename`, и задержать такую фиксацию: оператор
|
||||
перевода и сам COMMIT;
|
||||
- при пометке потерянного оригинала такого вложения;
|
||||
- задержать запись времени подтверждения брокером у задания вложения с заданным
|
||||
`filename`;
|
||||
- дождаться, пока COMMIT задержан в PostgreSQL;
|
||||
- убить и снова запустить обычный API стенда;
|
||||
- остановить, убить, заморозить и запустить брокер и worker стенда;
|
||||
- остановить, убить, заморозить и запустить брокер, relay и worker стенда, заморозить процесс 1
|
||||
контейнера worker сигналом и убить контейнер, запустить отдельный worker или relay с заданными
|
||||
значениями `WORKER__*` и `RELAY__*` и убрать его;
|
||||
- сообщить состояние очереди: сообщений, готовых, неподтверждённых, потребителей,
|
||||
устойчива ли она;
|
||||
- прочитать сообщение из очереди без подтверждения, добавить в очередь сообщение
|
||||
и удалить очередь;
|
||||
и удалить очередь; включить и снять предел памяти брокера;
|
||||
- убить процесс обработки в контейнере worker и сообщить имена переменных его окружения;
|
||||
- внести расхождения хранилищ:
|
||||
- записать объект в bucket стенда мимо API и удалить объект мимо API —
|
||||
только под префиксами вложений и staging базы стенда;
|
||||
- удалить метаданные вложения, изменить в них размер и сдвинуть их
|
||||
время в прошлое;
|
||||
- удалить метаданные вложения, изменить в них размер, SHA-256, ключ staging и время
|
||||
следующей попытки, сдвинуть их время в прошлое и вернуть вложение в статус «загружается» без
|
||||
задания;
|
||||
- удалить метаданные варианта;
|
||||
- выполнить разовую сверку — без изменений или с `--apply`, с заданным
|
||||
пределом изменений, стратегией обхода, глубиной и пределом скорости —
|
||||
и вернуть её записи и код выхода;
|
||||
пределом изменений, стратегией обхода, глубиной, пределом скорости и сроком хранения
|
||||
staging — и вернуть её записи и код выхода;
|
||||
- выполнить команду replay с заданным выбором и вернуть её записи и код выхода;
|
||||
- остановить и запустить уборщика стенда, а также запустить отдельного
|
||||
уборщика с коротким интервалом плановой сверки на заданное время и
|
||||
вернуть его журнал.
|
||||
@@ -454,6 +469,8 @@ SHALL быть ненулевым, если не прошла хотя бы од
|
||||
Параллельный запуск двух прогонов не поддерживается: уборка хвоста в
|
||||
начале второго удаляет стенд первого.
|
||||
|
||||
Точек внедрения сбоя в коде приложения MUST NOT быть: сбои внедряются снаружи, средствами стенда.
|
||||
|
||||
#### Scenario: Успешный прогон
|
||||
|
||||
- **WHEN** рабочий стенд запущен, и выполнен `make failure_checks`
|
||||
@@ -464,7 +481,7 @@ SHALL быть ненулевым, если не прошла хотя бы од
|
||||
#### Scenario: Упавшая проверка
|
||||
|
||||
- **WHEN** во время `make failure_checks` падает хотя бы одна проверка
|
||||
- **THEN** код выхода ненулевой, журналы API, уборщика и worker стенда отказов
|
||||
- **THEN** код выхода ненулевой, журналы API, уборщика, relay и worker стенда отказов
|
||||
выведены, стенд отказов удалён
|
||||
|
||||
#### Scenario: Прерывание
|
||||
@@ -582,12 +599,22 @@ PostgreSQL стенда отказов и искать признаки авар
|
||||
### Requirement: Сценарий защиты автоматизирован
|
||||
|
||||
Сценарий защиты из `README.md` SHALL быть автоматизирован на стенде отказов и командой
|
||||
драйвера на рабочем стенде: worker остановлен → загрузка 202 → сообщение с вложением 201 →
|
||||
драйвера на рабочем стенде. Шаги 1–3: worker остановлен → загрузка 202 → сообщение с вложением 201 →
|
||||
скачивание 409 → текстовое сообщение 201 → перезапуск API и брокера с сохранёнными volumes →
|
||||
worker запущен → то же вложение `ready`, оригинал равен загруженному, thumbnail — настоящий
|
||||
JPEG. Команда драйвера SHALL печатать порядок действий и `id` без токенов и завершаться
|
||||
ненулевым кодом при расхождении, а её вывод SHALL сохраняться в `evidence/`. Worker SHALL
|
||||
быть запущен снова при любом исходе.
|
||||
JPEG.
|
||||
|
||||
Шаг 4 — отдельная команда драйвера и проверка отказа, по порядку:
|
||||
- crash после записи объектов до фиксации и crash после фиксации до подтверждения
|
||||
(`attachment-processing`, «Доставка at least once»): повтор завершает тот же результат;
|
||||
- разрыв COMMIT и publish: relay убит, загрузка 202, сообщения нет, relay запущен, вложение `ready`;
|
||||
и crash relay после подтверждения до отметки (`job-outbox`, «Relay публикует намерения»);
|
||||
- replay `failed`: показ реестра, replay с `--apply`, вложение `ready`, отказ replay готового
|
||||
(`attachment-processing`, «Реестр failed и replay»).
|
||||
|
||||
Команды драйвера SHALL печатать порядок действий и `id` без токенов и завершаться
|
||||
ненулевым кодом при расхождении, а их вывод SHALL сохраняться в `evidence/`. Worker и relay SHALL
|
||||
быть запущены снова, а внедрённые сбои сняты при любом исходе.
|
||||
|
||||
#### Scenario: Команда на рабочем стенде
|
||||
|
||||
@@ -598,4 +625,10 @@ JPEG. Команда драйвера SHALL печатать порядок де
|
||||
#### Scenario: Сбой посреди сценария
|
||||
|
||||
- **WHEN** сценарий команды прерван расхождением или сигналом
|
||||
- **THEN** worker снова запущен, а код выхода ненулевой
|
||||
- **THEN** worker и relay снова запущены, внедрённых триггеров нет, а код выхода ненулевой
|
||||
|
||||
#### Scenario: Шаг 4 на рабочем стенде
|
||||
|
||||
- **WHEN** на запущенном рабочем стенде выполняется команда шага 4
|
||||
- **THEN** код выхода 0, вывод по каждому сбою называет окно, действие, `id` задания, число начатых
|
||||
попыток и итог, а токенов и секретов в выводе нет
|
||||
|
||||
+1
-1
@@ -25,7 +25,7 @@ dependencies = [
|
||||
"aiobotocore>=3.9.2,<4",
|
||||
# клиент RabbitMQ (design change async-attachments, решение 5)
|
||||
"aio-pika>=10.2.1,<11",
|
||||
# thumbnail в процессе worker; импортирует только src/utils/thumbnail.py
|
||||
# варианты в процессе обработки; импортирует только src/utils/image_variants.py
|
||||
"pillow>=13,<14",
|
||||
]
|
||||
|
||||
|
||||
+2
-2
@@ -7,8 +7,8 @@ set -eu
|
||||
# down -v, FLUSHALL и повторного наполнения. Кэш Valkey после рестарта
|
||||
# пуст: persistence у него выключен, данные — в Postgres. Bucket, учётные
|
||||
# записи и объекты S3 лежат в его volume, очередь и сообщения — в volume
|
||||
# брокера. Worker и уборщик hook не трогает: они не реплики и не хранилища,
|
||||
# рестарт хранилищ переживают сами. Остановленный worker останется
|
||||
# брокера. Relay, worker и уборщика hook не трогает: они не реплики и не
|
||||
# хранилища, рестарт хранилищ переживают сами. Остановленный worker останется
|
||||
# остановленным (сценарий защиты).
|
||||
# LB гасится первым и поднимается последним. start поднимает те же
|
||||
# контейнеры всех реплик: число реплик не меняется (реплика, остановленная
|
||||
|
||||
@@ -26,8 +26,8 @@ set -eu
|
||||
# ROLLOUT_READY_TIMEOUT (60) — срок готовности новой реплики, с;
|
||||
# ROLLOUT_DRAIN_TIMEOUT (90) — срок дренажа старой, с: больше timeout
|
||||
# server пути загрузки и наибольшей длительности загрузки (LB 30 с,
|
||||
# загрузка ≈ 76 с — haproxy.cfg, design change upload-memory, решение
|
||||
# 7; async-attachments, решение 3), иначе плановая замена оборвала бы
|
||||
# загрузка ≈ 73 с — haproxy.cfg, design change upload-memory, решение
|
||||
# 7; pipeline-reliability, решение 11), иначе плановая замена оборвала бы
|
||||
# живую загрузку. Обычно дренаж
|
||||
# кончается за 0–2 с, срок нужен только медленной загрузке.
|
||||
# Проект compose — как у самого docker compose: COMPOSE_PROJECT_NAME,
|
||||
|
||||
@@ -2,9 +2,8 @@
|
||||
|
||||
Сервисы получают сессию БД, а чаты и сообщения — ещё и кэш процесса
|
||||
(`src/infra/cache/instance.py`). Вложения — фабрику короткой сессии на
|
||||
шаг, кэш, хранилище объектов (`src/infra/s3/instance.py`), места
|
||||
загрузок процесса (`src/infra/upload_slots.py`) и издатель заданий
|
||||
(`src/infra/broker/instance.py`).
|
||||
шаг, кэш, хранилище объектов (`src/infra/s3/instance.py`) и места
|
||||
загрузок процесса (`src/infra/upload_slots.py`).
|
||||
"""
|
||||
|
||||
import base64
|
||||
@@ -29,7 +28,6 @@ from src.core.services import (
|
||||
SessionService,
|
||||
UserService,
|
||||
)
|
||||
from src.infra.broker.instance import job_publisher
|
||||
from src.infra.cache.instance import cache
|
||||
from src.infra.db import ping
|
||||
from src.infra.db.scope import session_scope
|
||||
@@ -113,7 +111,6 @@ async def get_attachment_service() -> AttachmentService:
|
||||
cache=cache,
|
||||
storage=object_storage,
|
||||
slots=upload_slots,
|
||||
publisher=job_publisher,
|
||||
)
|
||||
|
||||
|
||||
|
||||
+39
-6
@@ -232,6 +232,7 @@ async def run(
|
||||
interval_seconds=cleaner.interval_seconds,
|
||||
pending_grace_seconds=cleaner.pending_grace_seconds,
|
||||
batch_size=cleaner.batch_size,
|
||||
staging_retention_seconds=cleaner.staging_retention_seconds,
|
||||
live_upload_bound_seconds=bound,
|
||||
once=mode == MODE_ONCE,
|
||||
reconcile_interval_seconds=reconciler.interval_seconds,
|
||||
@@ -295,12 +296,19 @@ async def _serve(
|
||||
batch_size=cleaner.batch_size,
|
||||
stop=stop,
|
||||
)
|
||||
staging = await _clean_staging_once(
|
||||
cleanup,
|
||||
retention_seconds=cleaner.staging_retention_seconds,
|
||||
batch_size=cleaner.batch_size,
|
||||
stop=stop,
|
||||
)
|
||||
if once:
|
||||
if result is None or result.interrupted_by not in (
|
||||
None,
|
||||
INTERRUPTED_BY_STOP,
|
||||
):
|
||||
return EXIT_PASS_FAILED
|
||||
for done in (result, staging):
|
||||
if done is None or done.interrupted_by not in (
|
||||
None,
|
||||
INTERRUPTED_BY_STOP,
|
||||
):
|
||||
return EXIT_PASS_FAILED
|
||||
return EXIT_OK
|
||||
pause = cleaner.interval_seconds
|
||||
if next_reconcile is not None and not stop.is_set():
|
||||
@@ -348,6 +356,26 @@ async def _clean_once(
|
||||
return None
|
||||
|
||||
|
||||
async def _clean_staging_once(
|
||||
service: AttachmentCleanupService,
|
||||
*,
|
||||
retention_seconds: int,
|
||||
batch_size: int,
|
||||
stop: asyncio.Event,
|
||||
) -> dataclasses.StagingCleanupPassDTO | None:
|
||||
"""Проход очистки staging; `None` — непредвиденная ошибка, как у уборки."""
|
||||
retention_before = utcnow() - timedelta(seconds=retention_seconds)
|
||||
try:
|
||||
return await service.clean_staging(
|
||||
retention_before=retention_before,
|
||||
batch_size=batch_size,
|
||||
stop_requested=stop.is_set,
|
||||
)
|
||||
except Exception as e:
|
||||
logger.error("Staging cleanup pass failed", exc_info=e)
|
||||
return None
|
||||
|
||||
|
||||
async def _reconcile_once(
|
||||
service: AttachmentReconcileService,
|
||||
*,
|
||||
@@ -360,12 +388,17 @@ async def _reconcile_once(
|
||||
) -> dataclasses.ReconcilePassDTO | None:
|
||||
"""Проход сверки; `None` — непредвиденная ошибка: `error` с
|
||||
traceback, сервис живёт до следующей плановой сверки."""
|
||||
older_than = utcnow() - timedelta(
|
||||
now = utcnow()
|
||||
older_than = now - timedelta(
|
||||
seconds=settings.cleaner.pending_grace_seconds,
|
||||
)
|
||||
staging_older_than = now - timedelta(
|
||||
seconds=settings.cleaner.staging_retention_seconds,
|
||||
)
|
||||
try:
|
||||
return await service.reconcile(
|
||||
older_than=older_than,
|
||||
staging_older_than=staging_older_than,
|
||||
apply=apply,
|
||||
max_changes=max_changes,
|
||||
page_size=settings.reconciler.page_size,
|
||||
|
||||
+100
-11
@@ -259,8 +259,11 @@ class Cleaner(BaseModel):
|
||||
interval_seconds: float = Field(default=60, gt=0)
|
||||
# секунды: моложе строку pending уборщик не трогает (grace period)
|
||||
pending_grace_seconds: int = Field(default=900, gt=0)
|
||||
# строк pending в одной выборке кандидатов
|
||||
# строк pending или вложений со staging в одной выборке кандидатов
|
||||
batch_size: int = Field(default=100, ge=1)
|
||||
# секунды хранения объекта staging вложения failed и объекта staging без
|
||||
# метаданных (design change `pipeline-reliability`, решение 9)
|
||||
staging_retention_seconds: int = Field(default=86400, gt=0)
|
||||
|
||||
|
||||
class Reconciler(BaseModel):
|
||||
@@ -328,26 +331,111 @@ class Worker(BaseModel):
|
||||
`JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS` сопоставлены в `REPORT.md`.
|
||||
"""
|
||||
|
||||
# заданий, которые worker обрабатывает одновременно; столько же
|
||||
# неподтверждённых сообщений выдаёт брокер
|
||||
# заданий, которые worker обрабатывает одновременно
|
||||
concurrency: int = Field(default=2, ge=1)
|
||||
# начатых попыток у задания, включая первую
|
||||
# неподтверждённых сообщений, которые выдаёт брокер; сообщение сверх
|
||||
# конкуренции ждёт в процессе без взятия (design change
|
||||
# `pipeline-reliability`, решение 8)
|
||||
prefetch: int = Field(default=2, ge=1)
|
||||
# попыток у задания с последнего replay, включая первую
|
||||
max_attempts: int = Field(default=5, ge=1)
|
||||
# секунды на одну попытку
|
||||
# секунды на одну попытку: её шаги прерываются, процесс обработки убит
|
||||
job_timeout_seconds: float = Field(default=60, gt=0, allow_inf_nan=False)
|
||||
# секунды паузы перед следующей попыткой
|
||||
retry_delay_seconds: float = Field(default=10, gt=0, allow_inf_nan=False)
|
||||
# секунды, которые worker ждёт начатые задания после SIGTERM; docker шлёт
|
||||
# SIGKILL через 10 с, поэтому не больше 9
|
||||
# секунды запаса аренды сверх срока попытки (решение 3)
|
||||
lease_margin_seconds: float = Field(default=10, gt=0, allow_inf_nan=False)
|
||||
# секунды, основа паузы перед следующей попыткой (решение 4)
|
||||
retry_base_delay_seconds: float = Field(
|
||||
default=5,
|
||||
gt=0,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
# секунды, верхняя граница паузы
|
||||
retry_max_delay_seconds: float = Field(
|
||||
default=300,
|
||||
gt=0,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
# секунды жизни процесса обработки; меньше срока попытки (решение 7)
|
||||
render_timeout_seconds: float = Field(
|
||||
default=40,
|
||||
gt=0,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
# секунды CPU процесса обработки
|
||||
render_cpu_limit_seconds: int = Field(default=15, ge=1)
|
||||
# МиБ адресного пространства процесса обработки
|
||||
render_memory_limit_mib: int = Field(default=450, ge=1)
|
||||
# секунды, которые worker ждёт начатые задания после SIGTERM. Вместе с
|
||||
# отменой задач и закрытием клиентов (по 0,5 с) меньше 10 с срока docker,
|
||||
# поэтому не больше 8 (решение 19)
|
||||
graceful_shutdown_seconds: float = Field(
|
||||
default=8,
|
||||
gt=0,
|
||||
le=9,
|
||||
le=8,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
# секунды паузы между попытками соединиться с брокером
|
||||
# секунды паузы между попытками соединиться с брокером и перед возвратом
|
||||
# сообщения при отказе PostgreSQL
|
||||
reconnect_seconds: float = Field(default=2, gt=0, allow_inf_nan=False)
|
||||
|
||||
@field_validator("retry_max_delay_seconds")
|
||||
@classmethod
|
||||
def max_delay_not_below_base(
|
||||
cls,
|
||||
value: float,
|
||||
info: ValidationInfo,
|
||||
) -> float:
|
||||
"""Проверка на поле: в ошибке секции было бы всё её значение."""
|
||||
base = info.data.get("retry_base_delay_seconds")
|
||||
if base is not None and value < base:
|
||||
raise ValueError("must not be less than retry_base_delay_seconds")
|
||||
return value
|
||||
|
||||
@field_validator("render_timeout_seconds")
|
||||
@classmethod
|
||||
def render_shorter_than_job(
|
||||
cls,
|
||||
value: float,
|
||||
info: ValidationInfo,
|
||||
) -> float:
|
||||
"""Остаётся время записать варианты и зафиксировать итог."""
|
||||
job = info.data.get("job_timeout_seconds")
|
||||
if job is not None and value >= job:
|
||||
raise ValueError("must be less than job_timeout_seconds")
|
||||
return value
|
||||
|
||||
|
||||
class Relay(BaseModel):
|
||||
"""Relay публикации заданий (`python -m src.relay`, design change
|
||||
`pipeline-reliability`, решения 2 и 12).
|
||||
|
||||
Значения — из `config.toml`, разовая подмена — окружением `RELAY__*`.
|
||||
Реплики API и worker секцию не читают.
|
||||
"""
|
||||
|
||||
# секунды паузы между проходами, когда публиковать нечего
|
||||
poll_interval_seconds: float = Field(
|
||||
default=0.25,
|
||||
gt=0,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
# заданий за один проход
|
||||
batch_size: int = Field(default=100, ge=1)
|
||||
# предел опубликованных и не взятых заданий; 0 — без предела
|
||||
max_published_backlog: int = Field(default=1000, ge=0)
|
||||
# секунды: отмеченное задание старше может считаться потерянным
|
||||
republish_after_seconds: float = Field(
|
||||
default=300,
|
||||
gt=0,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
# секунды паузы после отказа брокера или PostgreSQL
|
||||
failure_pause_seconds: float = Field(
|
||||
default=2,
|
||||
gt=0,
|
||||
allow_inf_nan=False,
|
||||
)
|
||||
|
||||
|
||||
class Settings(BaseSettings):
|
||||
model_config = SettingsConfigDict(
|
||||
@@ -369,6 +457,7 @@ class Settings(BaseSettings):
|
||||
reconciler: Reconciler = Reconciler()
|
||||
broker: Broker = Broker()
|
||||
worker: Worker = Worker()
|
||||
relay: Relay = Relay()
|
||||
|
||||
@classmethod
|
||||
def settings_customise_sources(
|
||||
|
||||
@@ -3,8 +3,10 @@ from .attachment import (
|
||||
AttachmentFailed,
|
||||
AttachmentNotFound,
|
||||
AttachmentNotReady,
|
||||
ImageRejected,
|
||||
InvalidFilename,
|
||||
PayloadTooLarge,
|
||||
RenderInterrupted,
|
||||
UnsupportedMediaType,
|
||||
UploadInterrupted,
|
||||
UploadsBusy,
|
||||
@@ -32,12 +34,14 @@ __all__ = [
|
||||
"ChatNotFound",
|
||||
"DomainError",
|
||||
"IdempotencyConflict",
|
||||
"ImageRejected",
|
||||
"InvalidChatMembers",
|
||||
"InvalidCredentials",
|
||||
"InvalidCursor",
|
||||
"InvalidFilename",
|
||||
"ObjectStorageUnavailable",
|
||||
"PayloadTooLarge",
|
||||
"RenderInterrupted",
|
||||
"ServiceUnavailable",
|
||||
"StoredObjectMissing",
|
||||
"Unauthenticated",
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
from src.schemas.enums import AttachmentJobReason
|
||||
|
||||
from .base import DomainError
|
||||
|
||||
|
||||
@@ -70,3 +72,23 @@ class AttachmentContentMissing(DomainError):
|
||||
"""
|
||||
|
||||
default_message = "Internal server error"
|
||||
|
||||
|
||||
class ImageRejected(Exception):
|
||||
"""Изображение не прошло обработку, и повтор этого не исправит: не
|
||||
декодируется или вышло за лимит. Только внутри worker, не `DomainError` и
|
||||
не в таблице `DOMAIN_ERRORS`: наружу не выходит (design change
|
||||
`pipeline-reliability`, решения 4 и 7)."""
|
||||
|
||||
def __init__(self, *, reason: AttachmentJobReason) -> None:
|
||||
super().__init__(reason.value)
|
||||
self.reason = reason
|
||||
|
||||
|
||||
class RenderInterrupted(Exception):
|
||||
"""Процесс обработки не закончил работу: убит или упал. Временная ошибка
|
||||
попытки, только внутри worker."""
|
||||
|
||||
def __init__(self, *, reason: AttachmentJobReason) -> None:
|
||||
super().__init__(reason.value)
|
||||
self.reason = reason
|
||||
|
||||
+158
-31
@@ -16,7 +16,7 @@ change `async-attachments`, решения 1–3) `pending` становится
|
||||
"""
|
||||
|
||||
from collections.abc import Collection
|
||||
from datetime import datetime, timedelta
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import (
|
||||
@@ -79,6 +79,37 @@ def _later_of_now(now: datetime) -> ColumnElement[datetime]:
|
||||
return func.greatest(now, Attachment.updated_at)
|
||||
|
||||
|
||||
# очистка staging (design change pipeline-reliability, решение 9)
|
||||
_STAGING_COLUMNS = (
|
||||
Attachment.id,
|
||||
Attachment.object_key,
|
||||
Attachment.created_at,
|
||||
Attachment.staging_key,
|
||||
Attachment.status,
|
||||
Attachment.updated_at,
|
||||
)
|
||||
|
||||
|
||||
def _staging_condition(
|
||||
status: AttachmentStatus,
|
||||
updated_before: datetime | None,
|
||||
) -> tuple[ColumnElement[bool], ...]:
|
||||
# статус — константа: первая колонка индекса, план без параметра
|
||||
condition = (
|
||||
Attachment.staging_key.is_not(None),
|
||||
Attachment.status == literal(status.value, literal_execute=True),
|
||||
)
|
||||
if updated_before is None:
|
||||
return condition
|
||||
return (*condition, Attachment.updated_at < updated_before)
|
||||
|
||||
|
||||
def _to_staging_candidate(row: Row) -> dataclasses.AttachmentInListDTO:
|
||||
fields = dict(row._mapping)
|
||||
fields["status"] = AttachmentStatus(fields["status"])
|
||||
return dataclasses.AttachmentInListDTO(**fields)
|
||||
|
||||
|
||||
async def insert_attachment(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
@@ -136,36 +167,6 @@ async def mark_queued(
|
||||
return None if row is None else _to_dto(row)
|
||||
|
||||
|
||||
async def return_to_pending(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
updated_at: datetime,
|
||||
) -> bool:
|
||||
"""Отмена приёма: `queued` → `pending`, брокер не подтвердил задание.
|
||||
|
||||
`updated_at` строго растёт, поэтому строка не равна `created_at`: для
|
||||
`mark_queued` и уборщика она уже помечена, объект и саму строку убирает
|
||||
уборщик (design change `async-attachments`, решение 3).
|
||||
"""
|
||||
statement = (
|
||||
update(Attachment)
|
||||
.where(
|
||||
Attachment.id == attachment_id,
|
||||
Attachment.status == AttachmentStatus.QUEUED.value,
|
||||
)
|
||||
.values(
|
||||
status=AttachmentStatus.PENDING.value,
|
||||
updated_at=func.greatest(
|
||||
updated_at,
|
||||
Attachment.updated_at + timedelta(microseconds=1),
|
||||
),
|
||||
)
|
||||
.returning(Attachment.id)
|
||||
)
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def mark_processing(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
@@ -216,6 +217,132 @@ async def return_to_queued(
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def return_group_to_queued(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_ids: Collection[UUID],
|
||||
updated_at: datetime,
|
||||
) -> int:
|
||||
"""Истёкшие аренды пакета: `processing` → `queued`; вызывает relay в той
|
||||
же транзакции, что и возврат заданий."""
|
||||
statement = (
|
||||
update(Attachment)
|
||||
.where(
|
||||
Attachment.id == any_(_array(list(attachment_ids), Uuid())),
|
||||
Attachment.status == AttachmentStatus.PROCESSING.value,
|
||||
)
|
||||
.values(
|
||||
status=AttachmentStatus.QUEUED.value,
|
||||
updated_at=_later_of_now(updated_at),
|
||||
)
|
||||
.returning(Attachment.id)
|
||||
)
|
||||
return len((await db_session.execute(statement)).all())
|
||||
|
||||
|
||||
async def replay_failed(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
updated_at: datetime,
|
||||
) -> bool:
|
||||
"""Replay: `failed` → `queued`, `error_code` NULL. `False` — условие уже
|
||||
не выполняется."""
|
||||
statement = (
|
||||
update(Attachment)
|
||||
.where(
|
||||
Attachment.id == attachment_id,
|
||||
Attachment.status == AttachmentStatus.FAILED.value,
|
||||
)
|
||||
.values(
|
||||
status=AttachmentStatus.QUEUED.value,
|
||||
error_code=None,
|
||||
updated_at=_later_of_now(updated_at),
|
||||
)
|
||||
.returning(Attachment.id)
|
||||
)
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def lock_attachment(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
) -> dataclasses.AttachmentFullDTO | None:
|
||||
"""Строка под `FOR NO KEY UPDATE`: отправка сообщения со ссылкой на
|
||||
вложение берёт `FOR KEY SHARE` и не ждёт (design change
|
||||
`pipeline-reliability`, решение 9)."""
|
||||
statement = (
|
||||
select(*_ATTACHMENT_COLUMNS)
|
||||
.where(Attachment.id == attachment_id)
|
||||
.with_for_update(key_share=True)
|
||||
)
|
||||
row = (await db_session.execute(statement)).one_or_none()
|
||||
return None if row is None else _to_dto(row)
|
||||
|
||||
|
||||
async def get_staging_candidates(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
status: AttachmentStatus,
|
||||
updated_before: datetime | None,
|
||||
after: tuple[datetime, UUID] | None,
|
||||
limit: int,
|
||||
) -> list[dataclasses.AttachmentInListDTO]:
|
||||
"""Вложения этого статуса с объектом staging, keyset по `(updated_at, id)`
|
||||
индекса `ix_attachments_staging_cleanup`, без блокировки."""
|
||||
statement = (
|
||||
select(*_STAGING_COLUMNS)
|
||||
.where(*_staging_condition(status, updated_before))
|
||||
.order_by(Attachment.updated_at, Attachment.id)
|
||||
.limit(limit)
|
||||
)
|
||||
if after is not None:
|
||||
statement = statement.where(
|
||||
tuple_(Attachment.updated_at, Attachment.id) > tuple_(*after),
|
||||
)
|
||||
rows = (await db_session.execute(statement)).all()
|
||||
return [_to_staging_candidate(row) for row in rows]
|
||||
|
||||
|
||||
async def lock_staging_candidate(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
status: AttachmentStatus,
|
||||
updated_before: datetime | None,
|
||||
) -> dataclasses.AttachmentInListDTO | None:
|
||||
"""Та же строка с теми же условиями под `FOR NO KEY UPDATE SKIP LOCKED`
|
||||
до конца транзакции; вызов S3 под ней не держит отправку сообщения со
|
||||
ссылкой на вложение. `None` — условия уже нет или строку держат."""
|
||||
statement = (
|
||||
select(*_STAGING_COLUMNS)
|
||||
.where(
|
||||
Attachment.id == attachment_id,
|
||||
*_staging_condition(status, updated_before),
|
||||
)
|
||||
.with_for_update(key_share=True, skip_locked=True)
|
||||
)
|
||||
row = (await db_session.execute(statement)).one_or_none()
|
||||
return None if row is None else _to_staging_candidate(row)
|
||||
|
||||
|
||||
async def clear_staging_key(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
) -> bool:
|
||||
"""Объект staging убран; `updated_at` не меняется: метаданные готового
|
||||
вложения те же."""
|
||||
statement = (
|
||||
update(Attachment)
|
||||
.where(Attachment.id == attachment_id)
|
||||
.values(staging_key=None)
|
||||
.returning(Attachment.id)
|
||||
)
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def commit_ready(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
|
||||
@@ -1,20 +1,43 @@
|
||||
"""Задание обработки вложения в PostgreSQL (design change `async-attachments`,
|
||||
решения 1, 3, 7).
|
||||
решения 1, 3, 7; `pipeline-reliability`, решения 2–5).
|
||||
|
||||
Логическая работа одна на вложение и версию; `id` — `job_id` контракта, при
|
||||
повторах не меняется. Порядок блокировок везде один: сначала строка задания,
|
||||
затем вложения. `updated_at` — через `greatest`: часы процессов расходятся.
|
||||
повторах и replay не меняется. Строки `queued` без `published_at` — outbox:
|
||||
намерения, которые публикует relay. Порядок блокировок везде один: сначала
|
||||
строка задания, затем вложения. `updated_at` — через `greatest`: часы процессов
|
||||
расходятся. Состояние в выборках relay — константой (`literal_execute`): условие
|
||||
частичного индекса планировщик доказывает только по константе, а общий план с
|
||||
параметром — Seq Scan (проба, решение 2).
|
||||
"""
|
||||
|
||||
from collections.abc import Collection
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import ColumnElement, Row, delete, func, insert, select, update
|
||||
from sqlalchemy import (
|
||||
BindParameter,
|
||||
ColumnElement,
|
||||
Row,
|
||||
Uuid,
|
||||
any_,
|
||||
bindparam,
|
||||
exists,
|
||||
func,
|
||||
insert,
|
||||
literal,
|
||||
select,
|
||||
update,
|
||||
)
|
||||
from sqlalchemy.dialects.postgresql import ARRAY
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.infra.db.models import AttachmentJob
|
||||
from src.infra.db.models import Attachment, AttachmentJob
|
||||
from src.schemas import dataclasses
|
||||
from src.schemas.enums import AttachmentJobReason, AttachmentJobState
|
||||
from src.schemas.enums import (
|
||||
AttachmentErrorCode,
|
||||
AttachmentJobReason,
|
||||
AttachmentJobState,
|
||||
)
|
||||
|
||||
_JOB_COLUMNS = (
|
||||
AttachmentJob.id,
|
||||
@@ -22,6 +45,7 @@ _JOB_COLUMNS = (
|
||||
AttachmentJob.pipeline_version,
|
||||
AttachmentJob.state,
|
||||
AttachmentJob.attempt,
|
||||
AttachmentJob.attempt_base,
|
||||
AttachmentJob.created_at,
|
||||
AttachmentJob.updated_at,
|
||||
AttachmentJob.last_error_code,
|
||||
@@ -31,6 +55,27 @@ _JOB_COLUMNS = (
|
||||
AttachmentJob.finished_at,
|
||||
)
|
||||
|
||||
# срок задания: то же выражение, что в индексе ix_attachment_jobs_outbox
|
||||
_DUE_AT = func.coalesce(
|
||||
AttachmentJob.next_attempt_at,
|
||||
AttachmentJob.created_at,
|
||||
)
|
||||
|
||||
|
||||
def _queued() -> ColumnElement[bool]:
|
||||
return AttachmentJob.state == literal(
|
||||
AttachmentJobState.QUEUED.value,
|
||||
literal_execute=True,
|
||||
)
|
||||
|
||||
|
||||
def _outbox_condition() -> tuple[ColumnElement[bool], ...]:
|
||||
return (_queued(), AttachmentJob.published_at.is_(None))
|
||||
|
||||
|
||||
def _uuid_array(values: Collection[UUID]) -> BindParameter:
|
||||
return bindparam(None, list(values), type_=ARRAY(Uuid()))
|
||||
|
||||
|
||||
def _to_dto(row: Row) -> dataclasses.AttachmentJobDTO:
|
||||
fields = dict(row._mapping)
|
||||
@@ -108,8 +153,8 @@ async def start_attempt(
|
||||
lease_expires_at: datetime,
|
||||
now: datetime,
|
||||
) -> dataclasses.AttachmentJobDTO | None:
|
||||
"""Начать попытку под блокировкой `lock_job`: счётчик +1, срок попытки,
|
||||
`processing`. Вызывающий проверил, что итога ещё нет."""
|
||||
"""Начать попытку под блокировкой `lock_job`: счётчик +1, срок аренды,
|
||||
`processing`. Вызывающий проверил, что итога и живой аренды нет."""
|
||||
statement = (
|
||||
update(AttachmentJob)
|
||||
.where(AttachmentJob.id == job_id)
|
||||
@@ -136,8 +181,9 @@ async def return_to_queued(
|
||||
now: datetime,
|
||||
) -> bool:
|
||||
"""Временная ошибка: `processing` → `queued`, только своя попытка (номер
|
||||
совпал). Сообщение следующей попытки ещё не передано: `published_at` —
|
||||
NULL. `False` — задание уже ведёт другая попытка или есть итог."""
|
||||
совпал), со сроком следующей. Сообщение ещё не передано, его опубликует
|
||||
relay: `published_at` — NULL. `False` — задание уже ведёт другая попытка или
|
||||
есть итог."""
|
||||
statement = (
|
||||
update(AttachmentJob)
|
||||
.where(
|
||||
@@ -185,38 +231,201 @@ async def finish_job(
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def lock_due_jobs(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
now: datetime,
|
||||
limit: int,
|
||||
) -> list[dataclasses.AttachmentJobDTO]:
|
||||
"""Намерения, срок которых наступил, в порядке срока, под `FOR UPDATE SKIP
|
||||
LOCKED`: задание, которое публикует другой relay, пропускается. Блокировка
|
||||
держится до отметки: worker, получивший сообщение раньше COMMIT, ждёт её в
|
||||
`lock_job`."""
|
||||
statement = (
|
||||
select(*_JOB_COLUMNS)
|
||||
.where(*_outbox_condition(), now >= _DUE_AT)
|
||||
.order_by(_DUE_AT, AttachmentJob.id)
|
||||
.limit(limit)
|
||||
.with_for_update(skip_locked=True)
|
||||
)
|
||||
rows = (await db_session.execute(statement)).all()
|
||||
return [_to_dto(row) for row in rows]
|
||||
|
||||
|
||||
async def count_published(db_session: AsyncSession) -> int:
|
||||
"""Опубликованные и не взятые задания: то, что считает предел."""
|
||||
statement = (
|
||||
select(func.count())
|
||||
.select_from(AttachmentJob)
|
||||
.where(_queued(), AttachmentJob.published_at.is_not(None))
|
||||
)
|
||||
return (await db_session.execute(statement)).scalar_one()
|
||||
|
||||
|
||||
async def mark_published(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
job_ids: Collection[UUID],
|
||||
now: datetime,
|
||||
) -> int:
|
||||
"""Брокер подтвердил сообщения пакета: время — отметка, а не условие.
|
||||
Вызывается под блокировкой `lock_due_jobs`."""
|
||||
statement = (
|
||||
update(AttachmentJob)
|
||||
.where(AttachmentJob.id == any_(_uuid_array(job_ids)))
|
||||
.values(published_at=now, updated_at=_later_of_now(now))
|
||||
.returning(AttachmentJob.id)
|
||||
)
|
||||
return len((await db_session.execute(statement)).all())
|
||||
|
||||
|
||||
async def recover_expired_leases(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
now: datetime,
|
||||
limit: int,
|
||||
) -> list[dataclasses.AttachmentJobDTO]:
|
||||
"""Истёкшие аренды: `processing` → `queued` без паузы, причина «истёк срок
|
||||
аренды» (design change `pipeline-reliability`, решения 2 и 3). Вложения
|
||||
тех же `id` переводит вызывающий в той же транзакции: порядок блокировок
|
||||
— задание, затем вложение."""
|
||||
expired = (
|
||||
select(AttachmentJob.id)
|
||||
.where(
|
||||
AttachmentJob.state
|
||||
== literal(
|
||||
AttachmentJobState.PROCESSING.value,
|
||||
literal_execute=True,
|
||||
),
|
||||
AttachmentJob.lease_expires_at < now,
|
||||
)
|
||||
.order_by(AttachmentJob.lease_expires_at)
|
||||
.limit(limit)
|
||||
.with_for_update(skip_locked=True)
|
||||
)
|
||||
statement = (
|
||||
update(AttachmentJob)
|
||||
.where(AttachmentJob.id.in_(expired))
|
||||
.values(
|
||||
state=AttachmentJobState.QUEUED.value,
|
||||
last_error_code=AttachmentJobReason.LEASE_EXPIRED.value,
|
||||
lease_expires_at=None,
|
||||
next_attempt_at=None,
|
||||
published_at=None,
|
||||
updated_at=_later_of_now(now),
|
||||
)
|
||||
.returning(*_JOB_COLUMNS)
|
||||
)
|
||||
rows = (await db_session.execute(statement)).all()
|
||||
return [_to_dto(row) for row in rows]
|
||||
|
||||
|
||||
async def has_published_before(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
older_than: datetime,
|
||||
) -> bool:
|
||||
"""Есть ли отмеченные задания старше порога: кандидаты в потерянные."""
|
||||
# IS NOT NULL явно: условие индекса ix_attachment_jobs_published (проба)
|
||||
statement = select(
|
||||
exists().where(
|
||||
_queued(),
|
||||
AttachmentJob.published_at.is_not(None),
|
||||
AttachmentJob.published_at < older_than,
|
||||
),
|
||||
)
|
||||
return bool((await db_session.execute(statement)).scalar_one())
|
||||
|
||||
|
||||
async def reset_published_before(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
older_than: datetime,
|
||||
now: datetime,
|
||||
) -> int:
|
||||
"""Потерянные сообщения: отметка снимается, задание снова намерение."""
|
||||
statement = (
|
||||
update(AttachmentJob)
|
||||
.where(
|
||||
_queued(),
|
||||
AttachmentJob.published_at.is_not(None),
|
||||
AttachmentJob.published_at < older_than,
|
||||
)
|
||||
.values(published_at=None, updated_at=_later_of_now(now))
|
||||
.returning(AttachmentJob.id)
|
||||
)
|
||||
return len((await db_session.execute(statement)).all())
|
||||
|
||||
|
||||
async def replay_job(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
job_id: UUID,
|
||||
now: datetime,
|
||||
) -> bool:
|
||||
"""Брокер подтвердил сообщение. Время — отметка, а не условие: итог
|
||||
работы от неё не зависит."""
|
||||
"""`failed` → `queued` с новым бюджетом (design change
|
||||
`pipeline-reliability`, решение 5): `attempt` монотонен, это fencing-токен,
|
||||
поэтому бюджет считается от `attempt_base`. Сообщение публикует relay."""
|
||||
statement = (
|
||||
update(AttachmentJob)
|
||||
.where(AttachmentJob.id == job_id)
|
||||
.values(published_at=now, updated_at=_later_of_now(now))
|
||||
.returning(AttachmentJob.id)
|
||||
)
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def delete_unstarted(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
job_id: UUID,
|
||||
) -> bool:
|
||||
"""Отмена приёма: только задание без начатых попыток. `False` — worker
|
||||
его уже взял, значит, сообщение дошло (design change `async-attachments`,
|
||||
решение 3)."""
|
||||
statement = (
|
||||
delete(AttachmentJob)
|
||||
.where(
|
||||
AttachmentJob.id == job_id,
|
||||
AttachmentJob.state == AttachmentJobState.QUEUED.value,
|
||||
AttachmentJob.attempt == 0,
|
||||
AttachmentJob.state == AttachmentJobState.FAILED.value,
|
||||
)
|
||||
.values(
|
||||
state=AttachmentJobState.QUEUED.value,
|
||||
attempt_base=AttachmentJob.attempt,
|
||||
last_error_code=None,
|
||||
next_attempt_at=None,
|
||||
lease_expires_at=None,
|
||||
published_at=None,
|
||||
finished_at=None,
|
||||
updated_at=_later_of_now(now),
|
||||
)
|
||||
.returning(AttachmentJob.id)
|
||||
)
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def list_failed(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
error_code: str | None,
|
||||
reason: str | None,
|
||||
limit: int,
|
||||
) -> list[dataclasses.FailedJobDTO]:
|
||||
"""Реестр `failed`, новые раньше. Индекса нет: выбор оператора редок, а
|
||||
строк `failed` мало (решение 10)."""
|
||||
statement = (
|
||||
select(
|
||||
AttachmentJob.id.label("job_id"),
|
||||
AttachmentJob.attachment_id,
|
||||
Attachment.error_code,
|
||||
AttachmentJob.last_error_code.label("reason"),
|
||||
AttachmentJob.attempt,
|
||||
AttachmentJob.attempt_base,
|
||||
AttachmentJob.finished_at,
|
||||
)
|
||||
.join(Attachment, Attachment.id == AttachmentJob.attachment_id)
|
||||
.where(AttachmentJob.state == AttachmentJobState.FAILED.value)
|
||||
.order_by(AttachmentJob.finished_at.desc(), AttachmentJob.id)
|
||||
.limit(limit)
|
||||
)
|
||||
if error_code is not None:
|
||||
statement = statement.where(Attachment.error_code == error_code)
|
||||
if reason is not None:
|
||||
statement = statement.where(AttachmentJob.last_error_code == reason)
|
||||
rows = (await db_session.execute(statement)).all()
|
||||
return [
|
||||
dataclasses.FailedJobDTO(
|
||||
**{
|
||||
**row._mapping,
|
||||
"error_code": (
|
||||
None
|
||||
if row.error_code is None
|
||||
else AttachmentErrorCode(row.error_code)
|
||||
),
|
||||
},
|
||||
)
|
||||
for row in rows
|
||||
]
|
||||
|
||||
@@ -0,0 +1,54 @@
|
||||
"""Журнал replay заданий в PostgreSQL (design change `pipeline-reliability`,
|
||||
решения 5 и 10): запись аудита пишется одной транзакцией с возвратом задания.
|
||||
"""
|
||||
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import insert, select
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.infra.db.models import AttachmentJobReplay
|
||||
from src.schemas import dataclasses
|
||||
|
||||
_REPLAY_COLUMNS = (
|
||||
AttachmentJobReplay.id,
|
||||
AttachmentJobReplay.job_id,
|
||||
AttachmentJobReplay.operator,
|
||||
AttachmentJobReplay.error_code,
|
||||
AttachmentJobReplay.reason,
|
||||
AttachmentJobReplay.attempt,
|
||||
AttachmentJobReplay.created_at,
|
||||
)
|
||||
|
||||
|
||||
async def insert_replay(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
replay: dataclasses.AttachmentJobReplayDTO,
|
||||
) -> dataclasses.AttachmentJobReplayDTO:
|
||||
await db_session.execute(
|
||||
insert(AttachmentJobReplay).values(
|
||||
id=replay.id,
|
||||
job_id=replay.job_id,
|
||||
operator=replay.operator,
|
||||
error_code=replay.error_code,
|
||||
reason=replay.reason,
|
||||
attempt=replay.attempt,
|
||||
created_at=replay.created_at,
|
||||
),
|
||||
)
|
||||
return replay
|
||||
|
||||
|
||||
async def get_job_replays(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
job_id: UUID,
|
||||
) -> list[dataclasses.AttachmentJobReplayDTO]:
|
||||
statement = (
|
||||
select(*_REPLAY_COLUMNS)
|
||||
.where(AttachmentJobReplay.job_id == job_id)
|
||||
.order_by(AttachmentJobReplay.created_at, AttachmentJobReplay.id)
|
||||
)
|
||||
rows = (await db_session.execute(statement)).all()
|
||||
return [dataclasses.AttachmentJobReplayDTO(**row._mapping) for row in rows]
|
||||
@@ -97,6 +97,56 @@ def is_own_key(storage: ObjectStorage, *, key: str) -> bool:
|
||||
return key.startswith(prefix) and len(key) > len(prefix)
|
||||
|
||||
|
||||
def staging_prefix(storage: ObjectStorage) -> str:
|
||||
"""Префикс объектов staging своей базы: `<namespace>/staging/` (design
|
||||
change `pipeline-reliability`, решение 9)."""
|
||||
return (
|
||||
f"{storage.namespace}{S3_KEY_SEPARATOR}"
|
||||
f"{ATTACHMENT_STAGING_PREFIX}{S3_KEY_SEPARATOR}"
|
||||
)
|
||||
|
||||
|
||||
def is_own_staging_key(storage: ObjectStorage, *, key: str) -> bool:
|
||||
"""Ключ под префиксом staging своей базы: ключ строки вне его очистка не
|
||||
удаляет."""
|
||||
prefix = staging_prefix(storage)
|
||||
return key.startswith(prefix) and len(key) > len(prefix)
|
||||
|
||||
|
||||
def parse_staging_key(storage: ObjectStorage, *, key: str) -> UUID | None:
|
||||
"""`id` вложения из ключа `<namespace>/staging/<id>/original`, `id` — UUID
|
||||
в записи сервера; ключ другого вида — `None`."""
|
||||
prefix = staging_prefix(storage)
|
||||
suffix = f"{S3_KEY_SEPARATOR}{ATTACHMENT_ORIGINAL_SUFFIX}"
|
||||
if not key.startswith(prefix) or not key.endswith(suffix):
|
||||
return None
|
||||
text = key[len(prefix) : -len(suffix)]
|
||||
try:
|
||||
attachment_id = UUID(text)
|
||||
except ValueError:
|
||||
return None
|
||||
return attachment_id if str(attachment_id) == text else None
|
||||
|
||||
|
||||
def variant_keys(
|
||||
storage: ObjectStorage,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
pipeline_version: int,
|
||||
) -> tuple[str, ...]:
|
||||
"""Ключи вариантов всех имён: их удаляет очистка `failed`, сами строки
|
||||
вариантов у него отсутствуют."""
|
||||
return tuple(
|
||||
variant_key(
|
||||
storage,
|
||||
attachment_id=attachment_id,
|
||||
pipeline_version=pipeline_version,
|
||||
name=name,
|
||||
)
|
||||
for name in AttachmentVariantName
|
||||
)
|
||||
|
||||
|
||||
def parse_original_key(storage: ObjectStorage, *, key: str) -> UUID | None:
|
||||
"""`id` вложения из ключа `<namespace>/attachments/<id>/original`, где
|
||||
`id` — UUID в записи сервера (нижний регистр, с дефисами); ключ другого
|
||||
@@ -143,6 +193,20 @@ async def list_originals(
|
||||
)
|
||||
|
||||
|
||||
async def list_staging(
|
||||
storage: ObjectStorage,
|
||||
*,
|
||||
token: str | None,
|
||||
max_keys: int,
|
||||
) -> StoredObjectPage:
|
||||
"""Страница объектов под префиксом staging своей базы."""
|
||||
return await storage.list_page(
|
||||
staging_prefix(storage),
|
||||
token=token,
|
||||
max_keys=max_keys,
|
||||
)
|
||||
|
||||
|
||||
async def probe_originals(storage: ObjectStorage) -> None:
|
||||
"""Bucket на месте и список разрешён: страница из одного ключа. Иначе
|
||||
— `ObjectStorageUnavailable`. HEAD bucket не подходит: при условной
|
||||
|
||||
@@ -1,6 +1,7 @@
|
||||
from .attachment import AttachmentService
|
||||
from .attachment_cleanup import AttachmentCleanupService
|
||||
from .attachment_reconcile import AttachmentReconcileService
|
||||
from .attachment_replay import AttachmentReplayService
|
||||
from .chat import ChatService
|
||||
from .message import MessageService
|
||||
from .session import SessionService
|
||||
@@ -9,6 +10,7 @@ from .user import UserService
|
||||
__all__ = [
|
||||
"AttachmentCleanupService",
|
||||
"AttachmentReconcileService",
|
||||
"AttachmentReplayService",
|
||||
"AttachmentService",
|
||||
"ChatService",
|
||||
"MessageService",
|
||||
|
||||
@@ -18,7 +18,6 @@ from src.core.repos import attachment_job as attachment_job_repo
|
||||
from src.core.repos import attachment_object as attachment_object_repo
|
||||
from src.core.repos import attachment_variant as attachment_variant_repo
|
||||
from src.core.services.chat import ChatService
|
||||
from src.infra.broker import JobPublisher
|
||||
from src.infra.cache import Cache
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.infra.s3 import ObjectStorage
|
||||
@@ -29,7 +28,6 @@ from src.schemas.enums import (
|
||||
AttachmentVariantName,
|
||||
ImageType,
|
||||
)
|
||||
from src.schemas.jobs import build_job_body
|
||||
from src.utils.constants import (
|
||||
ATTACHMENT_MAX_BYTES,
|
||||
ATTACHMENT_MAX_PIXELS,
|
||||
@@ -73,8 +71,9 @@ class AttachmentService:
|
||||
`attachments`, решение 5). Загрузка идёт на месте из `slots` — мест
|
||||
процесса (design change `upload-memory`, решение 1); ожидающая
|
||||
загрузка соединения с БД не держит. `filename` в журнал не пишется.
|
||||
Декодирования здесь нет: изображения обрабатывает worker, а `publisher`
|
||||
передаёт ему задание (design change `async-attachments`, решение 3).
|
||||
Декодирования и обращений к брокеру здесь нет: задание в PostgreSQL
|
||||
публикует relay, изображение обрабатывает worker (design change
|
||||
`pipeline-reliability`, решение 1).
|
||||
"""
|
||||
|
||||
def __init__(
|
||||
@@ -83,13 +82,11 @@ class AttachmentService:
|
||||
cache: Cache,
|
||||
storage: ObjectStorage,
|
||||
slots: "UploadSlots",
|
||||
publisher: JobPublisher,
|
||||
) -> None:
|
||||
self.db_scope = db_scope
|
||||
self.cache = cache
|
||||
self.storage = storage
|
||||
self.slots = slots
|
||||
self.publisher = publisher
|
||||
|
||||
async def _require_member(
|
||||
self,
|
||||
@@ -113,7 +110,9 @@ class AttachmentService:
|
||||
content_length: int | None,
|
||||
body: AsyncIterator[bytes],
|
||||
) -> dataclasses.AttachmentFullDTO:
|
||||
"""Приём оригинала; 202 только после подтверждения брокера.
|
||||
"""Приём оригинала; 202 — оригинал в staging, вложение `queued` и его
|
||||
задание зафиксированы. Брокера в пути запроса нет: намерение до него
|
||||
доводит relay (design change `pipeline-reliability`, решение 1).
|
||||
|
||||
Порядок проверок — спек «Порядок проверок загрузки»: членство
|
||||
(404), `Content-Type` (415), `Content-Length` (413) — без места;
|
||||
@@ -121,14 +120,11 @@ class AttachmentService:
|
||||
1–3), тело со счётчиком и сроком (413, 400) и содержимое (415 или
|
||||
413). Место держится до ответа, включая запись и компенсацию.
|
||||
Ожидание места, тело и проверка идут до строки `pending`, поэтому
|
||||
граница живой загрузки уборщика прежняя. Порядок записи (design
|
||||
change `async-attachments`, решение 3): строка `pending` с ключами
|
||||
— commit, PUT в staging, `queued` и задание — commit, публикация с
|
||||
подтверждением, отметка `published_at`. Отказ S3 или БД после
|
||||
строки `pending` — 503, строка остаётся до уборщика; компенсация
|
||||
после записанного объекта — `_mark_queued` (design change
|
||||
`upload-consistency`, решение 1), отмена при отказе брокера —
|
||||
`_publish_job`.
|
||||
граница живой загрузки уборщика прежняя. Порядок записи: строка
|
||||
`pending` с ключами — commit, PUT в staging, `queued` и задание —
|
||||
commit, ответ. Отказ S3 или БД после строки `pending` — 503, строка
|
||||
остаётся до уборщика; компенсация после записанного объекта —
|
||||
`_mark_queued` (design change `upload-consistency`, решение 1).
|
||||
"""
|
||||
started = time.monotonic()
|
||||
log = logger.bind(
|
||||
@@ -260,20 +256,18 @@ class AttachmentService:
|
||||
# срок вызова, а тело без ответа сервера не уходит (решение 1)
|
||||
log.warning("Attachment upload left pending", step="put")
|
||||
raise
|
||||
# тело устойчиво в staging: на ожидании БД и брокера оно память не
|
||||
# занимает
|
||||
# тело устойчиво в staging: на ожидании БД оно память не занимает
|
||||
buffer.close()
|
||||
queued, job = await self._mark_queued(
|
||||
attachment_id=attachment_id,
|
||||
staging=staging,
|
||||
log=log,
|
||||
)
|
||||
await self._publish_job(job=job, log=log)
|
||||
log.info(
|
||||
"Uploaded attachment",
|
||||
job_id=job.id,
|
||||
size_bytes=queued.size_bytes,
|
||||
content_type=queued.content_type,
|
||||
content_type=queued.content_type.value,
|
||||
width=info.width,
|
||||
height=info.height,
|
||||
waited_ms=waited_ms,
|
||||
@@ -338,65 +332,6 @@ class AttachmentService:
|
||||
raise exceptions.ServiceUnavailable
|
||||
return queued, job
|
||||
|
||||
async def _publish_job(
|
||||
self,
|
||||
*,
|
||||
job: dataclasses.AttachmentJobDTO,
|
||||
log: AbstractLogger,
|
||||
) -> None:
|
||||
"""Публикация с подтверждением и отметка `published_at`.
|
||||
|
||||
Исход по сроку неизвестен: сообщение могло дойти позже. Решает
|
||||
условная транзакция отмены: задание ещё не взято — вложение обратно
|
||||
в `pending` (объект и строку убирает уборщик), 503; взято — сообщение
|
||||
дошло, ответ 202. Запоздавшее сообщение worker подтверждает без
|
||||
эффекта: задания нет. Сбой самой отмены или падение процесса
|
||||
оставляют `queued` без сообщения: разрыв COMMIT и publish, его
|
||||
закрывает `pipeline-reliability`. Сбой отметки — не сбой приёма.
|
||||
"""
|
||||
try:
|
||||
await self.publisher.publish(
|
||||
build_job_body(job, attempt=1),
|
||||
message_id=job.id,
|
||||
)
|
||||
except exceptions.BrokerUnavailable:
|
||||
cancelled = await self._cancel_job(job=job)
|
||||
log.warning(
|
||||
"Attachment job was not published",
|
||||
job_id=job.id,
|
||||
outcome="cancelled" if cancelled else "taken",
|
||||
)
|
||||
if cancelled:
|
||||
raise
|
||||
return
|
||||
try:
|
||||
async with self.db_scope() as db_session:
|
||||
await attachment_job_repo.mark_published(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
now=utcnow(),
|
||||
)
|
||||
await db_session.commit()
|
||||
except exceptions.ServiceUnavailable:
|
||||
log.warning("Attachment job publish mark failed", job_id=job.id)
|
||||
|
||||
async def _cancel_job(self, *, job: dataclasses.AttachmentJobDTO) -> bool:
|
||||
"""Отмена приёма; `False` — worker уже взял задание. Порядок
|
||||
блокировок как у worker: задание, затем вложение."""
|
||||
async with self.db_scope() as db_session:
|
||||
deleted = await attachment_job_repo.delete_unstarted(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
)
|
||||
if deleted:
|
||||
await attachment_repo.return_to_pending(
|
||||
db_session=db_session,
|
||||
attachment_id=job.attachment_id,
|
||||
updated_at=utcnow(),
|
||||
)
|
||||
await db_session.commit()
|
||||
return deleted
|
||||
|
||||
async def _compensate(
|
||||
self,
|
||||
*,
|
||||
|
||||
@@ -7,7 +7,8 @@
|
||||
удаление строки → commit. Метаданные удаляются последними: объекта без
|
||||
строки уборка не оставляет. Строки `ready` выборка не видит, а
|
||||
помеченную строку `mark_ready` в `ready` не переводит («Уточнения
|
||||
apply», п. 16 и 21).
|
||||
apply», п. 16 и 21). Здесь же очистка staging готовых и неудачных вложений
|
||||
(design change `pipeline-reliability`, решение 9).
|
||||
"""
|
||||
|
||||
import time
|
||||
@@ -22,6 +23,8 @@ from src.core.services.attachment import DbScope
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.infra.s3 import ObjectStorage
|
||||
from src.schemas import dataclasses
|
||||
from src.schemas.enums import AttachmentStatus
|
||||
from src.utils.constants import ATTACHMENT_PIPELINE_VERSION
|
||||
from src.utils.utc import utcnow
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(module="attachment_cleanup_service")
|
||||
@@ -129,6 +132,151 @@ class AttachmentCleanupService:
|
||||
log.debug("Finished cleanup pass", **fields)
|
||||
return result
|
||||
|
||||
async def clean_staging(
|
||||
self,
|
||||
*,
|
||||
retention_before: datetime,
|
||||
batch_size: int,
|
||||
stop_requested: Callable[[], bool] = _never,
|
||||
) -> dataclasses.StagingCleanupPassDTO:
|
||||
"""Проход очистки staging (design change `pipeline-reliability`,
|
||||
решение 9): сначала `ready`, затем `failed` с `updated_at <
|
||||
retention_before`. Текущую работу (`queued`, `processing`) выборка не
|
||||
видит. Кандидаты — keyset без блокировки, затем строка — своя транзакция.
|
||||
Отказ S3 или PostgreSQL прерывает проход, сигнал проверяется перед
|
||||
строкой."""
|
||||
started = time.monotonic()
|
||||
log = logger.bind(method="clean_staging")
|
||||
removed = {AttachmentStatus.READY: 0, AttachmentStatus.FAILED: 0}
|
||||
skipped = 0
|
||||
interrupted_by: str | None = None
|
||||
try:
|
||||
for status, before in (
|
||||
(AttachmentStatus.READY, None),
|
||||
(AttachmentStatus.FAILED, retention_before),
|
||||
):
|
||||
after: tuple[datetime, UUID] | None = None
|
||||
while interrupted_by is None:
|
||||
async with self.db_scope() as db_session:
|
||||
candidates = (
|
||||
await attachment_repo.get_staging_candidates(
|
||||
db_session=db_session,
|
||||
status=status,
|
||||
updated_before=before,
|
||||
after=after,
|
||||
limit=batch_size,
|
||||
)
|
||||
)
|
||||
for candidate in candidates:
|
||||
if stop_requested():
|
||||
interrupted_by = INTERRUPTED_BY_STOP
|
||||
break
|
||||
if await self._remove_staging(
|
||||
candidate=candidate,
|
||||
status=status,
|
||||
updated_before=before,
|
||||
log=log,
|
||||
):
|
||||
removed[status] += 1
|
||||
else:
|
||||
skipped += 1
|
||||
if len(candidates) < batch_size:
|
||||
break
|
||||
after = (candidates[-1].updated_at, candidates[-1].id)
|
||||
except exceptions.ObjectStorageUnavailable:
|
||||
# причину уже записал клиент S3 (`object_storage`)
|
||||
interrupted_by = INTERRUPTED_BY_OBJECT_STORAGE
|
||||
except exceptions.ServiceUnavailable:
|
||||
# причину уже записал `session_scope` (`database`)
|
||||
interrupted_by = INTERRUPTED_BY_DATABASE
|
||||
result = dataclasses.StagingCleanupPassDTO(
|
||||
removed_ready=removed[AttachmentStatus.READY],
|
||||
removed_failed=removed[AttachmentStatus.FAILED],
|
||||
skipped=skipped,
|
||||
interrupted_by=interrupted_by,
|
||||
duration_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
fields = {
|
||||
"removed_ready": result.removed_ready,
|
||||
"removed_failed": result.removed_failed,
|
||||
"skipped": result.skipped,
|
||||
"interrupted_by": result.interrupted_by,
|
||||
"duration_ms": result.duration_ms,
|
||||
}
|
||||
if interrupted_by in (
|
||||
INTERRUPTED_BY_OBJECT_STORAGE,
|
||||
INTERRUPTED_BY_DATABASE,
|
||||
):
|
||||
log.warning("Finished staging cleanup pass", **fields)
|
||||
elif (
|
||||
result.removed_ready
|
||||
or result.removed_failed
|
||||
or interrupted_by is not None
|
||||
):
|
||||
log.info("Finished staging cleanup pass", **fields)
|
||||
else:
|
||||
log.debug("Finished staging cleanup pass", **fields)
|
||||
return result
|
||||
|
||||
async def _remove_staging(
|
||||
self,
|
||||
*,
|
||||
candidate: dataclasses.AttachmentInListDTO,
|
||||
status: AttachmentStatus,
|
||||
updated_before: datetime | None,
|
||||
log: AbstractLogger,
|
||||
) -> bool:
|
||||
"""Одна строка — одна транзакция: `FOR NO KEY UPDATE SKIP LOCKED` с теми
|
||||
же условиями, DELETE в S3, `staging_key = NULL`. Вызов S3 внутри
|
||||
транзакции, как шаг 2 уборки, не дольше срока шага; не уложились — откат,
|
||||
ключ на месте, следующий проход повторит. `NO KEY`: отправка сообщения со
|
||||
ссылкой на вложение не ждёт DELETE в S3. У `failed` ещё объекты вариантов
|
||||
всех имён и конечный оригинал: скачать их нельзя, а без исходника replay
|
||||
невозможен. `False` — строку держат, её уже нет или ключ не свой."""
|
||||
async with self.db_scope() as db_session:
|
||||
locked = await attachment_repo.lock_staging_candidate(
|
||||
db_session=db_session,
|
||||
attachment_id=candidate.id,
|
||||
status=status,
|
||||
updated_before=updated_before,
|
||||
)
|
||||
if locked is None or locked.staging_key is None:
|
||||
return False
|
||||
if not attachment_object_repo.is_own_staging_key(
|
||||
self.storage,
|
||||
key=locked.staging_key,
|
||||
):
|
||||
log.warning(
|
||||
"Staging key is not own",
|
||||
attachment_id=locked.id,
|
||||
object_key=locked.staging_key,
|
||||
)
|
||||
return False
|
||||
if status == AttachmentStatus.FAILED:
|
||||
keys = (
|
||||
*attachment_object_repo.variant_keys(
|
||||
self.storage,
|
||||
attachment_id=locked.id,
|
||||
pipeline_version=ATTACHMENT_PIPELINE_VERSION,
|
||||
),
|
||||
locked.object_key,
|
||||
)
|
||||
for key in keys:
|
||||
await attachment_object_repo.delete_original(
|
||||
self.storage,
|
||||
key=key,
|
||||
)
|
||||
await attachment_object_repo.delete_original(
|
||||
self.storage,
|
||||
key=locked.staging_key,
|
||||
)
|
||||
await attachment_repo.clear_staging_key(
|
||||
db_session=db_session,
|
||||
attachment_id=locked.id,
|
||||
)
|
||||
await db_session.commit()
|
||||
return True
|
||||
|
||||
async def remove_stale_pending(
|
||||
self,
|
||||
*,
|
||||
|
||||
@@ -1,11 +1,15 @@
|
||||
"""Обработка задания вложения: сервис процесса worker (`src/worker/`).
|
||||
|
||||
Design change `async-attachments`, решения 2 и 7. `handle` разбирает сообщение,
|
||||
берёт задание, публикует оригинал из staging в конечный ключ, делает thumbnail
|
||||
и одной транзакцией фиксирует `ready` с вариантом; что делать с сообщением
|
||||
(`JobOutcome`) решает итог, подтверждает его `src/worker/main.py`. Доставка at
|
||||
least once: повтор пишет те же ключи, а метаданные варианта уникальны по ключу
|
||||
эффекта.
|
||||
Design change `async-attachments`, решения 2 и 7; `pipeline-reliability`, решения
|
||||
3, 4, 6, 7. `handle` разбирает сообщение, берёт задание по таблице claim, публикует
|
||||
оригинал из staging в конечный ключ, получает варианты от процесса обработки,
|
||||
пишет их объекты и одной транзакцией фиксирует `ready`; что делать с сообщением
|
||||
(`JobOutcome`) решает итог, подтверждает его `src/worker/main.py`.
|
||||
|
||||
Сообщение — подсказка, истина в строке задания. Worker не публикует: следующую
|
||||
попытку и возврат зависшей публикует relay. Дубль при живой аренде и сообщение
|
||||
раньше срока подтверждаются без эффекта. Номер попытки — fencing: итог фиксирует
|
||||
только та попытка, номер которой равен текущему у задания в `processing`.
|
||||
|
||||
Каждый шаг с БД — своя короткая транзакция, вызовов S3 внутри транзакций нет.
|
||||
Порядок блокировок везде один: задание, затем вложение. Счёт попыток — в БД.
|
||||
@@ -14,14 +18,10 @@ least once: повтор пишет те же ключи, а метаданны
|
||||
import asyncio
|
||||
import hashlib
|
||||
import io
|
||||
import random
|
||||
import time
|
||||
from collections.abc import AsyncIterator
|
||||
from contextlib import asynccontextmanager
|
||||
from datetime import timedelta
|
||||
from uuid import UUID
|
||||
|
||||
import anyio
|
||||
import anyio.to_thread
|
||||
from pydantic import ValidationError
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
@@ -32,8 +32,8 @@ from src.core.repos import attachment_job as attachment_job_repo
|
||||
from src.core.repos import attachment_object as attachment_object_repo
|
||||
from src.core.repos import attachment_variant as attachment_variant_repo
|
||||
from src.core.services.attachment import DbScope
|
||||
from src.infra.broker import JobPublisher
|
||||
from src.infra.logger import AbstractLogger, get_logger, http_request_id
|
||||
from src.infra.render import ImageRenderer
|
||||
from src.infra.s3 import ObjectStorage
|
||||
from src.schemas import dataclasses
|
||||
from src.schemas.enums import (
|
||||
@@ -44,16 +44,27 @@ from src.schemas.enums import (
|
||||
AttachmentVariantName,
|
||||
JobOutcome,
|
||||
)
|
||||
from src.schemas.jobs import AttachmentJobMessage, build_job_body
|
||||
from src.schemas.jobs import AttachmentJobMessage
|
||||
from src.utils.constants import ATTACHMENT_PIPELINE_VERSION
|
||||
from src.utils.thumbnail import InvalidImage, RenderedVariant, render_thumbnail
|
||||
from src.utils.utc import utcnow
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(
|
||||
module="attachment_processing_service",
|
||||
)
|
||||
|
||||
_THUMBNAIL_CONTENT_TYPE = "image/jpeg"
|
||||
# степень двойки в формуле паузы: больше предела паузы она не даст, а целое
|
||||
# 2 ** n и float не переполняются
|
||||
_RETRY_MAX_EXPONENT = 32
|
||||
|
||||
|
||||
def retry_delay(*, attempt: int, base: float, maximum: float) -> float:
|
||||
"""Пауза перед попыткой `attempt + 1` (решение 4): случайная величина из
|
||||
`[d / 2, d]`, `d = min(maximum, base × 2^(attempt − 1))`. Половина `d`
|
||||
гарантирована: рестарт S3 не исчерпает попытки."""
|
||||
exponent = min(max(attempt - 1, 0), _RETRY_MAX_EXPONENT)
|
||||
delay = min(maximum, base * 2**exponent)
|
||||
# не криптография: разброс пауз заданий
|
||||
return random.uniform(delay / 2, delay) # noqa: S311
|
||||
|
||||
|
||||
class _PermanentError(Exception):
|
||||
@@ -72,22 +83,19 @@ class _PermanentError(Exception):
|
||||
|
||||
class AttachmentProcessingService:
|
||||
"""Обработка заданий. `db_scope` — короткая сессия процесса worker,
|
||||
`storage` — клиент S3 с ключами worker, `publisher` — сообщения следующих
|
||||
попыток, `stop` — сигнал остановки: он прерывает паузы. `limiter` —
|
||||
потоки декодирования: не больше `[worker] concurrency`."""
|
||||
`storage` — клиент S3 с ключами worker, `renderer` — процесс обработки на
|
||||
задание, `stop` — сигнал остановки: он прерывает паузу при отказе БД."""
|
||||
|
||||
def __init__(
|
||||
self,
|
||||
db_scope: DbScope,
|
||||
storage: ObjectStorage,
|
||||
publisher: JobPublisher,
|
||||
limiter: anyio.CapacityLimiter,
|
||||
renderer: ImageRenderer,
|
||||
stop: asyncio.Event,
|
||||
) -> None:
|
||||
self.db_scope = db_scope
|
||||
self.storage = storage
|
||||
self.publisher = publisher
|
||||
self.limiter = limiter
|
||||
self.renderer = renderer
|
||||
self.stop = stop
|
||||
|
||||
async def handle(self, *, body: bytes, redelivered: bool) -> JobOutcome:
|
||||
@@ -125,24 +133,29 @@ class AttachmentProcessingService:
|
||||
redelivered: bool,
|
||||
log: AbstractLogger,
|
||||
) -> JobOutcome:
|
||||
claim = await self._claim(
|
||||
message=message,
|
||||
redelivered=redelivered,
|
||||
log=log,
|
||||
)
|
||||
claim = await self._claim(message=message, log=log)
|
||||
if isinstance(claim, JobOutcome):
|
||||
return claim
|
||||
job, attachment = claim
|
||||
job, attachment, queue_wait_ms = claim
|
||||
log = log.bind(attempt=job.attempt)
|
||||
log.info("Started job attempt", redelivered=redelivered)
|
||||
log.info(
|
||||
"Started job attempt",
|
||||
message_attempt=message.attempt,
|
||||
redelivered=redelivered,
|
||||
queue_wait_ms=queue_wait_ms,
|
||||
)
|
||||
started = time.monotonic()
|
||||
try:
|
||||
async with asyncio.timeout(settings.worker.job_timeout_seconds):
|
||||
rendered = await self._produce(attachment=attachment, log=log)
|
||||
rendered, variants = await self._produce(
|
||||
attachment=attachment,
|
||||
log=log,
|
||||
)
|
||||
committed = await self._commit_ready(
|
||||
job=job,
|
||||
attachment=attachment,
|
||||
rendered=rendered,
|
||||
variants=variants,
|
||||
log=log,
|
||||
)
|
||||
except _PermanentError as e:
|
||||
return await self._fail(
|
||||
@@ -151,6 +164,15 @@ class AttachmentProcessingService:
|
||||
reason=e.reason,
|
||||
log=log,
|
||||
)
|
||||
except exceptions.ImageRejected as e:
|
||||
return await self._fail(
|
||||
job=job,
|
||||
error_code=AttachmentErrorCode.INVALID_IMAGE,
|
||||
reason=e.reason,
|
||||
log=log,
|
||||
)
|
||||
except exceptions.RenderInterrupted as e:
|
||||
return await self._retry(job=job, reason=e.reason, log=log)
|
||||
except exceptions.ObjectStorageUnavailable:
|
||||
return await self._retry(
|
||||
job=job,
|
||||
@@ -175,33 +197,38 @@ class AttachmentProcessingService:
|
||||
if committed:
|
||||
log.info(
|
||||
"Attachment became ready",
|
||||
variant_width=rendered.width,
|
||||
variant_height=rendered.height,
|
||||
variant_size_bytes=len(rendered.data),
|
||||
variants=[
|
||||
{
|
||||
"name": item.name.value,
|
||||
"width": item.width,
|
||||
"height": item.height,
|
||||
"size_bytes": item.size_bytes,
|
||||
}
|
||||
for item in variants
|
||||
],
|
||||
render_ms=rendered.render_ms,
|
||||
render_peak_kib=rendered.peak_kib,
|
||||
render_memory_limit_applied=rendered.memory_limit_applied,
|
||||
duration_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
else:
|
||||
log.info("Skipped job message", reason="finished")
|
||||
return JobOutcome.ACK
|
||||
|
||||
async def _claim(
|
||||
self,
|
||||
*,
|
||||
message: AttachmentJobMessage,
|
||||
redelivered: bool,
|
||||
log: AbstractLogger,
|
||||
) -> (
|
||||
tuple[dataclasses.AttachmentJobDTO, dataclasses.AttachmentFullDTO]
|
||||
tuple[
|
||||
dataclasses.AttachmentJobDTO,
|
||||
dataclasses.AttachmentFullDTO,
|
||||
int | None,
|
||||
]
|
||||
| JobOutcome
|
||||
):
|
||||
"""Взять задание под блокировкой (таблица решения 7) или вернуть итог
|
||||
без попытки."""
|
||||
busy = False
|
||||
taken: (
|
||||
tuple[dataclasses.AttachmentJobDTO, dataclasses.AttachmentFullDTO]
|
||||
| None
|
||||
) = None
|
||||
outcome: JobOutcome | None = None
|
||||
"""Взять задание под блокировкой (таблица решения 3) или вернуть итог
|
||||
без попытки. Сообщение без работы подтверждается: живую попытку ведёт её
|
||||
аренда, а следующую публикует relay."""
|
||||
async with self.db_scope() as db_session:
|
||||
job = await attachment_job_repo.lock_job(
|
||||
db_session=db_session,
|
||||
@@ -209,26 +236,35 @@ class AttachmentProcessingService:
|
||||
)
|
||||
if job is None or job.attachment_id != message.attachment_id:
|
||||
log.info("Skipped job message", reason="unknown")
|
||||
outcome = JobOutcome.ACK
|
||||
elif job.state == AttachmentJobState.SUCCEEDED:
|
||||
return JobOutcome.ACK
|
||||
if job.state == AttachmentJobState.SUCCEEDED:
|
||||
await self._check_finished(
|
||||
db_session=db_session,
|
||||
job=job,
|
||||
log=log,
|
||||
)
|
||||
outcome = JobOutcome.ACK
|
||||
elif job.state == AttachmentJobState.FAILED:
|
||||
return JobOutcome.ACK
|
||||
if job.state == AttachmentJobState.FAILED:
|
||||
log.info("Skipped job message", reason="finished")
|
||||
outcome = JobOutcome.ACK
|
||||
elif (
|
||||
job.state == AttachmentJobState.PROCESSING
|
||||
and not redelivered
|
||||
and job.lease_expires_at is not None
|
||||
and job.lease_expires_at > utcnow()
|
||||
return JobOutcome.ACK
|
||||
now = utcnow()
|
||||
if (
|
||||
job.state == AttachmentJobState.QUEUED
|
||||
and job.published_at is None
|
||||
and job.next_attempt_at is not None
|
||||
and job.next_attempt_at > now
|
||||
):
|
||||
busy = True
|
||||
elif job.attempt >= settings.worker.max_attempts:
|
||||
# задание, которое роняет worker: сообщение придёт снова, а
|
||||
log.info("Skipped job message", reason="not_due")
|
||||
return JobOutcome.ACK
|
||||
if (
|
||||
job.state == AttachmentJobState.PROCESSING
|
||||
and job.lease_expires_at is not None
|
||||
and job.lease_expires_at > now
|
||||
):
|
||||
log.info("Skipped job message", reason="busy")
|
||||
return JobOutcome.ACK
|
||||
if self._budget_spent(job):
|
||||
# попытка потеряна при исчерпанном бюджете: сообщение пришло, а
|
||||
# попытка уже посчитана
|
||||
await self._write_failed(
|
||||
db_session=db_session,
|
||||
@@ -243,40 +279,48 @@ class AttachmentProcessingService:
|
||||
reason=job.last_error_code,
|
||||
attempt=job.attempt,
|
||||
)
|
||||
outcome = JobOutcome.ACK
|
||||
else:
|
||||
taken = await self._start_attempt(
|
||||
db_session=db_session,
|
||||
job=job,
|
||||
)
|
||||
await db_session.commit()
|
||||
if taken is None:
|
||||
log.info("Skipped job message", reason="unknown")
|
||||
outcome = JobOutcome.ACK
|
||||
if busy:
|
||||
# дубль при живой попытке: второй набор эффектов не нужен.
|
||||
# Следующая доставка придёт с redelivered, а попытка к тому
|
||||
# времени обычно закончена
|
||||
log.info("Skipped job message", reason="busy")
|
||||
await self._pause()
|
||||
return JobOutcome.REQUEUE
|
||||
return taken if taken is not None else (outcome or JobOutcome.ACK)
|
||||
return JobOutcome.ACK
|
||||
taken = await self._start_attempt(
|
||||
db_session=db_session,
|
||||
job=job,
|
||||
now=now,
|
||||
)
|
||||
await db_session.commit()
|
||||
if taken is None:
|
||||
log.info("Skipped job message", reason="unknown")
|
||||
return JobOutcome.ACK
|
||||
started, attachment = taken
|
||||
queue_wait_ms = (
|
||||
None
|
||||
if job.published_at is None
|
||||
else max(0, round((now - job.published_at).total_seconds() * 1000))
|
||||
)
|
||||
return started, attachment, queue_wait_ms
|
||||
|
||||
@staticmethod
|
||||
def _budget_spent(job: dataclasses.AttachmentJobDTO) -> bool:
|
||||
"""Попытки считаются от последнего replay; сам номер монотонен."""
|
||||
return job.attempt - job.attempt_base >= settings.worker.max_attempts
|
||||
|
||||
async def _start_attempt(
|
||||
self,
|
||||
*,
|
||||
db_session: AsyncSession,
|
||||
job: dataclasses.AttachmentJobDTO,
|
||||
now,
|
||||
) -> (
|
||||
tuple[dataclasses.AttachmentJobDTO, dataclasses.AttachmentFullDTO]
|
||||
| None
|
||||
):
|
||||
now = utcnow()
|
||||
worker = settings.worker
|
||||
started = await attachment_job_repo.start_attempt(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
lease_expires_at=now
|
||||
+ timedelta(seconds=settings.worker.job_timeout_seconds),
|
||||
+ timedelta(
|
||||
seconds=worker.job_timeout_seconds
|
||||
+ worker.lease_margin_seconds,
|
||||
),
|
||||
now=now,
|
||||
)
|
||||
if started is None:
|
||||
@@ -300,7 +344,9 @@ class AttachmentProcessingService:
|
||||
job: dataclasses.AttachmentJobDTO,
|
||||
log: AbstractLogger,
|
||||
) -> None:
|
||||
"""Повторная доставка завершённого: проверка эффекта, без записи."""
|
||||
"""Повторная доставка завершённого: проверка эффекта, без записи.
|
||||
Проверяется `thumbnail`: строки прежней версии других вариантов не
|
||||
имеют."""
|
||||
attachment = await attachment_repo.get_attachment(
|
||||
db_session=db_session,
|
||||
attachment_id=job.attachment_id,
|
||||
@@ -324,9 +370,12 @@ class AttachmentProcessingService:
|
||||
*,
|
||||
attachment: dataclasses.AttachmentFullDTO,
|
||||
log: AbstractLogger,
|
||||
) -> RenderedVariant:
|
||||
"""Оригинал из staging — в конечный ключ, затем thumbnail: те же
|
||||
ключи при каждом повторе."""
|
||||
) -> tuple[
|
||||
dataclasses.RenderedVariantsDTO,
|
||||
tuple[dataclasses.AttachmentVariantDTO, ...],
|
||||
]:
|
||||
"""Оригинал из staging — в конечный ключ, затем варианты: те же ключи
|
||||
при каждом повторе."""
|
||||
data = await self._read_staging(attachment=attachment, log=log)
|
||||
await attachment_object_repo.put_original(
|
||||
self.storage,
|
||||
@@ -335,26 +384,37 @@ class AttachmentProcessingService:
|
||||
size=len(data),
|
||||
content_type=attachment.content_type.value,
|
||||
)
|
||||
try:
|
||||
# поток не прерывается сроком: отмена дождётся конца декодирования
|
||||
rendered = await anyio.to_thread.run_sync(
|
||||
render_thumbnail,
|
||||
data,
|
||||
limiter=self.limiter,
|
||||
rendered = await self.renderer.render(data)
|
||||
del data
|
||||
variants = []
|
||||
for item in rendered.variants:
|
||||
key = attachment_object_repo.variant_key(
|
||||
self.storage,
|
||||
attachment_id=attachment.id,
|
||||
pipeline_version=ATTACHMENT_PIPELINE_VERSION,
|
||||
name=item.name,
|
||||
)
|
||||
except InvalidImage as e:
|
||||
raise _PermanentError(
|
||||
reason=AttachmentJobReason.UNDECODABLE,
|
||||
error_code=AttachmentErrorCode.INVALID_IMAGE,
|
||||
) from e
|
||||
await attachment_object_repo.put_original(
|
||||
self.storage,
|
||||
key=self._thumbnail_key(attachment.id),
|
||||
body=io.BytesIO(rendered.data),
|
||||
size=len(rendered.data),
|
||||
content_type=_THUMBNAIL_CONTENT_TYPE,
|
||||
)
|
||||
return rendered
|
||||
await attachment_object_repo.put_original(
|
||||
self.storage,
|
||||
key=key,
|
||||
body=io.BytesIO(item.data),
|
||||
size=len(item.data),
|
||||
content_type=item.content_type,
|
||||
)
|
||||
variants.append(
|
||||
dataclasses.AttachmentVariantDTO(
|
||||
name=item.name,
|
||||
pipeline_version=ATTACHMENT_PIPELINE_VERSION,
|
||||
object_key=key,
|
||||
content_type=item.content_type,
|
||||
size_bytes=len(item.data),
|
||||
width=item.width,
|
||||
height=item.height,
|
||||
sha256=hashlib.sha256(item.data).digest(),
|
||||
created_at=utcnow(),
|
||||
),
|
||||
)
|
||||
return rendered, tuple(variants)
|
||||
|
||||
async def _read_staging(
|
||||
self,
|
||||
@@ -362,8 +422,8 @@ class AttachmentProcessingService:
|
||||
attachment: dataclasses.AttachmentFullDTO,
|
||||
log: AbstractLogger,
|
||||
) -> bytes:
|
||||
"""Байты staging и сверка с метаданными строки: другие метаданные
|
||||
worker не читает."""
|
||||
"""Байты staging и сверка с метаданными строки: объект другого размера
|
||||
не читается, а других метаданных worker не видит."""
|
||||
corrupted = _PermanentError(
|
||||
reason=AttachmentJobReason.SOURCE_CORRUPTED,
|
||||
error_code=AttachmentErrorCode.PROCESSING_FAILED,
|
||||
@@ -394,30 +454,24 @@ class AttachmentProcessingService:
|
||||
raise corrupted
|
||||
return data
|
||||
|
||||
def _thumbnail_key(self, attachment_id: UUID) -> str:
|
||||
return attachment_object_repo.variant_key(
|
||||
self.storage,
|
||||
attachment_id=attachment_id,
|
||||
pipeline_version=ATTACHMENT_PIPELINE_VERSION,
|
||||
name=AttachmentVariantName.THUMBNAIL,
|
||||
)
|
||||
|
||||
async def _commit_ready(
|
||||
self,
|
||||
*,
|
||||
job: dataclasses.AttachmentJobDTO,
|
||||
attachment: dataclasses.AttachmentFullDTO,
|
||||
rendered: RenderedVariant,
|
||||
variants: tuple[dataclasses.AttachmentVariantDTO, ...],
|
||||
log: AbstractLogger,
|
||||
) -> bool:
|
||||
"""Вложение `ready`, вариант и итог задания — одной транзакцией;
|
||||
`False` — итог уже есть. Принимается и результат старой попытки:
|
||||
эффект тот же, те же ключи."""
|
||||
"""Вложение `ready`, варианты и итог задания — одной транзакцией;
|
||||
`False` — задание ведёт другая попытка или итог уже есть: результат
|
||||
прежней попытки не фиксируется (fencing, решение 3)."""
|
||||
async with self.db_scope() as db_session:
|
||||
locked = await attachment_job_repo.lock_job(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
)
|
||||
if locked is None:
|
||||
if not self._own_attempt(locked, job=job):
|
||||
log.info("Skipped job message", reason="superseded")
|
||||
return False
|
||||
now = utcnow()
|
||||
if not await attachment_repo.commit_ready(
|
||||
@@ -425,22 +479,14 @@ class AttachmentProcessingService:
|
||||
attachment_id=attachment.id,
|
||||
updated_at=now,
|
||||
):
|
||||
log.info("Skipped job message", reason="finished")
|
||||
return False
|
||||
await attachment_variant_repo.insert_variant(
|
||||
db_session=db_session,
|
||||
attachment_id=attachment.id,
|
||||
variant=dataclasses.AttachmentVariantDTO(
|
||||
name=AttachmentVariantName.THUMBNAIL,
|
||||
pipeline_version=job.pipeline_version,
|
||||
object_key=self._thumbnail_key(attachment.id),
|
||||
content_type=_THUMBNAIL_CONTENT_TYPE,
|
||||
size_bytes=len(rendered.data),
|
||||
width=rendered.width,
|
||||
height=rendered.height,
|
||||
sha256=rendered.sha256,
|
||||
created_at=now,
|
||||
),
|
||||
)
|
||||
for variant in variants:
|
||||
await attachment_variant_repo.insert_variant(
|
||||
db_session=db_session,
|
||||
attachment_id=attachment.id,
|
||||
variant=variant,
|
||||
)
|
||||
await attachment_job_repo.finish_job(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
@@ -491,7 +537,7 @@ class AttachmentProcessingService:
|
||||
job_id=job.id,
|
||||
)
|
||||
if not self._own_attempt(locked, job=job):
|
||||
log.info("Skipped job message", reason="busy")
|
||||
log.info("Skipped job message", reason="superseded")
|
||||
return JobOutcome.ACK
|
||||
written = await self._write_failed(
|
||||
db_session=db_session,
|
||||
@@ -527,29 +573,35 @@ class AttachmentProcessingService:
|
||||
reason: AttachmentJobReason,
|
||||
log: AbstractLogger,
|
||||
) -> JobOutcome:
|
||||
"""Временная ошибка: `queued` и новое сообщение с `attempt + 1` после
|
||||
паузы. Попытки исчерпаны — `failed`. Отказ брокера — старое сообщение
|
||||
возвращается, claim возьмёт `queued`."""
|
||||
if job.attempt >= settings.worker.max_attempts:
|
||||
"""Временная ошибка: `queued` со сроком следующей попытки и ACK; её
|
||||
сообщение опубликует relay, пауза места конкуренции не занимает.
|
||||
Попытки исчерпаны — `failed`."""
|
||||
if self._budget_spent(job):
|
||||
return await self._fail(
|
||||
job=job,
|
||||
error_code=AttachmentErrorCode.RETRY_EXHAUSTED,
|
||||
reason=reason,
|
||||
log=log,
|
||||
)
|
||||
delay = settings.worker.retry_delay_seconds
|
||||
worker = settings.worker
|
||||
delay = retry_delay(
|
||||
attempt=job.attempt - job.attempt_base,
|
||||
base=worker.retry_base_delay_seconds,
|
||||
maximum=worker.retry_max_delay_seconds,
|
||||
)
|
||||
async with self.db_scope() as db_session:
|
||||
now = utcnow()
|
||||
next_attempt_at = now + timedelta(seconds=delay)
|
||||
own = await attachment_job_repo.return_to_queued(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
attempt=job.attempt,
|
||||
reason=reason,
|
||||
next_attempt_at=now + timedelta(seconds=delay),
|
||||
next_attempt_at=next_attempt_at,
|
||||
now=now,
|
||||
)
|
||||
if not own:
|
||||
log.info("Skipped job message", reason="busy")
|
||||
log.info("Skipped job message", reason="superseded")
|
||||
return JobOutcome.ACK
|
||||
await attachment_repo.return_to_queued(
|
||||
db_session=db_session,
|
||||
@@ -560,46 +612,16 @@ class AttachmentProcessingService:
|
||||
log.warning(
|
||||
"Retrying job",
|
||||
reason=reason.value,
|
||||
delay_seconds=delay,
|
||||
delay_seconds=round(delay, 3),
|
||||
next_attempt_at=next_attempt_at.isoformat(),
|
||||
)
|
||||
if await self._pause():
|
||||
# остановка: брокер вернёт сообщение, а следующий запуск возьмёт
|
||||
# задание
|
||||
return JobOutcome.REQUEUE
|
||||
try:
|
||||
await self.publisher.publish(
|
||||
build_job_body(job, attempt=job.attempt + 1),
|
||||
message_id=job.id,
|
||||
)
|
||||
except exceptions.BrokerUnavailable:
|
||||
return JobOutcome.REQUEUE
|
||||
async with self._step_quietly(log=log) as db_session:
|
||||
await attachment_job_repo.mark_published(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
now=utcnow(),
|
||||
)
|
||||
await db_session.commit()
|
||||
return JobOutcome.ACK
|
||||
|
||||
@asynccontextmanager
|
||||
async def _step_quietly(
|
||||
self,
|
||||
*,
|
||||
log: AbstractLogger,
|
||||
) -> AsyncIterator[AsyncSession]:
|
||||
"""Отметка, от которой итог работы не зависит: сбой — `warning`."""
|
||||
async def _pause(self) -> None:
|
||||
"""Пауза перед возвратом сообщения при отказе PostgreSQL; её прерывает
|
||||
сигнал остановки."""
|
||||
try:
|
||||
async with self.db_scope() as db_session:
|
||||
yield db_session
|
||||
except exceptions.ServiceUnavailable:
|
||||
log.warning("Attachment job publish mark failed")
|
||||
|
||||
async def _pause(self) -> bool:
|
||||
"""Пауза повтора; `True` — её прервал сигнал остановки."""
|
||||
try:
|
||||
async with asyncio.timeout(settings.worker.retry_delay_seconds):
|
||||
async with asyncio.timeout(settings.worker.reconnect_seconds):
|
||||
await self.stop.wait()
|
||||
except TimeoutError:
|
||||
return False
|
||||
return True
|
||||
return
|
||||
|
||||
@@ -96,6 +96,7 @@ logger: AbstractLogger = get_logger().bind(
|
||||
LIMITED_KINDS = frozenset(
|
||||
{
|
||||
ReconcileFinding.ORPHAN_OBJECT,
|
||||
ReconcileFinding.ORPHAN_STAGING,
|
||||
ReconcileFinding.MISSING_OBJECT,
|
||||
ReconcileFinding.SIZE_MISMATCH,
|
||||
ReconcileFinding.CHECKSUM_MISMATCH,
|
||||
@@ -106,6 +107,7 @@ LIMITED_KINDS = frozenset(
|
||||
ACTION_ORDER = (
|
||||
ReconcileFinding.STALE_PENDING,
|
||||
ReconcileFinding.ORPHAN_OBJECT,
|
||||
ReconcileFinding.ORPHAN_STAGING,
|
||||
ReconcileFinding.MISSING_OBJECT,
|
||||
ReconcileFinding.SIZE_MISMATCH,
|
||||
ReconcileFinding.CHECKSUM_MISMATCH,
|
||||
@@ -162,6 +164,7 @@ class _Pass:
|
||||
deep: bool,
|
||||
max_objects_per_second: float,
|
||||
older_than: datetime,
|
||||
staging_older_than: datetime,
|
||||
stop_requested: Callable[[], bool],
|
||||
stats: StorageStats,
|
||||
db_sessions: int,
|
||||
@@ -171,12 +174,14 @@ class _Pass:
|
||||
self.deep = deep
|
||||
self.rate = max_objects_per_second
|
||||
self.older_than = older_than
|
||||
self.staging_older_than = staging_older_than
|
||||
self.stop_requested = stop_requested
|
||||
self.now = utcnow()
|
||||
self.started = time.monotonic()
|
||||
self.stats_start = stats
|
||||
self.db_sessions_start = db_sessions
|
||||
self.listed_objects = 0
|
||||
self.listed_staging = 0
|
||||
self.checked_rows = 0
|
||||
self.fresh_objects = 0
|
||||
self.fresh_rows = 0
|
||||
@@ -239,6 +244,7 @@ class AttachmentReconcileService:
|
||||
self,
|
||||
*,
|
||||
older_than: datetime,
|
||||
staging_older_than: datetime,
|
||||
apply: bool,
|
||||
max_changes: int,
|
||||
page_size: int,
|
||||
@@ -248,7 +254,9 @@ class AttachmentReconcileService:
|
||||
max_objects_per_second: float = 0,
|
||||
stop_requested: Callable[[], bool] = _never,
|
||||
) -> dataclasses.ReconcilePassDTO:
|
||||
"""Один проход сверки; `older_than` — порог grace прохода.
|
||||
"""Один проход сверки; `older_than` — порог grace прохода,
|
||||
`staging_older_than` — порог срока хранения staging (design change
|
||||
`pipeline-reliability`, решение 9).
|
||||
|
||||
Без `apply` ничего не меняет. Отказ S3 или PostgreSQL прерывает
|
||||
проход (`interrupted_by`); сигнал (`stop_requested()`)
|
||||
@@ -270,6 +278,7 @@ class AttachmentReconcileService:
|
||||
deep=deep,
|
||||
max_objects_per_second=max_objects_per_second,
|
||||
older_than=older_than,
|
||||
staging_older_than=staging_older_than,
|
||||
stop_requested=stop_requested,
|
||||
stats=self.storage.stats(),
|
||||
db_sessions=self._db_sessions,
|
||||
@@ -278,6 +287,7 @@ class AttachmentReconcileService:
|
||||
try:
|
||||
with state.phase("list"):
|
||||
await self._list_objects(state, page_size=page_size)
|
||||
await self._list_staging(state, page_size=page_size)
|
||||
with state.phase("rows"):
|
||||
await self._check_rows(state, page_size=page_size)
|
||||
with state.phase("stale"):
|
||||
@@ -465,6 +475,92 @@ class AttachmentReconcileService:
|
||||
if token is None:
|
||||
return
|
||||
|
||||
async def _list_staging(self, state: _Pass, *, page_size: int) -> None:
|
||||
"""Объекты staging: `<id>/original` строки с этим же `staging_key` —
|
||||
текущая работа или дело очистки, иначе объект без метаданных старше
|
||||
срока хранения; ключ другого вида — чужой. Той же обёрткой сигнала и
|
||||
скорости; `listed_objects` остаётся про префикс вложений. Строки — одним
|
||||
выражением на страницу (`batch`) или выборкой на объект (`head`)."""
|
||||
token: str | None = None
|
||||
while True:
|
||||
state.check_stop()
|
||||
page = await attachment_object_repo.list_staging(
|
||||
self.storage,
|
||||
token=token,
|
||||
max_keys=page_size,
|
||||
)
|
||||
await self._pace(state)
|
||||
state.listed_staging += len(page.objects)
|
||||
parsed = {
|
||||
item.key: attachment_object_repo.parse_staging_key(
|
||||
self.storage,
|
||||
key=item.key,
|
||||
)
|
||||
for item in page.objects
|
||||
}
|
||||
by_id: dict[UUID, dataclasses.AttachmentFullDTO] = {}
|
||||
ids = [value for value in parsed.values() if value is not None]
|
||||
if state.strategy == ReconcileStrategy.BATCH and ids:
|
||||
by_id = await self._rows_by_id(state, ids)
|
||||
for item in page.objects:
|
||||
attachment_id = parsed[item.key]
|
||||
if (
|
||||
state.strategy == ReconcileStrategy.HEAD
|
||||
and attachment_id is not None
|
||||
):
|
||||
by_id = await self._rows_by_id(state, [attachment_id])
|
||||
self._classify_staging(
|
||||
state,
|
||||
item,
|
||||
attachment_id=attachment_id,
|
||||
row=None
|
||||
if attachment_id is None
|
||||
else by_id.get(attachment_id),
|
||||
)
|
||||
token = page.next_token
|
||||
if token is None:
|
||||
return
|
||||
|
||||
async def _rows_by_id(
|
||||
self,
|
||||
state: _Pass,
|
||||
ids: list[UUID],
|
||||
) -> dict[UUID, dataclasses.AttachmentFullDTO]:
|
||||
state.check_stop()
|
||||
async with self.db_scope() as db_session:
|
||||
rows = await attachment_repo.get_attachments_for_objects(
|
||||
db_session=db_session,
|
||||
attachment_ids=ids,
|
||||
object_keys=[],
|
||||
)
|
||||
return {row.id: row for row in rows}
|
||||
|
||||
def _classify_staging(
|
||||
self,
|
||||
state: _Pass,
|
||||
item: StoredObjectInfo,
|
||||
*,
|
||||
attachment_id: UUID | None,
|
||||
row: dataclasses.AttachmentFullDTO | None,
|
||||
) -> None:
|
||||
if row is not None and row.staging_key == item.key:
|
||||
return
|
||||
if _is_fresh(item, older_than=state.staging_older_than):
|
||||
state.fresh_objects += 1
|
||||
return
|
||||
state.candidates.append(
|
||||
dataclasses.ReconcileFindingDTO(
|
||||
kind=(
|
||||
ReconcileFinding.UNKNOWN_OBJECT
|
||||
if attachment_id is None
|
||||
else ReconcileFinding.ORPHAN_STAGING
|
||||
),
|
||||
object_key=item.key,
|
||||
attachment_id=attachment_id,
|
||||
age_seconds=_object_age(state, item),
|
||||
),
|
||||
)
|
||||
|
||||
async def _classify_page(
|
||||
self,
|
||||
state: _Pass,
|
||||
@@ -841,6 +937,8 @@ class AttachmentReconcileService:
|
||||
# зависшую загрузку уборщик перепроверяет под блокировкой сам,
|
||||
# чужой объект сверка не трогает
|
||||
return candidate
|
||||
if kind == ReconcileFinding.ORPHAN_STAGING:
|
||||
return await self._recheck_orphan_staging(candidate, state=state)
|
||||
if not self._own_key(candidate.object_key):
|
||||
# объект вне префикса вложений своей базы не читается
|
||||
return None
|
||||
@@ -941,6 +1039,40 @@ class AttachmentReconcileService:
|
||||
return None
|
||||
return replace(candidate, age_seconds=_object_age(state, stored))
|
||||
|
||||
async def _recheck_orphan_staging(
|
||||
self,
|
||||
candidate: dataclasses.ReconcileFindingDTO,
|
||||
*,
|
||||
state: _Pass,
|
||||
) -> dataclasses.ReconcileFindingDTO | None:
|
||||
"""Строка этого `id` по-прежнему не ссылается на ключ, объект на месте и
|
||||
старше срока хранения."""
|
||||
if await self._staging_referenced(candidate, state=state):
|
||||
return None
|
||||
stored = await self._head(state, candidate.object_key)
|
||||
if stored is None or _is_fresh(
|
||||
stored,
|
||||
older_than=state.staging_older_than,
|
||||
):
|
||||
return None
|
||||
return replace(candidate, age_seconds=_object_age(state, stored))
|
||||
|
||||
async def _staging_referenced(
|
||||
self,
|
||||
finding: dataclasses.ReconcileFindingDTO,
|
||||
*,
|
||||
state: _Pass,
|
||||
) -> bool:
|
||||
if finding.attachment_id is None:
|
||||
return False
|
||||
state.check_stop()
|
||||
async with self.db_scope() as db_session:
|
||||
row = await attachment_repo.get_attachment(
|
||||
db_session=db_session,
|
||||
attachment_id=finding.attachment_id,
|
||||
)
|
||||
return row is not None and row.staging_key == finding.object_key
|
||||
|
||||
async def _get_row(
|
||||
self,
|
||||
candidate: dataclasses.ReconcileFindingDTO,
|
||||
@@ -1051,6 +1183,14 @@ class AttachmentReconcileService:
|
||||
# DELETE объекта уборки — тоже под пределом скорости
|
||||
await self._pace(state)
|
||||
return ReconcileAction.REMOVED_PENDING if removed else None
|
||||
if kind == ReconcileFinding.ORPHAN_STAGING:
|
||||
if attachment_object_repo.parse_staging_key(
|
||||
self.storage,
|
||||
key=finding.object_key,
|
||||
) is None or await self._staging_referenced(finding, state=state):
|
||||
return None
|
||||
await self._delete(state, finding.object_key)
|
||||
return ReconcileAction.DELETED_OBJECT
|
||||
if not self._own_key(finding.object_key):
|
||||
# объект вне префикса вложений своей базы не читается и не
|
||||
# меняется; классификация такого не подтверждает
|
||||
@@ -1191,6 +1331,7 @@ class AttachmentReconcileService:
|
||||
result = dataclasses.ReconcilePassDTO(
|
||||
apply=state.apply,
|
||||
listed_objects=state.listed_objects,
|
||||
listed_staging=state.listed_staging,
|
||||
checked_rows=state.checked_rows,
|
||||
found=MappingProxyType(dict(found)),
|
||||
fixed=MappingProxyType(dict(fixed)),
|
||||
@@ -1214,6 +1355,7 @@ class AttachmentReconcileService:
|
||||
)
|
||||
fields = {
|
||||
"listed_objects": result.listed_objects,
|
||||
"listed_staging": result.listed_staging,
|
||||
"checked_rows": result.checked_rows,
|
||||
"found": {kind.value: count for kind, count in found.items()},
|
||||
"fixed": {kind.value: count for kind, count in fixed.items()},
|
||||
|
||||
@@ -0,0 +1,217 @@
|
||||
"""Relay: доводит намерения из PostgreSQL до брокера (design change
|
||||
`pipeline-reliability`, решение 2, спек `job-outbox`).
|
||||
|
||||
Сервис процесса relay (`src/relay/`). Проход — три шага:
|
||||
1. истёкшие аренды: задания и их вложения — обратно в `queued`, одной транзакцией;
|
||||
2. потерянные сообщения: есть отмеченные старше порога и ноль готовых в очереди —
|
||||
отметка снимается;
|
||||
3. публикация: выборка due-строк `FOR UPDATE SKIP LOCKED`, публикация с
|
||||
подтверждением, отметка подтверждённых — одна транзакция. Вызов брокера внутри
|
||||
неё — осознанное исключение, как DELETE уборщика: блокировка строки и есть
|
||||
признак «это задание публикует другой relay». Срок `[broker]
|
||||
publish_timeout_seconds` < срока шага с БД < простоя транзакции, а worker,
|
||||
получивший сообщение раньше COMMIT, ждёт блокировку и видит отметку.
|
||||
|
||||
Доставка at least once: сбой до отметки даёт дубль, он ничего не меняет (claim
|
||||
worker). Байты вложений и S3 здесь не нужны.
|
||||
"""
|
||||
|
||||
import time
|
||||
from collections.abc import Callable
|
||||
from datetime import timedelta
|
||||
|
||||
from src.core.repos import attachment as attachment_repo
|
||||
from src.core.repos import attachment_job as attachment_job_repo
|
||||
from src.core.services.attachment import DbScope
|
||||
from src.infra.broker import JobPublisher
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.schemas import dataclasses
|
||||
from src.schemas.jobs import build_job_body
|
||||
from src.utils.utc import utcnow
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(module="attachment_relay_service")
|
||||
|
||||
_SECONDS_TO_MS = 1000
|
||||
|
||||
|
||||
def _never() -> bool:
|
||||
return False
|
||||
|
||||
|
||||
class AttachmentRelayService:
|
||||
"""`db_scope` — короткая сессия процесса relay, `publisher` — издатель с
|
||||
подтверждением. Состояние предела — только для записи на его смену."""
|
||||
|
||||
def __init__(self, db_scope: DbScope, publisher: JobPublisher) -> None:
|
||||
self.db_scope = db_scope
|
||||
self.publisher = publisher
|
||||
self._backlog_full = False
|
||||
|
||||
async def publish_pass(
|
||||
self,
|
||||
*,
|
||||
batch_size: int,
|
||||
max_published_backlog: int,
|
||||
republish_after_seconds: float,
|
||||
stop_requested: Callable[[], bool] = _never,
|
||||
) -> dataclasses.RelayPassDTO:
|
||||
"""Один проход. Отказ PostgreSQL или брокера вне шага публикации —
|
||||
`ServiceUnavailable`; шаг публикации отмечает подтверждённое, а не
|
||||
подтверждённое называет в итоге. Сигнал проверяется между шагами: каждый
|
||||
шаг ограничен своим сроком, и остановка укладывается в срок контейнера."""
|
||||
started = time.monotonic()
|
||||
recovered = await self._recover_expired(limit=batch_size)
|
||||
republished = 0
|
||||
if not stop_requested():
|
||||
republished = await self._reset_lost(
|
||||
after_seconds=republish_after_seconds,
|
||||
)
|
||||
published = 0
|
||||
unconfirmed = 0
|
||||
backlog = 0
|
||||
selected = 0
|
||||
if not stop_requested():
|
||||
published, unconfirmed, backlog, selected = await self._publish(
|
||||
batch_size=batch_size,
|
||||
max_backlog=max_published_backlog,
|
||||
)
|
||||
result = dataclasses.RelayPassDTO(
|
||||
published=published,
|
||||
unconfirmed=unconfirmed,
|
||||
recovered=recovered,
|
||||
republished=republished,
|
||||
published_backlog=backlog,
|
||||
backlog_full=self._backlog_full,
|
||||
selected=selected,
|
||||
duration_ms=round((time.monotonic() - started) * _SECONDS_TO_MS),
|
||||
)
|
||||
write = (
|
||||
logger.info
|
||||
if published or unconfirmed or recovered or republished
|
||||
else logger.debug
|
||||
)
|
||||
write(
|
||||
"Relay pass",
|
||||
published=result.published,
|
||||
unconfirmed=result.unconfirmed,
|
||||
recovered=result.recovered,
|
||||
republished=result.republished,
|
||||
published_backlog=result.published_backlog,
|
||||
duration_ms=result.duration_ms,
|
||||
)
|
||||
return result
|
||||
|
||||
async def _recover_expired(self, *, limit: int) -> int:
|
||||
"""Вернуть задания с истёкшей арендой: worker потерян или заморожен, его
|
||||
прежняя попытка итог уже не зафиксирует (fencing)."""
|
||||
async with self.db_scope() as db_session:
|
||||
now = utcnow()
|
||||
jobs = await attachment_job_repo.recover_expired_leases(
|
||||
db_session=db_session,
|
||||
now=now,
|
||||
limit=limit,
|
||||
)
|
||||
if jobs:
|
||||
await attachment_repo.return_group_to_queued(
|
||||
db_session=db_session,
|
||||
attachment_ids=[job.attachment_id for job in jobs],
|
||||
updated_at=now,
|
||||
)
|
||||
await db_session.commit()
|
||||
for job in jobs:
|
||||
logger.warning(
|
||||
"Recovered expired lease",
|
||||
job_id=job.id,
|
||||
attachment_id=job.attachment_id,
|
||||
attempt=job.attempt,
|
||||
)
|
||||
return len(jobs)
|
||||
|
||||
async def _reset_lost(self, *, after_seconds: float) -> int:
|
||||
"""Отмеченные старше порога при нуле готовых сообщений — потерянные:
|
||||
очередь удалена или данные брокера утрачены. Не ноль — ничего: длинная
|
||||
очередь не обрастает копиями. Брокер спрашивается только при кандидатах:
|
||||
обычный проход его не трогает."""
|
||||
threshold = utcnow() - timedelta(seconds=after_seconds)
|
||||
async with self.db_scope() as db_session:
|
||||
has_old = await attachment_job_repo.has_published_before(
|
||||
db_session=db_session,
|
||||
older_than=threshold,
|
||||
)
|
||||
if not has_old:
|
||||
return 0
|
||||
if await self.publisher.ready_messages():
|
||||
return 0
|
||||
async with self.db_scope() as db_session:
|
||||
reset = await attachment_job_repo.reset_published_before(
|
||||
db_session=db_session,
|
||||
older_than=threshold,
|
||||
now=utcnow(),
|
||||
)
|
||||
await db_session.commit()
|
||||
return reset
|
||||
|
||||
async def _publish(
|
||||
self,
|
||||
*,
|
||||
batch_size: int,
|
||||
max_backlog: int,
|
||||
) -> tuple[int, int, int, int]:
|
||||
"""Опубликовано, не подтверждено, опубликованных и не взятых, выбрано."""
|
||||
async with self.db_scope() as db_session:
|
||||
backlog = await attachment_job_repo.count_published(
|
||||
db_session=db_session,
|
||||
)
|
||||
limit = batch_size
|
||||
if max_backlog > 0:
|
||||
limit = min(batch_size, max_backlog - backlog)
|
||||
self._note_backlog(
|
||||
full=max_backlog > 0 and limit <= 0,
|
||||
backlog=backlog,
|
||||
max_backlog=max_backlog,
|
||||
)
|
||||
if limit <= 0:
|
||||
return 0, 0, backlog, 0
|
||||
jobs = await attachment_job_repo.lock_due_jobs(
|
||||
db_session=db_session,
|
||||
now=utcnow(),
|
||||
limit=limit,
|
||||
)
|
||||
if not jobs:
|
||||
return 0, 0, backlog, 0
|
||||
confirmed = await self.publisher.publish_many(
|
||||
[
|
||||
(job.id, build_job_body(job, attempt=job.attempt + 1))
|
||||
for job in jobs
|
||||
],
|
||||
)
|
||||
if confirmed:
|
||||
await attachment_job_repo.mark_published(
|
||||
db_session=db_session,
|
||||
job_ids=confirmed,
|
||||
now=utcnow(),
|
||||
)
|
||||
await db_session.commit()
|
||||
return (
|
||||
len(confirmed),
|
||||
len(jobs) - len(confirmed),
|
||||
backlog + len(confirmed),
|
||||
len(jobs),
|
||||
)
|
||||
|
||||
def _note_backlog(
|
||||
self,
|
||||
*,
|
||||
full: bool,
|
||||
backlog: int,
|
||||
max_backlog: int,
|
||||
) -> None:
|
||||
"""Запись один раз на смену состояния предела."""
|
||||
if full == self._backlog_full:
|
||||
return
|
||||
self._backlog_full = full
|
||||
logger.info(
|
||||
"Relay backlog is full" if full else "Relay backlog has room",
|
||||
published_backlog=backlog,
|
||||
max_published_backlog=max_backlog,
|
||||
)
|
||||
@@ -0,0 +1,224 @@
|
||||
"""Реестр `failed` и replay (design change `pipeline-reliability`, решение 5).
|
||||
|
||||
Реестр — строки `attachment_jobs` с `state = 'failed'`. Replay одного задания —
|
||||
одна транзакция, порядок блокировок общий: задание, затем вложение. Вложение `failed`
|
||||
→ `queued`, задание `queued` с новым бюджетом (`attempt_base = attempt`), запись аудита;
|
||||
сообщение публикует relay. Готовая работа, идущая работа и задание без исходника —
|
||||
отказ без изменений: повторить — не значит исполнить дубль. Блокировка строки вложения
|
||||
исключает гонку с очисткой staging.
|
||||
"""
|
||||
|
||||
from collections.abc import Callable, Sequence
|
||||
from uuid import UUID, uuid4
|
||||
|
||||
from src.core.repos import attachment as attachment_repo
|
||||
from src.core.repos import attachment_job as attachment_job_repo
|
||||
from src.core.repos import attachment_job_replay as attachment_job_replay_repo
|
||||
from src.core.services.attachment import DbScope
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.schemas import dataclasses
|
||||
from src.schemas.enums import AttachmentJobState, AttachmentStatus
|
||||
from src.utils.constants import ATTACHMENT_PIPELINE_VERSION
|
||||
from src.utils.utc import utcnow
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(module="attachment_replay_service")
|
||||
|
||||
REFUSAL_NOT_FOUND = "not_found"
|
||||
REFUSAL_ALREADY_READY = "already_ready"
|
||||
REFUSAL_NOT_FAILED = "not_failed"
|
||||
REFUSAL_SOURCE_GONE = "source_gone"
|
||||
|
||||
|
||||
def _never() -> bool:
|
||||
return False
|
||||
|
||||
|
||||
class AttachmentReplayService:
|
||||
"""`db_scope` — короткая сессия процесса команды; брокер и S3 не нужны."""
|
||||
|
||||
def __init__(self, db_scope: DbScope) -> None:
|
||||
self.db_scope = db_scope
|
||||
|
||||
async def replay_pass(
|
||||
self,
|
||||
*,
|
||||
attachment_ids: Sequence[UUID],
|
||||
error_code: str | None,
|
||||
reason: str | None,
|
||||
limit: int,
|
||||
apply: bool,
|
||||
operator: str,
|
||||
stop_requested: Callable[[], bool] = _never,
|
||||
) -> dataclasses.ReplayPassDTO:
|
||||
"""Показать выбранное или выполнить replay. Выбор — по `id` вложений
|
||||
либо по коду и причине, не больше `limit`; без выбора — весь реестр в
|
||||
пределах `limit` (только показ: `--apply` без выбора отвергает команда).
|
||||
Отказ PostgreSQL — `ServiceUnavailable` вызывающему."""
|
||||
log = logger.bind(method="replay", apply=apply)
|
||||
ids = list(attachment_ids[:limit])
|
||||
if not ids:
|
||||
async with self.db_scope() as db_session:
|
||||
rows = await attachment_job_repo.list_failed(
|
||||
db_session=db_session,
|
||||
error_code=error_code,
|
||||
reason=reason,
|
||||
limit=limit,
|
||||
)
|
||||
ids = [row.attachment_id for row in rows]
|
||||
shown = 0
|
||||
replayed = 0
|
||||
refused = 0
|
||||
interrupted = False
|
||||
for attachment_id in ids:
|
||||
if stop_requested():
|
||||
interrupted = True
|
||||
break
|
||||
result = await self.replay_one(
|
||||
attachment_id=attachment_id,
|
||||
apply=apply,
|
||||
operator=operator,
|
||||
)
|
||||
if result.refusal is not None:
|
||||
refused += 1
|
||||
log.warning(
|
||||
"Refused job replay",
|
||||
attachment_id=result.attachment_id,
|
||||
job_id=result.job_id,
|
||||
refusal=result.refusal,
|
||||
)
|
||||
elif apply:
|
||||
replayed += 1
|
||||
log.info(
|
||||
"Replayed job",
|
||||
attachment_id=result.attachment_id,
|
||||
job_id=result.job_id,
|
||||
operator=operator,
|
||||
error_code=result.error_code,
|
||||
reason=result.reason,
|
||||
attempt=result.attempt,
|
||||
)
|
||||
else:
|
||||
shown += 1
|
||||
log.info(
|
||||
"Found failed job",
|
||||
attachment_id=result.attachment_id,
|
||||
job_id=result.job_id,
|
||||
error_code=result.error_code,
|
||||
reason=result.reason,
|
||||
attempt=result.attempt,
|
||||
finished_at=(
|
||||
None
|
||||
if result.finished_at is None
|
||||
else result.finished_at.isoformat()
|
||||
),
|
||||
)
|
||||
pass_result = dataclasses.ReplayPassDTO(
|
||||
shown=shown,
|
||||
replayed=replayed,
|
||||
refused=refused,
|
||||
interrupted=interrupted,
|
||||
)
|
||||
log.info(
|
||||
"Finished replay pass",
|
||||
shown=shown,
|
||||
replayed=replayed,
|
||||
refused=refused,
|
||||
interrupted=interrupted,
|
||||
)
|
||||
return pass_result
|
||||
|
||||
async def replay_one(
|
||||
self,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
apply: bool,
|
||||
operator: str,
|
||||
) -> dataclasses.ReplayResultDTO:
|
||||
"""Проверки под блокировками, с `apply` — запись одной транзакцией. Без
|
||||
`apply` транзакция откатывается: команда только называет, что сделала
|
||||
бы."""
|
||||
async with self.db_scope() as db_session:
|
||||
found = await attachment_job_repo.get_attachment_job(
|
||||
db_session=db_session,
|
||||
attachment_id=attachment_id,
|
||||
pipeline_version=ATTACHMENT_PIPELINE_VERSION,
|
||||
)
|
||||
job = (
|
||||
None
|
||||
if found is None
|
||||
else await attachment_job_repo.lock_job(
|
||||
db_session=db_session,
|
||||
job_id=found.id,
|
||||
)
|
||||
)
|
||||
attachment = await attachment_repo.lock_attachment(
|
||||
db_session=db_session,
|
||||
attachment_id=attachment_id,
|
||||
)
|
||||
refusal = self._refusal(job=job, attachment=attachment)
|
||||
if refusal is not None:
|
||||
return dataclasses.ReplayResultDTO(
|
||||
attachment_id=attachment_id,
|
||||
job_id=None if job is None else job.id,
|
||||
refusal=refusal,
|
||||
)
|
||||
error_code = (
|
||||
None
|
||||
if attachment.error_code is None
|
||||
else attachment.error_code.value
|
||||
)
|
||||
if apply:
|
||||
now = utcnow()
|
||||
await attachment_repo.replay_failed(
|
||||
db_session=db_session,
|
||||
attachment_id=attachment_id,
|
||||
updated_at=now,
|
||||
)
|
||||
await attachment_job_repo.replay_job(
|
||||
db_session=db_session,
|
||||
job_id=job.id,
|
||||
now=now,
|
||||
)
|
||||
await attachment_job_replay_repo.insert_replay(
|
||||
db_session=db_session,
|
||||
replay=dataclasses.AttachmentJobReplayDTO(
|
||||
id=uuid4(),
|
||||
job_id=job.id,
|
||||
operator=operator,
|
||||
error_code=error_code,
|
||||
reason=job.last_error_code,
|
||||
attempt=job.attempt,
|
||||
created_at=now,
|
||||
),
|
||||
)
|
||||
await db_session.commit()
|
||||
return dataclasses.ReplayResultDTO(
|
||||
attachment_id=attachment_id,
|
||||
job_id=job.id,
|
||||
refusal=None,
|
||||
error_code=error_code,
|
||||
reason=job.last_error_code,
|
||||
attempt=job.attempt,
|
||||
finished_at=job.finished_at,
|
||||
)
|
||||
|
||||
@staticmethod
|
||||
def _refusal(
|
||||
*,
|
||||
job: dataclasses.AttachmentJobDTO | None,
|
||||
attachment: dataclasses.AttachmentFullDTO | None,
|
||||
) -> str | None:
|
||||
if attachment is None:
|
||||
return REFUSAL_NOT_FOUND
|
||||
if attachment.status == AttachmentStatus.READY:
|
||||
return REFUSAL_ALREADY_READY
|
||||
if job is None:
|
||||
return REFUSAL_NOT_FOUND
|
||||
if (
|
||||
job.state != AttachmentJobState.FAILED
|
||||
or attachment.status != AttachmentStatus.FAILED
|
||||
):
|
||||
return REFUSAL_NOT_FAILED
|
||||
if attachment.staging_key is None:
|
||||
return REFUSAL_SOURCE_GONE
|
||||
return None
|
||||
@@ -2,7 +2,6 @@ from src.infra.broker.client import (
|
||||
JobConsumer,
|
||||
JobDelivery,
|
||||
JobPublisher,
|
||||
create_job_publisher,
|
||||
queue_name,
|
||||
)
|
||||
|
||||
@@ -10,6 +9,5 @@ __all__ = [
|
||||
"JobConsumer",
|
||||
"JobDelivery",
|
||||
"JobPublisher",
|
||||
"create_job_publisher",
|
||||
"queue_name",
|
||||
]
|
||||
|
||||
+111
-38
@@ -10,10 +10,11 @@ Design change `async-attachments`, решение 5. Соединение отк
|
||||
скрыл бы, что исход публикации неизвестен. Признаку `is_closed` соединения
|
||||
верить нельзя: проба показала закрытый канал при «живом» соединении, поэтому
|
||||
издатель сбрасывает соединение после любой ошибки, а новое откроет следующий
|
||||
вызов. Закрытый канал перед публикацией — брокер перезапускался, пока загрузок
|
||||
не было: в него ничего не ушло, и это не повтор, а новое соединение. Иначе
|
||||
первая загрузка после возврата брокера получила бы 503 (спек `message-broker`,
|
||||
«Брокер вернулся»). Повторов издатель не делает: загрузку повторяет клиент.
|
||||
вызов. Закрытый канал перед публикацией — брокер перезапускался, пока заданий
|
||||
не было: в него ничего не ушло, и это не повтор, а новое соединение. Повторов
|
||||
издатель не делает: неподтверждённое опубликует следующий проход relay. Издателя
|
||||
использует только relay, потребитель — только worker; у реплик API клиента брокера
|
||||
нет (design change `pipeline-reliability`, решение 1).
|
||||
|
||||
Адрес и пароль передаются отдельными аргументами, строка URL с паролем не
|
||||
собирается. В журнал — адрес, очередь, `id`, длительность и класс ошибки;
|
||||
@@ -22,7 +23,7 @@ Design change `async-attachments`, решение 5. Соединение отк
|
||||
|
||||
import asyncio
|
||||
import time
|
||||
from collections.abc import AsyncIterator
|
||||
from collections.abc import AsyncIterator, Sequence
|
||||
from dataclasses import dataclass
|
||||
from typing import Any
|
||||
from uuid import UUID
|
||||
@@ -77,12 +78,12 @@ async def _declare_queue(
|
||||
|
||||
|
||||
class JobPublisher:
|
||||
"""Издатель заданий процесса: одно соединение, публикации по очереди
|
||||
"""Издатель заданий процесса relay: одно соединение, публикации по очереди
|
||||
подтверждений канала.
|
||||
|
||||
`publish` считает сообщение принятым только после подтверждения брокера.
|
||||
Срок `[broker] publish_timeout_seconds` покрывает соединение, канал,
|
||||
публикацию и подтверждение. Любая ошибка — `BrokerUnavailable`.
|
||||
Сообщение принято только после подтверждения брокера. Срок `[broker]
|
||||
publish_timeout_seconds` покрывает соединение, канал, публикации и
|
||||
подтверждения пакета (design change `pipeline-reliability`, решение 2).
|
||||
"""
|
||||
|
||||
def __init__(self, broker: BrokerSettings, *, namespace: str) -> None:
|
||||
@@ -91,42 +92,120 @@ class JobPublisher:
|
||||
self.queue = queue_name(namespace)
|
||||
self._connection: AbstractRobustConnection | None = None
|
||||
self._channel: AbstractChannel | None = None
|
||||
# открытие одно на процесс: конкурентные загрузки ждут его, а не
|
||||
# открытие одно на процесс: конкурентные вызовы ждут его, а не
|
||||
# открывают по соединению
|
||||
self._opening = asyncio.Lock()
|
||||
self._down = False
|
||||
self._close_tasks: set[asyncio.Task[None]] = set()
|
||||
|
||||
async def publish(self, body: bytes, *, message_id: UUID) -> None:
|
||||
async def publish_many(
|
||||
self,
|
||||
items: Sequence[tuple[UUID, bytes]],
|
||||
) -> set[UUID]:
|
||||
"""Пакет `(id, тело)` с подтверждением под одним сроком. Возвращает
|
||||
подтверждённые `id`. Подмножество — ошибка уже записана, соединение
|
||||
сброшено: подтверждённые до срока отмечаются, исход остальных неизвестен,
|
||||
и их опубликует следующий проход (возможен дубль)."""
|
||||
started = time.monotonic()
|
||||
channel: AbstractChannel | None = None
|
||||
confirmed: set[UUID] = set()
|
||||
timeout = self._broker.publish_timeout_seconds
|
||||
deadline = asyncio.get_running_loop().time() + timeout
|
||||
failure: BaseException | None = None
|
||||
tasks: dict[asyncio.Task[object], UUID] = {}
|
||||
try:
|
||||
async with asyncio.timeout_at(deadline):
|
||||
channel = await self._get_channel()
|
||||
tasks = {
|
||||
asyncio.create_task(
|
||||
self._publish_one(channel, body, job_id),
|
||||
): job_id
|
||||
for job_id, body in items
|
||||
}
|
||||
remaining = deadline - asyncio.get_running_loop().time()
|
||||
done, pending = await asyncio.wait(
|
||||
tasks,
|
||||
timeout=max(remaining, 0),
|
||||
)
|
||||
for task in pending:
|
||||
task.cancel()
|
||||
if pending:
|
||||
await asyncio.gather(*pending, return_exceptions=True)
|
||||
failure = TimeoutError()
|
||||
for task in done:
|
||||
error = task.exception()
|
||||
if error is None:
|
||||
confirmed.add(tasks[task])
|
||||
else:
|
||||
failure = error
|
||||
except Exception as e:
|
||||
failure = e
|
||||
if failure is not None:
|
||||
self._failed(channel, failure, started=started)
|
||||
return confirmed
|
||||
self._recovered()
|
||||
logger.debug(
|
||||
"Published jobs",
|
||||
count=len(confirmed),
|
||||
broker_queue=self.queue,
|
||||
duration_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
return confirmed
|
||||
|
||||
async def _publish_one(
|
||||
self,
|
||||
channel: AbstractChannel,
|
||||
body: bytes,
|
||||
job_id: UUID,
|
||||
) -> None:
|
||||
"""Сообщение persistent в очередь через default exchange, `mandatory`:
|
||||
без маршрута брокер вернёт его, и это ошибка."""
|
||||
await channel.default_exchange.publish(
|
||||
aio_pika.Message(
|
||||
body,
|
||||
content_type="application/json",
|
||||
delivery_mode=aio_pika.DeliveryMode.PERSISTENT,
|
||||
message_id=str(job_id),
|
||||
),
|
||||
routing_key=self.queue,
|
||||
mandatory=True,
|
||||
)
|
||||
|
||||
async def ready_messages(self) -> int:
|
||||
"""Готовые сообщения очереди: активное объявление, которое создаёт ещё и
|
||||
удалённую очередь. Неподтверждённые у потребителей в счёт не идут.
|
||||
Отказ — `BrokerUnavailable`."""
|
||||
started = time.monotonic()
|
||||
channel: AbstractChannel | None = None
|
||||
try:
|
||||
async with asyncio.timeout(self._broker.publish_timeout_seconds):
|
||||
channel = await self._get_channel()
|
||||
await channel.default_exchange.publish(
|
||||
aio_pika.Message(
|
||||
body,
|
||||
content_type="application/json",
|
||||
delivery_mode=aio_pika.DeliveryMode.PERSISTENT,
|
||||
message_id=str(message_id),
|
||||
),
|
||||
routing_key=self.queue,
|
||||
mandatory=True,
|
||||
)
|
||||
queue = await _declare_queue(channel, name=self.queue)
|
||||
except Exception as e:
|
||||
self._reset(channel)
|
||||
self._down = True
|
||||
logger.warning(
|
||||
"Broker is unavailable",
|
||||
broker_host=self._broker.host,
|
||||
broker_port=self._broker.port,
|
||||
broker_queue=self.queue,
|
||||
error_type=type(e).__name__,
|
||||
duration_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
self._failed(channel, e, started=started)
|
||||
raise BrokerUnavailable from e
|
||||
self._recovered()
|
||||
return queue.declaration_result.message_count
|
||||
|
||||
def _failed(
|
||||
self,
|
||||
channel: AbstractChannel | None,
|
||||
error: BaseException,
|
||||
*,
|
||||
started: float,
|
||||
) -> None:
|
||||
self._reset(channel)
|
||||
self._down = True
|
||||
logger.warning(
|
||||
"Broker is unavailable",
|
||||
broker_host=self._broker.host,
|
||||
broker_port=self._broker.port,
|
||||
broker_queue=self.queue,
|
||||
error_type=type(error).__name__,
|
||||
duration_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
|
||||
def _recovered(self) -> None:
|
||||
if self._down:
|
||||
self._down = False
|
||||
logger.info(
|
||||
@@ -134,12 +213,6 @@ class JobPublisher:
|
||||
broker_host=self._broker.host,
|
||||
broker_port=self._broker.port,
|
||||
)
|
||||
logger.debug(
|
||||
"Published job",
|
||||
job_id=message_id,
|
||||
broker_queue=self.queue,
|
||||
duration_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
|
||||
async def _get_channel(self) -> AbstractChannel:
|
||||
if self._channel is not None and self._channel.is_closed:
|
||||
@@ -151,7 +224,7 @@ class JobPublisher:
|
||||
return self._channel
|
||||
connection = await _open_connection(
|
||||
self._broker,
|
||||
client_name="messenger-publisher",
|
||||
client_name="messenger-relay",
|
||||
)
|
||||
try:
|
||||
channel = await connection.channel(
|
||||
|
||||
@@ -1,16 +0,0 @@
|
||||
"""Издатель заданий процесса API.
|
||||
|
||||
Создаётся при импорте по `settings.broker`, соединение открывает первая
|
||||
публикация: без брокера процесс стартует. Импортируют модуль только
|
||||
`src/main.py` (закрытие в lifespan) и `src/api/dependencies.py`. Очередь — по
|
||||
имени базы из `settings.database`: `make test_isolated` с базой `test_<db>` не
|
||||
смешивается с рабочей.
|
||||
"""
|
||||
|
||||
from src.config import settings
|
||||
from src.infra.broker.client import create_job_publisher
|
||||
|
||||
job_publisher = create_job_publisher(
|
||||
settings.broker,
|
||||
namespace=settings.database.name,
|
||||
)
|
||||
@@ -4,6 +4,7 @@
|
||||
from src.infra.db.models.attachment import (
|
||||
Attachment,
|
||||
AttachmentJob,
|
||||
AttachmentJobReplay,
|
||||
AttachmentVariant,
|
||||
MessageAttachment,
|
||||
)
|
||||
@@ -17,6 +18,7 @@ from src.infra.db.models.user import User
|
||||
__all__ = [
|
||||
"Attachment",
|
||||
"AttachmentJob",
|
||||
"AttachmentJobReplay",
|
||||
"AttachmentVariant",
|
||||
"Base",
|
||||
"Chat",
|
||||
|
||||
@@ -91,6 +91,15 @@ class Attachment(Base):
|
||||
"id",
|
||||
postgresql_where=text("status = 'pending'"),
|
||||
),
|
||||
# кандидаты очистки staging keyset (design change
|
||||
# pipeline-reliability, решения 9 и 10)
|
||||
Index(
|
||||
"ix_attachments_staging_cleanup",
|
||||
"status",
|
||||
"updated_at",
|
||||
"id",
|
||||
postgresql_where=text("staging_key IS NOT NULL"),
|
||||
),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
@@ -117,9 +126,10 @@ class Attachment(Base):
|
||||
|
||||
class AttachmentJob(Base):
|
||||
"""Логическая работа над вложением: `job_id` контракта, счёт попыток и
|
||||
будущий outbox — `state = 'queued' AND published_at IS NULL` (design
|
||||
change `async-attachments`, решение 1). Одна на вложение и версию; при
|
||||
повторах и повторной доставке `id` не меняется."""
|
||||
outbox — `state = 'queued' AND published_at IS NULL` (design change
|
||||
`async-attachments`, решение 1; `pipeline-reliability`, решения 1 и 10).
|
||||
Одна на вложение и версию; при повторах, повторной доставке и replay `id`
|
||||
не меняется."""
|
||||
|
||||
__tablename__ = "attachment_jobs"
|
||||
__table_args__ = (
|
||||
@@ -130,6 +140,33 @@ class AttachmentJob(Base):
|
||||
name="state",
|
||||
),
|
||||
CheckConstraint("attempt >= 0", name="attempt"),
|
||||
CheckConstraint(
|
||||
"attempt_base BETWEEN 0 AND attempt",
|
||||
name="attempt_base",
|
||||
),
|
||||
# Autogenerate условие и выражение не видит; в ревизии — CONCURRENTLY.
|
||||
# Запросы пишут state константой, иначе общий план подготовленного
|
||||
# выражения индекс не возьмёт
|
||||
Index(
|
||||
"ix_attachment_jobs_outbox",
|
||||
text("COALESCE(next_attempt_at, created_at)"),
|
||||
"id",
|
||||
postgresql_where=text(
|
||||
"state = 'queued' AND published_at IS NULL",
|
||||
),
|
||||
),
|
||||
Index(
|
||||
"ix_attachment_jobs_published",
|
||||
"published_at",
|
||||
postgresql_where=text(
|
||||
"state = 'queued' AND published_at IS NOT NULL",
|
||||
),
|
||||
),
|
||||
Index(
|
||||
"ix_attachment_jobs_lease",
|
||||
"lease_expires_at",
|
||||
postgresql_where=text("state = 'processing'"),
|
||||
),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
@@ -142,6 +179,13 @@ class AttachmentJob(Base):
|
||||
Integer,
|
||||
server_default=text("0"),
|
||||
)
|
||||
# значение attempt при последнем replay: бюджет — attempt - attempt_base,
|
||||
# сам attempt монотонен, это fencing-токен (design change
|
||||
# pipeline-reliability, решение 5)
|
||||
attempt_base: Mapped[int] = mapped_column(
|
||||
Integer,
|
||||
server_default=text("0"),
|
||||
)
|
||||
# причина последней ошибки для оператора, без секретов
|
||||
last_error_code: Mapped[str | None] = mapped_column(Text)
|
||||
next_attempt_at: Mapped[datetime | None] = mapped_column(
|
||||
@@ -160,6 +204,33 @@ class AttachmentJob(Base):
|
||||
)
|
||||
|
||||
|
||||
class AttachmentJobReplay(Base):
|
||||
"""Запись аудита replay задания `failed` (design change
|
||||
`pipeline-reliability`, решения 5 и 10): кто, когда, прежние код и
|
||||
причина, число попыток. Без каскада: задание с записью удалить нельзя."""
|
||||
|
||||
__tablename__ = "attachment_job_replays"
|
||||
__table_args__ = (
|
||||
CheckConstraint(
|
||||
"char_length(operator) BETWEEN 1 AND 64",
|
||||
name="operator_length",
|
||||
),
|
||||
CheckConstraint("attempt >= 0", name="attempt"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
job_id: Mapped[UUID] = mapped_column(
|
||||
ForeignKey("attachment_jobs.id"),
|
||||
index=True,
|
||||
)
|
||||
operator: Mapped[str] = mapped_column(Text)
|
||||
# прежний error_code вложения
|
||||
error_code: Mapped[str | None] = mapped_column(Text)
|
||||
# прежняя причина задания (last_error_code)
|
||||
reason: Mapped[str | None] = mapped_column(Text)
|
||||
attempt: Mapped[int] = mapped_column(Integer)
|
||||
|
||||
|
||||
class AttachmentVariant(Base):
|
||||
"""Вариант готового вложения; первичный ключ — ключ эффекта контракта
|
||||
`(attachment_id, pipeline_version, variant)`: повтор второй строки не
|
||||
|
||||
@@ -0,0 +1,3 @@
|
||||
from .client import ImageRenderer
|
||||
|
||||
__all__ = ["ImageRenderer"]
|
||||
@@ -0,0 +1,146 @@
|
||||
"""Клиент процесса обработки изображения: граница worker и декодера.
|
||||
|
||||
Design change `pipeline-reliability`, решение 7. На задание — новый процесс
|
||||
`python -m src.worker.render`: окружение без секретов, вход в stdin, срок по стене
|
||||
на стороне родителя. `finally` всегда убивает процесс и дожидается его: отмена
|
||||
попытки при остановке или по сроку процесс не оставит. Коды выхода переводятся в
|
||||
исключения: постоянные — `ImageRejected`, временные — `RenderInterrupted`, срок —
|
||||
`TimeoutError`, как у остальных шагов попытки.
|
||||
"""
|
||||
|
||||
import asyncio
|
||||
import json
|
||||
import os
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
from contextlib import suppress
|
||||
from pathlib import Path
|
||||
|
||||
from src.config.settings import Worker as WorkerSettings
|
||||
from src.core.exceptions import ImageRejected, RenderInterrupted
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.schemas.dataclasses import RenderedVariantDTO, RenderedVariantsDTO
|
||||
from src.schemas.enums import AttachmentJobReason, AttachmentVariantName
|
||||
from src.utils.constants import ATTACHMENT_MAX_PIXELS
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(module="image_renderer")
|
||||
|
||||
_RENDER_MODULE = "src.worker.render"
|
||||
# корень приложения: `-m src.worker.render` ищет пакет от рабочего каталога
|
||||
_APP_ROOT = Path(__file__).resolve().parent.parent.parent.parent
|
||||
# только это из окружения родителя: секретов у процесса нет
|
||||
_INHERITED_ENV = ("PATH", "MALLOC_MMAP_THRESHOLD_")
|
||||
# секунды на ожидание убитого процесса: SIGKILL не перехватить
|
||||
_REAP_TIMEOUT_SECONDS = 1
|
||||
|
||||
_EXIT_REASONS = {
|
||||
3: AttachmentJobReason.UNDECODABLE,
|
||||
4: AttachmentJobReason.LIMIT_MEMORY,
|
||||
5: AttachmentJobReason.LIMIT_PIXELS,
|
||||
-signal.SIGXCPU: AttachmentJobReason.LIMIT_CPU,
|
||||
}
|
||||
|
||||
|
||||
def _child_env() -> dict[str, str]:
|
||||
env = {
|
||||
name: os.environ[name] for name in _INHERITED_ENV if name in os.environ
|
||||
}
|
||||
env["PYTHONDONTWRITEBYTECODE"] = "1"
|
||||
env["PYTHONUNBUFFERED"] = "1"
|
||||
return env
|
||||
|
||||
|
||||
class ImageRenderer:
|
||||
"""Запуск процесса обработки со значениями `[worker]`."""
|
||||
|
||||
def __init__(self, worker: WorkerSettings) -> None:
|
||||
self._timeout = worker.render_timeout_seconds
|
||||
self._arguments = (
|
||||
"--max-pixels",
|
||||
str(ATTACHMENT_MAX_PIXELS),
|
||||
"--memory-limit-mib",
|
||||
str(worker.render_memory_limit_mib),
|
||||
"--cpu-limit-seconds",
|
||||
str(worker.render_cpu_limit_seconds),
|
||||
)
|
||||
|
||||
async def render(self, data: bytes) -> RenderedVariantsDTO:
|
||||
"""Варианты из байтов оригинала. Изображение не прошло —
|
||||
`ImageRejected`, процесс убит или упал — `RenderInterrupted`, срок —
|
||||
`TimeoutError`."""
|
||||
started = time.monotonic()
|
||||
process = await asyncio.create_subprocess_exec(
|
||||
sys.executable,
|
||||
"-m",
|
||||
_RENDER_MODULE,
|
||||
*self._arguments,
|
||||
stdin=asyncio.subprocess.PIPE,
|
||||
stdout=asyncio.subprocess.PIPE,
|
||||
stderr=asyncio.subprocess.DEVNULL,
|
||||
env=_child_env(),
|
||||
cwd=_APP_ROOT,
|
||||
)
|
||||
try:
|
||||
async with asyncio.timeout(self._timeout):
|
||||
stdout, _ = await process.communicate(data)
|
||||
finally:
|
||||
await _reap(process)
|
||||
code = process.returncode
|
||||
if code == 0:
|
||||
return _parse(stdout, started=started)
|
||||
reason = _EXIT_REASONS.get(code or 0)
|
||||
if reason is not None:
|
||||
raise ImageRejected(reason=reason)
|
||||
logger.warning("Render process failed", exit_code=code)
|
||||
raise RenderInterrupted(
|
||||
reason=(
|
||||
AttachmentJobReason.RENDER_KILLED
|
||||
if code == -signal.SIGKILL
|
||||
else AttachmentJobReason.RENDER_CRASHED
|
||||
),
|
||||
)
|
||||
|
||||
|
||||
async def _reap(process: asyncio.subprocess.Process) -> None:
|
||||
if process.returncode is not None:
|
||||
return
|
||||
with suppress(ProcessLookupError):
|
||||
process.kill()
|
||||
with suppress(TimeoutError):
|
||||
async with asyncio.timeout(_REAP_TIMEOUT_SECONDS):
|
||||
await process.wait()
|
||||
|
||||
|
||||
def _parse(stdout: bytes, *, started: float) -> RenderedVariantsDTO:
|
||||
"""Строка JSON и байты подряд. Испорченный вывод — `render_crashed`."""
|
||||
try:
|
||||
line, _, body = stdout.partition(b"\n")
|
||||
head = json.loads(line)
|
||||
variants = []
|
||||
offset = 0
|
||||
for item in head["variants"]:
|
||||
size = item["size"]
|
||||
variants.append(
|
||||
RenderedVariantDTO(
|
||||
name=AttachmentVariantName(item["name"]),
|
||||
content_type=item["content_type"],
|
||||
width=item["width"],
|
||||
height=item["height"],
|
||||
data=body[offset : offset + size],
|
||||
),
|
||||
)
|
||||
offset += size
|
||||
if offset != len(body) or not variants:
|
||||
raise ValueError("render output size differs")
|
||||
return RenderedVariantsDTO(
|
||||
variants=tuple(variants),
|
||||
peak_kib=head["peak_kib"],
|
||||
memory_limit_applied=head["memory_limit_applied"],
|
||||
render_ms=round((time.monotonic() - started) * 1000),
|
||||
)
|
||||
except (ValueError, KeyError, TypeError) as e:
|
||||
logger.warning("Render process output is damaged")
|
||||
raise RenderInterrupted(
|
||||
reason=AttachmentJobReason.RENDER_CRASHED,
|
||||
) from e
|
||||
+1
-9
@@ -9,7 +9,6 @@ from src.api.middlewares import RequestContextMiddleware
|
||||
from src.api.routers import health_router, v1_router
|
||||
from src.config import settings
|
||||
from src.infra import early_stop
|
||||
from src.infra.broker.instance import job_publisher
|
||||
from src.infra.cache.instance import cache
|
||||
from src.infra.db.session import engine
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
@@ -30,7 +29,7 @@ async def lifespan(_: FastAPI) -> AsyncIterator[None]:
|
||||
s3 = settings.s3
|
||||
# engine, кэш и S3 подключаются лениво: без Postgres сервис стартует, а
|
||||
# /health/ready отвечает 503; без Valkey запросы идут в Postgres; без
|
||||
# S3 — 503 только на путях вложений, без брокера — на загрузке
|
||||
# S3 — 503 только на путях вложений. Брокера у реплик нет
|
||||
if not database.password.get_secret_value():
|
||||
logger.warning("Database password is empty")
|
||||
if not settings.cache.password.get_secret_value():
|
||||
@@ -62,12 +61,6 @@ async def lifespan(_: FastAPI) -> AsyncIterator[None]:
|
||||
uploads_max_waiting=settings.uploads.max_waiting,
|
||||
uploads_wait_timeout_seconds=settings.uploads.wait_timeout_seconds,
|
||||
uploads_body_timeout_seconds=settings.uploads.body_timeout_seconds,
|
||||
broker_host=settings.broker.host,
|
||||
broker_port=settings.broker.port,
|
||||
broker_queue=job_publisher.queue,
|
||||
broker_publish_timeout_seconds=(
|
||||
settings.broker.publish_timeout_seconds
|
||||
),
|
||||
)
|
||||
try:
|
||||
yield
|
||||
@@ -75,7 +68,6 @@ async def lifespan(_: FastAPI) -> AsyncIterator[None]:
|
||||
await engine.dispose()
|
||||
await cache.aclose()
|
||||
await object_storage.aclose()
|
||||
await job_publisher.aclose()
|
||||
logger.info("Stopped API")
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,39 @@
|
||||
if __name__ == "__main__":
|
||||
# обработчик SIGTERM и SIGINT — до импорта приложения, как у API, уборщика и
|
||||
# worker (src/infra/early_stop.py): запись «Stopped relay before startup» и
|
||||
# код 0
|
||||
from src.infra import early_stop
|
||||
|
||||
early_stop.install("relay")
|
||||
import sys
|
||||
|
||||
from pydantic import ValidationError
|
||||
|
||||
try:
|
||||
from src.relay.main import main
|
||||
except ValidationError as e:
|
||||
# неверные настройки: логгер их тоже читает и не настроен. Одна
|
||||
# запись без значений полей (в них могут быть секреты) и код 2
|
||||
early_stop.write_record(
|
||||
"Invalid relay settings",
|
||||
level="error",
|
||||
module="relay",
|
||||
errors=[
|
||||
{
|
||||
"loc": ".".join(str(part) for part in error["loc"]),
|
||||
"msg": error["msg"],
|
||||
}
|
||||
for error in e.errors(include_input=False)
|
||||
],
|
||||
)
|
||||
sys.exit(2)
|
||||
|
||||
code = main()
|
||||
# соединения закрыты, «Stopped relay» записан. Незакрытое за срок (брокер
|
||||
# заморожен) не должно тянуть остановку: именно os._exit укладывается в срок
|
||||
# контейнера
|
||||
import os
|
||||
|
||||
sys.stdout.flush()
|
||||
sys.stderr.flush()
|
||||
os._exit(code)
|
||||
@@ -0,0 +1,262 @@
|
||||
"""Relay публикации заданий: `python -m src.relay` (design change
|
||||
`pipeline-reliability`, решения 2, 5, 18).
|
||||
|
||||
Отдельный процесс стенда, а не задача реплик, worker или уборщика: брокер и его
|
||||
пароль есть только у relay и worker, остановка worker не останавливает публикацию,
|
||||
а плановая сверка уборщика её не задерживает. Свои engine (пул из
|
||||
`DATABASE__POOL_SIZE`, на стенде 1) и издатель; S3 и декодера нет. Отказ брокера и
|
||||
PostgreSQL процесс не роняет: пауза `[relay] failure_pause_seconds` и новый проход.
|
||||
|
||||
SIGTERM: текущий шаг доводится до фиксации или отката, новые не начинаются, паузу
|
||||
сигнал прерывает сразу, «Stopped relay», код 0. Незаписанная отметка ничего не
|
||||
теряет: следующий запуск опубликует задание снова.
|
||||
|
||||
`python -m src.relay replay [--attachment-id ID]... [--error-code C] [--reason R]
|
||||
[--limit N] [--apply] [--operator NAME]` — операторская команда реестра `failed`, по
|
||||
умолчанию показ. Нужен только PostgreSQL. Коды: 0 — выбранное показано или
|
||||
выполнено, 3 — есть отказы, 1 — отказ PostgreSQL или прервана, 2 — неверные аргументы
|
||||
или конфигурация (с `--apply` выбор обязателен).
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import asyncio
|
||||
import signal
|
||||
from contextlib import AbstractAsyncContextManager, suppress
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.config import settings
|
||||
from src.core import exceptions
|
||||
from src.core.services.attachment_relay import AttachmentRelayService
|
||||
from src.core.services.attachment_replay import AttachmentReplayService
|
||||
from src.infra import early_stop
|
||||
from src.infra.broker import JobPublisher
|
||||
from src.infra.db import create_engine, create_session_factory
|
||||
from src.infra.db.scope import session_scope
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.schemas.enums import AttachmentErrorCode, AttachmentJobReason
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(module="relay")
|
||||
|
||||
EXIT_OK = 0
|
||||
EXIT_FAILED = 1
|
||||
EXIT_CONFIG = 2
|
||||
# разовая команда replay: есть отказы
|
||||
EXIT_REFUSED = 3
|
||||
|
||||
MODE_REPLAY = "replay"
|
||||
_DEFAULT_LIMIT = 100
|
||||
_OPERATOR_MAX_LENGTH = 64
|
||||
_DEFAULT_OPERATOR = "operator"
|
||||
# секунды на закрытие клиентов при остановке: при замороженном брокере закрытие
|
||||
# само зависло бы
|
||||
_CLOSE_TIMEOUT_SECONDS = 0.5
|
||||
|
||||
|
||||
def _positive_int(value: str) -> int:
|
||||
number = int(value)
|
||||
if number < 1:
|
||||
raise argparse.ArgumentTypeError("must be at least 1")
|
||||
return number
|
||||
|
||||
|
||||
def _operator(value: str) -> str:
|
||||
if not 1 <= len(value) <= _OPERATOR_MAX_LENGTH:
|
||||
raise argparse.ArgumentTypeError(
|
||||
f"must be 1 to {_OPERATOR_MAX_LENGTH} characters",
|
||||
)
|
||||
return value
|
||||
|
||||
|
||||
def _parse_args(argv: list[str] | None) -> argparse.Namespace:
|
||||
parser = argparse.ArgumentParser(
|
||||
prog="python -m src.relay",
|
||||
description="Publish attachment jobs to the broker; show and replay "
|
||||
"failed jobs.",
|
||||
)
|
||||
commands = parser.add_subparsers(dest="command")
|
||||
replay = commands.add_parser(
|
||||
MODE_REPLAY,
|
||||
help="show the failed registry, with --apply return jobs to the "
|
||||
"queue: 0 done, 3 refusals, 1 database failure, 2 bad arguments",
|
||||
)
|
||||
replay.add_argument(
|
||||
"--attachment-id",
|
||||
action="append",
|
||||
type=UUID,
|
||||
default=[],
|
||||
help="attachment to replay; can be repeated",
|
||||
)
|
||||
replay.add_argument(
|
||||
"--error-code",
|
||||
choices=[item.value for item in AttachmentErrorCode],
|
||||
help="failed jobs with this error_code",
|
||||
)
|
||||
replay.add_argument(
|
||||
"--reason",
|
||||
choices=[item.value for item in AttachmentJobReason],
|
||||
help="failed jobs with this reason",
|
||||
)
|
||||
replay.add_argument(
|
||||
"--limit",
|
||||
type=_positive_int,
|
||||
default=_DEFAULT_LIMIT,
|
||||
help="at most this many jobs",
|
||||
)
|
||||
replay.add_argument(
|
||||
"--apply",
|
||||
action="store_true",
|
||||
help="return the selected jobs to the queue",
|
||||
)
|
||||
replay.add_argument(
|
||||
"--operator",
|
||||
type=_operator,
|
||||
default=_DEFAULT_OPERATOR,
|
||||
help="who runs the command, for the audit record",
|
||||
)
|
||||
args = parser.parse_args(argv)
|
||||
if args.command == MODE_REPLAY:
|
||||
by_filter = args.error_code is not None or args.reason is not None
|
||||
if args.attachment_id and by_filter:
|
||||
parser.error("select by --attachment-id or by code, not both")
|
||||
if args.apply and not (args.attachment_id or by_filter):
|
||||
parser.error("--apply requires a selection")
|
||||
return args
|
||||
|
||||
|
||||
def main(argv: list[str] | None = None) -> int:
|
||||
args = _parse_args(argv)
|
||||
if args.command == MODE_REPLAY:
|
||||
return asyncio.run(run_replay(args))
|
||||
return asyncio.run(run())
|
||||
|
||||
|
||||
def _install_stop() -> asyncio.Event:
|
||||
stop = asyncio.Event()
|
||||
loop = asyncio.get_running_loop()
|
||||
for signum in (signal.SIGTERM, signal.SIGINT):
|
||||
loop.add_signal_handler(signum, stop.set)
|
||||
# дальше сигналы обрабатывает цикл
|
||||
early_stop.disarm()
|
||||
return stop
|
||||
|
||||
|
||||
async def run() -> int:
|
||||
stop = _install_stop()
|
||||
relay = settings.relay
|
||||
namespace = settings.database.name
|
||||
engine = create_engine(settings.database)
|
||||
session_factory = create_session_factory(engine)
|
||||
publisher = JobPublisher(settings.broker, namespace=namespace)
|
||||
|
||||
def db_scope() -> AbstractAsyncContextManager[AsyncSession]:
|
||||
return session_scope(
|
||||
session_factory,
|
||||
timeout_seconds=settings.database.request_timeout_seconds,
|
||||
)
|
||||
|
||||
service = AttachmentRelayService(db_scope=db_scope, publisher=publisher)
|
||||
try:
|
||||
logger.info(
|
||||
"Started relay",
|
||||
poll_interval_seconds=relay.poll_interval_seconds,
|
||||
batch_size=relay.batch_size,
|
||||
max_published_backlog=relay.max_published_backlog,
|
||||
republish_after_seconds=relay.republish_after_seconds,
|
||||
failure_pause_seconds=relay.failure_pause_seconds,
|
||||
broker_host=settings.broker.host,
|
||||
broker_port=settings.broker.port,
|
||||
broker_queue=publisher.queue,
|
||||
broker_publish_timeout_seconds=(
|
||||
settings.broker.publish_timeout_seconds
|
||||
),
|
||||
database_host=settings.database.host,
|
||||
database_port=settings.database.port,
|
||||
database_name=namespace,
|
||||
database_pool_size=settings.database.pool_size,
|
||||
)
|
||||
await _serve(service, stop=stop)
|
||||
finally:
|
||||
with suppress(Exception):
|
||||
async with asyncio.timeout(_CLOSE_TIMEOUT_SECONDS):
|
||||
await asyncio.gather(
|
||||
engine.dispose(),
|
||||
publisher.aclose(),
|
||||
return_exceptions=True,
|
||||
)
|
||||
logger.info("Stopped relay", exit_code=EXIT_OK)
|
||||
return EXIT_OK
|
||||
|
||||
|
||||
async def _serve(
|
||||
service: AttachmentRelayService,
|
||||
*,
|
||||
stop: asyncio.Event,
|
||||
) -> None:
|
||||
"""Проходы до сигнала. Пакет полон — следующий проход сразу, отказ — пауза
|
||||
отказа, иначе — пауза опроса."""
|
||||
relay = settings.relay
|
||||
while not stop.is_set():
|
||||
try:
|
||||
result = await service.publish_pass(
|
||||
batch_size=relay.batch_size,
|
||||
max_published_backlog=relay.max_published_backlog,
|
||||
republish_after_seconds=relay.republish_after_seconds,
|
||||
stop_requested=stop.is_set,
|
||||
)
|
||||
except exceptions.ServiceUnavailable:
|
||||
# причину уже записали session_scope и издатель
|
||||
logger.warning("Relay pass was interrupted")
|
||||
pause = relay.failure_pause_seconds
|
||||
except Exception as e:
|
||||
logger.error("Relay pass failed", exc_info=e)
|
||||
pause = relay.failure_pause_seconds
|
||||
else:
|
||||
if result.unconfirmed:
|
||||
pause = relay.failure_pause_seconds
|
||||
elif result.selected >= relay.batch_size:
|
||||
continue
|
||||
else:
|
||||
pause = relay.poll_interval_seconds
|
||||
with suppress(TimeoutError):
|
||||
await asyncio.wait_for(stop.wait(), timeout=pause)
|
||||
|
||||
|
||||
async def run_replay(args: argparse.Namespace) -> int:
|
||||
"""Реестр и replay: только PostgreSQL."""
|
||||
stop = _install_stop()
|
||||
engine = create_engine(settings.database)
|
||||
session_factory = create_session_factory(engine)
|
||||
|
||||
def db_scope() -> AbstractAsyncContextManager[AsyncSession]:
|
||||
return session_scope(
|
||||
session_factory,
|
||||
timeout_seconds=settings.database.request_timeout_seconds,
|
||||
)
|
||||
|
||||
service = AttachmentReplayService(db_scope=db_scope)
|
||||
exit_code = EXIT_OK
|
||||
try:
|
||||
result = await service.replay_pass(
|
||||
attachment_ids=args.attachment_id,
|
||||
error_code=args.error_code,
|
||||
reason=args.reason,
|
||||
limit=args.limit,
|
||||
apply=args.apply,
|
||||
operator=args.operator,
|
||||
stop_requested=stop.is_set,
|
||||
)
|
||||
if result.interrupted:
|
||||
exit_code = EXIT_FAILED
|
||||
elif result.refused:
|
||||
exit_code = EXIT_REFUSED
|
||||
except exceptions.ServiceUnavailable:
|
||||
# причину уже записал session_scope
|
||||
logger.warning("Replay pass was interrupted")
|
||||
exit_code = EXIT_FAILED
|
||||
finally:
|
||||
with suppress(Exception):
|
||||
async with asyncio.timeout(_CLOSE_TIMEOUT_SECONDS):
|
||||
await engine.dispose()
|
||||
return exit_code
|
||||
@@ -3,10 +3,18 @@ from .attachment import (
|
||||
AttachmentFullDTO,
|
||||
AttachmentInListDTO,
|
||||
AttachmentJobDTO,
|
||||
AttachmentJobReplayDTO,
|
||||
AttachmentVariantDTO,
|
||||
CleanupPassDTO,
|
||||
FailedJobDTO,
|
||||
ReconcileFindingDTO,
|
||||
ReconcilePassDTO,
|
||||
RelayPassDTO,
|
||||
RenderedVariantDTO,
|
||||
RenderedVariantsDTO,
|
||||
ReplayPassDTO,
|
||||
ReplayResultDTO,
|
||||
StagingCleanupPassDTO,
|
||||
)
|
||||
from .chat import ChatFullDTO, ChatPageDTO
|
||||
from .idempotency import IdempotencyRecordDTO
|
||||
@@ -19,18 +27,26 @@ __all__ = [
|
||||
"AttachmentFullDTO",
|
||||
"AttachmentInListDTO",
|
||||
"AttachmentJobDTO",
|
||||
"AttachmentJobReplayDTO",
|
||||
"AttachmentVariantDTO",
|
||||
"ChatFullDTO",
|
||||
"ChatPageDTO",
|
||||
"CleanupPassDTO",
|
||||
"CurrentSessionDTO",
|
||||
"FailedJobDTO",
|
||||
"IdempotencyRecordDTO",
|
||||
"MessageFullDTO",
|
||||
"MessagePageDTO",
|
||||
"ReconcileFindingDTO",
|
||||
"ReconcilePassDTO",
|
||||
"RelayPassDTO",
|
||||
"RenderedVariantDTO",
|
||||
"RenderedVariantsDTO",
|
||||
"ReplayPassDTO",
|
||||
"ReplayResultDTO",
|
||||
"SessionFullDTO",
|
||||
"SessionTokenDTO",
|
||||
"StagingCleanupPassDTO",
|
||||
"UserCredentialsDTO",
|
||||
"UserFullDTO",
|
||||
]
|
||||
|
||||
@@ -35,6 +35,30 @@ class AttachmentVariantDTO:
|
||||
created_at: datetime
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class RenderedVariantDTO:
|
||||
"""Готовый вариант из процесса обработки: байты и настоящие размеры;
|
||||
SHA-256 считает родитель по тому, что запишет."""
|
||||
|
||||
name: AttachmentVariantName
|
||||
content_type: str
|
||||
width: int
|
||||
height: int
|
||||
data: bytes
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class RenderedVariantsDTO:
|
||||
"""Результат процесса обработки (design change `pipeline-reliability`,
|
||||
решение 7): варианты, пик памяти `VmHWM` (`None` — нет на этом ядре), был
|
||||
ли применён лимит адресного пространства и длительность по стене."""
|
||||
|
||||
variants: tuple[RenderedVariantDTO, ...]
|
||||
peak_kib: int | None
|
||||
memory_limit_applied: bool
|
||||
render_ms: int
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class AttachmentFullDTO:
|
||||
"""Строка вложения: метаданные и ключи объектов в S3.
|
||||
@@ -68,18 +92,23 @@ class AttachmentInListDTO:
|
||||
"""Незавершённая загрузка для уборщика: `id`, ключи объектов и время
|
||||
записи строки — ровно то, что нужно проходу (design change
|
||||
`upload-consistency`, решение 3). `staging_key` NULL — строка прежней
|
||||
версии, её объект по `object_key`."""
|
||||
версии, её объект по `object_key`. `status` и `updated_at` читает очистка
|
||||
staging (design change `pipeline-reliability`, решение 9)."""
|
||||
|
||||
id: UUID
|
||||
object_key: str
|
||||
created_at: datetime
|
||||
staging_key: str | None = None
|
||||
status: AttachmentStatus | None = None
|
||||
updated_at: datetime | None = None
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class AttachmentJobDTO:
|
||||
"""Строка задания обработки (design change `async-attachments`,
|
||||
решение 1)."""
|
||||
решение 1). `attempt_base` — `attempt` при последнем replay: бюджет
|
||||
попыток считается от него (design change `pipeline-reliability`, решение
|
||||
5)."""
|
||||
|
||||
id: UUID
|
||||
attachment_id: UUID
|
||||
@@ -93,6 +122,92 @@ class AttachmentJobDTO:
|
||||
lease_expires_at: datetime | None = None
|
||||
published_at: datetime | None = None
|
||||
finished_at: datetime | None = None
|
||||
attempt_base: int = 0
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class AttachmentJobReplayDTO:
|
||||
"""Запись аудита replay (design change `pipeline-reliability`, решение
|
||||
5): кто, когда, прежние код и причина, число попыток."""
|
||||
|
||||
id: UUID
|
||||
job_id: UUID
|
||||
operator: str
|
||||
error_code: str | None
|
||||
reason: str | None
|
||||
attempt: int
|
||||
created_at: datetime
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class FailedJobDTO:
|
||||
"""Строка реестра `failed`: задание и его вложение."""
|
||||
|
||||
job_id: UUID
|
||||
attachment_id: UUID
|
||||
error_code: AttachmentErrorCode | None
|
||||
reason: str | None
|
||||
attempt: int
|
||||
attempt_base: int
|
||||
finished_at: datetime | None
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class RelayPassDTO:
|
||||
"""Итог прохода relay (design change `pipeline-reliability`, решения 2 и
|
||||
18). `published` — подтверждено брокером и отмечено, `unconfirmed` — выбрано,
|
||||
но не подтверждено, `recovered` — возвращено по истёкшей аренде, `republished`
|
||||
— сброшено как потерянное, `published_backlog` — опубликованных и не
|
||||
взятых на начало шага публикации, `backlog_full` — предел не дал места,
|
||||
`selected` — сколько строк выбрано: полный пакет — проход сразу повторяется."""
|
||||
|
||||
published: int
|
||||
unconfirmed: int
|
||||
recovered: int
|
||||
republished: int
|
||||
published_backlog: int
|
||||
backlog_full: bool
|
||||
selected: int
|
||||
duration_ms: int
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class StagingCleanupPassDTO:
|
||||
"""Итог прохода очистки staging (design change `pipeline-reliability`,
|
||||
решение 9). `skipped` — кандидаты, которых к блокировке уже не было, и
|
||||
ключи вне своего префикса; `interrupted_by` — как у `CleanupPassDTO`."""
|
||||
|
||||
removed_ready: int
|
||||
removed_failed: int
|
||||
skipped: int
|
||||
interrupted_by: str | None
|
||||
duration_ms: int
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class ReplayResultDTO:
|
||||
"""Итог replay одного вложения. `refusal` — `not_found`, `already_ready`,
|
||||
`not_failed`, `source_gone` или `None`, если задание показано (dry-run)
|
||||
или возвращено."""
|
||||
|
||||
attachment_id: UUID
|
||||
job_id: UUID | None
|
||||
refusal: str | None
|
||||
error_code: str | None = None
|
||||
reason: str | None = None
|
||||
attempt: int = 0
|
||||
finished_at: datetime | None = None
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class ReplayPassDTO:
|
||||
"""Итог прохода команды replay: показано, выполнено, отказано; `interrupted`
|
||||
— остановлена сигналом."""
|
||||
|
||||
shown: int
|
||||
replayed: int
|
||||
refused: int
|
||||
interrupted: bool
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
@@ -175,6 +290,9 @@ class ReconcilePassDTO:
|
||||
db_sessions: int = 0
|
||||
unchecked: int = 0
|
||||
phase_ms: Mapping[str, int] = field(default_factory=_empty_mapping)
|
||||
# ключей под префиксом staging; listed_objects — только префикс вложений
|
||||
# (design change `pipeline-reliability`, решение 9)
|
||||
listed_staging: int = 0
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
|
||||
@@ -26,8 +26,8 @@ class AttachmentJobState(StrEnum):
|
||||
|
||||
|
||||
class AttachmentVariantName(StrEnum):
|
||||
"""Имя варианта контракта, хранится в БД. На уровне 3 пишется только
|
||||
`thumbnail`; `crop` и `optimized` — следующее изменение."""
|
||||
"""Имя варианта контракта, хранится в БД. У вложений, обработанных
|
||||
прежней версией, есть только `thumbnail`."""
|
||||
|
||||
THUMBNAIL = "thumbnail"
|
||||
CROP = "crop"
|
||||
@@ -52,6 +52,16 @@ class AttachmentJobReason(StrEnum):
|
||||
STORAGE_UNAVAILABLE = "storage_unavailable"
|
||||
TIMEOUT = "timeout"
|
||||
UNEXPECTED = "unexpected"
|
||||
# лимиты процесса обработки, постоянные (design change
|
||||
# `pipeline-reliability`, решения 4 и 7)
|
||||
LIMIT_PIXELS = "limit_pixels"
|
||||
LIMIT_MEMORY = "limit_memory"
|
||||
LIMIT_CPU = "limit_cpu"
|
||||
# процесс обработки убит ядром или упал, временные
|
||||
RENDER_KILLED = "render_killed"
|
||||
RENDER_CRASHED = "render_crashed"
|
||||
# истёк срок аренды: worker потерян или заморожен, временная
|
||||
LEASE_EXPIRED = "lease_expired"
|
||||
|
||||
|
||||
class JobOutcome(StrEnum):
|
||||
@@ -93,6 +103,9 @@ class ReconcileFinding(StrEnum):
|
||||
# ищет только глубокая сверка (design change `track2-reconcile-cost`,
|
||||
# решение 5)
|
||||
CHECKSUM_MISMATCH = "checksum_mismatch"
|
||||
# объект staging без строки с этим ключом, старше срока хранения (design
|
||||
# change `pipeline-reliability`, решение 9)
|
||||
ORPHAN_STAGING = "orphan_staging"
|
||||
|
||||
|
||||
class ReconcileStrategy(StrEnum):
|
||||
|
||||
@@ -94,6 +94,15 @@ ATTACHMENT_QUEUE_SUFFIX = "attachment.process.v1"
|
||||
# thumbnail контракта: вписан в квадрат, JPEG
|
||||
THUMBNAIL_MAX_SIDE = 256
|
||||
THUMBNAIL_JPEG_QUALITY = 85
|
||||
# crop контракта: центрированный квадрат, JPEG (design change
|
||||
# `pipeline-reliability`, решение 6)
|
||||
CROP_SIDE = 128
|
||||
CROP_JPEG_QUALITY = 85
|
||||
# optimized контракта: вписан в квадрат, WebP; method 6 на пробе в 3,5 раза
|
||||
# дольше без выигрыша
|
||||
OPTIMIZED_MAX_SIDE = 1280
|
||||
OPTIMIZED_WEBP_QUALITY = 80
|
||||
OPTIMIZED_WEBP_METHOD = 4
|
||||
# сверка bucket и БД: сколько расхождений за проход пишется отдельными
|
||||
# записями журнала; остальные — только числом в итоге (design change
|
||||
# `track2-reconciler`, решение 8)
|
||||
|
||||
@@ -0,0 +1,251 @@
|
||||
"""Варианты контракта: thumbnail, crop и optimized из одного декодирования.
|
||||
|
||||
Чистая функция (design change `pipeline-reliability`, решение 6). Импортирует
|
||||
Pillow, поэтому импортирует модуль только `src/worker/render.py`, отдельный
|
||||
процесс на задание: ни реплики API, ни сам worker декодер в память не загружают.
|
||||
Результат при том же входе и версии Pillow детерминирован: повтор пишет те же
|
||||
байты. Метаданные в `save` не передаются: EXIF, XMP и ICC в варианты не попадают,
|
||||
поэтому ориентация применена к пикселям.
|
||||
"""
|
||||
|
||||
import io
|
||||
from collections.abc import Callable
|
||||
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
|
||||
from src.schemas.dataclasses import RenderedVariantDTO
|
||||
from src.schemas.enums import AttachmentVariantName
|
||||
from src.utils.constants import (
|
||||
CROP_JPEG_QUALITY,
|
||||
CROP_SIDE,
|
||||
OPTIMIZED_MAX_SIDE,
|
||||
OPTIMIZED_WEBP_METHOD,
|
||||
OPTIMIZED_WEBP_QUALITY,
|
||||
THUMBNAIL_JPEG_QUALITY,
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
)
|
||||
from src.utils.image import TooManyPixels
|
||||
|
||||
# тег EXIF Orientation
|
||||
_EXIF_ORIENTATION = 0x0112
|
||||
# транспонирование на малом изображении: на полном размере поворот удвоил бы
|
||||
# пик памяти (два буфера пикселей разом)
|
||||
_TRANSPOSE = {
|
||||
2: Image.Transpose.FLIP_LEFT_RIGHT,
|
||||
3: Image.Transpose.ROTATE_180,
|
||||
4: Image.Transpose.FLIP_TOP_BOTTOM,
|
||||
5: Image.Transpose.TRANSPOSE,
|
||||
6: Image.Transpose.ROTATE_270,
|
||||
7: Image.Transpose.TRANSVERSE,
|
||||
8: Image.Transpose.ROTATE_90,
|
||||
}
|
||||
# при этих значениях показанное изображение повёрнуто на 90°
|
||||
_SWAPS_SIDES = frozenset({5, 6, 7, 8})
|
||||
_HIGH_DEPTH_MODES = frozenset({"I;16", "I;16B", "I;16L", "I"})
|
||||
_ALPHA_MODES = frozenset({"RGBA", "LA", "PA"})
|
||||
_WHITE = (255, 255, 255, 255)
|
||||
_FORMATS = ("PNG", "JPEG")
|
||||
# основа годится для crop, если её короткая сторона не меньше этого: у 5000 × 10
|
||||
# основа 1280 × 2, и квадрата из неё не получить
|
||||
_CROP_MIN_BASE_SIDE = 2 * CROP_SIDE
|
||||
_JPEG_TYPE = "image/jpeg"
|
||||
_WEBP_TYPE = "image/webp"
|
||||
|
||||
|
||||
class InvalidImage(Exception):
|
||||
"""Изображение не декодируется: постоянная ошибка обработки."""
|
||||
|
||||
|
||||
def fit_size(width: int, height: int, max_side: int) -> tuple[int, int]:
|
||||
"""Размер, вписанный в квадрат: большая сторона — `max_side`, меньшая
|
||||
округляется вниз, не меньше 1; вписанное не увеличивается.
|
||||
|
||||
Не `Image.thumbnail`: он округляет к ближайшей пропорции (1000 × 601 →
|
||||
256 × 154), а контракт — вниз (153).
|
||||
"""
|
||||
if width <= max_side and height <= max_side:
|
||||
return width, height
|
||||
if width >= height:
|
||||
return max_side, max(1, height * max_side // width)
|
||||
return max(1, width * max_side // height), max_side
|
||||
|
||||
|
||||
def _prepared(image: Image.Image) -> Image.Image:
|
||||
"""Режим, в котором масштабирование считает среднее, а не ближайшего
|
||||
соседа: 16 бит → 8, с альфой → RGBA, 1 бит → L, палитра и CMYK → RGB."""
|
||||
if image.mode in _HIGH_DEPTH_MODES:
|
||||
scaled = image.convert("I").point(lambda value: value / 256)
|
||||
return scaled.convert("L")
|
||||
if image.mode == "RGBA":
|
||||
# convert в тот же режим — копия всех пикселей: пик памяти 40 Мпкс
|
||||
# вырос бы с ~320 до ~480 МиБ
|
||||
return image
|
||||
if image.mode in _ALPHA_MODES or "transparency" in image.info:
|
||||
return image.convert("RGBA")
|
||||
if image.mode == "1":
|
||||
return image.convert("L")
|
||||
if image.mode in ("P", "CMYK"):
|
||||
return image.convert("RGB")
|
||||
return image
|
||||
|
||||
|
||||
def _flattened(image: Image.Image) -> Image.Image:
|
||||
"""Альфа на белый, результат — режим, который принимает JPEG."""
|
||||
if image.mode == "RGBA":
|
||||
background = Image.new("RGBA", image.size, _WHITE)
|
||||
image = Image.alpha_composite(background, image)
|
||||
return image.convert("RGB")
|
||||
|
||||
|
||||
def _center_square(image: Image.Image) -> Image.Image:
|
||||
"""Центрированный квадрат короткой стороны, сжатый или растянутый до
|
||||
стороны crop. Центр при повороте тот же, поэтому квадрат считается в
|
||||
хранимых координатах."""
|
||||
side = min(image.size)
|
||||
left = (image.width - side) // 2
|
||||
top = (image.height - side) // 2
|
||||
return image.resize(
|
||||
(CROP_SIDE, CROP_SIDE),
|
||||
Image.Resampling.LANCZOS,
|
||||
box=(left, top, left + side, top + side),
|
||||
reducing_gap=2.0,
|
||||
)
|
||||
|
||||
|
||||
def _encode_jpeg(image: Image.Image, *, quality: int) -> bytes:
|
||||
flat = _flattened(image)
|
||||
output = io.BytesIO()
|
||||
flat.save(output, format="JPEG", quality=quality)
|
||||
return output.getvalue()
|
||||
|
||||
|
||||
def _encode_webp(image: Image.Image) -> bytes:
|
||||
output = io.BytesIO()
|
||||
image.save(
|
||||
output,
|
||||
format="WEBP",
|
||||
quality=OPTIMIZED_WEBP_QUALITY,
|
||||
method=OPTIMIZED_WEBP_METHOD,
|
||||
)
|
||||
return output.getvalue()
|
||||
|
||||
|
||||
def _variant(
|
||||
*,
|
||||
name: AttachmentVariantName,
|
||||
content_type: str,
|
||||
image: Image.Image,
|
||||
encode: Callable[[Image.Image], bytes],
|
||||
) -> RenderedVariantDTO:
|
||||
return RenderedVariantDTO(
|
||||
name=name,
|
||||
content_type=content_type,
|
||||
width=image.width,
|
||||
height=image.height,
|
||||
data=encode(image),
|
||||
)
|
||||
|
||||
|
||||
def render_variants(
|
||||
data: bytes,
|
||||
*,
|
||||
max_pixels: int,
|
||||
) -> tuple[RenderedVariantDTO, ...]:
|
||||
"""Три варианта из байтов PNG или JPEG. Больше лимита пикселей —
|
||||
`TooManyPixels` до декодирования, не декодируется — `InvalidImage`,
|
||||
`MemoryError` уходит вызывающему."""
|
||||
try:
|
||||
return _render(data, max_pixels=max_pixels)
|
||||
except Image.DecompressionBombError as e:
|
||||
raise TooManyPixels from e
|
||||
except (
|
||||
UnidentifiedImageError,
|
||||
OSError,
|
||||
ValueError,
|
||||
SyntaxError,
|
||||
) as e:
|
||||
if isinstance(e, TooManyPixels):
|
||||
raise
|
||||
raise InvalidImage from e
|
||||
|
||||
|
||||
def _render(
|
||||
data: bytes,
|
||||
*,
|
||||
max_pixels: int,
|
||||
) -> tuple[RenderedVariantDTO, ...]:
|
||||
with Image.open(io.BytesIO(data), formats=_FORMATS) as image:
|
||||
if image.width * image.height > max_pixels:
|
||||
raise TooManyPixels
|
||||
orientation = image.getexif().get(_EXIF_ORIENTATION, 1)
|
||||
swaps = orientation in _SWAPS_SIDES
|
||||
shown = (
|
||||
(image.height, image.width)
|
||||
if swaps
|
||||
else (image.width, image.height)
|
||||
)
|
||||
optimized_shown = fit_size(*shown, OPTIMIZED_MAX_SIDE)
|
||||
thumbnail_shown = fit_size(*shown, THUMBNAIL_MAX_SIDE)
|
||||
optimized_stored = _stored(optimized_shown, swaps=swaps)
|
||||
thumbnail_stored = _stored(thumbnail_shown, swaps=swaps)
|
||||
if image.format == "JPEG":
|
||||
# масштаб DCT под самый большой нужный размер: пик памяти на
|
||||
# порядок меньше. Для CMYK режим не меняет, только размер
|
||||
image.draft(
|
||||
"RGB",
|
||||
(
|
||||
max(optimized_stored[0], min(image.width, CROP_SIDE)),
|
||||
max(optimized_stored[1], min(image.height, CROP_SIDE)),
|
||||
),
|
||||
)
|
||||
prepared = _prepared(image)
|
||||
base = prepared.resize(
|
||||
optimized_stored,
|
||||
Image.Resampling.LANCZOS,
|
||||
reducing_gap=2.0,
|
||||
)
|
||||
crop = _center_square(
|
||||
base if min(base.size) >= _CROP_MIN_BASE_SIDE else prepared,
|
||||
)
|
||||
thumbnail = base.resize(
|
||||
thumbnail_stored,
|
||||
Image.Resampling.LANCZOS,
|
||||
reducing_gap=2.0,
|
||||
)
|
||||
return (
|
||||
_variant(
|
||||
name=AttachmentVariantName.THUMBNAIL,
|
||||
content_type=_JPEG_TYPE,
|
||||
image=_oriented(thumbnail, orientation),
|
||||
encode=lambda shown_image: _encode_jpeg(
|
||||
shown_image,
|
||||
quality=THUMBNAIL_JPEG_QUALITY,
|
||||
),
|
||||
),
|
||||
_variant(
|
||||
name=AttachmentVariantName.CROP,
|
||||
content_type=_JPEG_TYPE,
|
||||
image=_oriented(crop, orientation),
|
||||
encode=lambda shown_image: _encode_jpeg(
|
||||
shown_image,
|
||||
quality=CROP_JPEG_QUALITY,
|
||||
),
|
||||
),
|
||||
_variant(
|
||||
name=AttachmentVariantName.OPTIMIZED,
|
||||
content_type=_WEBP_TYPE,
|
||||
image=_oriented(base, orientation),
|
||||
encode=_encode_webp,
|
||||
),
|
||||
)
|
||||
|
||||
|
||||
def _stored(shown: tuple[int, int], *, swaps: bool) -> tuple[int, int]:
|
||||
return (shown[1], shown[0]) if swaps else shown
|
||||
|
||||
|
||||
def _oriented(image: Image.Image, orientation: int) -> Image.Image:
|
||||
# is not None: значение FLIP_LEFT_RIGHT — 0
|
||||
if (transpose := _TRANSPOSE.get(orientation)) is not None:
|
||||
return image.transpose(transpose)
|
||||
return image
|
||||
@@ -1,153 +0,0 @@
|
||||
"""Thumbnail контракта: JPEG, вписан в 256 × 256, без увеличения.
|
||||
|
||||
Чистая функция (design change `async-attachments`, решение 8). Импортирует
|
||||
Pillow, поэтому импортирует модуль только сервис обработки: реплики API
|
||||
декодер в память не загружают. Вызывается в потоке, результат при том же
|
||||
входе и версии Pillow детерминирован: повтор пишет те же байты.
|
||||
"""
|
||||
|
||||
import hashlib
|
||||
import io
|
||||
from dataclasses import dataclass
|
||||
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
|
||||
from src.utils.constants import (
|
||||
ATTACHMENT_MAX_PIXELS,
|
||||
THUMBNAIL_JPEG_QUALITY,
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
)
|
||||
|
||||
# тег EXIF Orientation
|
||||
_EXIF_ORIENTATION = 0x0112
|
||||
# транспонирование на малом изображении: на полном размере поворот удвоил бы
|
||||
# пик памяти (два буфера пикселей разом)
|
||||
_TRANSPOSE = {
|
||||
2: Image.Transpose.FLIP_LEFT_RIGHT,
|
||||
3: Image.Transpose.ROTATE_180,
|
||||
4: Image.Transpose.FLIP_TOP_BOTTOM,
|
||||
5: Image.Transpose.TRANSPOSE,
|
||||
6: Image.Transpose.ROTATE_270,
|
||||
7: Image.Transpose.TRANSVERSE,
|
||||
8: Image.Transpose.ROTATE_90,
|
||||
}
|
||||
# при этих значениях показанное изображение повёрнуто на 90°
|
||||
_SWAPS_SIDES = frozenset({5, 6, 7, 8})
|
||||
_HIGH_DEPTH_MODES = frozenset({"I;16", "I;16B", "I;16L", "I"})
|
||||
_ALPHA_MODES = frozenset({"RGBA", "LA", "PA"})
|
||||
_WHITE = (255, 255, 255, 255)
|
||||
_FORMATS = ("PNG", "JPEG")
|
||||
|
||||
|
||||
class InvalidImage(Exception):
|
||||
"""Изображение не декодируется: постоянная ошибка обработки."""
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class RenderedVariant:
|
||||
"""Готовый вариант: байты, настоящие размеры и SHA-256."""
|
||||
|
||||
data: bytes
|
||||
width: int
|
||||
height: int
|
||||
sha256: bytes
|
||||
|
||||
|
||||
def thumbnail_size(width: int, height: int) -> tuple[int, int]:
|
||||
"""Размер показанного изображения: большая сторона — 256, меньшая
|
||||
округляется вниз, не меньше 1; вписанное не увеличивается.
|
||||
|
||||
Не `Image.thumbnail`: он округляет к ближайшей пропорции (1000 × 601 →
|
||||
256 × 154), а контракт — вниз (153).
|
||||
"""
|
||||
if width <= THUMBNAIL_MAX_SIDE and height <= THUMBNAIL_MAX_SIDE:
|
||||
return width, height
|
||||
if width >= height:
|
||||
return (
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
max(1, height * THUMBNAIL_MAX_SIDE // width),
|
||||
)
|
||||
return (
|
||||
max(1, width * THUMBNAIL_MAX_SIDE // height),
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
)
|
||||
|
||||
|
||||
def _prepared(image: Image.Image) -> Image.Image:
|
||||
"""Режим, в котором масштабирование считает среднее, а не ближайшего
|
||||
соседа: 16 бит → 8, с альфой → RGBA, 1 бит → L, палитра и CMYK → RGB."""
|
||||
if image.mode in _HIGH_DEPTH_MODES:
|
||||
scaled = image.convert("I").point(lambda value: value / 256)
|
||||
return scaled.convert("L")
|
||||
if image.mode == "RGBA":
|
||||
# convert в тот же режим — копия всех пикселей: пик памяти 40 Мпкс
|
||||
# вырос бы с ~320 до ~480 МиБ
|
||||
return image
|
||||
if image.mode in _ALPHA_MODES or "transparency" in image.info:
|
||||
return image.convert("RGBA")
|
||||
if image.mode == "1":
|
||||
return image.convert("L")
|
||||
if image.mode in ("P", "CMYK"):
|
||||
return image.convert("RGB")
|
||||
return image
|
||||
|
||||
|
||||
def _flattened(image: Image.Image) -> Image.Image:
|
||||
"""Альфа на белый, результат — режим, который принимает JPEG."""
|
||||
if image.mode == "RGBA":
|
||||
background = Image.new("RGBA", image.size, _WHITE)
|
||||
return Image.alpha_composite(background, image).convert("RGB")
|
||||
return image
|
||||
|
||||
|
||||
def render_thumbnail(data: bytes) -> RenderedVariant:
|
||||
"""Thumbnail из байтов PNG или JPEG; не декодируется — `InvalidImage`."""
|
||||
try:
|
||||
return _render(data)
|
||||
except (
|
||||
UnidentifiedImageError,
|
||||
OSError,
|
||||
ValueError,
|
||||
SyntaxError,
|
||||
Image.DecompressionBombError,
|
||||
) as e:
|
||||
raise InvalidImage from e
|
||||
|
||||
|
||||
def _render(data: bytes) -> RenderedVariant:
|
||||
# предел пикселей контракта проверяет этот код: запас Pillow не нужен
|
||||
with Image.open(io.BytesIO(data), formats=_FORMATS) as image:
|
||||
if image.width * image.height > ATTACHMENT_MAX_PIXELS:
|
||||
raise InvalidImage
|
||||
orientation = image.getexif().get(_EXIF_ORIENTATION, 1)
|
||||
swaps = orientation in _SWAPS_SIDES
|
||||
shown = (
|
||||
(image.height, image.width)
|
||||
if swaps
|
||||
else (image.width, image.height)
|
||||
)
|
||||
target = thumbnail_size(*shown)
|
||||
stored = (target[1], target[0]) if swaps else target
|
||||
if image.format == "JPEG":
|
||||
# масштаб DCT: пик памяти на порядок меньше. Для CMYK режим не
|
||||
# меняет, только размер декодирования
|
||||
image.draft("RGB", stored)
|
||||
prepared = _prepared(image)
|
||||
small = prepared.resize(
|
||||
stored,
|
||||
Image.Resampling.LANCZOS,
|
||||
reducing_gap=2.0,
|
||||
)
|
||||
# is not None: значение FLIP_LEFT_RIGHT — 0
|
||||
if (transpose := _TRANSPOSE.get(orientation)) is not None:
|
||||
small = small.transpose(transpose)
|
||||
flat = _flattened(small).convert("RGB")
|
||||
output = io.BytesIO()
|
||||
flat.save(output, format="JPEG", quality=THUMBNAIL_JPEG_QUALITY)
|
||||
result = output.getvalue()
|
||||
return RenderedVariant(
|
||||
data=result,
|
||||
width=flat.width,
|
||||
height=flat.height,
|
||||
sha256=hashlib.sha256(result).digest(),
|
||||
)
|
||||
@@ -29,10 +29,9 @@ if __name__ == "__main__":
|
||||
sys.exit(2)
|
||||
|
||||
code = main()
|
||||
# клиенты закрыты, «Stopped worker» записан. Поток декодирования отменить
|
||||
# нельзя, а финализация интерпретатора его ждала бы: именно os._exit
|
||||
# укладывается в срок остановки контейнера (design change
|
||||
# async-attachments, решение 6)
|
||||
# клиенты закрыты, «Stopped worker» записан. Финализация незакрытых за срок
|
||||
# клиентов не должна тянуть остановку: именно os._exit укладывается в срок
|
||||
# контейнера (design change pipeline-reliability, решение 19)
|
||||
import os
|
||||
|
||||
sys.stdout.flush()
|
||||
|
||||
+60
-41
@@ -2,25 +2,31 @@
|
||||
|
||||
Отдельный процесс стенда, а не задача реплик API (design change
|
||||
`async-attachments`, решение 6). Свои engine, клиент S3 с ключами worker и
|
||||
клиенты брокера; глобалы процесса API не импортируются, поэтому реплики не
|
||||
загружают декодер, а worker — приложение HTTP.
|
||||
потребитель брокера; глобалы процесса API не импортируются. Декодер в памяти
|
||||
нет ни у реплик, ни здесь: изображение обрабатывает отдельный процесс на задание
|
||||
(`pipeline-reliability`, решение 7). Издателя нет: следующую попытку публикует
|
||||
relay.
|
||||
|
||||
Цикл: соединение, объявление очереди, потребление до сигнала или обрыва. При
|
||||
обрыве worker не падает: дожидается своих задач прежнего соединения (иначе
|
||||
своя же повторная доставка), пауза `[worker] reconnect_seconds` и новое
|
||||
соединение. Конкуренция ограничена `prefetch_count = [worker] concurrency`.
|
||||
соединение. Брокер выдаёт не больше `[worker] prefetch` неподтверждённых
|
||||
сообщений, а обрабатывается одновременно не больше `[worker] concurrency`:
|
||||
сообщение сверх конкуренции ждёт без взятия и без аренды (решение 8).
|
||||
|
||||
SIGTERM: новые сообщения не принимаются, начатые задачи ждут не дольше
|
||||
`graceful_shutdown_seconds`, остальные отменяются, соединения закрываются,
|
||||
неподтверждённое брокер вернёт в очередь, «Stopped worker», код 0. Коды выхода:
|
||||
0 — остановлен сигналом, 2 — неверная конфигурация (`src/worker/__main__.py`).
|
||||
`graceful_shutdown_seconds`, остальные отменяются (их процессы обработки убивает
|
||||
`finally` клиента), соединения закрываются, неподтверждённое брокер вернёт в
|
||||
очередь, «Stopped worker», код 0. Худший случай (решение 19): 8 + отмена задач 0,5 +
|
||||
закрытие потребителя 0,5 + engine и S3 разом 0,5 = 9,5 с < 10 с срока контейнера.
|
||||
Коды выхода: 0 — остановлен сигналом, 2 — неверная конфигурация
|
||||
(`src/worker/__main__.py`).
|
||||
"""
|
||||
|
||||
import asyncio
|
||||
import signal
|
||||
from contextlib import AbstractAsyncContextManager, suppress
|
||||
|
||||
import anyio
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.config import settings
|
||||
@@ -28,18 +34,19 @@ from src.core.services.attachment_processing import (
|
||||
AttachmentProcessingService,
|
||||
)
|
||||
from src.infra import early_stop
|
||||
from src.infra.broker import JobConsumer, JobDelivery, JobPublisher
|
||||
from src.infra.broker import JobConsumer, JobDelivery, queue_name
|
||||
from src.infra.db import create_engine, create_session_factory
|
||||
from src.infra.db.scope import session_scope
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
from src.infra.render import ImageRenderer
|
||||
from src.infra.s3 import create_object_storage
|
||||
from src.schemas.enums import JobOutcome
|
||||
|
||||
logger: AbstractLogger = get_logger().bind(module="worker")
|
||||
|
||||
EXIT_OK = 0
|
||||
# секунды на закрытие клиента при остановке: сумма с ожиданием задач меньше
|
||||
# срока остановки контейнера (10 с)
|
||||
# секунды на шаг закрытия при остановке: сумма с ожиданием задач меньше срока
|
||||
# остановки контейнера (10 с)
|
||||
_CLOSE_TIMEOUT_SECONDS = 0.5
|
||||
|
||||
|
||||
@@ -60,7 +67,6 @@ async def run() -> int:
|
||||
engine = create_engine(settings.database)
|
||||
session_factory = create_session_factory(engine)
|
||||
storage = create_object_storage(settings.s3, namespace=namespace)
|
||||
publisher = JobPublisher(settings.broker, namespace=namespace)
|
||||
|
||||
def db_scope() -> AbstractAsyncContextManager[AsyncSession]:
|
||||
return session_scope(
|
||||
@@ -71,8 +77,7 @@ async def run() -> int:
|
||||
service = AttachmentProcessingService(
|
||||
db_scope=db_scope,
|
||||
storage=storage,
|
||||
publisher=publisher,
|
||||
limiter=anyio.CapacityLimiter(worker.concurrency),
|
||||
renderer=ImageRenderer(worker),
|
||||
stop=stop,
|
||||
)
|
||||
try:
|
||||
@@ -86,14 +91,20 @@ async def run() -> int:
|
||||
logger.info(
|
||||
"Started worker",
|
||||
concurrency=worker.concurrency,
|
||||
prefetch=worker.prefetch,
|
||||
max_attempts=worker.max_attempts,
|
||||
job_timeout_seconds=worker.job_timeout_seconds,
|
||||
retry_delay_seconds=worker.retry_delay_seconds,
|
||||
lease_margin_seconds=worker.lease_margin_seconds,
|
||||
retry_base_delay_seconds=worker.retry_base_delay_seconds,
|
||||
retry_max_delay_seconds=worker.retry_max_delay_seconds,
|
||||
render_timeout_seconds=worker.render_timeout_seconds,
|
||||
render_cpu_limit_seconds=worker.render_cpu_limit_seconds,
|
||||
render_memory_limit_mib=worker.render_memory_limit_mib,
|
||||
graceful_shutdown_seconds=worker.graceful_shutdown_seconds,
|
||||
reconnect_seconds=worker.reconnect_seconds,
|
||||
broker_host=settings.broker.host,
|
||||
broker_port=settings.broker.port,
|
||||
broker_queue=publisher.queue,
|
||||
broker_queue=queue_name(namespace),
|
||||
s3_host=settings.s3.host,
|
||||
s3_port=settings.s3.port,
|
||||
s3_bucket=settings.s3.bucket,
|
||||
@@ -104,14 +115,14 @@ async def run() -> int:
|
||||
)
|
||||
await _serve(service, namespace=namespace, stop=stop)
|
||||
finally:
|
||||
for closing in (
|
||||
engine.dispose(),
|
||||
storage.aclose(),
|
||||
publisher.aclose(),
|
||||
):
|
||||
with suppress(Exception):
|
||||
async with asyncio.timeout(_CLOSE_TIMEOUT_SECONDS):
|
||||
await closing
|
||||
# одним сроком, а не по очереди: сумма не растёт с числом клиентов (S5)
|
||||
with suppress(Exception):
|
||||
async with asyncio.timeout(_CLOSE_TIMEOUT_SECONDS):
|
||||
await asyncio.gather(
|
||||
engine.dispose(),
|
||||
storage.aclose(),
|
||||
return_exceptions=True,
|
||||
)
|
||||
logger.info("Stopped worker", exit_code=EXIT_OK)
|
||||
return EXIT_OK
|
||||
|
||||
@@ -125,11 +136,12 @@ async def _serve(
|
||||
"""Соединения с брокером до сигнала."""
|
||||
worker = settings.worker
|
||||
tasks: set[asyncio.Task[None]] = set()
|
||||
slots = asyncio.Semaphore(worker.concurrency)
|
||||
while not stop.is_set():
|
||||
consumer = JobConsumer(
|
||||
settings.broker,
|
||||
namespace=namespace,
|
||||
prefetch=worker.concurrency,
|
||||
prefetch=worker.prefetch,
|
||||
)
|
||||
try:
|
||||
await consumer.connect()
|
||||
@@ -143,7 +155,7 @@ async def _serve(
|
||||
await _wait_stop(stop, timeout=worker.reconnect_seconds)
|
||||
continue
|
||||
logger.info("Connected to broker", broker_queue=consumer.queue)
|
||||
pump = asyncio.create_task(_pump(consumer, service, tasks))
|
||||
pump = asyncio.create_task(_pump(consumer, service, slots, tasks))
|
||||
stopping = asyncio.create_task(stop.wait())
|
||||
await asyncio.wait(
|
||||
{pump, stopping},
|
||||
@@ -178,11 +190,12 @@ async def _serve(
|
||||
async def _pump(
|
||||
consumer: JobConsumer,
|
||||
service: AttachmentProcessingService,
|
||||
slots: asyncio.Semaphore,
|
||||
tasks: set[asyncio.Task[None]],
|
||||
) -> None:
|
||||
"""Каждая доставка — своя задача со своим контекстом журнала."""
|
||||
async for delivery in consumer.deliveries():
|
||||
task = asyncio.create_task(_handle(service, delivery))
|
||||
task = asyncio.create_task(_handle(service, delivery, slots))
|
||||
tasks.add(task)
|
||||
task.add_done_callback(tasks.discard)
|
||||
|
||||
@@ -190,22 +203,28 @@ async def _pump(
|
||||
async def _handle(
|
||||
service: AttachmentProcessingService,
|
||||
delivery: JobDelivery,
|
||||
slots: asyncio.Semaphore,
|
||||
) -> None:
|
||||
"""Подтверждение — только после итога сервиса. Отмена при остановке
|
||||
сообщение не подтверждает: брокер вернёт его после закрытия соединения."""
|
||||
try:
|
||||
outcome = await service.handle(
|
||||
body=delivery.body,
|
||||
redelivered=delivery.redelivered,
|
||||
)
|
||||
except Exception as e:
|
||||
logger.error("Job handling failed", exc_info=e)
|
||||
with suppress(TimeoutError):
|
||||
await asyncio.wait_for(
|
||||
service.stop.wait(),
|
||||
timeout=settings.worker.retry_delay_seconds,
|
||||
сообщение не подтверждает: брокер вернёт его после закрытия соединения.
|
||||
Сообщение сверх конкуренции ждёт место без взятия; после сигнала остановки
|
||||
попытка не начинается."""
|
||||
async with slots:
|
||||
if service.stop.is_set():
|
||||
return
|
||||
try:
|
||||
outcome = await service.handle(
|
||||
body=delivery.body,
|
||||
redelivered=delivery.redelivered,
|
||||
)
|
||||
outcome = JobOutcome.REQUEUE
|
||||
except Exception as e:
|
||||
logger.error("Job handling failed", exc_info=e)
|
||||
with suppress(TimeoutError):
|
||||
await asyncio.wait_for(
|
||||
service.stop.wait(),
|
||||
timeout=settings.worker.reconnect_seconds,
|
||||
)
|
||||
outcome = JobOutcome.REQUEUE
|
||||
if outcome == JobOutcome.ACK:
|
||||
await delivery.ack()
|
||||
elif outcome == JobOutcome.DROP:
|
||||
@@ -215,8 +234,8 @@ async def _handle(
|
||||
|
||||
|
||||
async def _finish_tasks(tasks: set[asyncio.Task[None]]) -> None:
|
||||
"""Начатые задачи — не дольше срока, остальные отменяются. Поток
|
||||
декодирования отменить нельзя: его не ждём, выход — `os._exit`."""
|
||||
"""Начатые задачи — не дольше срока, остальные отменяются: отмена убивает
|
||||
процесс обработки в `finally` клиента, а выход — `os._exit`."""
|
||||
if not tasks:
|
||||
return
|
||||
_, pending = await asyncio.wait(
|
||||
|
||||
@@ -0,0 +1,105 @@
|
||||
"""Процесс обработки изображения: `python -m src.worker.render`.
|
||||
|
||||
Новый процесс на задание (design change `pipeline-reliability`, решение 7):
|
||||
поток не прервать, а падение декодера и `MemoryError` не должны ронять worker. Вход
|
||||
— байты в stdin, параметры — аргументы, окружение без секретов собирает
|
||||
`src/infra/render/client.py`. Лимиты ставятся первыми строками, Pillow
|
||||
импортируется после них. Выход — строка JSON (размеры, длины, пик памяти), затем
|
||||
байты вариантов подряд.
|
||||
|
||||
Коды выхода: 0 — готово, 3 — не декодируется, 4 — лимит памяти, 5 — лимит пикселей.
|
||||
Лимит CPU — сигнал SIGXCPU, стена — родитель убивает. Здесь только stdlib и чистая
|
||||
функция: настройки, журнал и клиенты не импортируются.
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
import resource
|
||||
import sys
|
||||
|
||||
EXIT_OK = 0
|
||||
EXIT_UNDECODABLE = 3
|
||||
EXIT_MEMORY = 4
|
||||
EXIT_PIXELS = 5
|
||||
|
||||
_MIB = 1024 * 1024
|
||||
_PEAK_LINE = "VmHWM:"
|
||||
_STATUS_PATH = "/proc/self/status"
|
||||
|
||||
|
||||
def _apply_limits(*, memory_mib: int, cpu_seconds: int) -> bool:
|
||||
"""Лимиты процесса; `False` — ядро не поддерживает лимит адресного
|
||||
пространства (macOS: `ValueError`), вывод это отметит."""
|
||||
resource.setrlimit(resource.RLIMIT_CORE, (0, 0))
|
||||
# жёсткий на секунду больше: сигнал мягкого лимита кончает процесс сам
|
||||
resource.setrlimit(resource.RLIMIT_CPU, (cpu_seconds, cpu_seconds + 1))
|
||||
size = memory_mib * _MIB
|
||||
try:
|
||||
resource.setrlimit(resource.RLIMIT_AS, (size, size))
|
||||
except (ValueError, OSError):
|
||||
return False
|
||||
return True
|
||||
|
||||
|
||||
def _peak_kib() -> int | None:
|
||||
"""Пик своей памяти. Не `ru_maxrss`: через fork он наследует пик родителя
|
||||
(проба); на macOS файла нет."""
|
||||
try:
|
||||
with open(_STATUS_PATH, encoding="ascii") as status:
|
||||
for line in status:
|
||||
if line.startswith(_PEAK_LINE):
|
||||
return int(line.split()[1])
|
||||
except OSError:
|
||||
return None
|
||||
return None
|
||||
|
||||
|
||||
def main() -> int:
|
||||
parser = argparse.ArgumentParser(prog="python -m src.worker.render")
|
||||
parser.add_argument("--max-pixels", type=int, required=True)
|
||||
parser.add_argument("--memory-limit-mib", type=int, required=True)
|
||||
parser.add_argument("--cpu-limit-seconds", type=int, required=True)
|
||||
args = parser.parse_args()
|
||||
applied = _apply_limits(
|
||||
memory_mib=args.memory_limit_mib,
|
||||
cpu_seconds=args.cpu_limit_seconds,
|
||||
)
|
||||
try:
|
||||
from src.utils.image import TooManyPixels
|
||||
from src.utils.image_variants import InvalidImage, render_variants
|
||||
|
||||
data = sys.stdin.buffer.read()
|
||||
try:
|
||||
variants = render_variants(data, max_pixels=args.max_pixels)
|
||||
except TooManyPixels:
|
||||
return EXIT_PIXELS
|
||||
except InvalidImage:
|
||||
return EXIT_UNDECODABLE
|
||||
except MemoryError:
|
||||
# без выделений и финализации: памяти может не хватить и им
|
||||
os._exit(EXIT_MEMORY)
|
||||
head = {
|
||||
"peak_kib": _peak_kib(),
|
||||
"memory_limit_applied": applied,
|
||||
"variants": [
|
||||
{
|
||||
"name": variant.name.value,
|
||||
"content_type": variant.content_type,
|
||||
"width": variant.width,
|
||||
"height": variant.height,
|
||||
"size": len(variant.data),
|
||||
}
|
||||
for variant in variants
|
||||
],
|
||||
}
|
||||
output = sys.stdout.buffer
|
||||
output.write(json.dumps(head).encode() + b"\n")
|
||||
for variant in variants:
|
||||
output.write(variant.data)
|
||||
output.flush()
|
||||
return EXIT_OK
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
@@ -1,6 +1,7 @@
|
||||
"""Проверка ответов по `contracts/openapi.json` и форматам контракта."""
|
||||
|
||||
import hashlib
|
||||
import io
|
||||
import json
|
||||
import re
|
||||
from collections.abc import Iterable, Mapping
|
||||
@@ -237,6 +238,27 @@ def assert_content(
|
||||
)
|
||||
|
||||
|
||||
def assert_variant_image(
|
||||
data: bytes,
|
||||
variant: Mapping[str, Any],
|
||||
) -> object:
|
||||
"""Байты варианта — настоящее изображение своего типа и размера: JPEG у
|
||||
`thumbnail` и `crop`, WebP у `optimized`. Возвращает открытое изображение."""
|
||||
from PIL import Image # noqa: PLC0415 — декодер только для проверки
|
||||
|
||||
expected = {"image/jpeg": "JPEG", "image/webp": "WEBP"}[
|
||||
variant["content_type"]
|
||||
]
|
||||
image = Image.open(io.BytesIO(data))
|
||||
image.load()
|
||||
assert image.format == expected, (variant["name"], image.format)
|
||||
assert image.size == (variant["width"], variant["height"]), (
|
||||
variant["name"],
|
||||
image.size,
|
||||
)
|
||||
return image
|
||||
|
||||
|
||||
def assert_variant_content(
|
||||
resp: httpx.Response,
|
||||
variant: Mapping[str, Any],
|
||||
|
||||
@@ -40,16 +40,29 @@ services:
|
||||
# свой брокер со своим volume, порт AMQP не публикуется
|
||||
rabbitmq:
|
||||
ports: !reset []
|
||||
# relay без перезапуска: его останавливают и убивают сами проверки; опрос чаще
|
||||
# и порог потерянного сообщения короче, чтобы тесту не ждать 5 минут (design
|
||||
# change pipeline-reliability, решение 15)
|
||||
relay:
|
||||
restart: "no"
|
||||
environment:
|
||||
RELAY__POLL_INTERVAL_SECONDS: "0.2"
|
||||
RELAY__REPUBLISH_AFTER_SECONDS: "5"
|
||||
# worker со сроками, сравнимыми со временем теста, и без перезапуска: его
|
||||
# останавливают и убивают сами проверки (design change async-attachments,
|
||||
# решение 15). Сумма пауз 3 × 5 с больше возврата S3 (~8 с): «Временная
|
||||
# ошибка» успевает. Значения run_failures.py передаёт тестам (FAULT_WORKER_*)
|
||||
# решение 15). Сумма пауз 14–28 с больше возврата S3 (~8 с): «Временная
|
||||
# ошибка» успевает. Аренда 12 с. Значения run_failures.py передаёт тестам
|
||||
# (FAULT_WORKER_*)
|
||||
worker:
|
||||
restart: "no"
|
||||
environment:
|
||||
WORKER__MAX_ATTEMPTS: "4"
|
||||
WORKER__RETRY_DELAY_SECONDS: "5"
|
||||
WORKER__RETRY_BASE_DELAY_SECONDS: "4"
|
||||
WORKER__RETRY_MAX_DELAY_SECONDS: "16"
|
||||
WORKER__JOB_TIMEOUT_SECONDS: "10"
|
||||
WORKER__LEASE_MARGIN_SECONDS: "2"
|
||||
WORKER__RENDER_TIMEOUT_SECONDS: "8"
|
||||
WORKER__RENDER_CPU_LIMIT_SECONDS: "3"
|
||||
WORKER__GRACEFUL_SHUTDOWN_SECONDS: "2"
|
||||
# уборщик с grace и интервалом, сравнимыми со временем теста (design
|
||||
# change upload-consistency, решение 10). Grace 20 с больше границы живой
|
||||
@@ -66,4 +79,5 @@ services:
|
||||
environment:
|
||||
CLEANER__PENDING_GRACE_SECONDS: "20"
|
||||
CLEANER__INTERVAL_SECONDS: "1"
|
||||
CLEANER__STAGING_RETENTION_SECONDS: "60"
|
||||
RECONCILER__INTERVAL_SECONDS: "0"
|
||||
|
||||
+560
-42
@@ -43,8 +43,61 @@
|
||||
variant-object-count <id> сколько у вложения объектов вариантов
|
||||
(`<база>/attachments/<id>/v<N>-<имя>`)
|
||||
job <attachment_id> строка задания вложения: JSON с id, state,
|
||||
attempt, last_error_code, next_attempt_at,
|
||||
published_at; нет задания — пусто
|
||||
attempt, attempt_base, last_error_code,
|
||||
next_attempt_at, lease_expires_at,
|
||||
published_at, updated_at; нет задания — пусто
|
||||
fail-attachments ready-commit-stall|relay-stall <filename>
|
||||
окна без точек сбоя в коде (design change
|
||||
`pipeline-reliability`, решение 14):
|
||||
ready-commit-stall — COMMIT фиксации ready ждёт
|
||||
pg_sleep(3) в отложенном триггере; relay-stall
|
||||
— отметка published_at ждёт pg_sleep(3), брокер
|
||||
сообщение уже подтвердил
|
||||
stop|start|kill|pause|unpause relay
|
||||
relay стенда; start — docker start контейнера
|
||||
freeze worker docker kill -s STOP: контейнер остаётся running
|
||||
(не paused), поэтому его можно убить посреди
|
||||
COMMIT
|
||||
pause|unpause worker заморозка контейнера (зависший worker)
|
||||
run-worker K=V… второй worker `<FAULT_PROJECT>-worker-extra` с
|
||||
этим окружением
|
||||
run-relay K=V… второй relay `<FAULT_PROJECT>-relay-extra`
|
||||
stop-extra убрать дополнительные контейнеры
|
||||
extra-log worker|relay журнал дополнительного контейнера
|
||||
kill-extra|pause-extra|unpause-extra worker
|
||||
то же с дополнительным worker
|
||||
expire-lease <id> срок аренды задания вложения — в прошлом: окно,
|
||||
где таймеры прежней попытки ещё не сработали
|
||||
attachment-row <id> JSON: status, staging_key, error_code
|
||||
attachment-free <id> `id` строки, если её не держит чужая транзакция;
|
||||
занята — пусто
|
||||
cleaner-log журнал контейнера уборщика, все запуски
|
||||
relay-log журнал контейнера relay, все запуски
|
||||
relay-state JSON: running, restart_count, exit_code,
|
||||
started_at
|
||||
kill-render [extra] SIGKILL процессу обработки в контейнере worker;
|
||||
печатает число убитых
|
||||
render-env [extra] имена переменных окружения процесса обработки;
|
||||
значения не печатаются
|
||||
render-count [extra] сколько процессов обработки в контейнере
|
||||
wait-commit-stall ждать сессию PostgreSQL в PgSleep на COMMIT
|
||||
object-sha256 <ключ> SHA-256 объекта процессом в контейнере API; нет
|
||||
объекта — пусто
|
||||
broker-memory-limit <значение>
|
||||
rabbitmqctl set_vm_memory_high_watermark
|
||||
absolute <значение>, например 1MiB
|
||||
set-sha256 <id> <hex> изменить sha256 строки
|
||||
set-staging-key <id> <ключ> изменить staging_key строки (только БД)
|
||||
set-next-attempt <id> <секунд>
|
||||
срок следующей попытки задания: сейчас + секунд
|
||||
delete-variant <id> <имя> строка и объект варианта готового вложения
|
||||
cancel-to-pending <id> как отмена приёма прежней версии: задание
|
||||
удалено, вложение queued → pending с
|
||||
updated_at позже created_at
|
||||
replay [аргументы] `docker compose run --rm --no-deps -T relay
|
||||
replay …`: записи процесса и строка
|
||||
`exit_code=<n>`; код hook — 0
|
||||
replays <id> записи аудита задания вложения, JSON в строку
|
||||
fail-attachments insert|queued|stall|commit|outlive|undeletable <filename>
|
||||
триггеры на вложения с этим filename (сбой —
|
||||
SQLSTATE 08006, для API это отказ БД, 503):
|
||||
@@ -75,8 +128,9 @@
|
||||
peek-job тело одного сообщения очереди, прочитанного
|
||||
без подтверждения (возвращается в очередь);
|
||||
JSON с полями body (JSON-строка), delivery_mode;
|
||||
сообщения нет — пусто. Python в контейнере API
|
||||
его настройками: пароль в hook не попадает
|
||||
сообщения нет — пусто. Python в одноразовом
|
||||
контейнере relay его настройками: пароль в hook
|
||||
не попадает
|
||||
publish-job сообщение с телом из stdin в очередь,
|
||||
persistent; тот же контейнер
|
||||
delete-queue удалить очередь (rabbitmqctl в контейнере
|
||||
@@ -101,9 +155,9 @@
|
||||
delete-object <ключ> удалить объект мимо шлюза S3: `weed shell
|
||||
fs.rm /buckets/<bucket>/<ключ>`; ключ — с той
|
||||
же проверкой
|
||||
delete-row <id> удалить строку вложения с его заданием и
|
||||
вариантами (неиспользуемого: ссылку
|
||||
сообщения не даст удалить FK)
|
||||
delete-row <id> удалить строку вложения с его заданием,
|
||||
записями аудита и вариантами (неиспользуемого:
|
||||
ссылку сообщения не даст удалить FK)
|
||||
set-size <id> <байт> изменить size_bytes строки
|
||||
age-row <id> <секунд> сдвинуть created_at и updated_at строки
|
||||
назад на одно и то же время: CHECK и
|
||||
@@ -115,7 +169,7 @@
|
||||
lost-ids `id` вложений с потерянным оригиналом
|
||||
(lost_at задан)
|
||||
reconcile dry-run|apply [<предел>] [--strategy batch|head] [--deep]
|
||||
[--max-objects-per-second R]
|
||||
[--max-objects-per-second R] [--staging-retention S] [--grace S]
|
||||
разовая сверка (`docker compose run --rm
|
||||
--no-deps -T cleaner reconcile [--apply]
|
||||
[--max-changes N] …`): стратегия обхода,
|
||||
@@ -124,25 +178,30 @@
|
||||
проверяются по списку и передаются команде
|
||||
как есть (design change
|
||||
`track2-reconcile-cost`, решение 14);
|
||||
--staging-retention и --grace — окружение
|
||||
процесса CLEANER__STAGING_RETENTION_SECONDS и
|
||||
CLEANER__PENDING_GRACE_SECONDS;
|
||||
записи процесса и строка `exit_code=<n>`;
|
||||
код hook — 0
|
||||
stop|start cleaner сервис уборщика стенда
|
||||
run-cleaner <секунд> отдельный уборщик
|
||||
`<FAULT_PROJECT>-cleaner-scheduled` с
|
||||
плановой сверкой раз в 1 с
|
||||
(RECONCILER__INTERVAL_SECONDS=1) на это
|
||||
время, затем docker stop, его журнал и
|
||||
docker rm
|
||||
(RECONCILER__INTERVAL_SECONDS=1) до конца
|
||||
первого прохода, не дольше этого срока, затем
|
||||
docker stop, его журнал и docker rm
|
||||
|
||||
Bucket и имя базы для object-ids и ключей объектов — FAULT_S3_BUCKET и
|
||||
FAULT_DATABASE, их задаёт run_failures.py. Пароли и ключи не получает и
|
||||
не печатает: valkey-cli берёт пароль из VALKEYCLI_AUTH контейнера, psql
|
||||
работает от POSTGRES_USER контейнера, weed shell — с ключом подписи из
|
||||
окружения контейнера s3, put-object — ключами API из окружения
|
||||
контейнера API, peek-job и publish-job — настройками брокера там же. Только
|
||||
stdlib. Действия вложений — design change `upload-consistency`, решение 10;
|
||||
расхождения хранилищ и сверка — design change `track2-reconciler`, решение
|
||||
11; брокер, worker и задания — design change `async-attachments`, решение 15.
|
||||
окружения контейнера s3, put-object и object-sha256 — ключами API из окружения
|
||||
контейнера API, peek-job и publish-job — настройками брокера в одноразовом
|
||||
контейнере relay: у API их больше нет. Только stdlib. Действия вложений — design
|
||||
change `upload-consistency`, решение 10; расхождения хранилищ и сверка — design
|
||||
change `track2-reconciler`, решение 11; брокер, worker и задания — design change
|
||||
`async-attachments`, решение 15; relay, окна сбоя и replay — design change
|
||||
`pipeline-reliability`, решение 14.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
@@ -361,9 +420,28 @@ BEGIN
|
||||
RAISE EXCEPTION 'fault injected: attachment queued commit'
|
||||
USING ERRCODE = '08006';
|
||||
END IF;
|
||||
IF TG_ARGV[0] = 'ready-commit-stall' AND NEW.filename = TG_ARGV[1]
|
||||
AND OLD.status <> 'ready' AND NEW.status = 'ready' THEN
|
||||
PERFORM pg_sleep(3);
|
||||
END IF;
|
||||
RETURN NULL;
|
||||
END
|
||||
$$;
|
||||
CREATE OR REPLACE FUNCTION fault_stall_published() RETURNS trigger
|
||||
LANGUAGE plpgsql AS $$
|
||||
BEGIN
|
||||
IF TG_ARGV[0] = 'relay-stall' AND NEW.published_at IS NOT NULL
|
||||
AND (SELECT filename FROM attachments
|
||||
WHERE id = NEW.attachment_id) = TG_ARGV[1] THEN
|
||||
PERFORM pg_sleep(3);
|
||||
END IF;
|
||||
RETURN NEW;
|
||||
END
|
||||
$$;
|
||||
DROP TRIGGER IF EXISTS fault_stall_published ON attachment_jobs;
|
||||
CREATE TRIGGER fault_stall_published
|
||||
BEFORE UPDATE OF published_at ON attachment_jobs
|
||||
FOR EACH ROW EXECUTE FUNCTION fault_stall_published(:'mode', :'title');
|
||||
CREATE OR REPLACE FUNCTION fault_wait_attachments() RETURNS trigger
|
||||
LANGUAGE plpgsql AS $$
|
||||
DECLARE
|
||||
@@ -421,8 +499,10 @@ DROP TRIGGER IF EXISTS fault_fail_attachments ON attachments;
|
||||
DROP TRIGGER IF EXISTS fault_fail_attachments_commit ON attachments;
|
||||
DROP TRIGGER IF EXISTS fault_wait_attachments ON attachments;
|
||||
DROP TRIGGER IF EXISTS fault_fail_attachments_mark ON attachments;
|
||||
DROP TRIGGER IF EXISTS fault_stall_published ON attachment_jobs;
|
||||
DROP FUNCTION IF EXISTS fault_fail_attachments();
|
||||
DROP FUNCTION IF EXISTS fault_fail_attachments_commit();
|
||||
DROP FUNCTION IF EXISTS fault_stall_published();
|
||||
DROP FUNCTION IF EXISTS fault_wait_attachments();
|
||||
DROP FUNCTION IF EXISTS fault_fail_attachments_mark();
|
||||
"""
|
||||
@@ -433,6 +513,9 @@ DROP FUNCTION IF EXISTS fault_fail_attachments_mark();
|
||||
DELETE_ROW_SQL = """\
|
||||
BEGIN;
|
||||
DELETE FROM attachment_variants WHERE attachment_id = :'title'::uuid;
|
||||
DELETE FROM attachment_job_replays WHERE job_id IN (
|
||||
SELECT id FROM attachment_jobs WHERE attachment_id = :'title'::uuid
|
||||
);
|
||||
DELETE FROM attachment_jobs WHERE attachment_id = :'title'::uuid;
|
||||
DELETE FROM attachments WHERE id = :'title'::uuid RETURNING id;
|
||||
COMMIT;
|
||||
@@ -456,13 +539,73 @@ SELECT id FROM attachments WHERE lost_at IS NOT NULL ORDER BY id;
|
||||
"""
|
||||
JOB_SQL = """\
|
||||
SELECT row_to_json(j) FROM (
|
||||
SELECT id, state, attempt, last_error_code, next_attempt_at,
|
||||
lease_expires_at, published_at
|
||||
SELECT id, state, attempt, attempt_base, last_error_code, next_attempt_at,
|
||||
lease_expires_at, published_at, updated_at
|
||||
FROM attachment_jobs WHERE attachment_id = :'title'::uuid
|
||||
) j;
|
||||
"""
|
||||
# брокер — настройками процесса в контейнере API: пароль в hook не попадает.
|
||||
# Соединение прямо на сообщение, без подтверждения (peek): закрытие
|
||||
SET_SHA256_SQL = """\
|
||||
UPDATE attachments SET sha256 = decode(:'mode', 'hex')
|
||||
WHERE id = :'title'::uuid RETURNING id;
|
||||
"""
|
||||
SET_STAGING_KEY_SQL = """\
|
||||
UPDATE attachments SET staging_key = :'mode'
|
||||
WHERE id = :'title'::uuid RETURNING id;
|
||||
"""
|
||||
SET_NEXT_ATTEMPT_SQL = """\
|
||||
UPDATE attachment_jobs
|
||||
SET next_attempt_at = clock_timestamp() + make_interval(secs => :'mode'::float8)
|
||||
WHERE attachment_id = :'title'::uuid RETURNING id;
|
||||
"""
|
||||
DELETE_VARIANT_SQL = """\
|
||||
DELETE FROM attachment_variants
|
||||
WHERE attachment_id = :'title'::uuid AND variant = :'mode'
|
||||
RETURNING object_key;
|
||||
"""
|
||||
# как условная отмена прежней версии: задание удалено, строка pending с
|
||||
# updated_at позже created_at (design change async-attachments, решение 3)
|
||||
CANCEL_TO_PENDING_SQL = """\
|
||||
BEGIN;
|
||||
DELETE FROM attachment_jobs WHERE attachment_id = :'title'::uuid;
|
||||
UPDATE attachments
|
||||
SET status = 'pending', updated_at = updated_at + interval '1 microsecond'
|
||||
WHERE id = :'title'::uuid AND status = 'queued' RETURNING id;
|
||||
COMMIT;
|
||||
"""
|
||||
EXPIRE_LEASE_SQL = """\
|
||||
UPDATE attachment_jobs SET lease_expires_at = clock_timestamp() - interval '1s'
|
||||
WHERE attachment_id = :'title'::uuid AND state = 'processing' RETURNING id;
|
||||
"""
|
||||
ATTACHMENT_ROW_SQL = """\
|
||||
SELECT row_to_json(a) FROM (
|
||||
SELECT status, staging_key, error_code FROM attachments
|
||||
WHERE id = :'title'::uuid
|
||||
) a;
|
||||
"""
|
||||
# `FOR SHARE` конфликтует и с `FOR UPDATE`, и с `FOR NO KEY UPDATE`: занятая
|
||||
# строка не вернётся. Проба держит блокировку только на время одного выражения
|
||||
ATTACHMENT_FREE_SQL = """\
|
||||
SELECT id FROM attachments
|
||||
WHERE id = :'title'::uuid
|
||||
FOR SHARE SKIP LOCKED;
|
||||
"""
|
||||
REPLAYS_SQL = """\
|
||||
SELECT row_to_json(r) FROM (
|
||||
SELECT r.id, r.job_id, r.operator, r.error_code, r.reason, r.attempt,
|
||||
r.created_at
|
||||
FROM attachment_job_replays r
|
||||
JOIN attachment_jobs j ON j.id = r.job_id
|
||||
WHERE j.attachment_id = :'title'::uuid
|
||||
ORDER BY r.created_at, r.id
|
||||
) r;
|
||||
"""
|
||||
COMMIT_STALL_SQL = """\
|
||||
SELECT count(*) FROM pg_stat_activity
|
||||
WHERE wait_event = 'PgSleep' AND state = 'active' AND query ILIKE 'COMMIT%';
|
||||
"""
|
||||
# брокер — настройками процесса в одноразовом контейнере relay: пароль в hook не
|
||||
# попадает, у контейнера API их больше нет (design change pipeline-reliability,
|
||||
# решение 1). Соединение прямо на сообщение, без подтверждения (peek): закрытие
|
||||
# соединения возвращает его в очередь. Очередь — из имени базы процесса
|
||||
PEEK_JOB_PY = """\
|
||||
import asyncio
|
||||
@@ -548,6 +691,76 @@ client = botocore.session.get_session().create_client(
|
||||
body = sys.stdin.buffer.read()
|
||||
client.put_object(Bucket=s3.bucket, Key=sys.argv[1], Body=body)
|
||||
"""
|
||||
# SHA-256 объекта тем же способом; нет объекта — пустой вывод
|
||||
OBJECT_SHA256_PY = """\
|
||||
import hashlib
|
||||
import sys
|
||||
import botocore.session
|
||||
from botocore.config import Config
|
||||
from botocore.exceptions import ClientError
|
||||
from src.config import settings
|
||||
s3 = settings.s3
|
||||
client = botocore.session.get_session().create_client(
|
||||
"s3",
|
||||
endpoint_url=s3.endpoint_url,
|
||||
region_name=s3.region,
|
||||
aws_access_key_id=s3.access_key_id.get_secret_value(),
|
||||
aws_secret_access_key=s3.secret_access_key.get_secret_value(),
|
||||
config=Config(s3={"addressing_style": "path"},
|
||||
retries={"total_max_attempts": 1}),
|
||||
)
|
||||
try:
|
||||
body = client.get_object(Bucket=s3.bucket, Key=sys.argv[1])["Body"].read()
|
||||
except ClientError:
|
||||
sys.exit(0)
|
||||
print(hashlib.sha256(body).hexdigest())
|
||||
"""
|
||||
# процессы обработки в контейнере: только stdlib образа, тот же пользователь.
|
||||
# Значения окружения не печатаются
|
||||
RENDER_TOOL_PY = """\
|
||||
import os
|
||||
import signal
|
||||
import sys
|
||||
def pids():
|
||||
found = []
|
||||
for name in os.listdir("/proc"):
|
||||
if not name.isdigit():
|
||||
continue
|
||||
try:
|
||||
with open(f"/proc/{name}/cmdline", "rb") as cmdline:
|
||||
# точный аргумент: текст этой пробы в её argv тоже содержит имя
|
||||
if b"src.worker.render" in cmdline.read().split(b"\\0"):
|
||||
found.append(int(name))
|
||||
except OSError:
|
||||
pass
|
||||
return found
|
||||
action = sys.argv[1]
|
||||
found = pids()
|
||||
if action == "count":
|
||||
print(len(found))
|
||||
elif action == "kill":
|
||||
for pid in found:
|
||||
os.kill(pid, signal.SIGKILL)
|
||||
print(len(found))
|
||||
elif found:
|
||||
with open(f"/proc/{found[0]}/environ", "rb") as environ:
|
||||
items = environ.read().split(b"\\0")
|
||||
print(" ".join(sorted(i.split(b"=")[0].decode() for i in items if i)))
|
||||
"""
|
||||
# окружение дополнительного процесса: только имена настроек своих секций, чтобы
|
||||
# через hook нельзя было подменить пароли и адреса
|
||||
EXTRA_ENV_RE = re.compile(
|
||||
r"^((WORKER|RELAY)__[A-Z_]+|S3__TIMEOUT_SECONDS)=[A-Za-z0-9._-]+$",
|
||||
)
|
||||
BROKER_LIMIT_RE = re.compile(r"^[0-9]+(MiB|GiB|MB|GB)?$")
|
||||
SHA256_RE = re.compile(r"^[0-9a-f]{64}$")
|
||||
# варианты контракта: имя в DELETE_VARIANT_SQL
|
||||
VARIANT_NAMES = ("thumbnail", "crop", "optimized")
|
||||
EXTRA_SERVICES = ("worker", "relay")
|
||||
COMMIT_STALL_TIMEOUT_S = 15
|
||||
# аргументы replay: значения проверяет сама команда, а эти — чтобы в compose
|
||||
# run не ушло лишнее
|
||||
REPLAY_OPTION_RE = re.compile(r"^[A-Za-z0-9_:.-]+$")
|
||||
# символы ключа объекта, который hook пишет или удаляет мимо API
|
||||
OBJECT_KEY_RE = re.compile(r"^[A-Za-z0-9._/-]+$")
|
||||
RECONCILE_MODES = {"dry-run": (), "apply": ("--apply",)}
|
||||
@@ -558,6 +771,7 @@ RATE_PATTERN = re.compile(r"[0-9]+(\.[0-9]+)?")
|
||||
# плановая сверка отдельного уборщика: раз в секунду
|
||||
SCHEDULED_CLEANER_ENV = "RECONCILER__INTERVAL_SECONDS=1"
|
||||
SCHEDULED_CLEANER_MAX_S = 60
|
||||
SCHEDULED_PASS_DONE = '"event": "Finished reconcile pass"'
|
||||
FAIL_ATTACHMENTS_MODES = (
|
||||
"insert",
|
||||
"queued",
|
||||
@@ -567,6 +781,8 @@ FAIL_ATTACHMENTS_MODES = (
|
||||
"undeletable",
|
||||
"ready-fail",
|
||||
"ready-stall",
|
||||
"ready-commit-stall",
|
||||
"relay-stall",
|
||||
)
|
||||
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py; имя базы — как в
|
||||
# run_isolated.py: путь filer собирается только из проверенных имён
|
||||
@@ -919,35 +1135,241 @@ def delete_queue(project: str) -> str:
|
||||
return ""
|
||||
|
||||
|
||||
def api_python(project: str, code: str, stdin: bytes | None = None) -> str:
|
||||
"""Код в контейнере обычного API: настройки процесса, а не hook, знают
|
||||
пароль брокера."""
|
||||
def relay_python(project: str, code: str, stdin: bytes | None = None) -> str:
|
||||
"""Код в одноразовом контейнере relay: настройки процесса, а не hook, знают
|
||||
пароль брокера. У реплик API его нет."""
|
||||
files = [arg for path in COMPOSE_FILES for arg in ("-f", str(path))]
|
||||
result = subprocess.run(
|
||||
["docker", "exec", "-i", api_container(project), "python", "-c", code],
|
||||
[
|
||||
"docker",
|
||||
"compose",
|
||||
"-p",
|
||||
project,
|
||||
*files,
|
||||
"run",
|
||||
"--rm",
|
||||
"--no-deps",
|
||||
"-T",
|
||||
"--entrypoint",
|
||||
"python",
|
||||
"relay",
|
||||
"-c",
|
||||
code,
|
||||
],
|
||||
cwd=ROOT,
|
||||
input=b"" if stdin is None else stdin,
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
if result.returncode != 0:
|
||||
tail = result.stderr.decode(errors="replace").strip().splitlines()[-1:]
|
||||
raise HookError(f"api python failed: {tail}")
|
||||
raise HookError(f"relay python failed: {tail}")
|
||||
# лишние записи настройки логгера в stdout: строка результата — последняя
|
||||
lines = result.stdout.decode(errors="replace").strip().splitlines()
|
||||
return lines[-1] if lines else ""
|
||||
|
||||
|
||||
def worker_container(project: str) -> str:
|
||||
container = compose(project, "ps", "-a", "-q", "worker")
|
||||
def service_container(project: str, name: str) -> str:
|
||||
"""Контейнер сервиса, без одноразовых: `compose ps -a` назвал бы и второй
|
||||
процесс hook `run-worker`."""
|
||||
container = docker(
|
||||
"ps",
|
||||
"-a",
|
||||
"-q",
|
||||
"--filter",
|
||||
f"label=com.docker.compose.project={project}",
|
||||
"--filter",
|
||||
f"label=com.docker.compose.service={name}",
|
||||
"--filter",
|
||||
"label=com.docker.compose.oneoff=False",
|
||||
)
|
||||
if not container:
|
||||
raise HookError("worker container of the stand not found")
|
||||
raise HookError(f"{name} container of the stand not found")
|
||||
return container
|
||||
|
||||
|
||||
def relay_action(project: str, action: str) -> str:
|
||||
"""`start` — тот же контейнер, как у worker: одноразовых зависимостей
|
||||
compose start не найдёт."""
|
||||
if action in ("stop", "pause", "unpause"):
|
||||
return compose(project, action, "relay")
|
||||
docker(action, service_container(project, "relay"))
|
||||
return ""
|
||||
|
||||
|
||||
def container_state(container: str) -> str:
|
||||
fields = docker(
|
||||
"inspect",
|
||||
"-f",
|
||||
"{{.State.Running}} {{.RestartCount}} {{.State.ExitCode}} "
|
||||
"{{.State.StartedAt}}",
|
||||
container,
|
||||
).split()
|
||||
return json.dumps(
|
||||
{
|
||||
"running": fields[0] == "true",
|
||||
"restart_count": int(fields[1]),
|
||||
"exit_code": int(fields[2]),
|
||||
"started_at": fields[3],
|
||||
},
|
||||
)
|
||||
|
||||
|
||||
def extra_name(project: str, name: str) -> str:
|
||||
if name not in EXTRA_SERVICES:
|
||||
raise HookError(f"extra service must be one of {EXTRA_SERVICES}")
|
||||
return f"{project}-{name}-extra"
|
||||
|
||||
|
||||
def run_extra(project: str, name: str, pairs: list[str]) -> str:
|
||||
"""Второй процесс сервиса с этим окружением; прежний такой убирается."""
|
||||
for pair in pairs:
|
||||
if not EXTRA_ENV_RE.fullmatch(pair):
|
||||
raise HookError(f"bad environment pair: {pair!r}")
|
||||
container = extra_name(project, name)
|
||||
subprocess.run(
|
||||
["docker", "rm", "-f", container],
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
options = [arg for pair in pairs for arg in ("-e", pair)]
|
||||
compose(
|
||||
project,
|
||||
"run",
|
||||
"-d",
|
||||
"--no-deps",
|
||||
"--name",
|
||||
container,
|
||||
*options,
|
||||
name,
|
||||
)
|
||||
return ""
|
||||
|
||||
|
||||
def stop_extra(project: str) -> str:
|
||||
for name in EXTRA_SERVICES:
|
||||
subprocess.run(
|
||||
["docker", "rm", "-f", extra_name(project, name)],
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
return ""
|
||||
|
||||
|
||||
def render_tool(project: str, action: str, args: list[str]) -> str:
|
||||
if args not in ([], ["extra"]):
|
||||
raise HookError("render action takes only an optional extra")
|
||||
container = (
|
||||
extra_name(project, "worker") if args else worker_container(project)
|
||||
)
|
||||
return docker(
|
||||
"exec",
|
||||
container,
|
||||
"python",
|
||||
"-I",
|
||||
"-c",
|
||||
RENDER_TOOL_PY,
|
||||
action,
|
||||
)
|
||||
|
||||
|
||||
def wait_commit_stall(project: str) -> str:
|
||||
"""Фиксация дошла до COMMIT и ждёт в отложенном триггере."""
|
||||
deadline = time.monotonic() + COMMIT_STALL_TIMEOUT_S
|
||||
while time.monotonic() < deadline:
|
||||
if psql(project, COMMIT_STALL_SQL).strip() not in ("", "0"):
|
||||
return ""
|
||||
time.sleep(0.05)
|
||||
raise HookError(f"no COMMIT in pg_sleep in {COMMIT_STALL_TIMEOUT_S}s")
|
||||
|
||||
|
||||
def object_sha256(project: str, key: str) -> str:
|
||||
result = subprocess.run(
|
||||
[
|
||||
"docker",
|
||||
"exec",
|
||||
api_container(project),
|
||||
"python",
|
||||
"-c",
|
||||
OBJECT_SHA256_PY,
|
||||
object_key(key),
|
||||
],
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
if result.returncode != 0:
|
||||
tail = result.stderr.decode(errors="replace").strip().splitlines()[-1:]
|
||||
raise HookError(f"object-sha256 failed: {tail}")
|
||||
lines = result.stdout.decode(errors="replace").strip().splitlines()
|
||||
return lines[-1] if lines else ""
|
||||
|
||||
|
||||
def broker_memory_limit(project: str, value: str) -> str:
|
||||
if not BROKER_LIMIT_RE.fullmatch(value):
|
||||
raise HookError(f"bad memory limit: {value!r}")
|
||||
compose(
|
||||
project,
|
||||
"exec",
|
||||
"-T",
|
||||
"rabbitmq",
|
||||
"rabbitmqctl",
|
||||
"-q",
|
||||
"set_vm_memory_high_watermark",
|
||||
"absolute",
|
||||
value,
|
||||
)
|
||||
return ""
|
||||
|
||||
|
||||
def delete_variant(project: str, attachment_id: str, name: str) -> str:
|
||||
"""Вариант готового вложения: строка, затем объект (filer)."""
|
||||
if name not in VARIANT_NAMES:
|
||||
raise HookError(f"variant must be one of {VARIANT_NAMES}")
|
||||
key = psql(
|
||||
project,
|
||||
DELETE_VARIANT_SQL,
|
||||
title=str(uuid.UUID(attachment_id)),
|
||||
mode=name,
|
||||
).strip()
|
||||
if not key:
|
||||
raise HookError(f"variant {name} of {attachment_id} not found")
|
||||
return delete_object(project, key.splitlines()[0])
|
||||
|
||||
|
||||
def replay(project: str, args: list[str]) -> str:
|
||||
"""Команда реестра в одноразовом контейнере relay: записи процесса и
|
||||
строка `exit_code=<n>`."""
|
||||
for arg in args:
|
||||
if not REPLAY_OPTION_RE.fullmatch(arg):
|
||||
raise HookError(f"bad replay argument: {arg!r}")
|
||||
result = compose_run(
|
||||
project,
|
||||
"run",
|
||||
"--rm",
|
||||
"--no-deps",
|
||||
"-T",
|
||||
"relay",
|
||||
"replay",
|
||||
*args,
|
||||
)
|
||||
lines = [*result.stdout.splitlines(), *result.stderr.splitlines()]
|
||||
return "\n".join([*lines, f"exit_code={result.returncode}"])
|
||||
|
||||
|
||||
def worker_container(project: str) -> str:
|
||||
return service_container(project, "worker")
|
||||
|
||||
|
||||
def worker_action(project: str, action: str) -> str:
|
||||
"""`start` — тот же контейнер, `docker start`, как у уборщика: у compose
|
||||
start нет контейнера одноразовых зависимостей."""
|
||||
if action == "stop":
|
||||
return compose(project, "stop", "worker")
|
||||
if action in ("pause", "unpause"):
|
||||
return compose(project, action, "worker")
|
||||
if action == "freeze":
|
||||
docker("kill", "-s", "STOP", worker_container(project))
|
||||
return ""
|
||||
docker(action, worker_container(project))
|
||||
return ""
|
||||
|
||||
@@ -1112,16 +1534,19 @@ def row_change(project: str, sql: str, attachment_id: str, value: str) -> str:
|
||||
return ""
|
||||
|
||||
|
||||
def reconcile_options(args: list[str]) -> list[str]:
|
||||
def reconcile_options(args: list[str]) -> tuple[list[str], list[str]]:
|
||||
"""Аргументы сверки после режима: необязательный предел изменений
|
||||
первым, затем `--strategy batch|head`, `--deep`,
|
||||
`--max-objects-per-second R`. Каждый — по списку разрешённых, иначе
|
||||
код 2 hook."""
|
||||
`--max-objects-per-second R`, `--staging-retention S`, `--grace S`. Каждый — по списку
|
||||
разрешённых, иначе код 2 hook. Возвращает аргументы команды и аргументы
|
||||
`docker compose run` (окружение)."""
|
||||
usage = (
|
||||
"reconcile dry-run|apply [<max changes>] [--strategy batch|head] "
|
||||
"[--deep] [--max-objects-per-second R]"
|
||||
"[--deep] [--max-objects-per-second R] [--staging-retention S] "
|
||||
"[--grace S]"
|
||||
)
|
||||
options: list[str] = []
|
||||
run_options: list[str] = []
|
||||
rest = list(args)
|
||||
if rest and not rest[0].startswith("--"):
|
||||
if not rest[0].isdigit() or int(rest[0]) < 1:
|
||||
@@ -1142,9 +1567,19 @@ def reconcile_options(args: list[str]) -> list[str]:
|
||||
if not RATE_PATTERN.fullmatch(value):
|
||||
raise HookError(usage)
|
||||
options += [name, value]
|
||||
elif name == "--staging-retention" and rest and rest[0].isdigit():
|
||||
run_options += [
|
||||
"-e",
|
||||
f"CLEANER__STAGING_RETENTION_SECONDS={int(rest.pop(0))}",
|
||||
]
|
||||
elif name == "--grace" and rest and rest[0].isdigit():
|
||||
run_options += [
|
||||
"-e",
|
||||
f"CLEANER__PENDING_GRACE_SECONDS={int(rest.pop(0))}",
|
||||
]
|
||||
else:
|
||||
raise HookError(usage)
|
||||
return options
|
||||
return options, run_options
|
||||
|
||||
|
||||
def reconcile(project: str, mode: str, args: list[str]) -> str:
|
||||
@@ -1152,13 +1587,14 @@ def reconcile(project: str, mode: str, args: list[str]) -> str:
|
||||
процесса и строка `exit_code=<n>`."""
|
||||
if mode not in RECONCILE_MODES:
|
||||
raise HookError("reconcile dry-run|apply [<max changes>] [options]")
|
||||
options = reconcile_options(args)
|
||||
options, run_options = reconcile_options(args)
|
||||
result = compose_run(
|
||||
project,
|
||||
"run",
|
||||
"--rm",
|
||||
"--no-deps",
|
||||
"-T",
|
||||
*run_options,
|
||||
"cleaner",
|
||||
"reconcile",
|
||||
*RECONCILE_MODES[mode],
|
||||
@@ -1177,10 +1613,7 @@ def cleaner_action(project: str, action: str) -> str:
|
||||
"""
|
||||
if action == "stop":
|
||||
return compose(project, "stop", "cleaner")
|
||||
container = compose(project, "ps", "-a", "-q", "cleaner")
|
||||
if not container:
|
||||
raise HookError("cleaner container of the stand not found")
|
||||
docker("start", container)
|
||||
docker("start", service_container(project, "cleaner"))
|
||||
return ""
|
||||
|
||||
|
||||
@@ -1208,7 +1641,14 @@ def run_cleaner(project: str, seconds: str) -> str:
|
||||
"cleaner",
|
||||
)
|
||||
try:
|
||||
time.sleep(duration)
|
||||
# проход на большом bucket при 0,25 CPU дольше старта: остановка раньше
|
||||
# его конца прервала бы его сигналом
|
||||
deadline = time.monotonic() + duration
|
||||
while (
|
||||
SCHEDULED_PASS_DONE not in docker("logs", name)
|
||||
and time.monotonic() < deadline
|
||||
):
|
||||
time.sleep(0.5)
|
||||
docker("stop", name)
|
||||
return docker("logs", name)
|
||||
finally:
|
||||
@@ -1259,8 +1699,86 @@ def run(project: str, action: str, args: list[str]) -> str:
|
||||
"""Выполнить действие; синтаксис без match: hook запускают и 3.9."""
|
||||
if action in ("stop", "start") and args == ["cleaner"]:
|
||||
return cleaner_action(project, action)
|
||||
if action in ("stop", "start", "kill") and args == ["worker"]:
|
||||
if action in (
|
||||
"stop",
|
||||
"start",
|
||||
"kill",
|
||||
"pause",
|
||||
"unpause",
|
||||
"freeze",
|
||||
) and args == ["worker"]:
|
||||
return worker_action(project, action)
|
||||
if action in ("stop", "start", "kill", "pause", "unpause") and args == [
|
||||
"relay",
|
||||
]:
|
||||
return relay_action(project, action)
|
||||
if action == "relay-log" and not args:
|
||||
return docker("logs", service_container(project, "relay"))
|
||||
if action == "relay-state" and not args:
|
||||
return container_state(service_container(project, "relay"))
|
||||
if action == "run-worker":
|
||||
return run_extra(project, "worker", args)
|
||||
if action == "run-relay":
|
||||
return run_extra(project, "relay", args)
|
||||
if action == "stop-extra" and not args:
|
||||
return stop_extra(project)
|
||||
if action == "extra-log" and len(args) == 1:
|
||||
return docker("logs", extra_name(project, args[0]))
|
||||
if action in ("kill-extra", "pause-extra", "unpause-extra") and args == [
|
||||
"worker",
|
||||
]:
|
||||
docker(action.split("-")[0], extra_name(project, "worker"))
|
||||
return ""
|
||||
if action == "expire-lease" and len(args) == 1:
|
||||
return row_change(project, EXPIRE_LEASE_SQL, args[0], "")
|
||||
if action == "attachment-row" and len(args) == 1:
|
||||
return psql(project, ATTACHMENT_ROW_SQL, title=str(uuid.UUID(args[0])))
|
||||
if action == "attachment-free" and len(args) == 1:
|
||||
return psql(
|
||||
project,
|
||||
ATTACHMENT_FREE_SQL,
|
||||
title=str(uuid.UUID(args[0])),
|
||||
)
|
||||
if action == "cleaner-log" and not args:
|
||||
return docker("logs", service_container(project, "cleaner"))
|
||||
if action == "kill-render":
|
||||
return render_tool(project, "kill", args)
|
||||
if action == "render-env":
|
||||
return render_tool(project, "env", args)
|
||||
if action == "render-count":
|
||||
return render_tool(project, "count", args)
|
||||
if action == "wait-commit-stall" and not args:
|
||||
return wait_commit_stall(project)
|
||||
if action == "object-sha256" and len(args) == 1:
|
||||
return object_sha256(project, args[0])
|
||||
if action == "broker-memory-limit" and len(args) == 1:
|
||||
return broker_memory_limit(project, args[0])
|
||||
if action == "set-sha256" and len(args) == 2:
|
||||
if not SHA256_RE.fullmatch(args[1]):
|
||||
raise HookError("sha256 must be 64 hex digits")
|
||||
return row_change(project, SET_SHA256_SQL, args[0], args[1])
|
||||
if action == "set-staging-key" and len(args) == 2:
|
||||
return row_change(
|
||||
project,
|
||||
SET_STAGING_KEY_SQL,
|
||||
args[0],
|
||||
row_key(args[1]),
|
||||
)
|
||||
if action == "set-next-attempt" and len(args) == 2:
|
||||
return row_change(
|
||||
project,
|
||||
SET_NEXT_ATTEMPT_SQL,
|
||||
args[0],
|
||||
str(float(args[1])),
|
||||
)
|
||||
if action == "delete-variant" and len(args) == 2:
|
||||
return delete_variant(project, args[0], args[1])
|
||||
if action == "cancel-to-pending" and len(args) == 1:
|
||||
return row_change(project, CANCEL_TO_PENDING_SQL, args[0], "")
|
||||
if action == "replay":
|
||||
return replay(project, args)
|
||||
if action == "replays" and len(args) == 1:
|
||||
return psql(project, REPLAYS_SQL, title=str(uuid.UUID(args[0])))
|
||||
if action in (
|
||||
"stop",
|
||||
"start",
|
||||
@@ -1279,9 +1797,9 @@ def run(project: str, action: str, args: list[str]) -> str:
|
||||
if action == "delete-queue" and not args:
|
||||
return delete_queue(project)
|
||||
if action == "peek-job" and not args:
|
||||
return api_python(project, PEEK_JOB_PY)
|
||||
return relay_python(project, PEEK_JOB_PY)
|
||||
if action == "publish-job" and not args:
|
||||
return api_python(project, PUBLISH_JOB_PY, sys.stdin.buffer.read())
|
||||
return relay_python(project, PUBLISH_JOB_PY, sys.stdin.buffer.read())
|
||||
if action == "job" and len(args) == 1:
|
||||
return psql(project, JOB_SQL, title=str(uuid.UUID(args[0])))
|
||||
if action == "staging-ids" and not args:
|
||||
|
||||
@@ -335,6 +335,117 @@ def png_rgba_large(width: int = 8000, height: int = 5000) -> bytes:
|
||||
return buffer.getvalue()
|
||||
|
||||
|
||||
def png_stripes(
|
||||
stripes: tuple[tuple[int, tuple[int, int, int]], ...] = (
|
||||
(100, (255, 0, 0)),
|
||||
(200, (0, 0, 255)),
|
||||
(100, (0, 255, 0)),
|
||||
),
|
||||
height: int = 200,
|
||||
) -> bytes:
|
||||
"""PNG RGB из вертикальных полос `(ширина, цвет)`: по умолчанию 400 × 200
|
||||
спека «Crop большого изображения»."""
|
||||
from PIL import Image # noqa: PLC0415
|
||||
|
||||
width = sum(stripe for stripe, _ in stripes)
|
||||
image = Image.new("RGB", (width, height))
|
||||
left = 0
|
||||
for stripe, color in stripes:
|
||||
image.paste(color, (left, 0, left + stripe, height))
|
||||
left += stripe
|
||||
buffer = io.BytesIO()
|
||||
image.save(buffer, "PNG")
|
||||
return buffer.getvalue()
|
||||
|
||||
|
||||
def png_solid(width: int, height: int) -> bytes:
|
||||
"""PNG RGB одного цвета любых размеров в маленьком файле."""
|
||||
from PIL import Image # noqa: PLC0415
|
||||
|
||||
buffer = io.BytesIO()
|
||||
Image.new("RGB", (width, height), (10, 120, 200)).save(
|
||||
buffer,
|
||||
"PNG",
|
||||
compress_level=1,
|
||||
)
|
||||
return buffer.getvalue()
|
||||
|
||||
|
||||
# строка производителя в EXIF `jpeg_with_metadata`: её не должно быть в
|
||||
# вариантах (спек «Optimized без метаданных»)
|
||||
JPEG_MAKER = "student-tests-maker"
|
||||
|
||||
|
||||
def jpeg_with_metadata(orientation: int = 6) -> bytes:
|
||||
"""JPEG 400 × 200, левая половина красная, правая синяя, с EXIF orientation,
|
||||
строкой производителя и профилем ICC."""
|
||||
from PIL import Image, ImageCms # noqa: PLC0415
|
||||
|
||||
image = Image.new("RGB", (400, 200), (255, 0, 0))
|
||||
image.paste((0, 0, 255), (200, 0, 400, 200))
|
||||
exif = Image.Exif()
|
||||
exif[0x0112] = orientation
|
||||
exif[0x010F] = JPEG_MAKER
|
||||
profile = ImageCms.ImageCmsProfile(ImageCms.createProfile("sRGB"))
|
||||
buffer = io.BytesIO()
|
||||
image.save(
|
||||
buffer,
|
||||
"JPEG",
|
||||
quality=95,
|
||||
exif=exif,
|
||||
icc_profile=profile.tobytes(),
|
||||
)
|
||||
return buffer.getvalue()
|
||||
|
||||
|
||||
def _scan_end(data: bytes, start: int) -> int:
|
||||
"""Конец сжатых данных скана: первый маркер, кроме `FF00` и RST."""
|
||||
pos = start
|
||||
while True:
|
||||
pos = data.index(b"\xff", pos)
|
||||
marker = data[pos + 1]
|
||||
if marker != 0 and not 0xD0 <= marker <= 0xD7:
|
||||
return pos
|
||||
pos += 2
|
||||
|
||||
|
||||
def jpeg_scan_bomb(size: int = MAX_BYTES - 64) -> bytes:
|
||||
"""«Дорогой» JPEG в пределах контракта: прогрессивный 8000 × 5000, самый
|
||||
маленький скан повторён до `size` байт (сотни тысяч сканов). Структурная
|
||||
проверка его принимает, а декодирование занимает больше минуты CPU
|
||||
(design change `pipeline-reliability`, таблица проб)."""
|
||||
from PIL import Image # noqa: PLC0415
|
||||
|
||||
buffer = io.BytesIO()
|
||||
Image.new("RGB", (8000, 5000), (128, 128, 128)).save(
|
||||
buffer,
|
||||
"JPEG",
|
||||
progressive=True,
|
||||
quality=50,
|
||||
)
|
||||
data = buffer.getvalue()
|
||||
scans = []
|
||||
pos = 0
|
||||
while (pos := data.find(b"\xff\xda", pos)) != -1:
|
||||
(length,) = struct.unpack_from(">H", data, pos + 2)
|
||||
end = _scan_end(data, pos + 2 + length)
|
||||
scans.append(data[pos:end])
|
||||
pos = end
|
||||
# только сканы AC (Ss > 0): их можно повторять, не ломая DC
|
||||
repeatable = [
|
||||
scan
|
||||
for scan in scans
|
||||
if scan[2 + struct.unpack_from(">H", scan, 2)[0] - 3] > 0
|
||||
]
|
||||
smallest = min(repeatable, key=len)
|
||||
body = data[: -len(JPEG_EOI)]
|
||||
count = (size - len(data)) // len(smallest)
|
||||
assert count > 100_000, f"scan of {len(smallest)} bytes is too big"
|
||||
bomb = body + smallest * count + JPEG_EOI
|
||||
assert len(bomb) <= MAX_BYTES
|
||||
return bomb
|
||||
|
||||
|
||||
def png_variants() -> dict[str, bytes]:
|
||||
"""Разновидности PNG спека: палитра, альфа, серый с альфой, 16 и 1
|
||||
бит, Adam7."""
|
||||
|
||||
@@ -10,7 +10,9 @@ S3 и брокер со своими volumes, порты хранилищ не
|
||||
решение 9) и передаёт значения тестам; уборщика с плановой сверкой
|
||||
`<проект>-cleaner-scheduled` запускает hook и убирает этот скрипт;
|
||||
- запускает worker с короткими сроками и малым числом попыток (design
|
||||
change `async-attachments`, решение 15) и передаёт значения тестам;
|
||||
change `async-attachments`, решение 15) и relay с частым опросом и коротким
|
||||
порогом потерянного сообщения (design change `pipeline-reliability`, решение
|
||||
15) и передаёт значения тестам;
|
||||
- запускает четыре контейнера API: обычный (с `MAX_UPLOAD_BYTES=1` и
|
||||
`MAX_IMAGE_PIXELS=1` в окружении — лимиты вложений от них не зависят),
|
||||
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
|
||||
@@ -19,8 +21,8 @@ S3 и брокер со своими volumes, порты хранилищ не
|
||||
«с коротким сроком S3» (срок вызова S3 1 с; change
|
||||
`fix-upload-put-flake`);
|
||||
- прогоняет тесты с маркером `fault` (`pytest -m fault`), передав им hook
|
||||
`student-tests/fault_hook.py`; при падении печатает журналы API, уборщика
|
||||
и worker;
|
||||
`student-tests/fault_hook.py`; при падении печатает журналы API, уборщика,
|
||||
worker и relay;
|
||||
- после тестов читает журнал PostgreSQL стенда: печатает сводку и падает
|
||||
на признаках аварийного перезапуска (решение 12 design change
|
||||
`fix-known-issues`);
|
||||
@@ -180,6 +182,9 @@ def cleaner_timings(project: str) -> dict[str, str]:
|
||||
return {
|
||||
"FAULT_CLEANER_GRACE_S": environment["CLEANER__PENDING_GRACE_SECONDS"],
|
||||
"FAULT_CLEANER_INTERVAL_S": environment["CLEANER__INTERVAL_SECONDS"],
|
||||
"FAULT_CLEANER_STAGING_RETENTION_S": environment[
|
||||
"CLEANER__STAGING_RETENTION_SECONDS"
|
||||
],
|
||||
"FAULT_RECONCILER_INTERVAL_S": environment[
|
||||
"RECONCILER__INTERVAL_SECONDS"
|
||||
],
|
||||
@@ -195,18 +200,42 @@ def worker_timings(project: str) -> dict[str, str]:
|
||||
]
|
||||
return {
|
||||
"FAULT_WORKER_MAX_ATTEMPTS": environment["WORKER__MAX_ATTEMPTS"],
|
||||
"FAULT_WORKER_RETRY_DELAY_S": environment[
|
||||
"WORKER__RETRY_DELAY_SECONDS"
|
||||
"FAULT_WORKER_RETRY_BASE_S": environment[
|
||||
"WORKER__RETRY_BASE_DELAY_SECONDS"
|
||||
],
|
||||
"FAULT_WORKER_RETRY_MAX_S": environment[
|
||||
"WORKER__RETRY_MAX_DELAY_SECONDS"
|
||||
],
|
||||
"FAULT_WORKER_JOB_TIMEOUT_S": environment[
|
||||
"WORKER__JOB_TIMEOUT_SECONDS"
|
||||
],
|
||||
"FAULT_WORKER_LEASE_MARGIN_S": environment[
|
||||
"WORKER__LEASE_MARGIN_SECONDS"
|
||||
],
|
||||
"FAULT_WORKER_RENDER_TIMEOUT_S": environment[
|
||||
"WORKER__RENDER_TIMEOUT_SECONDS"
|
||||
],
|
||||
"FAULT_WORKER_RENDER_CPU_S": environment[
|
||||
"WORKER__RENDER_CPU_LIMIT_SECONDS"
|
||||
],
|
||||
"FAULT_WORKER_GRACEFUL_S": environment[
|
||||
"WORKER__GRACEFUL_SHUTDOWN_SECONDS"
|
||||
],
|
||||
}
|
||||
|
||||
|
||||
def relay_timings(project: str) -> dict[str, str]:
|
||||
"""Сроки relay стенда — из конфигурации compose: тесты ждут по ним."""
|
||||
config = dc(project, "config", "--format", "json", quiet=True)
|
||||
environment = json.loads(config.stdout)["services"]["relay"]["environment"]
|
||||
return {
|
||||
"FAULT_RELAY_POLL_S": environment["RELAY__POLL_INTERVAL_SECONDS"],
|
||||
"FAULT_RELAY_REPUBLISH_S": environment[
|
||||
"RELAY__REPUBLISH_AFTER_SECONDS"
|
||||
],
|
||||
}
|
||||
|
||||
|
||||
def env_pairs(env: dict[str, str]) -> str:
|
||||
"""`KEY=value` через пробел: так окружение API получают тесты."""
|
||||
return " ".join(f"{key}={value}" for key, value in env.items())
|
||||
@@ -344,12 +373,16 @@ def main() -> int:
|
||||
# уборщик с плановой сверкой — его запускает hook run-cleaner (design
|
||||
# change track2-reconciler, решение 11); убирается вместе с API
|
||||
scheduled_name = f"{project}-cleaner-scheduled"
|
||||
# вторые worker и relay — их запускает hook run-worker и run-relay (design
|
||||
# change pipeline-reliability, решение 14)
|
||||
containers = [
|
||||
default_name,
|
||||
tight_name,
|
||||
uploads_name,
|
||||
s3_name,
|
||||
scheduled_name,
|
||||
f"{project}-worker-extra",
|
||||
f"{project}-relay-extra",
|
||||
]
|
||||
|
||||
say(f"project={project} (working stand: {working})")
|
||||
@@ -397,11 +430,21 @@ def main() -> int:
|
||||
workers = worker_timings(project)
|
||||
say(
|
||||
f"start worker: attempts {workers['FAULT_WORKER_MAX_ATTEMPTS']}, "
|
||||
f"retry delay {workers['FAULT_WORKER_RETRY_DELAY_S']} s, "
|
||||
f"retry {workers['FAULT_WORKER_RETRY_BASE_S']}–"
|
||||
f"{workers['FAULT_WORKER_RETRY_MAX_S']} s, "
|
||||
f"job timeout {workers['FAULT_WORKER_JOB_TIMEOUT_S']} s, "
|
||||
f"lease margin {workers['FAULT_WORKER_LEASE_MARGIN_S']} s, "
|
||||
f"render {workers['FAULT_WORKER_RENDER_TIMEOUT_S']} s / "
|
||||
f"{workers['FAULT_WORKER_RENDER_CPU_S']} s CPU, "
|
||||
f"graceful {workers['FAULT_WORKER_GRACEFUL_S']} s",
|
||||
)
|
||||
dc(project, "up", "-d", "--no-deps", "worker")
|
||||
relays = relay_timings(project)
|
||||
say(
|
||||
f"start relay: poll {relays['FAULT_RELAY_POLL_S']} s, "
|
||||
f"republish after {relays['FAULT_RELAY_REPUBLISH_S']} s",
|
||||
)
|
||||
dc(project, "up", "-d", "--no-deps", "relay")
|
||||
say("start api containers")
|
||||
base_url = start_api(project, default_name, free_port(), LIMITS_ENV)
|
||||
tight_url = start_api(project, tight_name, free_port(), TIGHT_ENV)
|
||||
@@ -432,6 +475,7 @@ def main() -> int:
|
||||
| storage_names(project)
|
||||
| timings
|
||||
| workers
|
||||
| relays
|
||||
)
|
||||
say("pytest -m fault")
|
||||
results["fault"] = run(
|
||||
@@ -467,7 +511,7 @@ def main() -> int:
|
||||
name,
|
||||
check=False,
|
||||
)
|
||||
for service in ("cleaner", "worker"):
|
||||
for service in ("cleaner", "worker", "relay"):
|
||||
say(f"last {LOG_TAIL_LINES} lines of {service}")
|
||||
dc(
|
||||
project,
|
||||
|
||||
@@ -250,12 +250,13 @@ def main() -> int:
|
||||
project = compose_project()
|
||||
container = f"{project}-test-api"
|
||||
worker = f"{project}-test-worker"
|
||||
containers = (container, worker)
|
||||
relay = f"{project}-test-relay"
|
||||
containers = (container, worker, relay)
|
||||
base_url = f"http://127.0.0.1:{port}"
|
||||
|
||||
say(
|
||||
f"database={test_db} objects={prefix}/ queue={queue} "
|
||||
f"containers={container} {worker} base_url={base_url}",
|
||||
f"containers={container} {worker} {relay} base_url={base_url}",
|
||||
)
|
||||
for name in containers:
|
||||
remove_container(name)
|
||||
@@ -317,6 +318,22 @@ def main() -> int:
|
||||
"worker",
|
||||
quiet=True,
|
||||
)
|
||||
# без relay задания ждали бы в PostgreSQL: загрузка 202, а ready нет
|
||||
# (design change pipeline-reliability, решение 13)
|
||||
say("start relay container")
|
||||
run(
|
||||
"docker",
|
||||
"compose",
|
||||
"run",
|
||||
"-d",
|
||||
"--no-deps",
|
||||
"--name",
|
||||
relay,
|
||||
"-e",
|
||||
f"DATABASE__NAME={test_db}",
|
||||
"relay",
|
||||
quiet=True,
|
||||
)
|
||||
say("ready")
|
||||
for target in ("test", "student_test"):
|
||||
say(f"make {target}")
|
||||
|
||||
@@ -20,6 +20,7 @@ CAPABILITIES = (
|
||||
"messages",
|
||||
"pagination",
|
||||
"data-storage",
|
||||
"job-outbox",
|
||||
"chat-cache",
|
||||
"health",
|
||||
"idempotency",
|
||||
@@ -184,7 +185,7 @@ EXCLUDED: dict[Scenario, Exclusion] = {
|
||||
reason="нужна прямая вставка в таблицы PostgreSQL, а тесты ходят по "
|
||||
"HTTP",
|
||||
check="driver.py --port <LB> attachment-storage: пробы ограничений "
|
||||
"обработки в откатываемой транзакции — "
|
||||
"обработки и записи аудита replay в откатываемой транзакции — "
|
||||
"evidence/attachments/storage.md",
|
||||
),
|
||||
}
|
||||
|
||||
@@ -5,7 +5,6 @@ Thumbnail, скачивание варианта, готовность и `faile
|
||||
(`test_failures.py`).
|
||||
"""
|
||||
|
||||
import io
|
||||
import time
|
||||
from typing import Any
|
||||
|
||||
@@ -20,6 +19,7 @@ from contract import (
|
||||
assert_ok,
|
||||
assert_replicas,
|
||||
assert_variant_content,
|
||||
assert_variant_image,
|
||||
)
|
||||
|
||||
# сколько раз читать метаданные через LB, чтобы увидеть другую реплику
|
||||
@@ -30,6 +30,12 @@ RED = (255, 0, 0)
|
||||
BLUE = (0, 0, 255)
|
||||
WHITE = (255, 255, 255)
|
||||
BLACK = (0, 0, 0)
|
||||
VARIANT_TYPES = {
|
||||
"thumbnail": "image/jpeg",
|
||||
"crop": "image/jpeg",
|
||||
"optimized": "image/webp",
|
||||
}
|
||||
VARIANT_NAMES = tuple(VARIANT_TYPES)
|
||||
|
||||
|
||||
def thumbnail_of(
|
||||
@@ -37,19 +43,32 @@ def thumbnail_of(
|
||||
actor: Actor,
|
||||
attachment: dict[str, Any],
|
||||
) -> Image.Image:
|
||||
"""Вариант из метаданных готового вложения: скачан, сверен и открыт
|
||||
как настоящий JPEG; настоящие размеры равны полям варианта."""
|
||||
assert [item["name"] for item in attachment["variants"]] == ["thumbnail"]
|
||||
variant = attachment["variants"][0]
|
||||
"""Вариант `thumbnail` готового вложения: скачан, сверен и открыт как
|
||||
настоящий JPEG; настоящие размеры равны полям варианта."""
|
||||
return variant_of(api, actor, attachment, "thumbnail")
|
||||
|
||||
|
||||
def variant_of(
|
||||
api: Api,
|
||||
actor: Actor,
|
||||
attachment: dict[str, Any],
|
||||
name: str,
|
||||
) -> Image.Image:
|
||||
"""Вариант из метаданных: у вложения по одному варианту каждого имени, байты
|
||||
скачаны и сверены с SHA-256 и размером, файл — настоящее изображение своего
|
||||
типа и размера."""
|
||||
assert sorted(item["name"] for item in attachment["variants"]) == sorted(
|
||||
VARIANT_NAMES,
|
||||
)
|
||||
variant = next(
|
||||
item for item in attachment["variants"] if item["name"] == name
|
||||
)
|
||||
assert variant["content_type"] == VARIANT_TYPES[name]
|
||||
data = assert_variant_content(
|
||||
api.attachment_content(actor, attachment["id"], variant="thumbnail"),
|
||||
api.attachment_content(actor, attachment["id"], variant=name),
|
||||
variant,
|
||||
)
|
||||
image = Image.open(io.BytesIO(data))
|
||||
assert image.format == "JPEG"
|
||||
assert image.size == (variant["width"], variant["height"])
|
||||
assert variant["content_type"] == "image/jpeg"
|
||||
return image
|
||||
return assert_variant_image(data, variant)
|
||||
|
||||
|
||||
def assert_color(
|
||||
@@ -85,7 +104,8 @@ def test_attachment_becomes_ready(
|
||||
ready = api.wait_attachment(alice, accepted["id"])
|
||||
print(f"ready in {time.monotonic() - started:.2f} s")
|
||||
assert ready["error_code"] is None
|
||||
assert [item["name"] for item in ready["variants"]] == ["thumbnail"]
|
||||
for name in VARIANT_NAMES:
|
||||
variant_of(api, alice, ready, name)
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Fixture 320 × 200")
|
||||
@@ -218,7 +238,148 @@ def test_thumbnail_format_variants(
|
||||
content_type=content_type,
|
||||
filename=f"{name}.img",
|
||||
)
|
||||
thumbnail_of(api, alice, attachment)
|
||||
for variant in VARIANT_NAMES:
|
||||
variant_of(api, alice, attachment, variant)
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Crop большого изображения")
|
||||
def test_crop_center(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(alice, chat["id"], images.png_stripes())
|
||||
image = variant_of(api, alice, attachment, "crop")
|
||||
assert image.size == (128, 128)
|
||||
for position in ((64, 64), (3, 3), (124, 124), (3, 124), (124, 3)):
|
||||
assert_color(image, position, BLUE)
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Crop маленького изображения")
|
||||
def test_crop_small(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(alice, chat["id"], images.png_solid(50, 20))
|
||||
assert variant_of(api, alice, attachment, "crop").size == (128, 128)
|
||||
|
||||
|
||||
@pytest.mark.spec(
|
||||
"attachment-processing",
|
||||
"Crop с ориентацией и прозрачностью",
|
||||
)
|
||||
def test_crop_orientation_alpha(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
rotated = api.upload_ready(
|
||||
alice,
|
||||
chat["id"],
|
||||
images.jpeg_halves(orientation=6),
|
||||
content_type="image/jpeg",
|
||||
)
|
||||
image = variant_of(api, alice, rotated, "crop")
|
||||
assert_color(image, (64, 16), RED)
|
||||
assert_color(image, (64, 112), BLUE)
|
||||
transparent = api.upload_ready(
|
||||
alice,
|
||||
chat["id"],
|
||||
images.png_half_transparent(),
|
||||
)
|
||||
image = variant_of(api, alice, transparent, "crop")
|
||||
assert_color(image, (16, 64), BLACK)
|
||||
assert_color(image, (112, 64), WHITE)
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Optimized большого изображения")
|
||||
def test_optimized_fit(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
for size, expected in (
|
||||
((2000, 1000), (1280, 640)),
|
||||
((5000, 3001), (1280, 768)),
|
||||
((5000, 10), (1280, 2)),
|
||||
):
|
||||
attachment = api.upload_ready(
|
||||
alice,
|
||||
chat["id"],
|
||||
images.png_solid(*size),
|
||||
)
|
||||
image = variant_of(api, alice, attachment, "optimized")
|
||||
assert image.size == expected, size
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Optimized маленького изображения")
|
||||
def test_optimized_small(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(alice, chat["id"], images.png_solid(100, 50))
|
||||
assert variant_of(api, alice, attachment, "optimized").size == (100, 50)
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Optimized без метаданных")
|
||||
def test_optimized_no_metadata(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(
|
||||
alice,
|
||||
chat["id"],
|
||||
images.jpeg_with_metadata(orientation=6),
|
||||
content_type="image/jpeg",
|
||||
)
|
||||
image = variant_of(api, alice, attachment, "optimized")
|
||||
assert image.size == (200, 400)
|
||||
assert_color(image, (100, 50), RED)
|
||||
assert_color(image, (100, 350), BLUE)
|
||||
data = api.attachment_content(
|
||||
alice,
|
||||
attachment["id"],
|
||||
variant="optimized",
|
||||
).content
|
||||
for chunk in (b"EXIF", b"XMP ", b"ICCP", images.JPEG_MAKER.encode()):
|
||||
assert chunk not in data, chunk
|
||||
|
||||
|
||||
@pytest.mark.spec("attachment-processing", "Optimized сохраняет прозрачность")
|
||||
def test_optimized_alpha(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(
|
||||
alice,
|
||||
chat["id"],
|
||||
images.png_half_transparent(),
|
||||
)
|
||||
image = variant_of(api, alice, attachment, "optimized")
|
||||
assert image.convert("RGBA").getpixel((190, 50))[3] == 0
|
||||
assert image.convert("RGBA").getpixel((10, 50))[3] == 255
|
||||
|
||||
|
||||
@pytest.mark.spec("attachments", "Скачивание crop и optimized")
|
||||
def test_download_crop_optimized(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
bob: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(alice, chat["id"], images.sample_png())
|
||||
for name, content_type, size in (
|
||||
("crop", "image/jpeg", (128, 128)),
|
||||
("optimized", "image/webp", (320, 200)),
|
||||
):
|
||||
resp = api.attachment_content(bob, attachment["id"], variant=name)
|
||||
assert not resp.is_redirect
|
||||
assert resp.headers["Content-Type"] == content_type
|
||||
assert variant_of(api, bob, attachment, name).size == size
|
||||
|
||||
|
||||
@pytest.mark.spec("attachments", "Скачивание thumbnail")
|
||||
@@ -235,24 +396,13 @@ def test_download_thumbnail(
|
||||
variant="thumbnail",
|
||||
)
|
||||
assert not resp.is_redirect
|
||||
assert_variant_content(resp, attachment["variants"][0])
|
||||
thumbnail = next(
|
||||
item for item in attachment["variants"] if item["name"] == "thumbnail"
|
||||
)
|
||||
assert_variant_content(resp, thumbnail)
|
||||
assert resp.headers["Content-Type"] == "image/jpeg"
|
||||
|
||||
|
||||
@pytest.mark.spec("attachments", "Отсутствующий вариант")
|
||||
def test_missing_variant(
|
||||
api: Api,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
attachment = api.upload_ready(alice, chat["id"], images.sample_png())
|
||||
for variant in ("crop", "optimized"):
|
||||
assert_error(
|
||||
api.attachment_content(alice, attachment["id"], variant=variant),
|
||||
404,
|
||||
)
|
||||
|
||||
|
||||
@pytest.mark.spec("attachments", "Вариант для постороннего")
|
||||
def test_variant_outsider(
|
||||
api: Api,
|
||||
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user