forked from mtusi2026/mtusi2026lab5
fix: продление аренды задач и контроль зависшей обработки
- Добавлен heartbeat для продления lease долгих задач. - Добавлен общий таймаут с остановкой дерева процессов. - Сохранена защита от устаревших исполнителей. - Добавлены тесты и обновлена документация.
This commit is contained in:
@@ -26,5 +26,8 @@ JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
JOB_LEASE_SECONDS=90
|
||||
# Lease продлевается каждые min(10, lease/3) секунд. Общий timeout независим.
|
||||
# Для долгих задач JOB_TIMEOUT_SECONDS может быть больше JOB_LEASE_SECONDS.
|
||||
JOB_TASK_TIMEOUT_SECONDS=180
|
||||
JOB_BACKOFF_SECONDS=2
|
||||
WORKER_TASK_MEMORY_MB=640
|
||||
|
||||
+154
@@ -0,0 +1,154 @@
|
||||
# Карта проекта для подготовки к защите
|
||||
|
||||
Составлена по исходному коду 13.11.2026. Ссылки вида `src/jobs.py:29` обозначают файл и начальную строку функции; при изменении исходников номера нужно перепроверять.
|
||||
|
||||
## Что это
|
||||
|
||||
Учебный HTTP-мессенджер на Python/FastAPI. Лабораторная 5 добавляет очередь и асинхронную обработку изображений; в REPORT.md заявлена оценка 4. Возможности предыдущих работ сохранены: пользователи, сессии, чаты, сообщения, вложения, пагинация и идемпотентность сообщений.
|
||||
|
||||
README.md описывает исходное задание и называет репозиторий skeleton. Фактическая реализация уже есть в src/ и compose.yaml. При ответах о поведении ориентироваться прежде всего на код. Ссылки в отчёте на REPORT.lab2/3/4.md не означают, что эти файлы присутствуют в текущем дереве.
|
||||
|
||||
```text
|
||||
Клиент → HAProxy → FastAPI ×2 → PostgreSQL (данные, jobs, outbox)
|
||||
→ Valkey (сессии)
|
||||
→ SeaweedFS S3 (staging)
|
||||
PostgreSQL outbox → publisher → отдельный Valkey Streams broker
|
||||
↓
|
||||
worker ×2 процесса
|
||||
↓
|
||||
subprocess Pillow → S3 результаты
|
||||
↓
|
||||
PostgreSQL ready → ACK
|
||||
cleanup → незавершённые загрузки и ненужный staging
|
||||
```
|
||||
|
||||
## Как запускается проект
|
||||
|
||||
Команда из корня в Bash/WSL/Git Bash при доступном Docker Compose: `./scripts/start.sh`.
|
||||
|
||||
1. `scripts/start.sh:5`: вызывает `python3 scripts/init_local.py`.
|
||||
2. `scripts/init_local.py:12`: создаёт отсутствующие .env и secrets, сохраняет существующие значения; генерирует конфигурацию доступа к S3.
|
||||
3. `scripts/start.sh:6`: `docker compose up -d --build lb cleanup publisher worker`. Остальные сервисы поднимаются через depends_on.
|
||||
4. `compose.yaml:90`: API собирается из Dockerfile, по умолчанию две реплики. PostgreSQL/сессии/миграции/S3/bootstrap перечислены в зависимостях API.
|
||||
5. `compose.yaml:107` → `src/migrate.py:20`: отдельный migrate применяет SQL по порядку, под advisory lock, запоминает SHA-256. `src/migrate.py:11`: API только проверяет применённую схему.
|
||||
6. `compose.yaml:144` → `src/bootstrap_s3.py:13`: подготовка приватного bucket.
|
||||
7. `Dockerfile:28`: команда контейнера API `python -m src`.
|
||||
8. `src/__main__.py:8`: Uvicorn загружает `src.app:app`, host/port из окружения, один процесс на контейнер.
|
||||
9. `src/app.py:24`: lifespan открывает пул БД и проверяет миграции; `src/app.py:33` создаёт FastAPI.
|
||||
10. `compose.yaml:169`: HAProxy публикуется на 127.0.0.1:8080; `infra/haproxy.cfg:34` — backend с roundrobin и проверкой readiness.
|
||||
11. `scripts/start.sh:7` → `scripts/wait-ready.sh:5`: ожидание стенда через `scripts/replicas.py wait`.
|
||||
|
||||
Остановка: `./scripts/stop.sh`; перезапуск: `./scripts/restart.sh`. Worker: `scripts/stop-worker.sh`, `scripts/start-worker.sh`. Остановка контейнеров с сохранением volumes отличается от удаления volumes.
|
||||
|
||||
## Общий путь HTTP-запроса
|
||||
|
||||
- `src/app.py:38`: middleware создаёт request_id, определяет пользователя (Basic для входа, Bearer для остальных защищённых API), проверяет JSON, добавляет X-Request-Id и X-Instance-Id, пишет время/статус в лог.
|
||||
- `src/models.py:8`: Pydantic-модели и проверки входных данных; модели пользователя/чата/сообщения начинаются со строк 21/27/40.
|
||||
- `src/app.py:77`: обработчики ошибок; неверные параметры дают контрактный 400, вместо стандартного FastAPI 422.
|
||||
- `src/errors.py:7`: ApiError; `src/errors.py:16`: общий формат HTTP-ошибки.
|
||||
- `src/db.py:28`: пул соединений; `src/db.py:42`: контекст отдельной транзакции, COMMIT при успешном выходе, rollback при ошибке.
|
||||
|
||||
## Регистрация, вход, сессия
|
||||
|
||||
- Регистрация: `src/app.py:112` → `src/passwords.py:12` (Argon2id) → `src/storage.py:35` (INSERT users; занятый username — 409).
|
||||
- Вход: middleware `src/app.py:38` → `src/auth.py:44` (Basic username/password) → `src/app.py:180` → `src/auth.py:61` (случайный Bearer token, запись в Valkey с TTL).
|
||||
- В Valkey ключ `session:SHA256(token)`, значение — user_id/expires_at: `src/auth.py:57`. Default TTL — 3600 с: `src/config.py:11`.
|
||||
- Защищённый запрос: `src/auth.py:70` читает сессию, проверяет срок и существование пользователя.
|
||||
- Выход: `src/app.py:185` → `src/auth.py:85`, удаление сессии.
|
||||
- Valkey сессий и Valkey broker — разные сервисы: `compose.yaml:38` и `compose.yaml:50`.
|
||||
|
||||
## Чаты, сообщения и доступ
|
||||
|
||||
- Создание чата: `src/app.py:122` → `src/storage.py:57`, чат и участники в одной транзакции.
|
||||
- Проверка членства: `src/storage.py:73`. Для недоступного чата возвращается 404.
|
||||
- Создание сообщения: `src/app.py:138` проверяет Idempotency-Key → `src/storage.py:106` проверяет доступ, вложения, сохраняет сообщение и результат повтора.
|
||||
- Идемпотентность сообщений: advisory lock по пользователю/пути чата/ключу, таблица message_idempotency. Тот же ключ и тело возвращают прежнее сообщение; другое тело — 409. TTL ≥24 ч: `src/config.py:18`.
|
||||
- queued/processing можно прикреплять к сообщению; failed — 409: `src/storage.py:106`.
|
||||
- История: `src/app.py:175` → `src/storage.py:144`. Чаты: `src/storage.py:87`.
|
||||
- Keyset-пагинация по (created_at,id), LIMIT size+1; cursor содержит scope/дату/UUID: `src/pagination.py:12`, `src/pagination.py:33`. Это не OFFSET и не snapshot между страницами.
|
||||
|
||||
## Загрузка изображения и ответ 202
|
||||
|
||||
`src/app.py:146` → `src/attachments.py:99` → `src/attachments.py:73`.
|
||||
|
||||
1. Проверка членства, имени, MIME; поток сырых PNG/JPEG, не multipart.
|
||||
2. Ограничения: до 10 MiB, до 40 млн пикселей; фактический формат, verify и полное декодирование: `src/attachments.py:19`, `src/attachments.py:47`. API проверяет изображение, но не генерирует варианты.
|
||||
3. Временный файл и SHA-256; семафор ограничивает приём/проверку одной загрузкой на API-реплику.
|
||||
4. Отдельно фиксируется attachment_uploads — журнал до S3 PUT.
|
||||
5. Под advisory lock выполняется PUT в `attachments/staging/<UUID>`.
|
||||
6. В одной транзакции: attachments(status=queued), attachment_jobs, attachment_outbox; удаление строки журнала.
|
||||
7. Ответ 202 после завершённого PUT и COMMIT. Возвращается снимок queued, даже если worker уже успел закончить.
|
||||
|
||||
Важная граница: 202 означает устойчивый приём и сохранённое намерение обработки; готовность проверяется отдельно. В PostgreSQL хранятся метаданные, байты — в S3. TemporaryFile не является durable staging.
|
||||
|
||||
## Outbox и брокер
|
||||
|
||||
- `src/publisher.py:8`: выбирает доступную неопубликованную запись outbox с FOR UPDATE SKIP LOCKED → XADD → published_at → COMMIT.
|
||||
- Сбой после COMMIT upload до публикации: запись остаётся в outbox. Сбой после XADD до COMMIT publisher: возможен повтор XADD.
|
||||
- `src/broker.py:26`: JSON содержит ID, версию, attempt, время; без байтов, паролей и клиентских путей.
|
||||
- `src/broker.py:18`: XGROUP CREATE MKSTREAM с началом 0, stream attachments:v1, группа image-workers.
|
||||
- `compose.yaml:50`: AOF appendfsync always, volume broker_data, noeviction.
|
||||
- `src/broker.py:33`: ACK и XDEL в одной транзакции брокера; здесь только одна consumer group.
|
||||
|
||||
## Worker, состояния, защита от дублей
|
||||
|
||||
- `src/worker.py:166`: supervisor запускает до двух consumer-процессов и заменяет умершие.
|
||||
- `src/worker.py:140`: XAUTOCLAIM старых pending, затем XREADGROUP новых, count=1 (prefetch=1).
|
||||
- `src/worker.py:89`: валидация сообщения → `src/jobs.py:29` (claim).
|
||||
- Claim блокирует job и attachment, проверяет версию/attempt/статус, выставляет lease_token/lease_until и processing.
|
||||
- `src/worker.py:40`: читает staging, сверяет размер/SHA-256, запускает отдельный subprocess Pillow с timeout.
|
||||
- Перед финальными PUT повторно блокирует строки, проверяет lease_token и срок аренды. Старый исполнитель не публикует результат после потери аренды.
|
||||
- Ключи детерминированы: `attachments/<UUID>/v1/{original,thumbnail,crop,optimized}`. Повтор PUT пишет в те же ключи.
|
||||
- После записи всех объектов одна транзакция фиксирует ready, variants и audit; затем ACK.
|
||||
- Дубль ready: `src/worker.py:28` проверяет состав вариантов и размеры объектов, после чего ACK; обработки заново нет.
|
||||
- Состояния: queued → processing → ready; временная ошибка → queued; постоянная ошибка/исчерпанный бюджет → failed.
|
||||
- Это at-least-once доставка и идемпотентный эффект. XADD/PUT могут повторяться; exactly-once доставки нет.
|
||||
|
||||
## Retry, зависшие работы, replay
|
||||
|
||||
- Исправление 13.11.2026: `src/jobs.py:51` продлевает действующий lease по токену. Consumer вызывает heartbeat каждые min(10, lease/3) секунд через `src/task_supervisor.py:49` и выполняет работу в `src/job_runner.py:9`.
|
||||
- Срок аренды не ограничивает общую длительность: разрешено TIMEOUT > LEASE. Независимый JOB_TASK_TIMEOUT_SECONDS (default 180 с) останавливает всё дерево задачи при зависании; ошибка продления/потеря аренды тоже останавливает обработку. Resize timeout остаётся отдельным.
|
||||
- Локальные сценарии supervisor: `student-tests/test_task_supervisor.py`. Полный Docker-прогон новой версии ещё требуется; старые evidence не подтверждают heartbeat.
|
||||
- Defaults: 5 попыток, timeout subprocess 60 с, lease 90 с, backoff base 2 с: `src/jobs.py:8`.
|
||||
- `src/jobs.py:72`: exponential backoff с jitter 0.5–1.5; базовая экспонента ограничена 60 с до jitter. Постоянная ошибка сразу failed, исчерпание попыток — retry_exhausted.
|
||||
- `src/jobs.py:91`: отказ записывается только при совпадении lease_token.
|
||||
- `src/jobs.py:98`: publisher вызывает recover для истёкших processing; причина worker_lost, ограниченный retry.
|
||||
- `src/jobs.py:111`: replay только failed с неудалённым staging; тот же job_id, attempt растёт, новый ограниченный бюджет и audit.
|
||||
- Реестр failed вместо отдельной DLQ: `src/job_admin.py:9`. Команды: `docker compose exec worker python -m src.job_admin failed` и `docker compose exec worker python -m src.job_admin replay <job_id>`.
|
||||
|
||||
## Варианты изображения
|
||||
|
||||
`src/image_pipeline.py:22`: EXIF orientation, белый фон прозрачности, RGB, удаление metadata.
|
||||
|
||||
| Объект | Правило |
|
||||
| --- | --- |
|
||||
| original | Исходные байты без перекодирования |
|
||||
| thumbnail | JPEG, вписать в 256×256, пропорции сохранены, без увеличения, quality=85 |
|
||||
| crop | JPEG 128×128, центрированный crop, увеличение возможно, quality=85 |
|
||||
| optimized | WebP, вписать в 1280×1280, без увеличения, quality=80, method=4 |
|
||||
|
||||
`src/image_pipeline.py:14`: размеры округляются вниз, минимум 1 px. `src/image_pipeline.py:58`: лимиты адресной памяти и CPU subprocess; wall timeout — `src/worker.py:40`.
|
||||
|
||||
## Чтение и очистка
|
||||
|
||||
- Metadata: `src/app.py:151` → `src/attachments.py:136`, доступ по членству в чате.
|
||||
- Content: `src/app.py:156`: не-ready — 409; отсутствующий вариант ready — 404; StreamingResponse через API без redirect. `src/attachments.py:145` закрывает S3 response.
|
||||
- `src/object_store.py:16`: приватный bucket через Minio SDK к SeaweedFS; `src/object_store.py:42` — PUT.
|
||||
- `src/cleanup.py:17`: orphan-журнал старше grace period; та же advisory lock, активные загрузки пропускаются.
|
||||
- `src/cleanup.py:48`: staging ready удаляется, failed хранится по retention (default сутки); queued/processing не удаляются. После удаления failed staging replay запрещён.
|
||||
|
||||
## Схема, диагностика, проверки
|
||||
|
||||
- `migrations/001_initial.sql`: пользователи/чаты/участники/сообщения; 002 — идемпотентность; 003 — вложения/журнал/связи; 004 — статусы/jobs/outbox/events.
|
||||
- `docs/schema.md`: описание схемы и транзакционных границ.
|
||||
- `src/app.py:99`: live без зависимостей; `src/app.py:104`: ready проверяет PostgreSQL, сессии и bucket. Broker/worker не входят в readiness API: намерение принимается через outbox при их простое.
|
||||
- `src/config.py:7`: секреты читаются из файлов, заданных переменными *_FILE; значения секретов не выводить при подготовке.
|
||||
- `make check`: структура/контракт без запуска приложения; `make validate`: OpenAPI; `make test`: smoke работающего API.
|
||||
- `scripts/check-docker.sh` → `student-tests/lab5_pipeline.py:22`: полный изолированный Docker-сценарий, включая падения и восстановление.
|
||||
- `student-tests/lab5_pipeline.py`: offline worker/рестарты, долгий runner с heartbeat, зависший runner с общим timeout, падение publisher/worker, retry/replay, лимиты subprocess, cleanup и offline broker. После изменений искать сценарии по комментариям и record(...).
|
||||
- `src/faults.py:9`: одноразовые failpoints, включаются только ENABLE_FAULT_INJECTION=1; crash до/после публикации/эффекта/ACK, timeout/memory/transient.
|
||||
- `evidence/lab5-checks.json`, `evidence/lab5-checks.txt`, `evidence/lab5-restart.json`: сохранённые результаты прошлых запусков, не подтверждение текущего живого стенда.
|
||||
|
||||
## Формат быстрых ответов
|
||||
|
||||
Сначала прямой ответ на вопрос в 1–3 предложениях. Ниже короткое пояснение и 1–3 ссылки на соответствующие строки кода. Термины объяснять по необходимости. По запросу о запуске показывать цепочку start.sh → Compose → Dockerfile → __main__.py → app/lifespan. При изменениях проверять номера строк заново.
|
||||
@@ -111,7 +111,12 @@ Replay разрешён только для failed с ещё сохранённ
|
||||
- Optimized: WebP quality=80, method=4; вписывание в 1280×1280 без увеличения. Уменьшение байтов каждого маленького файла не обещается.
|
||||
- Загрузка ≤10 MiB и ≤40 млн pixels. Limit проверяется до полной распаковки; Content-Length и фактический поток проверяются независимо. Corrupt/MIME spoof — 415, bytes/pixels overflow — 413. API допускает одну проверяемую загрузку на реплику, таймаут тела 30 s и ожидания слота 20 s.
|
||||
- Worker concurrency=2, каждый consumer получает максимум одну доставку за раз. Для заданного Compose memory budget разрешено concurrency 1 или 2.
|
||||
- Каждый resize выполняется отдельным subprocess: wall timeout 60 s, CPU limit 60/61 s, address-space limit 640 MiB (`RLIMIT_AS`). При timeout subprocess убивается; MemoryError/resource termination не убивает основной consumer и проходит bounded retry. Worker container ограничен 1536 MiB, 2 CPU и 96 PID. Lease по умолчанию 90 s и должен превышать resize timeout минимум на 5 s.
|
||||
- Каждый resize выполняется отдельным subprocess: wall timeout 60 s, CPU limit 60/61 s, address-space limit 640 MiB (`RLIMIT_AS`). При timeout subprocess убивается; MemoryError/resource termination не убивает основной consumer и проходит bounded retry. Worker container ограничен 1536 MiB, 2 CPU и 96 PID.
|
||||
- После исправления 13.11.2026 lease (default 90 s, минимум 15 s) продлевается consumer каждые `min(10, lease/3)` секунд. Продление проверяет статус, lease_token и срок аренды; истёкшую или чужую аренду не восстанавливает. Исправная задача может выполняться дольше первоначального lease; resize timeout и lease больше не связаны условием `lease > timeout`.
|
||||
- Вся попытка, включая скачивание, resize и публикацию, выполняется отдельным job_runner. Consumer контролирует независимый `JOB_TASK_TIMEOUT_SECONDS` (default 180 s в Compose, не меньше resize timeout). При превышении убивает дерево runner + resize и фиксирует ограниченный retry. Heartbeat не работает бесконечно для зависшего runner. При потере аренды/ошибке продления дерево также останавливается; ACK без устойчивого результата не отправляется. В Linux runner получает сигнал при смерти consumer и завершает свою группу процессов.
|
||||
- Во время финальной транзакции PUT/COMMIT строки удерживаются под fence; heartbeat пропускает занятую блокировку, как и recovery. Общий timeout при этом продолжает действовать.
|
||||
|
||||
Если корректное преобразование может занимать 95 s, можно задать `JOB_TIMEOUT_SECONDS=120`, `JOB_LEASE_SECONDS=90`, `JOB_TASK_TIMEOUT_SECONDS=180`: lease будет продлеваться, а отдельные таймауты останутся конечными. Defaults по-прежнему разрешают resize только до 60 s; heartbeat не отменяет этот лимит.
|
||||
- S3 операции имеют connect timeout 1 s/read timeout 3 s, SDK retries отключены. PostgreSQL I/O, pool wait и блокировки ограничены. CPU/resize выполняется вне DB-транзакции; транзакция публикации результата включает только fencing, четыре ограниченных PUT и COMMIT.
|
||||
|
||||
`WORKER_TASK_MEMORY_MB` ограничивает адресное пространство процесса, а Compose mem_limit — весь контейнер. Это разные ограничения; поддержка 40 млн pixels не обещает, что любой формат/ориентация уложится в память: превышение ресурсов заканчивается наблюдаемым failed после ограниченного бюджета, а не бесконечной обработкой.
|
||||
@@ -145,7 +150,9 @@ Python base image закреплён digest в Dockerfile; S3 image — digest
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Проверено 12.11.2026: все **17 групп проверок** и **39 API regression tests** прошли. Docker 29.0.1, aarch64, 10 CPU, 8 217 448 448 bytes RAM Docker VM.
|
||||
Проверено 12.11.2026 до добавления heartbeat: все **17 групп проверок** и **39 API regression tests** прошли. Docker 29.0.1, aarch64, 10 CPU, 8 217 448 448 bytes RAM Docker VM. Эти evidence относятся к предыдущей реализации.
|
||||
|
||||
13.11.2026 после исправления локально прошли 6 проверок `python -m unittest discover -s student-tests -p test_task_supervisor.py -v` с реальными subprocess: работа дольше первой аренды, общий timeout при продолжающемся heartbeat, потеря аренды, ошибка продления, crash и убийство дочернего процесса. Полный Docker-прогон новой версии не выполнен: Docker Engine на текущей машине недоступен. В `lab5_pipeline.py` добавлены сценарии 20-секундной работы при lease=15 s без retry и зависания runner с общим timeout=25 s; они требуют повторного `./scripts/check-docker.sh`.
|
||||
|
||||
Полный воспроизводимый запуск: `./scripts/check-docker.sh`. Исходник сценария — `student-tests/lab5_pipeline.py`. Результаты и реальные job/attachment IDs — `evidence/lab5-checks.json`, консольный вывод — `evidence/lab5-checks.txt`. Дополнительное доказательство реального restart обычного стенда с прежними container IDs и volumes — `evidence/lab5-restart.json`; воспроизводится `.venv/bin/python student-tests/verify_restart.py`.
|
||||
|
||||
@@ -166,7 +173,7 @@ Python base image закреплён digest в Dockerfile; S3 image — digest
|
||||
| Сохранность после всех рестартов | make test-persistence; public_persistence | Сессия, история и original переживают рестарты с volumes |
|
||||
| Отказ API | make test-failover; public_api_failover | Другая реплика продолжает обслуживать подтверждённые сообщения без дублей |
|
||||
|
||||
Failpoints включаются только явным `ENABLE_FAULT_INJECTION=1` во временном тестовом project; по умолчанию отключены. Файлы управления доступны только через docker exec внутри контейнера, HTTP управления ими нет. `before_publish` завершает publisher после DB COMMIT намерения до XADD; `after_publish` — после XADD до фиксации outbox. `after_objects` завершает consumer после PUT четырёх объектов до COMMIT ready; `before_ack` — после COMMIT ready до XACK. Маркеры срабатывания проверяются тестом, поэтому простой быстрый успех без внедрённого сбоя не засчитывается. Отдельный timeout failpoint усыпляет именно ограниченный resize subprocess, не подменяет результат mock-объектом.
|
||||
Failpoints включаются только явным `ENABLE_FAULT_INJECTION=1` во временном тестовом project; по умолчанию отключены. Файлы управления доступны только через docker exec внутри контейнера, HTTP управления ими нет. `before_publish` завершает publisher после DB COMMIT намерения до XADD; `after_publish` — после XADD до фиксации outbox. `after_objects` завершает job_runner после PUT четырёх объектов до COMMIT ready; `before_ack` — после COMMIT ready до XACK. Маркеры срабатывания проверяются тестом, поэтому простой быстрый успех без внедрённого сбоя не засчитывается. Отдельный timeout failpoint усыпляет именно ограниченный resize subprocess, не подменяет результат mock-объектом. `before_download` с `delay:20` задерживает корректную попытку, с `timeout` — имитирует зависание runner до скачивания.
|
||||
|
||||
## Эксперименты и ограничения
|
||||
|
||||
|
||||
@@ -7,6 +7,7 @@ x-application: &application
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||||
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-90}
|
||||
JOB_TASK_TIMEOUT_SECONDS: ${JOB_TASK_TIMEOUT_SECONDS:-180}
|
||||
JOB_BACKOFF_SECONDS: ${JOB_BACKOFF_SECONDS:-2}
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
WORKER_TASK_MEMORY_MB: ${WORKER_TASK_MEMORY_MB:-640}
|
||||
|
||||
+1
-1
@@ -21,7 +21,7 @@
|
||||
|
||||
`attachment_jobs` хранит один job_id на attachment_id, staging_key, pipeline_version=1, текущую попытку, бюджет, lease_token/lease_until и отметку удаления staging. `attachment_outbox(job_id,attempt)` создаётся в той же транзакции, что metadata/намерение. Dispatcher отмечает published_at после XADD; потеря ответа вызывает безопасный дубль. Отложенный retry получает отдельную строку outbox с available_at. `attachment_job_events` — audit переходов и явных replay без credentials и текста исключений.
|
||||
|
||||
Данные при 202: приватный S3 `attachments/staging/<UUID>` и COMMIT metadata+job+outbox. Готовность: worker сохраняет неизменённый original и три варианта по детерминированным ключам, затем атомарно фиксирует status=ready и JSON metadata. До ready content отвечает 409. Worker проверяет lease_token под блокировкой строк перед записью результатов. Cleaner не удаляет staging queued/processing; после ready удаляет staging, а failed хранит до STAGING_RETENTION_SECONDS.
|
||||
Данные при 202: приватный S3 `attachments/staging/<UUID>` и COMMIT metadata+job+outbox. Готовность: worker сохраняет неизменённый original и три варианта по детерминированным ключам, затем атомарно фиксирует status=ready и JSON metadata. До ready content отвечает 409. Worker проверяет lease_token под блокировкой строк перед записью результатов. Consumer продлевает действующую аренду каждые min(10, lease/3) секунд, пока отдельный job_runner выполняет попытку. Просроченный/чужой lease продлевать нельзя. Общий JOB_TASK_TIMEOUT_SECONDS ограничивает работу runner независимо от heartbeat: по deadline убивается всё дерево обработки. Lease может быть меньше времени допустимой обработки. Cleaner не удаляет staging queued/processing; после ready удаляет staging, а failed хранит до STAGING_RETENTION_SECONDS.
|
||||
|
||||
Индексы: UNIQUE users(username); chat_members(user_id, chat_id); messages(chat_id, created_at, id); attachments(chat_id); attachment_uploads(created_at). Первичные/уникальные ключи индексируют поиск ID и object_key.
|
||||
|
||||
|
||||
@@ -29,3 +29,5 @@ def hit(job_id, point):
|
||||
bytearray(1024 * 1024 * 1024)
|
||||
if action == 'timeout':
|
||||
time.sleep(300)
|
||||
if action.startswith('delay:'):
|
||||
time.sleep(float(action.split(':', 1)[1]))
|
||||
|
||||
@@ -0,0 +1,31 @@
|
||||
"""Одна попытка в отдельном процессе под контролем consumer-supervisor."""
|
||||
import sys
|
||||
from uuid import UUID
|
||||
|
||||
from src import db, jobs, task_supervisor
|
||||
from src.worker import ProcessingError, process
|
||||
|
||||
|
||||
def main():
|
||||
task_supervisor.watch_parent(int(sys.argv[3]))
|
||||
db.pool.open(wait=True, timeout=15)
|
||||
try:
|
||||
with db.connection() as conn:
|
||||
job = jobs.locked(conn, UUID(sys.argv[1]))
|
||||
if not job or job['status'] != 'processing' or job['lease_token'] != UUID(sys.argv[2]):
|
||||
return 75
|
||||
try:
|
||||
if not process(job, sys.argv[4]):
|
||||
return 75
|
||||
except ProcessingError as error:
|
||||
jobs.fail(job, error.code, error.permanent)
|
||||
except Exception:
|
||||
jobs.fail(job, 'storage_unavailable')
|
||||
# Только после COMMIT ready/retry/failed родитель может отправить ACK.
|
||||
return 0
|
||||
finally:
|
||||
db.pool.close()
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
+28
-2
@@ -8,8 +8,10 @@ from src import db
|
||||
MAX_ATTEMPTS = int(os.environ.get('JOB_MAX_ATTEMPTS', '5'))
|
||||
TIMEOUT = int(os.environ.get('JOB_TIMEOUT_SECONDS', '60'))
|
||||
LEASE = int(os.environ.get('JOB_LEASE_SECONDS', '90'))
|
||||
TASK_TIMEOUT = int(os.environ.get('JOB_TASK_TIMEOUT_SECONDS', str(max(180, TIMEOUT + 60))))
|
||||
HEARTBEAT = min(10, LEASE / 3)
|
||||
BACKOFF = float(os.environ.get('JOB_BACKOFF_SECONDS', '2'))
|
||||
if not 1 <= MAX_ATTEMPTS <= 20 or TIMEOUT < 1 or LEASE < TIMEOUT + 5 or BACKOFF <= 0:
|
||||
if not 1 <= MAX_ATTEMPTS <= 20 or TIMEOUT < 1 or LEASE < 15 or TASK_TIMEOUT < TIMEOUT or BACKOFF <= 0:
|
||||
raise ValueError('Неверные retry/timeout/lease настройки')
|
||||
|
||||
|
||||
@@ -46,6 +48,27 @@ def claim(payload):
|
||||
return 'claimed', job
|
||||
|
||||
|
||||
def renew(job):
|
||||
"""Продлить только действующую аренду; истёкшую/чужую не воскрешаем."""
|
||||
with db.connection() as conn:
|
||||
current = conn.execute('''SELECT j.lease_token,j.lease_until,a.status
|
||||
FROM attachment_jobs j JOIN attachments a ON a.id=j.attachment_id
|
||||
WHERE j.id=%s FOR UPDATE OF j,a SKIP LOCKED''', (job['id'],)).fetchone()
|
||||
if current is None:
|
||||
# Финальная запись объектов держит эти строки под fence. Не ждём
|
||||
# её блокировку: recover также пропустит её, общий timeout действует.
|
||||
current = conn.execute('''SELECT j.lease_token,a.status FROM attachment_jobs j
|
||||
JOIN attachments a ON a.id=j.attachment_id WHERE j.id=%s''', (job['id'],)).fetchone()
|
||||
return bool(current and current['status'] == 'processing'
|
||||
and current['lease_token'] == job['lease_token'])
|
||||
if current['status'] != 'processing' or current['lease_token'] != job['lease_token']:
|
||||
return False
|
||||
return conn.execute('''UPDATE attachment_jobs
|
||||
SET lease_until=clock_timestamp()+%s*interval '1 second'
|
||||
WHERE id=%s AND lease_until>clock_timestamp() RETURNING id''',
|
||||
(LEASE, job['id'])).fetchone() is not None
|
||||
|
||||
|
||||
def retry_or_fail(conn, job, code, permanent=False):
|
||||
# replay_count задаёт новый ограниченный бюджет, сохраняя глобальный номер attempt.
|
||||
exhausted = job['attempt'] >= job['max_attempts']
|
||||
@@ -79,7 +102,10 @@ def recover():
|
||||
ORDER BY j.lease_until LIMIT 20 FOR UPDATE OF j SKIP LOCKED''').fetchall()
|
||||
for row in rows:
|
||||
job = locked(conn, row['id'])
|
||||
retry_or_fail(conn, job, 'worker_lost')
|
||||
expired = conn.execute('''SELECT lease_until<clock_timestamp() AS expired
|
||||
FROM attachment_jobs WHERE id=%s''', (job['id'],)).fetchone()['expired']
|
||||
if job['status'] == 'processing' and expired:
|
||||
retry_or_fail(conn, job, 'worker_lost')
|
||||
|
||||
|
||||
def replay(job_id):
|
||||
|
||||
@@ -0,0 +1,69 @@
|
||||
"""Продление аренды и независимый wall timeout всего дерева обработки."""
|
||||
import os
|
||||
import ctypes
|
||||
import signal
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
|
||||
|
||||
class LeaseLost(Exception):
|
||||
pass
|
||||
|
||||
|
||||
def watch_parent(expected_pid):
|
||||
"""В Linux смерть consumer также останавливает оставшееся дерево задачи."""
|
||||
if not sys.platform.startswith('linux'):
|
||||
return
|
||||
if os.getpgrp() != os.getpid():
|
||||
raise RuntimeError('Job runner must have its own process group')
|
||||
|
||||
def stop(signum, frame):
|
||||
os.killpg(os.getpgrp(), signal.SIGKILL)
|
||||
|
||||
signal.signal(signal.SIGTERM, stop)
|
||||
libc = ctypes.CDLL(None, use_errno=True)
|
||||
if libc.prctl(1, signal.SIGTERM, 0, 0, 0) != 0: # PR_SET_PDEATHSIG
|
||||
raise OSError(ctypes.get_errno(), 'Cannot watch consumer process')
|
||||
# Родитель мог погибнуть между Popen и установкой PR_SET_PDEATHSIG.
|
||||
if os.getppid() != expected_pid:
|
||||
stop(None, None)
|
||||
|
||||
|
||||
def stop_tree(process):
|
||||
if os.name == 'posix':
|
||||
try:
|
||||
os.killpg(process.pid, signal.SIGKILL)
|
||||
except ProcessLookupError:
|
||||
pass
|
||||
elif process.poll() is None:
|
||||
# Production работает в Linux; это также позволяет проверять на Windows.
|
||||
subprocess.run(['taskkill', '/PID', str(process.pid), '/T', '/F'],
|
||||
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL,
|
||||
creationflags=subprocess.CREATE_NO_WINDOW, timeout=10, check=False)
|
||||
if process.poll() is None:
|
||||
process.kill()
|
||||
process.wait()
|
||||
|
||||
|
||||
def run(command, renew, timeout, interval):
|
||||
"""Heartbeat в управляющем цикле, без бесконечного фонового потока."""
|
||||
deadline = time.monotonic() + timeout
|
||||
options = {'start_new_session': True} if os.name == 'posix' else {
|
||||
'creationflags': subprocess.CREATE_NO_WINDOW}
|
||||
process = subprocess.Popen(command, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL, **options)
|
||||
try:
|
||||
while True:
|
||||
remaining = deadline - time.monotonic()
|
||||
if remaining <= 0:
|
||||
raise subprocess.TimeoutExpired(command, timeout)
|
||||
try:
|
||||
return process.wait(timeout=min(interval, remaining))
|
||||
except subprocess.TimeoutExpired:
|
||||
if time.monotonic() >= deadline:
|
||||
raise subprocess.TimeoutExpired(command, timeout) from None
|
||||
if not renew():
|
||||
raise LeaseLost()
|
||||
finally:
|
||||
# В том числе убиваем дочерний image_pipeline, если завис его родитель.
|
||||
stop_tree(process)
|
||||
+16
-4
@@ -16,7 +16,7 @@ from uuid import UUID, uuid4
|
||||
|
||||
from psycopg.types.json import Jsonb
|
||||
|
||||
from src import broker, db, faults, jobs, object_store
|
||||
from src import broker, db, faults, jobs, object_store, task_supervisor
|
||||
from src.errors import ApiError
|
||||
|
||||
|
||||
@@ -37,8 +37,9 @@ def verify_ready(job):
|
||||
raise ProcessingError('incomplete_result')
|
||||
|
||||
|
||||
def process(job):
|
||||
with TemporaryDirectory(prefix='image-job-') as directory:
|
||||
def process(job, workspace=None):
|
||||
faults.hit(job['id'], 'before_download')
|
||||
with TemporaryDirectory(prefix='image-job-', dir=workspace) as directory:
|
||||
output = Path(directory)
|
||||
source = output / 'original'
|
||||
response = object_store.get(job['staging_key'])
|
||||
@@ -115,8 +116,19 @@ def handle(client, message_id, fields):
|
||||
if state == 'claimed':
|
||||
try:
|
||||
faults.hit(job['id'], 'before_process')
|
||||
if not process(job):
|
||||
# Временные файлы удаляет consumer даже после SIGKILL runner.
|
||||
with TemporaryDirectory(prefix='image-attempt-') as workspace:
|
||||
result = task_supervisor.run(
|
||||
[sys.executable, '-m', 'src.job_runner', str(job['id']), str(job['lease_token']),
|
||||
str(os.getpid()), workspace],
|
||||
renew=lambda: jobs.renew(job), timeout=jobs.TASK_TIMEOUT, interval=jobs.HEARTBEAT)
|
||||
if result != 0:
|
||||
# Crash/неизвестный COMMIT: не ACK, восстановление через lease.
|
||||
return
|
||||
except task_supervisor.LeaseLost:
|
||||
return
|
||||
except subprocess.TimeoutExpired:
|
||||
jobs.fail(job, 'processing_timeout')
|
||||
except ProcessingError as error:
|
||||
jobs.fail(job, error.code, error.permanent)
|
||||
except Exception:
|
||||
|
||||
@@ -27,12 +27,14 @@ def main():
|
||||
base = 'http://127.0.0.1:' + str(port)
|
||||
env = dict(os.environ, COMPOSE_PROJECT_NAME=project, HOST_PORT=str(port), BASE_URL=base,
|
||||
API_REPLICAS='2', ENABLE_FAULT_INJECTION='1', JOB_TIMEOUT_SECONDS='5',
|
||||
JOB_LEASE_SECONDS='15', JOB_MAX_ATTEMPTS='5', JOB_BACKOFF_SECONDS='0.15')
|
||||
JOB_LEASE_SECONDS='15', JOB_TASK_TIMEOUT_SECONDS='25',
|
||||
JOB_MAX_ATTEMPTS='5', JOB_BACKOFF_SECONDS='0.15')
|
||||
result = {'utc': datetime.now(timezone.utc).isoformat(), 'command': './scripts/check-docker.sh',
|
||||
'project': project, 'host': platform.system() + ' ' + platform.machine(),
|
||||
'source_commit': subprocess.check_output(['git', 'rev-parse', 'HEAD'], cwd=ROOT, text=True).strip(),
|
||||
'working_tree': True, 'configuration': {'concurrency': 2, 'prefetch': 1, 'attempts': 5,
|
||||
'timeout_seconds': 5, 'lease_seconds': 15, 'backoff_base_seconds': 0.15}, 'checks': {}}
|
||||
'timeout_seconds': 5, 'task_timeout_seconds': 25, 'lease_seconds': 15,
|
||||
'backoff_base_seconds': 0.15}, 'checks': {}}
|
||||
|
||||
def command(args, timeout=240, check=True):
|
||||
return subprocess.run(args, cwd=ROOT, env=env, text=True, capture_output=True, timeout=timeout, check=check)
|
||||
@@ -180,6 +182,40 @@ db.pool.close()
|
||||
assert variants['thumbnail']['size'] == [256, 160] and variants['crop']['size'] == [128, 128]
|
||||
record('worker_offline_api_broker_restart', attachment_id=att['id'], job_id=jid, message_id=msg['id'], variants=variants)
|
||||
|
||||
# Исправная попытка живёт дольше исходного lease без ложного retry.
|
||||
compose('stop', '--timeout', '3', 'publisher')
|
||||
att = upload(); jid = job_id(att)
|
||||
fault(jid, 'before_download', 'delay:20')
|
||||
compose('start', 'publisher')
|
||||
wait(lambda: hit(jid, 'before_download'), description='long task started')
|
||||
initial_lease = sql("SELECT lease_until FROM attachment_jobs WHERE id='" + jid + "'")
|
||||
assert worker_code('''from uuid import uuid4
|
||||
from src import db,jobs
|
||||
db.pool.open(wait=True)
|
||||
with db.connection() as c:
|
||||
j=jobs.locked(c,''' + repr(jid) + ''')
|
||||
j['lease_token']=uuid4()
|
||||
print(jobs.renew(j))
|
||||
db.pool.close()
|
||||
''') == 'False'
|
||||
wait(lambda: sql("SELECT lease_until FROM attachment_jobs WHERE id='" + jid + "'") != initial_lease,
|
||||
seconds=12, description='heartbeat extended lease')
|
||||
assert_variants(att, png)
|
||||
assert sql("SELECT attempt FROM attachment_jobs WHERE id='" + jid + "'") == '1'
|
||||
assert sql("SELECT count(*) FROM attachment_job_events WHERE job_id='" + jid + "' AND event='retry'") == '0'
|
||||
record('long_task_heartbeat', job_id=jid, delay_seconds=20, lease_seconds=15, attempt=1)
|
||||
|
||||
# Heartbeat не сохраняет зависшую работу бесконечно: общий deadline.
|
||||
compose('stop', '--timeout', '3', 'publisher')
|
||||
att = upload(); jid = job_id(att)
|
||||
fault(jid, 'before_download', 'timeout')
|
||||
compose('start', 'publisher')
|
||||
assert_variants(att, png)
|
||||
assert hit(jid, 'before_download')
|
||||
assert sql("SELECT count(*) FROM attachment_job_events WHERE job_id='" + jid + "' AND error_code='processing_timeout'") == '1'
|
||||
assert sql("SELECT attempt FROM attachment_jobs WHERE id='" + jid + "'") == '2'
|
||||
record('whole_task_timeout', job_id=jid, timeout_seconds=25, recovered=True)
|
||||
|
||||
# COMMIT -> publish gap and XADD -> outbox COMMIT gap, each crash is automatic.
|
||||
for point in ('before_publish', 'after_publish'):
|
||||
compose('stop', '--timeout', '3', 'publisher')
|
||||
|
||||
@@ -0,0 +1,88 @@
|
||||
"""Локальные проверки реальных subprocess без Docker и внешних библиотек.
|
||||
|
||||
python -m unittest discover -s student-tests -p test_task_supervisor.py -v
|
||||
"""
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
from tempfile import TemporaryDirectory
|
||||
import time
|
||||
import unittest
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1]))
|
||||
from src import task_supervisor
|
||||
|
||||
|
||||
class TaskSupervisorTests(unittest.TestCase):
|
||||
def test_successful_work_outlives_initial_lease(self):
|
||||
lease = 0.5
|
||||
expires = time.monotonic() + lease
|
||||
renewals = []
|
||||
|
||||
def renew():
|
||||
nonlocal expires
|
||||
now = time.monotonic()
|
||||
self.assertLess(now, expires, 'renewal must happen before lease expires')
|
||||
expires = now + lease
|
||||
renewals.append(now)
|
||||
return True
|
||||
|
||||
started = time.monotonic()
|
||||
code = task_supervisor.run([sys.executable, '-c', 'import time; time.sleep(1.1)'],
|
||||
renew, timeout=5, interval=0.1)
|
||||
self.assertEqual(code, 0)
|
||||
self.assertGreater(time.monotonic() - started, lease)
|
||||
self.assertGreaterEqual(len(renewals), 3)
|
||||
|
||||
def test_heartbeat_does_not_bypass_total_timeout(self):
|
||||
renewals = []
|
||||
|
||||
def renew():
|
||||
renewals.append(True)
|
||||
return True
|
||||
|
||||
started = time.monotonic()
|
||||
with self.assertRaises(subprocess.TimeoutExpired):
|
||||
task_supervisor.run([sys.executable, '-c', 'import time; time.sleep(60)'],
|
||||
renew, timeout=0.5, interval=0.1)
|
||||
self.assertTrue(renewals)
|
||||
self.assertLess(time.monotonic() - started, 5)
|
||||
|
||||
def test_lost_lease_stops_work(self):
|
||||
with self.assertRaises(task_supervisor.LeaseLost):
|
||||
task_supervisor.run([sys.executable, '-c', 'import time; time.sleep(60)'],
|
||||
lambda: False, timeout=10, interval=0.1)
|
||||
|
||||
def test_renewal_error_stops_work(self):
|
||||
def renew():
|
||||
raise ConnectionError('database unavailable')
|
||||
|
||||
with self.assertRaises(ConnectionError):
|
||||
task_supervisor.run([sys.executable, '-c', 'import time; time.sleep(60)'],
|
||||
renew, timeout=10, interval=0.1)
|
||||
|
||||
def test_child_failure_is_not_success(self):
|
||||
self.assertEqual(task_supervisor.run([sys.executable, '-c', 'raise SystemExit(86)'],
|
||||
lambda: True, timeout=5, interval=0.1), 86)
|
||||
|
||||
def test_timeout_kills_descendant_too(self):
|
||||
with TemporaryDirectory() as directory:
|
||||
marker = Path(directory) / 'survived'
|
||||
started = Path(directory) / 'started'
|
||||
descendant = ('import time; from pathlib import Path; '
|
||||
f'Path({str(started)!r}).write_text("started"); '
|
||||
'time.sleep(1.5); '
|
||||
f'Path({str(marker)!r}).write_text("orphan")')
|
||||
parent = ('import subprocess,sys,time; '
|
||||
f'subprocess.Popen([sys.executable,"-c",{descendant!r}]); '
|
||||
'time.sleep(60)')
|
||||
with self.assertRaises(subprocess.TimeoutExpired):
|
||||
task_supervisor.run([sys.executable, '-c', parent], lambda: True,
|
||||
timeout=0.8, interval=0.1)
|
||||
self.assertTrue(started.exists(), 'descendant must start before timeout')
|
||||
time.sleep(1.6)
|
||||
self.assertFalse(marker.exists(), 'descendant survived parent timeout')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
Reference in New Issue
Block a user