Preserve active staging and read published originals on reprocessing

This commit is contained in:
Artyom
2026-11-06 10:59:33 +03:00
parent 2e428cf8e6
commit 9ba3076fa8
4 changed files with 43 additions and 11 deletions
@@ -13,7 +13,7 @@ PostgreSQL — источник истины, RabbitMQ с FastStream/aio-pika
- Ошибка одной версии не должна ставить attachment в failed, пока другая версия queued/processing. После фиксации job failure берётся блокировка attachment и отдельным запросом проверяются активные jobs; сериализация двух одновременных failures позволяет последнему выставить failed. Ready не меняется. Цена — короткая дополнительная блокировка на редком пути ошибки.
- v1 сохраняет JPEG 85/WebP 80; v2 использует JPEG 90/WebP 85. Размеры, EXIF transpose, white alpha, metadata removal и max bytes/pixels/time/memory одинаковы. Ключ S3 содержит версию и digest: старый PUT не адресует объект новой версии, оригинал неизменен. Версии recipe после выпуска не редактируются; для нового recipe нужна новая версия.
- Worker: claim+COMMIT → read/PUT S3 → variants+условная publication+COMMIT → manual ack. Сбой до PUT восстанавливается lease/outbox, после PUT повтор пишет те же ключи, после COMMIT повтор становится noop. Relay: durable outbox → publish mandatory/persistent с confirm → mark published+COMMIT; потерянный confirm создаёт повтор. Это идемпотентный эффект, не exactly-once доставка.
- Staging после ready может быть убран при другой активной версии: следующий claim читает original; transient S3 read использует ограниченный retry. Исходные bytes остаются сохранены. Провал v2 не скрывает уже готовую v1.
- Staging нельзя убирать, пока у вложения есть queued/processing job: старый держатель мог захватить staging до публикации новой версии. Claim ready-вложения всегда читает неизменяемый original, даже если staging ещё существует. Блокировка attachment сериализует уборку и reprocess; новые версии больше не зависят от удаляемого staging. Провал v2 не скрывает уже готовую v1.
- Reorder доказывается принудительно: relay остановлен, вручную публикуется только v2, ожидается published=2, затем relay выпускает v1 и дубль v2. Stale after v2 сравнивает публичный снимок, SQL и реально отдаваемые bytes. Старый работник после нового покрывается конкурентным тестом.
- Suite инвентаризует S3 только по IDs этого запуска, проверяет отсутствие лишних объектов и наличие всех ожидаемых ключей. Старые volumes и DLQ не очищаются. Каждый crash фиксирует фактический контейнер; retention меняет возраст только своей синтетической строки.
@@ -29,4 +29,6 @@ PostgreSQL — источник истины, RabbitMQ с FastStream/aio-pika
Первый track2 (run1.json) выявил queued задание без claims и два сообщения в DLQ: duplicate_in_flight не достиг ready за 90 s. Повтор именно этого job_id воспроизводит DBAPIError; другой дубль проходит. Сохраняются оба результата, SQLSTATE добавляется в безопасный журнал для точного установления причины. До исправления и трёх новых успешных серий change не завершён.
Регрессия воспроизводится в чистом процессе с графом импортов worker: UPDATE ORM до первичной настройки mappers возвращает UUID job_id как attempt; INSERT job_events затем падает с SQLSTATE 22000. Все UPDATE jobs используют SQLAlchemy Core table, без ORM synchronize_session и дополнительного RETURNING PK. Схема/данные не меняются. Регрессионный тест запускает два конкурентных claim в отдельных холодных процессах с разными hash seeds; исходный вариант падает, исправленный обязан пройти. В журнале остаётся только класс ошибки и SQLSTATE, без параметров.
Регрессия воспроизводится в чистом процессе с графом импортов worker: первый UPDATE ORM в этом графе импортов возвращает UUID job_id как attempt; INSERT job_events затем падает с SQLSTATE 22000. Все UPDATE jobs используют SQLAlchemy Core table, без ORM synchronize_session и дополнительного RETURNING PK. Схема/данные не меняются. Регрессионный тест запускает два конкурентных claim в отдельных холодных процессах с разными hash seeds; исходный вариант падает, исправленный обязан пройти. В журнале остаётся только класс ошибки и SQLSTATE, без параметров.
Третий повтор verified-run3.json обнаружил гонку уборки staging и старого worker: v2 готова, v1 получила ObjectMissingError вместо superseded. Это критичный провал обязательного reorder; прежние два PASS не считаются завершённой серией. Регрессия задерживает держателя до/после side effect, публикует v2, запускает cleanup и требует сохранить staging до окончания активного держателя. После исправления повторяются локальные, публичные проверки, уровень 4 и три новые серии.
@@ -28,6 +28,10 @@
- **WHEN** worker версии 1 задержан после записи объектов, а версия 2 опубликована
- **THEN** завершение версии 1 не перезаписывает опубликованный результат версии 2
#### Scenario: Уборка при активной версии
- **WHEN** новая версия уже готова, а старый worker задержан до или после side effect и запускается очистка staging
- **THEN** исходник активного worker сохраняется до его завершения; последующая обработка ready-вложения использует устойчивый опубликованный оригинал и не зависит от незавершённой уборки
#### Scenario: Ошибка при нескольких версиях
- **WHEN** одна версия завершилась ошибкой, другая ещё обрабатывается
- **THEN** вложение не становится failed до завершения оставшейся работы, а уже ready продолжает скачиваться
@@ -300,6 +300,12 @@ class PostgresAttachmentRepository:
select(AttachmentRow.id, AttachmentRow.staging_key)
.where(
AttachmentRow.staging_key.is_not(None),
~select(JobRow.job_id)
.where(
JobRow.attachment_id == AttachmentRow.id,
JobRow.status.in_(["queued", "processing"]),
)
.exists(),
or_(
AttachmentRow.status == "ready",
(AttachmentRow.status == "failed")
@@ -566,12 +572,12 @@ class PostgresJobRepository:
await self._note(claimed, "claimed")
source = (
await self._session.execute(
select(AttachmentRow.staging_key, AttachmentRow.original_key).where(
AttachmentRow.id == job.attachment_id
)
select(
AttachmentRow.status, AttachmentRow.staging_key, AttachmentRow.original_key
).where(AttachmentRow.id == job.attachment_id)
)
).one()
staged = source.staging_key is not None
staged = source.status != "ready" and source.staging_key is not None
return Claim(
Lease(claimed, token), source.staging_key if staged else source.original_key, staged
)
+25 -5
View File
@@ -4,12 +4,17 @@ from uuid import UUID, uuid4
import pytest
from httpx import AsyncClient
from test_attachments import storage
from test_pipeline import accepted, job_of, rows
from conftest import DATABASE, actor
from messenger.admin import serve
from messenger.attachments.application.commands import ReprocessAttachment
from messenger.attachments.application.pipeline import AFTER_S3_WRITE, ReprocessAttachmentHandler
from messenger.attachments.application.pipeline import (
AFTER_CLAIM,
AFTER_S3_WRITE,
ReprocessAttachmentHandler,
)
from messenger.attachments.application.ports import Rendition
from messenger.attachments.domain.errors import ImageTooDemanding
from messenger.attachments.domain.jobs import Outcome, ReprocessResult
@@ -80,20 +85,22 @@ async def test_version_order_never_reverts_published_bytes(
class PausedEffect:
def __init__(self) -> None:
def __init__(self, point: str) -> None:
self.point = point
self.reached = asyncio.Event()
self.resume = asyncio.Event()
async def reach(self, point: str) -> None:
if point == AFTER_S3_WRITE:
if point == self.point:
self.reached.set()
await self.resume.wait()
async def test_old_holder_finishes_after_new_publication(client: AsyncClient) -> None:
@pytest.mark.parametrize("point", [AFTER_CLAIM, AFTER_S3_WRITE])
async def test_old_holder_finishes_after_new_publication(client: AsyncClient, point: str) -> None:
_, bob, ident = await accepted(client)
old, new = await pipeline_of(client), await pipeline_of(client)
old.faults = pause = PausedEffect()
old.faults = pause = PausedEffect(point)
job = await job_of(ident)
running = asyncio.create_task(old.process(job))
try:
@@ -102,8 +109,10 @@ async def test_old_holder_finishes_after_new_publication(client: AsyncClient) ->
jobs = await versions(new, ident)
assert await new.process(jobs[2]) is Outcome.DONE
public = (await client.get(f"/api/v1/attachments/{ident}", headers=actor(bob))).json()
assert await new.clean() == 0
pause.resume.set()
assert await asyncio.wait_for(running, 5) is Outcome.SUPERSEDED
assert await new.clean() == 1
assert (await attachment(ident))["published_version"] == 2
assert (
await client.get(f"/api/v1/attachments/{ident}", headers=actor(bob))
@@ -178,3 +187,14 @@ async def test_operator_cli_schedules_version_once(
report = json.loads(capsys.readouterr().out.splitlines()[-1])
assert report["result"] == expected
assert report["pipeline_version"] == 2
async def test_ready_reprocess_survives_cleanup_before_metadata_commit(client: AsyncClient) -> None:
_, _, ident = await accepted(client)
pipeline = await pipeline_of(client)
await pipeline.drain()
await (await storage(client)).delete(f"staging/{ident}")
assert await reprocess(pipeline, ident) is ReprocessResult.QUEUED
jobs = await versions(pipeline, ident)
assert await pipeline.process(jobs[2]) is Outcome.DONE
assert (await attachment(ident))["published_version"] == 2