From 9ba3076fa8ba707de932e053fc22f455d83b3210 Mon Sep 17 00:00:00 2001 From: Artyom Date: Fri, 6 Nov 2026 10:59:33 +0300 Subject: [PATCH] Preserve active staging and read published originals on reprocessing --- .../design.md | 6 ++-- .../specs/lab5-versioned-pipeline/spec.md | 4 +++ .../attachments/infrastructure/postgres.py | 14 ++++++--- student-tests/api/test_versioned_pipeline.py | 30 +++++++++++++++---- 4 files changed, 43 insertions(+), 11 deletions(-) diff --git a/openspec/changes/complete-lab5-versioned-pipeline/design.md b/openspec/changes/complete-lab5-versioned-pipeline/design.md index 5604585c..22992de7 100644 --- a/openspec/changes/complete-lab5-versioned-pipeline/design.md +++ b/openspec/changes/complete-lab5-versioned-pipeline/design.md @@ -13,7 +13,7 @@ PostgreSQL — источник истины, RabbitMQ с FastStream/aio-pika - Ошибка одной версии не должна ставить attachment в failed, пока другая версия queued/processing. После фиксации job failure берётся блокировка attachment и отдельным запросом проверяются активные jobs; сериализация двух одновременных failures позволяет последнему выставить failed. Ready не меняется. Цена — короткая дополнительная блокировка на редком пути ошибки. - v1 сохраняет JPEG 85/WebP 80; v2 использует JPEG 90/WebP 85. Размеры, EXIF transpose, white alpha, metadata removal и max bytes/pixels/time/memory одинаковы. Ключ S3 содержит версию и digest: старый PUT не адресует объект новой версии, оригинал неизменен. Версии recipe после выпуска не редактируются; для нового recipe нужна новая версия. - Worker: claim+COMMIT → read/PUT S3 → variants+условная publication+COMMIT → manual ack. Сбой до PUT восстанавливается lease/outbox, после PUT повтор пишет те же ключи, после COMMIT повтор становится noop. Relay: durable outbox → publish mandatory/persistent с confirm → mark published+COMMIT; потерянный confirm создаёт повтор. Это идемпотентный эффект, не exactly-once доставка. -- Staging после ready может быть убран при другой активной версии: следующий claim читает original; transient S3 read использует ограниченный retry. Исходные bytes остаются сохранены. Провал v2 не скрывает уже готовую v1. +- Staging нельзя убирать, пока у вложения есть queued/processing job: старый держатель мог захватить staging до публикации новой версии. Claim ready-вложения всегда читает неизменяемый original, даже если staging ещё существует. Блокировка attachment сериализует уборку и reprocess; новые версии больше не зависят от удаляемого staging. Провал v2 не скрывает уже готовую v1. - Reorder доказывается принудительно: relay остановлен, вручную публикуется только v2, ожидается published=2, затем relay выпускает v1 и дубль v2. Stale after v2 сравнивает публичный снимок, SQL и реально отдаваемые bytes. Старый работник после нового покрывается конкурентным тестом. - Suite инвентаризует S3 только по IDs этого запуска, проверяет отсутствие лишних объектов и наличие всех ожидаемых ключей. Старые volumes и DLQ не очищаются. Каждый crash фиксирует фактический контейнер; retention меняет возраст только своей синтетической строки. @@ -29,4 +29,6 @@ PostgreSQL — источник истины, RabbitMQ с FastStream/aio-pika Первый track2 (run1.json) выявил queued задание без claims и два сообщения в DLQ: duplicate_in_flight не достиг ready за 90 s. Повтор именно этого job_id воспроизводит DBAPIError; другой дубль проходит. Сохраняются оба результата, SQLSTATE добавляется в безопасный журнал для точного установления причины. До исправления и трёх новых успешных серий change не завершён. -Регрессия воспроизводится в чистом процессе с графом импортов worker: UPDATE ORM до первичной настройки mappers возвращает UUID job_id как attempt; INSERT job_events затем падает с SQLSTATE 22000. Все UPDATE jobs используют SQLAlchemy Core table, без ORM synchronize_session и дополнительного RETURNING PK. Схема/данные не меняются. Регрессионный тест запускает два конкурентных claim в отдельных холодных процессах с разными hash seeds; исходный вариант падает, исправленный обязан пройти. В журнале остаётся только класс ошибки и SQLSTATE, без параметров. +Регрессия воспроизводится в чистом процессе с графом импортов worker: первый UPDATE ORM в этом графе импортов возвращает UUID job_id как attempt; INSERT job_events затем падает с SQLSTATE 22000. Все UPDATE jobs используют SQLAlchemy Core table, без ORM synchronize_session и дополнительного RETURNING PK. Схема/данные не меняются. Регрессионный тест запускает два конкурентных claim в отдельных холодных процессах с разными hash seeds; исходный вариант падает, исправленный обязан пройти. В журнале остаётся только класс ошибки и SQLSTATE, без параметров. + +Третий повтор verified-run3.json обнаружил гонку уборки staging и старого worker: v2 готова, v1 получила ObjectMissingError вместо superseded. Это критичный провал обязательного reorder; прежние два PASS не считаются завершённой серией. Регрессия задерживает держателя до/после side effect, публикует v2, запускает cleanup и требует сохранить staging до окончания активного держателя. После исправления повторяются локальные, публичные проверки, уровень 4 и три новые серии. diff --git a/openspec/changes/complete-lab5-versioned-pipeline/specs/lab5-versioned-pipeline/spec.md b/openspec/changes/complete-lab5-versioned-pipeline/specs/lab5-versioned-pipeline/spec.md index 430c70c0..641cf940 100644 --- a/openspec/changes/complete-lab5-versioned-pipeline/specs/lab5-versioned-pipeline/spec.md +++ b/openspec/changes/complete-lab5-versioned-pipeline/specs/lab5-versioned-pipeline/spec.md @@ -28,6 +28,10 @@ - **WHEN** worker версии 1 задержан после записи объектов, а версия 2 опубликована - **THEN** завершение версии 1 не перезаписывает опубликованный результат версии 2 +#### Scenario: Уборка при активной версии +- **WHEN** новая версия уже готова, а старый worker задержан до или после side effect и запускается очистка staging +- **THEN** исходник активного worker сохраняется до его завершения; последующая обработка ready-вложения использует устойчивый опубликованный оригинал и не зависит от незавершённой уборки + #### Scenario: Ошибка при нескольких версиях - **WHEN** одна версия завершилась ошибкой, другая ещё обрабатывается - **THEN** вложение не становится failed до завершения оставшейся работы, а уже ready продолжает скачиваться diff --git a/src/messenger/attachments/infrastructure/postgres.py b/src/messenger/attachments/infrastructure/postgres.py index 0b16ed88..451995c4 100644 --- a/src/messenger/attachments/infrastructure/postgres.py +++ b/src/messenger/attachments/infrastructure/postgres.py @@ -300,6 +300,12 @@ class PostgresAttachmentRepository: select(AttachmentRow.id, AttachmentRow.staging_key) .where( AttachmentRow.staging_key.is_not(None), + ~select(JobRow.job_id) + .where( + JobRow.attachment_id == AttachmentRow.id, + JobRow.status.in_(["queued", "processing"]), + ) + .exists(), or_( AttachmentRow.status == "ready", (AttachmentRow.status == "failed") @@ -566,12 +572,12 @@ class PostgresJobRepository: await self._note(claimed, "claimed") source = ( await self._session.execute( - select(AttachmentRow.staging_key, AttachmentRow.original_key).where( - AttachmentRow.id == job.attachment_id - ) + select( + AttachmentRow.status, AttachmentRow.staging_key, AttachmentRow.original_key + ).where(AttachmentRow.id == job.attachment_id) ) ).one() - staged = source.staging_key is not None + staged = source.status != "ready" and source.staging_key is not None return Claim( Lease(claimed, token), source.staging_key if staged else source.original_key, staged ) diff --git a/student-tests/api/test_versioned_pipeline.py b/student-tests/api/test_versioned_pipeline.py index cd7f58ab..ceb58529 100644 --- a/student-tests/api/test_versioned_pipeline.py +++ b/student-tests/api/test_versioned_pipeline.py @@ -4,12 +4,17 @@ from uuid import UUID, uuid4 import pytest from httpx import AsyncClient +from test_attachments import storage from test_pipeline import accepted, job_of, rows from conftest import DATABASE, actor from messenger.admin import serve from messenger.attachments.application.commands import ReprocessAttachment -from messenger.attachments.application.pipeline import AFTER_S3_WRITE, ReprocessAttachmentHandler +from messenger.attachments.application.pipeline import ( + AFTER_CLAIM, + AFTER_S3_WRITE, + ReprocessAttachmentHandler, +) from messenger.attachments.application.ports import Rendition from messenger.attachments.domain.errors import ImageTooDemanding from messenger.attachments.domain.jobs import Outcome, ReprocessResult @@ -80,20 +85,22 @@ async def test_version_order_never_reverts_published_bytes( class PausedEffect: - def __init__(self) -> None: + def __init__(self, point: str) -> None: + self.point = point self.reached = asyncio.Event() self.resume = asyncio.Event() async def reach(self, point: str) -> None: - if point == AFTER_S3_WRITE: + if point == self.point: self.reached.set() await self.resume.wait() -async def test_old_holder_finishes_after_new_publication(client: AsyncClient) -> None: +@pytest.mark.parametrize("point", [AFTER_CLAIM, AFTER_S3_WRITE]) +async def test_old_holder_finishes_after_new_publication(client: AsyncClient, point: str) -> None: _, bob, ident = await accepted(client) old, new = await pipeline_of(client), await pipeline_of(client) - old.faults = pause = PausedEffect() + old.faults = pause = PausedEffect(point) job = await job_of(ident) running = asyncio.create_task(old.process(job)) try: @@ -102,8 +109,10 @@ async def test_old_holder_finishes_after_new_publication(client: AsyncClient) -> jobs = await versions(new, ident) assert await new.process(jobs[2]) is Outcome.DONE public = (await client.get(f"/api/v1/attachments/{ident}", headers=actor(bob))).json() + assert await new.clean() == 0 pause.resume.set() assert await asyncio.wait_for(running, 5) is Outcome.SUPERSEDED + assert await new.clean() == 1 assert (await attachment(ident))["published_version"] == 2 assert ( await client.get(f"/api/v1/attachments/{ident}", headers=actor(bob)) @@ -178,3 +187,14 @@ async def test_operator_cli_schedules_version_once( report = json.loads(capsys.readouterr().out.splitlines()[-1]) assert report["result"] == expected assert report["pipeline_version"] == 2 + + +async def test_ready_reprocess_survives_cleanup_before_metadata_commit(client: AsyncClient) -> None: + _, _, ident = await accepted(client) + pipeline = await pipeline_of(client) + await pipeline.drain() + await (await storage(client)).delete(f"staging/{ident}") + assert await reprocess(pipeline, ident) is ReprocessResult.QUEUED + jobs = await versions(pipeline, ident) + assert await pipeline.process(jobs[2]) is Outcome.DONE + assert (await attachment(ident))["published_version"] == 2