forked from mtusi2026/mtusi2026lab5
Preserve active staging and read published originals on reprocessing
This commit is contained in:
@@ -13,7 +13,7 @@ PostgreSQL — источник истины, RabbitMQ с FastStream/aio-pika
|
||||
- Ошибка одной версии не должна ставить attachment в failed, пока другая версия queued/processing. После фиксации job failure берётся блокировка attachment и отдельным запросом проверяются активные jobs; сериализация двух одновременных failures позволяет последнему выставить failed. Ready не меняется. Цена — короткая дополнительная блокировка на редком пути ошибки.
|
||||
- v1 сохраняет JPEG 85/WebP 80; v2 использует JPEG 90/WebP 85. Размеры, EXIF transpose, white alpha, metadata removal и max bytes/pixels/time/memory одинаковы. Ключ S3 содержит версию и digest: старый PUT не адресует объект новой версии, оригинал неизменен. Версии recipe после выпуска не редактируются; для нового recipe нужна новая версия.
|
||||
- Worker: claim+COMMIT → read/PUT S3 → variants+условная publication+COMMIT → manual ack. Сбой до PUT восстанавливается lease/outbox, после PUT повтор пишет те же ключи, после COMMIT повтор становится noop. Relay: durable outbox → publish mandatory/persistent с confirm → mark published+COMMIT; потерянный confirm создаёт повтор. Это идемпотентный эффект, не exactly-once доставка.
|
||||
- Staging после ready может быть убран при другой активной версии: следующий claim читает original; transient S3 read использует ограниченный retry. Исходные bytes остаются сохранены. Провал v2 не скрывает уже готовую v1.
|
||||
- Staging нельзя убирать, пока у вложения есть queued/processing job: старый держатель мог захватить staging до публикации новой версии. Claim ready-вложения всегда читает неизменяемый original, даже если staging ещё существует. Блокировка attachment сериализует уборку и reprocess; новые версии больше не зависят от удаляемого staging. Провал v2 не скрывает уже готовую v1.
|
||||
- Reorder доказывается принудительно: relay остановлен, вручную публикуется только v2, ожидается published=2, затем relay выпускает v1 и дубль v2. Stale after v2 сравнивает публичный снимок, SQL и реально отдаваемые bytes. Старый работник после нового покрывается конкурентным тестом.
|
||||
- Suite инвентаризует S3 только по IDs этого запуска, проверяет отсутствие лишних объектов и наличие всех ожидаемых ключей. Старые volumes и DLQ не очищаются. Каждый crash фиксирует фактический контейнер; retention меняет возраст только своей синтетической строки.
|
||||
|
||||
@@ -29,4 +29,6 @@ PostgreSQL — источник истины, RabbitMQ с FastStream/aio-pika
|
||||
|
||||
Первый track2 (run1.json) выявил queued задание без claims и два сообщения в DLQ: duplicate_in_flight не достиг ready за 90 s. Повтор именно этого job_id воспроизводит DBAPIError; другой дубль проходит. Сохраняются оба результата, SQLSTATE добавляется в безопасный журнал для точного установления причины. До исправления и трёх новых успешных серий change не завершён.
|
||||
|
||||
Регрессия воспроизводится в чистом процессе с графом импортов worker: UPDATE ORM до первичной настройки mappers возвращает UUID job_id как attempt; INSERT job_events затем падает с SQLSTATE 22000. Все UPDATE jobs используют SQLAlchemy Core table, без ORM synchronize_session и дополнительного RETURNING PK. Схема/данные не меняются. Регрессионный тест запускает два конкурентных claim в отдельных холодных процессах с разными hash seeds; исходный вариант падает, исправленный обязан пройти. В журнале остаётся только класс ошибки и SQLSTATE, без параметров.
|
||||
Регрессия воспроизводится в чистом процессе с графом импортов worker: первый UPDATE ORM в этом графе импортов возвращает UUID job_id как attempt; INSERT job_events затем падает с SQLSTATE 22000. Все UPDATE jobs используют SQLAlchemy Core table, без ORM synchronize_session и дополнительного RETURNING PK. Схема/данные не меняются. Регрессионный тест запускает два конкурентных claim в отдельных холодных процессах с разными hash seeds; исходный вариант падает, исправленный обязан пройти. В журнале остаётся только класс ошибки и SQLSTATE, без параметров.
|
||||
|
||||
Третий повтор verified-run3.json обнаружил гонку уборки staging и старого worker: v2 готова, v1 получила ObjectMissingError вместо superseded. Это критичный провал обязательного reorder; прежние два PASS не считаются завершённой серией. Регрессия задерживает держателя до/после side effect, публикует v2, запускает cleanup и требует сохранить staging до окончания активного держателя. После исправления повторяются локальные, публичные проверки, уровень 4 и три новые серии.
|
||||
|
||||
+4
@@ -28,6 +28,10 @@
|
||||
- **WHEN** worker версии 1 задержан после записи объектов, а версия 2 опубликована
|
||||
- **THEN** завершение версии 1 не перезаписывает опубликованный результат версии 2
|
||||
|
||||
#### Scenario: Уборка при активной версии
|
||||
- **WHEN** новая версия уже готова, а старый worker задержан до или после side effect и запускается очистка staging
|
||||
- **THEN** исходник активного worker сохраняется до его завершения; последующая обработка ready-вложения использует устойчивый опубликованный оригинал и не зависит от незавершённой уборки
|
||||
|
||||
#### Scenario: Ошибка при нескольких версиях
|
||||
- **WHEN** одна версия завершилась ошибкой, другая ещё обрабатывается
|
||||
- **THEN** вложение не становится failed до завершения оставшейся работы, а уже ready продолжает скачиваться
|
||||
|
||||
@@ -300,6 +300,12 @@ class PostgresAttachmentRepository:
|
||||
select(AttachmentRow.id, AttachmentRow.staging_key)
|
||||
.where(
|
||||
AttachmentRow.staging_key.is_not(None),
|
||||
~select(JobRow.job_id)
|
||||
.where(
|
||||
JobRow.attachment_id == AttachmentRow.id,
|
||||
JobRow.status.in_(["queued", "processing"]),
|
||||
)
|
||||
.exists(),
|
||||
or_(
|
||||
AttachmentRow.status == "ready",
|
||||
(AttachmentRow.status == "failed")
|
||||
@@ -566,12 +572,12 @@ class PostgresJobRepository:
|
||||
await self._note(claimed, "claimed")
|
||||
source = (
|
||||
await self._session.execute(
|
||||
select(AttachmentRow.staging_key, AttachmentRow.original_key).where(
|
||||
AttachmentRow.id == job.attachment_id
|
||||
)
|
||||
select(
|
||||
AttachmentRow.status, AttachmentRow.staging_key, AttachmentRow.original_key
|
||||
).where(AttachmentRow.id == job.attachment_id)
|
||||
)
|
||||
).one()
|
||||
staged = source.staging_key is not None
|
||||
staged = source.status != "ready" and source.staging_key is not None
|
||||
return Claim(
|
||||
Lease(claimed, token), source.staging_key if staged else source.original_key, staged
|
||||
)
|
||||
|
||||
@@ -4,12 +4,17 @@ from uuid import UUID, uuid4
|
||||
|
||||
import pytest
|
||||
from httpx import AsyncClient
|
||||
from test_attachments import storage
|
||||
from test_pipeline import accepted, job_of, rows
|
||||
|
||||
from conftest import DATABASE, actor
|
||||
from messenger.admin import serve
|
||||
from messenger.attachments.application.commands import ReprocessAttachment
|
||||
from messenger.attachments.application.pipeline import AFTER_S3_WRITE, ReprocessAttachmentHandler
|
||||
from messenger.attachments.application.pipeline import (
|
||||
AFTER_CLAIM,
|
||||
AFTER_S3_WRITE,
|
||||
ReprocessAttachmentHandler,
|
||||
)
|
||||
from messenger.attachments.application.ports import Rendition
|
||||
from messenger.attachments.domain.errors import ImageTooDemanding
|
||||
from messenger.attachments.domain.jobs import Outcome, ReprocessResult
|
||||
@@ -80,20 +85,22 @@ async def test_version_order_never_reverts_published_bytes(
|
||||
|
||||
|
||||
class PausedEffect:
|
||||
def __init__(self) -> None:
|
||||
def __init__(self, point: str) -> None:
|
||||
self.point = point
|
||||
self.reached = asyncio.Event()
|
||||
self.resume = asyncio.Event()
|
||||
|
||||
async def reach(self, point: str) -> None:
|
||||
if point == AFTER_S3_WRITE:
|
||||
if point == self.point:
|
||||
self.reached.set()
|
||||
await self.resume.wait()
|
||||
|
||||
|
||||
async def test_old_holder_finishes_after_new_publication(client: AsyncClient) -> None:
|
||||
@pytest.mark.parametrize("point", [AFTER_CLAIM, AFTER_S3_WRITE])
|
||||
async def test_old_holder_finishes_after_new_publication(client: AsyncClient, point: str) -> None:
|
||||
_, bob, ident = await accepted(client)
|
||||
old, new = await pipeline_of(client), await pipeline_of(client)
|
||||
old.faults = pause = PausedEffect()
|
||||
old.faults = pause = PausedEffect(point)
|
||||
job = await job_of(ident)
|
||||
running = asyncio.create_task(old.process(job))
|
||||
try:
|
||||
@@ -102,8 +109,10 @@ async def test_old_holder_finishes_after_new_publication(client: AsyncClient) ->
|
||||
jobs = await versions(new, ident)
|
||||
assert await new.process(jobs[2]) is Outcome.DONE
|
||||
public = (await client.get(f"/api/v1/attachments/{ident}", headers=actor(bob))).json()
|
||||
assert await new.clean() == 0
|
||||
pause.resume.set()
|
||||
assert await asyncio.wait_for(running, 5) is Outcome.SUPERSEDED
|
||||
assert await new.clean() == 1
|
||||
assert (await attachment(ident))["published_version"] == 2
|
||||
assert (
|
||||
await client.get(f"/api/v1/attachments/{ident}", headers=actor(bob))
|
||||
@@ -178,3 +187,14 @@ async def test_operator_cli_schedules_version_once(
|
||||
report = json.loads(capsys.readouterr().out.splitlines()[-1])
|
||||
assert report["result"] == expected
|
||||
assert report["pipeline_version"] == 2
|
||||
|
||||
|
||||
async def test_ready_reprocess_survives_cleanup_before_metadata_commit(client: AsyncClient) -> None:
|
||||
_, _, ident = await accepted(client)
|
||||
pipeline = await pipeline_of(client)
|
||||
await pipeline.drain()
|
||||
await (await storage(client)).delete(f"staging/{ident}")
|
||||
assert await reprocess(pipeline, ident) is ReprocessResult.QUEUED
|
||||
jobs = await versions(pipeline, ident)
|
||||
assert await pipeline.process(jobs[2]) is Outcome.DONE
|
||||
assert (await attachment(ident))["published_version"] == 2
|
||||
|
||||
Reference in New Issue
Block a user