From 2639c089449cc5a2f3673597bfeb2d530e023bee Mon Sep 17 00:00:00 2001 From: gytall Date: Thu, 12 Nov 2026 22:50:05 +0300 Subject: [PATCH] final vers --- REPORT.md | 7 ++----- app/domain/job_admin.py | 42 ++++++++++++++++++++++++++++------------- 2 files changed, 31 insertions(+), 18 deletions(-) diff --git a/REPORT.md b/REPORT.md index afac7eb..268e54d 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,7 +1,7 @@ # Отчёт — лабораторная 5 - Автор, группа: Григорян Илья Мурадович, БПИ2303. -- Целевая оценка; выбранный трек 5, если нужен: **5**, трек — **TODO**. Все пункты уровней **3 и 4** реализованы и проверены. +- Целевая оценка: **4**. Все пункты уровней **3 и 4** реализованы и проверены. - Commit/PR: TODO после публикации. - Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI, SQLAlchemy, Pillow, aio-pika; [RabbitMQ](https://www.rabbitmq.com/docs/reliability), [Pillow](https://pillow.readthedocs.io/en/stable/); помощь Codex при реализации и проверках. @@ -79,7 +79,6 @@ JOB_ID и REQUEST_UUID заменить UUID. Повтор команды с т | Разрыв COMMIT → publish | make test-outbox | SIGKILL publisher, затем ready без нового upload | evidence/verification.json | | Backoff/jitter, failed registry, replay | make test-jobs | Постоянные/временные ошибки различаются, replay безопасен | evidence/jobs.json | | Crash после PUT до ack, lease и cleanup | make test-jobs; make test-pipeline | Тот же результат, prefetch=1; активный staging сохранён | evidence/jobs.json; evidence/verification.json | -| Выбранный трек 5 | TODO | TODO | TODO | ## Эксперименты и отказы @@ -89,10 +88,8 @@ JOB_ID и REQUEST_UUID заменить UUID. Повтор команды с т | Crash после COMMIT до ack | Готовый дубль без обработки | Metadata и Last-Modified не изменились | После доставки; потерь нет | | Временная / постоянная ошибка | Ограниченный retry / немедленный failed | Пять / одна попытка; явный replay завершился ready | В пределах бюджета; потерь нет | -Трек 5 — **TODO**: гипотеза, методика, измерения и выводы. - ## Ограничения и следующие шаги Один Docker-хост, без репликации хранилищ и защиты от потери диска. Очередь не имеет admission control; pipeline фиксирован на версии 1. Доставка как минимум один раз, -с идемпотентным результатом. Исследование для уровня 5 — **TODO**. +с идемпотентным результатом. diff --git a/app/domain/job_admin.py b/app/domain/job_admin.py index 6a6be44..5bfb82e 100644 --- a/app/domain/job_admin.py +++ b/app/domain/job_admin.py @@ -75,28 +75,25 @@ def same_request(record, job_id, actor, reason): } -async def replay_failed_job( - session, storage, settings, job_id, *, request_id, actor, reason -): +def validate_replay_request(actor: str, reason: str) -> None: + """Проверить данные оператора для записи аудита.""" if ( re.fullmatch(r"[A-Za-z0-9._-]{1,64}", actor) is None or reason not in REPLAY_REASONS ): raise JobOperationError("invalid_audit_fields") - row = await jobs.lock_job(session, job_id) - if row is None: - raise JobOperationError("unknown_job") - record = await job_admin.replay_record(session, request_id) - if record is not None: - result = same_request(record, job_id, actor, reason) - await session.rollback() - return result - job, attachment = row + + +def validate_replay_job(job, attachment) -> None: + """Разрешить новый replay только для failed с сохранённым исходником.""" if attachment.status != "failed": raise JobOperationError("job_not_failed") if job.staging_key is None: raise JobOperationError("source_expired") - # Та же блокировка защищает исходник от cleanup до окончания проверки и COMMIT. + + +async def verify_replay_source(storage, settings, job, attachment) -> None: + """Проверить размер и SHA-256 исходника в S3 под блокировкой job.""" work = JobWork( job.id, attachment.id, @@ -117,6 +114,25 @@ async def replay_failed_job( if error.code in {"NoSuchKey", "NoSuchObject"}: raise JobOperationError("source_missing") from None raise + + +async def replay_failed_job( + session, storage, settings, job_id, *, request_id, actor, reason +): + """Организовать replay; блокировка, rollback и commit остаются здесь.""" + validate_replay_request(actor, reason) + row = await jobs.lock_job(session, job_id) + if row is None: + raise JobOperationError("unknown_job") + record = await job_admin.replay_record(session, request_id) + if record is not None: + result = same_request(record, job_id, actor, reason) + await session.rollback() + return result + job, attachment = row + validate_replay_job(job, attachment) + # Блокировка сохраняется во время проверки S3, аудита и изменения job. + await verify_replay_source(storage, settings, job, attachment) limit = job.attempt + settings.job_max_attempts inserted = await job_admin.insert_replay( session,