forked from mtusi2026/mtusi2026lab5
final vers
This commit is contained in:
@@ -1,7 +1,7 @@
|
||||
# Отчёт — лабораторная 5
|
||||
|
||||
- Автор, группа: Григорян Илья Мурадович, БПИ2303.
|
||||
- Целевая оценка; выбранный трек 5, если нужен: **5**, трек — **TODO**. Все пункты уровней **3 и 4** реализованы и проверены.
|
||||
- Целевая оценка: **4**. Все пункты уровней **3 и 4** реализованы и проверены.
|
||||
- Commit/PR: TODO после публикации.
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI, SQLAlchemy, Pillow, aio-pika; [RabbitMQ](https://www.rabbitmq.com/docs/reliability), [Pillow](https://pillow.readthedocs.io/en/stable/); помощь Codex при реализации и проверках.
|
||||
|
||||
@@ -79,7 +79,6 @@ JOB_ID и REQUEST_UUID заменить UUID. Повтор команды с т
|
||||
| Разрыв COMMIT → publish | make test-outbox | SIGKILL publisher, затем ready без нового upload | evidence/verification.json |
|
||||
| Backoff/jitter, failed registry, replay | make test-jobs | Постоянные/временные ошибки различаются, replay безопасен | evidence/jobs.json |
|
||||
| Crash после PUT до ack, lease и cleanup | make test-jobs; make test-pipeline | Тот же результат, prefetch=1; активный staging сохранён | evidence/jobs.json; evidence/verification.json |
|
||||
| Выбранный трек 5 | TODO | TODO | TODO |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
@@ -89,10 +88,8 @@ JOB_ID и REQUEST_UUID заменить UUID. Повтор команды с т
|
||||
| Crash после COMMIT до ack | Готовый дубль без обработки | Metadata и Last-Modified не изменились | После доставки; потерь нет |
|
||||
| Временная / постоянная ошибка | Ограниченный retry / немедленный failed | Пять / одна попытка; явный replay завершился ready | В пределах бюджета; потерь нет |
|
||||
|
||||
Трек 5 — **TODO**: гипотеза, методика, измерения и выводы.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Один Docker-хост, без репликации хранилищ и защиты от потери диска. Очередь не имеет
|
||||
admission control; pipeline фиксирован на версии 1. Доставка как минимум один раз,
|
||||
с идемпотентным результатом. Исследование для уровня 5 — **TODO**.
|
||||
с идемпотентным результатом.
|
||||
|
||||
+29
-13
@@ -75,28 +75,25 @@ def same_request(record, job_id, actor, reason):
|
||||
}
|
||||
|
||||
|
||||
async def replay_failed_job(
|
||||
session, storage, settings, job_id, *, request_id, actor, reason
|
||||
):
|
||||
def validate_replay_request(actor: str, reason: str) -> None:
|
||||
"""Проверить данные оператора для записи аудита."""
|
||||
if (
|
||||
re.fullmatch(r"[A-Za-z0-9._-]{1,64}", actor) is None
|
||||
or reason not in REPLAY_REASONS
|
||||
):
|
||||
raise JobOperationError("invalid_audit_fields")
|
||||
row = await jobs.lock_job(session, job_id)
|
||||
if row is None:
|
||||
raise JobOperationError("unknown_job")
|
||||
record = await job_admin.replay_record(session, request_id)
|
||||
if record is not None:
|
||||
result = same_request(record, job_id, actor, reason)
|
||||
await session.rollback()
|
||||
return result
|
||||
job, attachment = row
|
||||
|
||||
|
||||
def validate_replay_job(job, attachment) -> None:
|
||||
"""Разрешить новый replay только для failed с сохранённым исходником."""
|
||||
if attachment.status != "failed":
|
||||
raise JobOperationError("job_not_failed")
|
||||
if job.staging_key is None:
|
||||
raise JobOperationError("source_expired")
|
||||
# Та же блокировка защищает исходник от cleanup до окончания проверки и COMMIT.
|
||||
|
||||
|
||||
async def verify_replay_source(storage, settings, job, attachment) -> None:
|
||||
"""Проверить размер и SHA-256 исходника в S3 под блокировкой job."""
|
||||
work = JobWork(
|
||||
job.id,
|
||||
attachment.id,
|
||||
@@ -117,6 +114,25 @@ async def replay_failed_job(
|
||||
if error.code in {"NoSuchKey", "NoSuchObject"}:
|
||||
raise JobOperationError("source_missing") from None
|
||||
raise
|
||||
|
||||
|
||||
async def replay_failed_job(
|
||||
session, storage, settings, job_id, *, request_id, actor, reason
|
||||
):
|
||||
"""Организовать replay; блокировка, rollback и commit остаются здесь."""
|
||||
validate_replay_request(actor, reason)
|
||||
row = await jobs.lock_job(session, job_id)
|
||||
if row is None:
|
||||
raise JobOperationError("unknown_job")
|
||||
record = await job_admin.replay_record(session, request_id)
|
||||
if record is not None:
|
||||
result = same_request(record, job_id, actor, reason)
|
||||
await session.rollback()
|
||||
return result
|
||||
job, attachment = row
|
||||
validate_replay_job(job, attachment)
|
||||
# Блокировка сохраняется во время проверки S3, аудита и изменения job.
|
||||
await verify_replay_source(storage, settings, job, attachment)
|
||||
limit = job.attempt + settings.job_max_attempts
|
||||
inserted = await job_admin.insert_replay(
|
||||
session,
|
||||
|
||||
Reference in New Issue
Block a user