Files
mtusi2026lab5/evidence/summary.md
T

13 KiB
Raw Blame History

Сводка проверок

Шаг Что проверяет Результат Время, с Файл
check offline contract check (make check) PASS 0 evidence/check.txt
stack stand layout: replicas, ports, limits, networks, secrets, S3 PASS 3 evidence/stack.txt
smoke public smoke via the balancer (make test), with attachment PASS 1 evidence/smoke.txt
jobs-variants lab5: thumbnail/crop/optimized, EXIF orientation, alpha, no upscale, metadata stripped PASS 20 evidence/jobs-variants.txt
jobs-limits lab5: worker limits - bytes, pixels, memory (RLIMIT_AS), time (JOB_TIMEOUT_SECONDS) PASS 74 evidence/jobs-limits.txt
jobs-recovery lab5: worker down -> 202 -> restart api+broker -> ready; broker down -> outbox waits PASS 55 evidence/jobs-recovery.txt
jobs-outbox lab5: dispatcher crash between COMMIT and publish / after confirm PASS 15 evidence/jobs-outbox.txt
jobs-crash lab5: worker crash after S3 PUT / after COMMIT before ack, staging cleanup, frozen worker lease PASS 156 evidence/jobs-crash.txt
jobs-retry lab5: backoff+jitter, retry_exhausted, replay, permanent errors, DLQ PASS 70 evidence/jobs-retry.txt
jobs-janitor-replay lab5: janitor does not delete objects re-written by replay (review fix) PASS 186 evidence/jobs-janitor-replay.txt
jobs-concurrency lab5: WORKER_CONCURRENCY consumers, prefetch 1, bounded processing PASS 15 evidence/jobs-concurrency.txt
attachments lab4: files, limits, damaged images, MIME, filenames, access, attachment_ids PASS 10 evidence/attachments.txt
s3-security lab4: private bucket outside API, limited API key, no console/ports, idempotent bootstrap PASS 10 evidence/s3-security.txt
consistency lab4: aborted upload, crash between S3 and DB, janitor, orphans, S3 outage PASS 156 evidence/consistency.txt
upload-memory lab4: >=10 concurrent uploads, peak memory of api replicas PASS 54 evidence/upload-memory.txt
balancing balancing, shared sessions/data/files, X-Instance-Id PASS 2 evidence/balancing.txt
idempotency Idempotency-Key, parallel same key via replicas PASS 2 evidence/idempotency.txt
student-tests lab1/lab2 API tests via the balancer PASS 3 evidence/student-tests.txt
race lab2 races via the balancer PASS 1 evidence/race.txt
db PostgreSQL: rollback, FK, Argon2id, unique keys, migrations PASS 11 evidence/db.txt
redis Redis as the session store PASS 3 evidence/redis.txt
explain EXPLAIN of the history page (full plans: explain-history.txt) PASS 1 evidence/explain.txt
failover public failover test for every replica, file downloaded via the other one (make test-failover) PASS 41 evidence/failover.txt
load public load generator, 30 s, concurrency 4 PASS 30 evidence/load.txt
failures Redis and PostgreSQL outages via the balancer PASS 55 evidence/failures.txt
persistence public persistence test incl. S3 + proof of real restarts (make test-persistence) PASS 60 evidence/persistence.txt

Замеры

Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-10-24, commit 276dbda + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB.

Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):

Прогон Остановлена реплика Реплик до отказа Успешных записей Неудачных попыток (повторены с тем же ключом) Первая запись после hook, с
1 5aa14958c864 2 123 0 4.406
2 b9ad6d33d190 2 125 0 4.188

Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:

Сценарий Одновременно Объём, MiB Время, с (p50 / max) Реплика: загрузок RSS до, MiB Пик RSS, MiB Рост, MiB Пик cgroup, MiB
10 x ~9.5 MiB PNG (noise) 10 94.9 1.45 / 1.56 5aa14958c864: 5 96.0 109.7 13.7 149.6
b9ad6d33d190: 5 94.5 108.9 14.4 142.1
10 x 40 Mpx PNG (8000x5000 RGB) 10 1.1 1.04 / 1.31 5aa14958c864: 5 96.6 97.6 1.0 89.6
b9ad6d33d190: 5 96.2 98.6 2.3 88.9
20 mixed: large + 40 Mpx + JPEG 20 133.2 4.96 / 5.2 5aa14958c864: 10 94.7 114.9 20.3 155.4
b9ad6d33d190: 10 97.0 121.8 24.8 176.9

Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.

Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 243.885 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 32.0 мс.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
публичный make test-failover для каждой реплики запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет PASS 2 раз(а), неудачных попыток: 0, 0 первая запись после hook через 4.406, 4.188 с (hook ждёт остановки ~4 с); потерь нет
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) данные, файл и прежний токен живы PASS, те же контейнеры с новым временем старта 58.5 с до готовности; потерь нет
docker compose stop s3 (SeaweedFS остановлен) загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают upload 503 за 19922 мс, download 503, остальное 200/201 после start файлы на месте; uploading-строку убрал janitor; потерь нет
docker compose pause s3 (SeaweedFS завис) то же, но через таймауты S3-клиента upload 503 за 14860 мс (2 попытки x 5 с + откат 2 с) после unpause файлы на месте; потерь нет
падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено мусора не осталось; повторный проход ничего не делает
обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) ничего не сохраняется строк и объектов не прибавилось, временных файлов 0 мгновенно
worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready worker started -> same job 9ab3ca59-e6f4-4f6e-928b-7163577d6139 ready, thumbnail downloadable; staging object deleted потерь нет; staging удалён после COMMIT
rabbitmq остановлен во время upload 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется rabbitmq started -> dispatcher published the pending row -> ready потерь нет
crash dispatcher между COMMIT задания и publish строка outbox не отмечена -> публикуется после рестарта процесса dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 9d62ceee-578c-46df-9916-1a7c4c6d8318 ready, attempt 1, no manual action без ручного действия
crash dispatcher после confirm, до отметки outbox дубль сообщения, worker распознаёт по состоянию job dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set один набор вариантов
crash worker после PUT в S3, до COMMIT и ack повтор после истечения аренды перезаписывает те же ключи worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] один набор, 4 объекта
crash worker после COMMIT, до ack redelivery ready-задачи -> no-op ack worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) очередь пуста, дублей нет
worker завис (не продлевает аренду) dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 17 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] ready не откатан
зависание обработки изображения процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s повтор -> ready
нехватка памяти в процессе обработки (RLIMIT_AS) failed/resource_limit, worker жив memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived постоянная ошибка, без повторов
2 временные ошибки S3 backoff с jitter, затем ready 2 x storage_unavailable -> retries after 1.00 s and 3.30 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready -
5 временных ошибок подряд failed/retry_exhausted, реестр failed, content 409 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) replay оператора
replay failed и повторный replay ready тот же job_id -> ready; повтор отклонён ops replay -> same job_id f7e15ba3-2d82-414f-8d88-3038061dbc51 attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" дубля нет
невалидное сообщение и неизвестный job_id reject -> DLQ, dlq-replay не исполняет schema-invalid message and unknown job_id -> reject -> DLQ (3 message(s)); dlq-replay kept them: ['unknown job', 'invalid message is kept for analysis'] сообщения сохранены
8 заданий в очереди, старт worker WORKER_CONCURRENCY=2, prefetch 1 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.4 s after worker start, peak processing 2 of 8 (6 samples) -