Исправить проблемы, найденные повторной проверкой из чистого clone

- Healthcheck S3 проверяет реальную запись (PUT во внутренний filer):
  после рестарта SeaweedFS запись готова на 10–20 с позже /healthz, и
  make test-failover сразу после make test-persistence падал с 503.
- Upload на старте реплики ждёт первой успешной проверки S3 до 5 с.
- stop-one.sh берёт реплики из docker compose ps, а не по имени проекта.
- s3_outage.py в конце ждёт восстановления S3; переключение
  FAULT_INJECTION выполняется с --no-deps.
- Перезаписаны evidence/, в REPORT.md добавлен раздел повторной проверки.
This commit is contained in:
2026-11-07 11:34:41 +03:00
parent ace2bbd413
commit 0341b4e674
26 changed files with 335 additions and 262 deletions
+39 -19
View File
@@ -32,9 +32,9 @@ python3 student-tests/attachments_negative.py --output evidence/attachments-nega
python3 student-tests/attachment_failover.py --output evidence/attachment-failover.json
python3 student-tests/s3_outage.py --output evidence/s3-outage.json
python3 student-tests/upload_memory.py --concurrency 12 --rounds 3 --output evidence/upload-memory-c12.json
FAULT_INJECTION=1 docker compose --env-file .env up -d --wait api # учебный хук отказов, только на время теста
FAULT_INJECTION=1 docker compose --env-file .env up -d --no-deps --wait api # учебный хук отказов, только на время теста
python3 student-tests/consistency_faults.py --output evidence/consistency-faults.json
docker compose --env-file .env up -d --wait api # обратно FAULT_INJECTION=0
docker compose --env-file .env up -d --no-deps --wait api # обратно FAULT_INJECTION=0
# 4. Janitor вручную: отчёт без изменений / исправление
docker compose run --rm --no-deps janitor python /app/src/janitor.py --once --dry-run
@@ -65,7 +65,7 @@ docker compose down -v
| API | `api` ×2 | `mtusi-messenger:lab4` (из `Dockerfile`) | `/health/live`, `/health/ready` (только БД) | — (без состояния) | backend, `8080` внутри | `postgres_password`, `s3_api_*` |
| Миграции | `migrate` | тот же | exit 0 | — | backend | `postgres_password` |
| БД | `db` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | backend (`internal`) | `postgres_password` |
| S3 | `s3` | `chrislusf/seaweedfs:4.50` | `/healthz` S3 **и** master видит volume-сервер | `s3data` | backend, только `:8333` | `s3_identities.json` |
| S3 | `s3` | `chrislusf/seaweedfs:4.50` | `/healthz` S3 **и** работающая запись (PUT во внутренний filer) | `s3data` | backend, только `:8333` | `s3_identities.json` |
| Bootstrap S3 | `s3-init` | `mtusi-messenger:lab4` | exit 0 | — | backend | `s3_admin_*` (только он) |
| Сверка | `janitor` | тот же | heartbeat-файл ≤ 90 с | — | backend | `postgres_password`, `s3_janitor_*` |
| Проверка | `s3-check` (profile `tools`) | тот же | — | — | backend | `s3_api_*`, `s3_janitor_*` |
@@ -128,8 +128,8 @@ docker compose down -v
| Параметр | Значение | Почему |
| --- | --- | --- |
| `/health/ready` | только PostgreSQL (как в lab3) | S3 общий для всех реплик: убрать все реплики из LB при отказе S3 бессмысленно, а текстовые сообщения без S3 работают. Проверено: при остановленном S3 ready=200, сообщения 201 |
| S3Health (фон, 1 с) | PUT + GET `health/<реплика>`, устарело через 3 с | У SeaweedFS после рестарта `/healthz` и HEAD bucket уже успешны, а первая запись висит ~5–13 с. Upload при неготовом S3 → сразу 503, download → 503 только при подтверждённом отказе |
| healthcheck `s3` | `/healthz` и master видит volume-сервер (`/dir/status`) | иначе API стартовал раньше, чем S3 мог читать; `restart.sh` ждёт healthy S3 перед перезапуском API |
| S3Health (фон, 1 с) | PUT + GET `health/<реплика>`, устарело через 3 с | У SeaweedFS после рестарта `/healthz` и HEAD bucket уже успешны, а первая запись ещё висит. При подтверждённом отказе upload и download → сразу 503; на старте реплики upload ждёт первой успешной проверки до `S3_STARTUP_WAIT_SECONDS=5` |
| healthcheck `s3` | `/healthz` и PUT маленького файла во внутренний filer (`/.healthcheck/probe`, вне `/buckets`, через S3 не виден); `start_interval 1s`, затем раз в 5 с | после рестарта SeaweedFS запись ещё 10–20 с не готова (выбор raft-лидера, выдача volume). Без проверки записи `restart.sh` перезапускал API раньше, и `make test-failover` сразу после `make test-persistence` падал на первой загрузке (503) |
| S3-клиент API | connect 2 с, read 5 с, без повторов | 5 с < `timeout server 10s` у LB: API сам отвечает 503 в формате контракта, а не LB 504 |
| HAProxy для upload | `http-request set-timeout server 75s` | приём ≤ 60 с + PUT; тело проксируется потоком (без `http-buffer-request`) |
| Приём тела | `UPLOAD_TIMEOUT_SECONDS=60` на всё тело, 30 с на один recv | медленный клиент не держит поток бесконечно |
@@ -146,6 +146,7 @@ docker compose down -v
- маршрутизация: тело читается после выбора маршрута, а upload читает его сам, потоком;
- `restart.sh` перезапускает и S3;
- у `db` и `s3` появился `restart: unless-stopped`;
- `stop-one.sh` берёт список реплик у `docker compose ps`, а не по жёстко прописанному имени проекта: хук работает и при другом `COMPOSE_PROJECT_NAME` (так проверялся чистый clone);
- digest-ы образов закреплены полностью.
`failover-each.sh` и `rolling-update.sh` в lab4 повторно не прогонялись.
@@ -160,11 +161,11 @@ docker compose down -v
| `S3_ENDPOINT` | `http://s3:8333` (порт SeaweedFS S3, не 9000 как у MinIO) |
| `S3_REGION`, `S3_BUCKET`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | как есть (`us-east-1`, `messenger-attachments`, 10485760, 40000000) |
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | файлы Docker secrets; у каждого сервиса свой ключ (api / janitor / s3-init) |
| добавлены | `UPLOAD_TIMEOUT_SECONDS`, `UPLOAD_CONCURRENCY`, `DECODE_CONCURRENCY`, `S3_PUT_CONCURRENCY`, `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `ATTACHMENT_GRACE_SECONDS`, `JANITOR_INTERVAL_SECONDS`, `FAULT_INJECTION` (по умолчанию 0) |
| добавлены | `UPLOAD_TIMEOUT_SECONDS`, `UPLOAD_CONCURRENCY`, `DECODE_CONCURRENCY`, `S3_PUT_CONCURRENCY`, `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `S3_STARTUP_WAIT_SECONDS`, `ATTACHMENT_GRACE_SECONDS`, `JANITOR_INTERVAL_SECONDS`, `FAULT_INJECTION` (по умолчанию 0) |
## Доказательства критериев
Все прогоны 06–07.11.2026 на итоговом коде, машина и лимиты — как выше.
Все прогоны — 07.11.2026 на итоговом коде (после исправлений из раздела «Повторная проверка»), машина и лимиты — как выше. Тот же набор дополнительно прошёл в чистом clone с новыми секретами и пустыми volumes.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
@@ -173,11 +174,11 @@ docker compose down -v
| 3: 201 ready после сохранения, побайтный download, message с `attachment_ids` читается участником | `make test`, `attachments_negative.py` | 201 `status=ready`, SHA-256 и Content-Type совпадают для PNG, JPEG и PNG 10 482 871 B; bob скачивает файл alice, отправляет `text=""` + вложение | `evidence/smoke.txt`, `evidence/attachments-negative.txt` |
| 3: PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения/декодирования | `attachments_negative.py` | 10 MiB+1 → 413; IHDR 100000² и 7000×6000 → 413 без распаковки; zlib-бомба 50 MB → 415; 13 вариантов опасных filename → 400 | `evidence/attachments-negative.json` |
| 3: upload → остановка обслужившей реплики → download через другую | `attachment_failover.py` (по каждой реплике) | 2/2 раунда: остановлена именно загрузившая реплика, 5/5 скачиваний другой репликой, SHA-256 совпал | `evidence/attachment-failover.json` |
| 3: failover (публичный) | `make test-failover` ×2 | PASS, 2 реплики, 128/129 записей, 0 неуспешных, восстановление 3,6/3,5 с | `evidence/failover.txt` |
| 3: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `StartedAt` всех 6 контейнеров (db, s3, api×2, janitor, lb) изменился; тот же токен, тот же файл | `evidence/persistence.txt` |
| 3: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` ×2 | PASS; `StartedAt` всех 6 контейнеров (db, s3, api×2, janitor, lb) изменился; тот же токен, тот же файл | `evidence/persistence-failover.txt` |
| 3: failover (публичный) | `make test-failover` ×2, каждый раз **сразу после** persistence | PASS, 2 реплики, 129/128 записей, 0 неуспешных, восстановление 3,7/3,3 с | `evidence/persistence-failover.txt` |
| 4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; ошибка пользователя ≠ 500 | `attachments_negative.py` | 60/60 PASS, **0 ответов 5xx**; все ошибки — JSON контракта с `request_id` = `X-Request-Id` | `evidence/attachments-negative.json` |
| 4: прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; компенсация/сверка с grace | `consistency_faults.py` (`FAULT_INJECTION=1`) | см. «Согласованность» ниже: компенсация ничего не оставляет, свежее не удаляется, после grace удалено всё брошенное, повторный проход ничего не находит | `evidence/consistency-faults.json` |
| 4: лимиты/таймауты и потоковая обработка; ≥ 10 одновременных загрузок с замером пика памяти | `upload_memory.py --concurrency 12` и `20` | 36/36 и 60/60 × 201; пиковый RSS API 95–102 MiB при лимите 256 и **не растёт** с 12 до 20; до исправления — 178–189 MiB | `evidence/upload-memory-c{12,20}.json`, `evidence/before-fix/` |
| 4: лимиты/таймауты и потоковая обработка; ≥ 10 одновременных загрузок с замером пика памяти | `upload_memory.py --concurrency 12` и `20` | 36/36 и 60/60 × 201; пиковый RSS API 91–97 MiB при лимите 256 и **не растёт** с 12 до 20; до исправления — 178–189 MiB | `evidence/upload-memory-c{12,20}.json`, `evidence/before-fix/` |
| 4: bootstrap bucket идемпотентен | `s3-init` два раза подряд | оба раза exit 0, `created:false`, `private:true` | `evidence/s3-bootstrap-idempotent.txt` |
| 4: у API отдельные ограниченные S3 credentials; консоль не открыта; проверка private bucket вне API | `docker compose --profile tools run --rm s3-check` | 21/21 PASS: права api/janitor/анонима как в таблице; из backend-сети закрыты 9333, 8080, 8888, 8111, 8181, 9101, открыт только 8333; на хост S3 не опубликован | `evidence/s3-private-check.txt` |
| Проверка недоступности S3 (README, п. 5) | `s3_outage.py` (`stop` и `pause` S3) | upload/download → 503 `unavailable` + `Retry-After: 1` за 10–15 мс; сообщения 201, ready 200; восстановление без перезапуска API | `evidence/s3-outage.json` |
@@ -198,9 +199,9 @@ docker compose down -v
| Строку брошенной загрузки удалили вручную | объект-сирота | janitor: `orphan_objects: 1` | удалён после grace |
| Объект ready-вложения удалили в S3 | только отчёт, download 503 | download 503 (не 500); `missing_objects` растёт, строка не удалена | требует человека |
| janitor с grace 3600 (всё свежее), dry-run и боевой | ничего не удалять | `deleted_objects: 0, deleted_rows: 0` | свежие и используемые не тронуты |
| ожидание 22 с, janitor с grace 20: dry-run → боевой → повтор | найти → удалить → 0 | dry-run: 17 брошенных pending + 1 сирота, удалено 0; боевой: удалено 18 объектов и 17 строк; повтор: 0/0/0 | контрольное ready-вложение скачивается, SHA-256 совпал |
| ожидание 22 с, janitor с grace 20: dry-run → боевой → повтор | найти → удалить → 0 | dry-run: 3 брошенных pending + 1 сирота, удалено 0; боевой: удалено 4 объекта и 3 строки; повтор: 0/0/0 | контрольное ready-вложение скачивается, SHA-256 совпал |
Брошенных pending нашлось 17, а не 2 (третью строку эксперимент сам превратил в сироту): 15 строк уже лежали в БД до начала эксперимента (baseline `pending: 15`). Они остались от реального инцидента — OOM-kill SeaweedFS во время эксперимента с памятью (см. ниже). Там PUT упал, компенсация тоже не достучалась до S3, и строки по проекту остались pending — janitor их нашёл и убрал. Ещё эксперимент нашёл ошибку в первой версии компенсации. При неудачном PUT удалялась только pending-строка, а PUT по таймауту мог успеть записать объект: на ранних прогонах так возникли 2 объекта-сироты. Исправлено: сначала удаляется объект, потом строка. Обход bucket из ~350 объектов и сверка с БД занимают ≈ 100 мс за проход.
Третья брошенная pending-строка — не от инъекции: до эксперимента в БД уже лежала одна (baseline `pending: 1`). Она осталась от теста отказа S3: первая загрузка во время `pause` упала по таймауту PUT, удалить объект тоже не вышло, и строка по проекту осталась pending. Janitor убрал её вместе с остальными. В более раннем прогоне (до исправления памяти SeaweedFS) таких строк было 15 — следы OOM-kill S3, — и janitor их так же нашёл и убрал. Ещё эксперимент нашёл ошибку в первой версии компенсации. При неудачном PUT удалялась только pending-строка, а PUT по таймауту мог успеть записать объект: так возникли 2 объекта-сироты. Исправлено: сначала удаляется объект, потом строка. `missing_objects: 4` — объекты, намеренно удалённые этим экспериментом в четырёх прогонах; строки остаются, как и задумано. Обход bucket из ~470 объектов и сверка с БД занимают ≈ 100 мс за проход.
### Память при одновременных загрузках (`student-tests/upload_memory.py`)
@@ -217,11 +218,11 @@ docker compose down -v
| --- | --- | --- | --- | --- | --- | --- |
| до: без лимита PUT, glibc по умолчанию, c=12 | 36 / 318 MiB | 36 | 6,2 с; 1,9/2,2 с | **178 / 189** (из 256) | 213 / 229 | не мерили |
| до: S3 без лимитов буферов, 512 MiB, c=12 | 36 / 318 MiB | 36 | 5,9 с | 96 / 94 | 145 / 124 | 395 MiB; **в одном из прогонов — OOM-kill (exit 137), без restart S3 остался лежать** |
| **после**, c=12 | 36 / 318 MiB | 36 | 5,4 с; 1,55/1,82 с | **95 / 99** | 135 / 127 | 484 MiB (лимит 768) |
| **после**, c=20 | 60 / 530 MiB | 60 | 8,6 с; 2,4/3,1 с | **98 / 102** | 154 / 168 | 477 MiB |
| **после**, c=12 | 36 / 318 MiB | 36 | 5,2 с; 1,52/1,81 с | **93 / 97** | 133 / 139 | 484 MiB (лимит 768) |
| **после**, c=20 | 60 / 530 MiB | 60 | 8,4 с; 2,23/2,82 с | **91 / 94** | 145 / 159 | 487 MiB |
Выводы:
1. **Память API.** На простое RSS реплики ~50 MiB. Основную добавку давал S3 PUT: minio-py держит в памяти часть 5 MiB с копиями для подписи, ~20 MiB на загрузку. Ограничение PUT до 3 на реплику (тело уже на диске, остальные ждут в очереди) и `MALLOC_ARENA_MAX=2` снизили пик почти вдвое. Рост конкуренции с 12 до 20 пик **не увеличил** (95–99 → 98–102 MiB), а задержки выросли (p50 1,55 → 2,4 с) — избыток ждёт, а не занимает память. Гипотеза подтверждена в этих пределах.
1. **Память API.** На простое RSS реплики ~50 MiB. Основную добавку давал S3 PUT: minio-py держит в памяти часть 5 MiB с копиями для подписи, ~20 MiB на загрузку. Ограничение PUT до 3 на реплику (тело уже на диске, остальные ждут в очереди) и `MALLOC_ARENA_MAX=2` снизили пик почти вдвое. Рост конкуренции с 12 до 20 пик **не увеличил** (93–97 → 91–94 MiB), а задержки выросли (p50 1,52 → 2,23 с) — избыток ждёт, а не занимает память. Гипотеза подтверждена в этих пределах.
2. **File-память cgroup (cgroup peak − RSS ≈ 40–65 MiB)** — page cache временных файлов. Она вытесняема и OOM не вызывает.
3. **SeaweedFS** после исправлений выходит на плато ~480 MiB одинаково при c=12 и c=20, OOM нет, `RestartCount 0`. OOM из прогона до исправления зафиксирован в `evidence/before-fix/s3-oom.txt`.
@@ -229,16 +230,17 @@ docker compose down -v
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
| --- | --- | --- | --- |
| `docker compose stop s3` | upload/download 503, текст и ready работают | сразу и через 5 с: upload 503 (14 мс), download 503 (10 мс), `Retry-After: 1`; сообщение 201; ready 200 | upload 201 через 19,7 с после `start` (старт SeaweedFS + выбор лидера) / 0 |
| `docker compose pause s3` (S3 завис) | то же, без 500 и таймаутов LB | первый upload после паузы — 503 за 10,0 с (PUT 5 с + попытка компенсации 5 с); дальше S3Health знает об отказе: upload 503 за 15 мс, download 503 за 10 мс; сообщения 201 | upload 201 сразу после `unpause` / 0 |
| `docker compose stop s3` | upload/download 503, текст и ready работают | сразу и через 5 с: upload 503 (14–18 мс), download 503 (10–11 мс), `Retry-After: 1`; сообщение 201; ready 200 | upload 201 через 20,1 с после `start` (старт SeaweedFS + выбор лидера) / 0 |
| `docker compose pause s3` (S3 завис) | то же, без 500 и таймаутов LB | первый upload после паузы — 503 за 10,0 с (PUT 5 с + попытка компенсации 5 с); дальше S3Health знает об отказе: upload 503 за 13 мс, download 503 за 9–11 мс; сообщения 201 | upload 201 сразу после `unpause`; healthcheck S3 снова healthy через 5,2 с / 0 |
| `make test-persistence` (рестарт db, s3, api, janitor, lb) | данные, сессия и файл сохраняются | PASS, все `StartedAt` новые | в пределах лимита теста / 0 |
| `stop-one.sh` (SIGTERM загрузившей реплики) | download через другую | PASS, по каждой реплике | 3,5–3,6 с по метрике публичного теста / 0 |
| `stop-one.sh` (SIGTERM загрузившей реплики) | download через другую | PASS, по каждой реплике | 3,3–3,7 с по метрике публичного теста / 0 |
## Ограничения и следующие шаги
- **Выдерживается:** остановка или падение одной API-реплики (в том числе посреди upload — остаток убирает janitor), рестарт всего стенда с volumes, временная недоступность или зависание S3 (вложения — 503, остальной API работает), обрыв клиента.
- **Не выдерживается:** потеря volume `s3data` или `pgdata` (одна копия, без репликации и бэкапов); отказ PostgreSQL, единственного S3 или LB; потеря Docker-host. SeaweedFS запущен одним процессом без репликации (`replication 000`).
- **Сразу после старта или рестарта SeaweedFS** первые ~10–20 с upload получают 503 (S3Health ждёт успешной записи), чтение работает раньше. Это честный отказ, а не зависание, но и не нулевое время восстановления.
- **Сразу после старта или рестарта SeaweedFS** запись готова не сразу (~10–20 с). Healthcheck S3 это учитывает, поэтому `up` и `restart.sh` запускают API только после готовности записи. Если перезапустить один S3 вручную, upload в это окно получат 503 (чтение работает раньше). Это честный отказ, а не зависание, но и не нулевое время восстановления.
- **`docker compose up api` при нездоровом S3** (например, сразу после `pause`/`unpause`) пересоздаёт реплики и не запускает их: compose ждёт здоровья зависимости `s3-init → s3`. Переключать `FAULT_INJECTION` и пересоздавать API нужно с `--no-deps` (так в инструкции) или после восстановления S3; `s3_outage.py` в конце сам ждёт healthy S3.
- **Компенсация при зависшем S3** удлиняет ответ до ~10 с (таймаут PUT + таймаут DELETE); это меньше таймаута LB 75 с.
- **Grace 1 ч — компромисс:** брошенные объекты до часа занимают место; уменьшать его можно, пока он намного больше `UPLOAD_TIMEOUT_SECONDS` + таймаутов S3.
- **«Missing»** (ready-строка без объекта) только сообщается в лог и отчёт janitor; автоматического восстановления нет (бэкапов нет).
@@ -247,3 +249,21 @@ docker compose down -v
- **Ресурсы SeaweedFS:** ему нужно ~0,5 GiB RAM даже на учебном объёме; лимит 768 MiB подобран экспериментом на этой машине, а не расчётом.
- **Хук `FAULT_INJECTION`** — учебный: при значении 1 любой аутентифицированный клиент может уронить реплику. В обычной конфигурации он выключен; в lab7 код хука стоит удалить.
- **Следующие шаги:** stream PUT без буферизации части в памяти (другой клиент или `UNSIGNED-PAYLOAD`), presigned upload (трек 1), метрики janitor для lab6, при необходимости — replica SeaweedFS.
## Повторная проверка — 07.11.2026
Работа повторно развёрнута из чистого clone ветки (коммит `ace2bbd`, отдельный проект `COMPOSE_PROJECT_NAME=mtusi-lab4-fresh`, новые секреты из `init-secrets.sh`, пустые volumes). Холодный старт занял 34 с, bucket создан и приватен. Затем выполнены все команды раздела «Запуск». Найдено и исправлено:
1. **`make test-failover` сразу после `make test-persistence` падал**: первая загрузка получала 503. После рестарта SeaweedFS отвечал healthy (`/healthz` и регистрация volume-сервера), но запись ещё не работала, и `restart.sh` перезапускал API слишком рано. Исправлено: healthcheck S3 проверяет реальную запись; на старте реплики upload до 5 с ждёт первой успешной проверки S3, а не отвечает 503 мгновенно. После исправления persistence → failover прошли два раза подряд.
2. **`stop-one.sh` работал только при имени проекта `mtusi-lab4`**. Исправлено: реплики берутся из `docker compose ps`.
3. **После теста отказа S3 `docker compose up api` оставлял API не запущенным** (см. «Ограничения»). Исправлено: тест ждёт восстановления S3, команды переключения `FAULT_INJECTION` используют `--no-deps`.
После исправлений в чистом clone прошли:
- `make check`, `make test`;
- persistence и failover ×2;
- failover вложений, 60 негативных сценариев, 21 проверка S3, повторный bootstrap;
- отказ S3, эксперимент согласованности, замер памяти (c=12: 36/36, VmHWM 100/103 MiB);
- регрессия lab3;
- полный `docker compose down` → `up` с сохранёнными volumes (31 с) и smoke после него.
Временный стенд удалён. Все файлы `evidence/` перезаписаны прогоном на основном стенде с этим кодом. Обязательные `tests/` и `contracts/` не изменены.
+9 -5
View File
@@ -87,12 +87,16 @@ services:
networks: [backend]
restart: unless-stopped
healthcheck:
# Готов, когда отвечает S3 И master видит volume-сервер (иначе /healthz уже 200, а чтение висит).
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -q '\"DataNodes\":\\[{'"]
interval: 2s
# Готов, когда S3 отвечает И реально работает ЗАПИСЬ: PUT маленького файла во внутренний
# filer (путь /.healthcheck вне /buckets, через S3 не виден). После рестарта SeaweedFS
# /healthz уже 200, а запись ещё 10–20 с висит (выбор raft-лидера, выдача volume);
# без этой проверки restart.sh и depends_on стартовали API раньше готовности S3.
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz && curl -sf -m 2 -X PUT --data-binary ok http://127.0.0.1:8888/.healthcheck/probe -o /dev/null"]
interval: 5s
start_interval: 1s
timeout: 3s
retries: 30
start_period: 5s
retries: 3
start_period: 60s
stop_grace_period: 30s
deploy:
resources:
+6 -6
View File
@@ -1,16 +1,16 @@
# 2026-11-06T22:40:29Z API containers: mounts and temp upload dir after all tests
# 2026-11-07T08:32:11Z API containers: mounts and temp upload dir after all tests
## mtusi-lab4-api-1
Mounts: bind:/run/secrets/postgres_password bind:/run/secrets/s3_api_access_key bind:/run/secrets/s3_api_secret_key
Mounts: bind:/run/secrets/s3_api_secret_key bind:/run/secrets/postgres_password bind:/run/secrets/s3_api_access_key
ls -la /tmp/uploads:
total 12
drwxrwxrwt 1 root root 4096 Nov 6 22:34 .
drwxrwxrwt 1 root root 4096 Nov 6 22:34 ..
drwxrwxrwt 1 root root 4096 Nov 7 08:23 .
drwxrwxrwt 1 root root 4096 Nov 7 08:23 ..
files > 10 KB anywhere writable (excluding /proc,/sys,/usr,/run/secrets):
## mtusi-lab4-api-2
Mounts: bind:/run/secrets/postgres_password bind:/run/secrets/s3_api_access_key bind:/run/secrets/s3_api_secret_key
ls -la /tmp/uploads:
total 12
drwxrwxrwt 1 root root 4096 Nov 6 22:34 .
drwxrwxrwt 1 root root 4096 Nov 6 22:34 ..
drwxrwxrwt 1 root root 4096 Nov 7 08:23 .
drwxrwxrwt 1 root root 4096 Nov 7 08:23 ..
files > 10 KB anywhere writable (excluding /proc,/sys,/usr,/run/secrets):
## upload buffering: tempfile.TemporaryFile -> O_TMPFILE (no directory entry), deleted on close or process death
+33 -33
View File
@@ -1,69 +1,69 @@
{
"replicas": [
"3256158ccd6a",
"680f36c618ba"
"3c9bca5b2595",
"76cd26b71556"
],
"rounds": [
{
"uploaded_by": "3256158ccd6a",
"stopped": "3256158ccd6a",
"uploaded_by": "3c9bca5b2595",
"stopped": "3c9bca5b2595",
"downloads": [
{
"instance": "680f36c618ba",
"sha256_ok": true,
"ms": 8.1
},
{
"instance": "680f36c618ba",
"instance": "76cd26b71556",
"sha256_ok": true,
"ms": 8.0
},
{
"instance": "680f36c618ba",
"instance": "76cd26b71556",
"sha256_ok": true,
"ms": 7.3
"ms": 5.7
},
{
"instance": "680f36c618ba",
"instance": "76cd26b71556",
"sha256_ok": true,
"ms": 20.1
"ms": 6.9
},
{
"instance": "680f36c618ba",
"instance": "76cd26b71556",
"sha256_ok": true,
"ms": 7.0
"ms": 22.4
},
{
"instance": "76cd26b71556",
"sha256_ok": true,
"ms": 5.8
}
],
"pass": true
},
{
"uploaded_by": "680f36c618ba",
"stopped": "680f36c618ba",
"uploaded_by": "76cd26b71556",
"stopped": "76cd26b71556",
"downloads": [
{
"instance": "3256158ccd6a",
"instance": "3c9bca5b2595",
"sha256_ok": true,
"ms": 25.3
"ms": 8.8
},
{
"instance": "3256158ccd6a",
"instance": "3c9bca5b2595",
"sha256_ok": true,
"ms": 9.1
"ms": 5.5
},
{
"instance": "3256158ccd6a",
"sha256_ok": true,
"ms": 6.2
},
{
"instance": "3256158ccd6a",
"sha256_ok": true,
"ms": 6.2
},
{
"instance": "3256158ccd6a",
"instance": "3c9bca5b2595",
"sha256_ok": true,
"ms": 5.9
},
{
"instance": "3c9bca5b2595",
"sha256_ok": true,
"ms": 6.9
},
{
"instance": "3c9bca5b2595",
"sha256_ok": true,
"ms": 4.5
}
],
"pass": true
+2 -2
View File
@@ -1,4 +1,4 @@
{"uploaded_by": "3256158ccd6a", "stopped": "3256158ccd6a", "downloads": [{"instance": "680f36c618ba", "sha256_ok": true, "ms": 8.1}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 8.0}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 7.3}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 20.1}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 7.0}], "pass": true}
{"uploaded_by": "680f36c618ba", "stopped": "680f36c618ba", "downloads": [{"instance": "3256158ccd6a", "sha256_ok": true, "ms": 25.3}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 9.1}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 6.2}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 6.2}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 5.9}], "pass": true}
{"uploaded_by": "3c9bca5b2595", "stopped": "3c9bca5b2595", "downloads": [{"instance": "76cd26b71556", "sha256_ok": true, "ms": 8.0}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 5.7}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 6.9}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 22.4}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 5.8}], "pass": true}
{"uploaded_by": "76cd26b71556", "stopped": "76cd26b71556", "downloads": [{"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 8.8}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 5.5}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 5.9}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 6.9}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 4.5}], "pass": true}
{"pass": true, "rounds": 2}
exit=0
+2 -2
View File
@@ -1,6 +1,6 @@
# 2026-11-06T22:31:43Z make check
# 2026-11-07T08:24:34Z make check
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
exit=0
# 2026-11-06T22:31:43Z docker compose config --quiet
# 2026-11-07T08:24:34Z docker compose config --quiet
exit=0
+62 -62
View File
@@ -3,205 +3,205 @@
"steps": [
{
"step": "baseline janitor dry-run",
"t": 1794004683.9,
"t": 1794040130.0,
"report": {
"dry_run": true,
"grace_seconds": 3600,
"rows_by_status": {
"pending": 15,
"ready": 348
"pending": 1,
"ready": 467
},
"objects_total": 349,
"objects_total": 465,
"abandoned_pending": 0,
"orphan_objects": 0,
"missing_objects": 2,
"missing_objects": 3,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 96.7
"duration_ms": 100.5
}
},
{
"step": "control + victim uploaded (ready)",
"t": 1794004684.0,
"control": "d9a16769-9f6a-486f-87d5-9d72be773f4f",
"victim": "6560be97-8430-4212-b132-e8cc9f7002ec"
"t": 1794040130.0,
"control": "8ef93cb0-8d87-4bee-9c98-c0b3295e8b28",
"victim": "59255c3f-edc6-4e6f-861f-fc02a57e11e1"
},
{
"step": "db-fail-after-s3-put -> compensation",
"t": 1794004687.1,
"t": 1794040133.2,
"status": 503,
"report": {
"dry_run": true,
"grace_seconds": 3600,
"rows_by_status": {
"pending": 15,
"ready": 350
"pending": 1,
"ready": 469
},
"objects_total": 351,
"objects_total": 467,
"abandoned_pending": 0,
"orphan_objects": 0,
"missing_objects": 2,
"missing_objects": 3,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 92.0
"duration_ms": 99.1
},
"leftover_pending": 0,
"leftover_objects": 0
},
{
"step": "crash-after-s3-put",
"t": 1794004687.1,
"t": 1794040133.2,
"client_saw": "Failure"
},
{
"step": "crash-after-s3-put",
"t": 1794004690.3,
"t": 1794040136.4,
"client_saw": "Failure"
},
{
"step": "crash-after-pending",
"t": 1794004699.0,
"t": 1794040145.1,
"client_saw": "Failure"
},
{
"step": "client aborted upload at 1 of 5 MiB",
"t": 1794004707.3,
"t": 1794040152.9,
"report": {
"dry_run": true,
"grace_seconds": 3600,
"rows_by_status": {
"pending": 18,
"ready": 350
"pending": 4,
"ready": 469
},
"objects_total": 353,
"objects_total": 469,
"abandoned_pending": 0,
"orphan_objects": 0,
"missing_objects": 2,
"missing_objects": 3,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 91.8
"duration_ms": 24.9
}
},
{
"step": "pending rows left by crashes",
"t": 1794004707.5,
"t": 1794040153.1,
"pending": 3
},
{
"step": "orphan injected: pending row deleted, object kept",
"t": 1794004707.6,
"row": "cfc406da-7b0a-480d-821e-4fab78251770"
"t": 1794040153.2,
"row": "59726e36-b9bd-478c-8012-1d004f7cc7a5"
},
{
"step": "missing injected: victim object deleted in S3",
"t": 1794004708.3,
"t": 1794040153.9,
"download_status": 503
},
{
"step": "janitor grace=3600 (all fresh): dry-run",
"t": 1794004714.3,
"t": 1794040160.3,
"report": {
"dry_run": true,
"grace_seconds": 3600,
"rows_by_status": {
"pending": 17,
"ready": 350
"pending": 3,
"ready": 469
},
"objects_total": 352,
"objects_total": 468,
"abandoned_pending": 0,
"orphan_objects": 0,
"missing_objects": 3,
"missing_objects": 4,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 105.7
"duration_ms": 104.3
}
},
{
"step": "janitor grace=3600 (all fresh): real run deletes nothing",
"t": 1794004714.3,
"t": 1794040160.3,
"report": {
"dry_run": false,
"grace_seconds": 3600,
"rows_by_status": {
"pending": 17,
"ready": 350
"pending": 3,
"ready": 469
},
"objects_total": 352,
"objects_total": 468,
"abandoned_pending": 0,
"orphan_objects": 0,
"missing_objects": 3,
"missing_objects": 4,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 99.5
"duration_ms": 101.2
}
},
{
"step": "after grace: dry-run",
"t": 1794004739.4,
"t": 1794040185.3,
"report": {
"dry_run": true,
"grace_seconds": 20,
"rows_by_status": {
"pending": 17,
"ready": 350
"pending": 3,
"ready": 469
},
"objects_total": 352,
"abandoned_pending": 17,
"objects_total": 468,
"abandoned_pending": 3,
"orphan_objects": 1,
"missing_objects": 3,
"missing_objects": 4,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 101.9
"duration_ms": 103.0
}
},
{
"step": "after grace: real run",
"t": 1794004742.5,
"t": 1794040188.5,
"report": {
"dry_run": false,
"grace_seconds": 20,
"rows_by_status": {
"pending": 17,
"ready": 350
"pending": 3,
"ready": 469
},
"objects_total": 348,
"abandoned_pending": 17,
"objects_total": 466,
"abandoned_pending": 3,
"orphan_objects": 1,
"missing_objects": 3,
"deleted_objects": 18,
"deleted_rows": 17,
"missing_objects": 4,
"deleted_objects": 4,
"deleted_rows": 3,
"errors": 0,
"duration_ms": 103.4
"duration_ms": 180.4
}
},
{
"step": "after grace: repeated run (idempotent)",
"t": 1794004746.0,
"t": 1794040191.2,
"report": {
"dry_run": false,
"grace_seconds": 20,
"rows_by_status": {
"ready": 350
"ready": 469
},
"objects_total": 347,
"objects_total": 465,
"abandoned_pending": 0,
"orphan_objects": 0,
"missing_objects": 3,
"missing_objects": 4,
"deleted_objects": 0,
"deleted_rows": 0,
"errors": 0,
"duration_ms": 99.5
"duration_ms": 99.3
}
},
{
"step": "control attachment still intact",
"t": 1794004746.1,
"t": 1794040191.4,
"sha256_ok": true,
"pending_left": 0
}
+16 -16
View File
@@ -1,17 +1,17 @@
{"step": "baseline janitor dry-run", "t": 1794004683.9, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 15, "ready": 348}, "objects_total": 349, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 2, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 96.7}}
{"step": "control + victim uploaded (ready)", "t": 1794004684.0, "control": "d9a16769-9f6a-486f-87d5-9d72be773f4f", "victim": "6560be97-8430-4212-b132-e8cc9f7002ec"}
{"step": "db-fail-after-s3-put -> compensation", "t": 1794004687.1, "status": 503, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 15, "ready": 350}, "objects_total": 351, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 2, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 92.0}, "leftover_pending": 0, "leftover_objects": 0}
{"step": "crash-after-s3-put", "t": 1794004687.1, "client_saw": "Failure"}
{"step": "crash-after-s3-put", "t": 1794004690.3, "client_saw": "Failure"}
{"step": "crash-after-pending", "t": 1794004699.0, "client_saw": "Failure"}
{"step": "client aborted upload at 1 of 5 MiB", "t": 1794004707.3, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 18, "ready": 350}, "objects_total": 353, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 2, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 91.8}}
{"step": "pending rows left by crashes", "t": 1794004707.5, "pending": 3}
{"step": "orphan injected: pending row deleted, object kept", "t": 1794004707.6, "row": "cfc406da-7b0a-480d-821e-4fab78251770"}
{"step": "missing injected: victim object deleted in S3", "t": 1794004708.3, "download_status": 503}
{"step": "janitor grace=3600 (all fresh): dry-run", "t": 1794004714.3, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 352, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 105.7}}
{"step": "janitor grace=3600 (all fresh): real run deletes nothing", "t": 1794004714.3, "report": {"dry_run": false, "grace_seconds": 3600, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 352, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.5}}
{"step": "after grace: dry-run", "t": 1794004739.4, "report": {"dry_run": true, "grace_seconds": 20, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 352, "abandoned_pending": 17, "orphan_objects": 1, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 101.9}}
{"step": "after grace: real run", "t": 1794004742.5, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 348, "abandoned_pending": 17, "orphan_objects": 1, "missing_objects": 3, "deleted_objects": 18, "deleted_rows": 17, "errors": 0, "duration_ms": 103.4}}
{"step": "after grace: repeated run (idempotent)", "t": 1794004746.0, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"ready": 350}, "objects_total": 347, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.5}}
{"step": "control attachment still intact", "t": 1794004746.1, "sha256_ok": true, "pending_left": 0}
{"step": "baseline janitor dry-run", "t": 1794040130.0, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 1, "ready": 467}, "objects_total": 465, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 100.5}}
{"step": "control + victim uploaded (ready)", "t": 1794040130.0, "control": "8ef93cb0-8d87-4bee-9c98-c0b3295e8b28", "victim": "59255c3f-edc6-4e6f-861f-fc02a57e11e1"}
{"step": "db-fail-after-s3-put -> compensation", "t": 1794040133.2, "status": 503, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 1, "ready": 469}, "objects_total": 467, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.1}, "leftover_pending": 0, "leftover_objects": 0}
{"step": "crash-after-s3-put", "t": 1794040133.2, "client_saw": "Failure"}
{"step": "crash-after-s3-put", "t": 1794040136.4, "client_saw": "Failure"}
{"step": "crash-after-pending", "t": 1794040145.1, "client_saw": "Failure"}
{"step": "client aborted upload at 1 of 5 MiB", "t": 1794040152.9, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 4, "ready": 469}, "objects_total": 469, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 24.9}}
{"step": "pending rows left by crashes", "t": 1794040153.1, "pending": 3}
{"step": "orphan injected: pending row deleted, object kept", "t": 1794040153.2, "row": "59726e36-b9bd-478c-8012-1d004f7cc7a5"}
{"step": "missing injected: victim object deleted in S3", "t": 1794040153.9, "download_status": 503}
{"step": "janitor grace=3600 (all fresh): dry-run", "t": 1794040160.3, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 468, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 104.3}}
{"step": "janitor grace=3600 (all fresh): real run deletes nothing", "t": 1794040160.3, "report": {"dry_run": false, "grace_seconds": 3600, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 468, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 101.2}}
{"step": "after grace: dry-run", "t": 1794040185.3, "report": {"dry_run": true, "grace_seconds": 20, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 468, "abandoned_pending": 3, "orphan_objects": 1, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 103.0}}
{"step": "after grace: real run", "t": 1794040188.5, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 466, "abandoned_pending": 3, "orphan_objects": 1, "missing_objects": 4, "deleted_objects": 4, "deleted_rows": 3, "errors": 0, "duration_ms": 180.4}}
{"step": "after grace: repeated run (idempotent)", "t": 1794040191.2, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"ready": 469}, "objects_total": 465, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.3}}
{"step": "control attachment still intact", "t": 1794040191.4, "sha256_ok": true, "pending_left": 0}
{"pass": true}
-16
View File
@@ -1,16 +0,0 @@
# 2026-11-06T22:36:28Z round 1 make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.616}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
mtusi-lab4-api-1 Exited (0) 11 seconds ago
mtusi-lab4-api-2 Up About a minute (healthy)
# 2026-11-06T22:36:53Z round 2 make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 3.514}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
mtusi-lab4-api-1 Exited (0) 11 seconds ago
mtusi-lab4-api-2 Up 2 minutes (healthy)
+2 -2
View File
@@ -7,8 +7,8 @@
"201": 160
},
"conflicting_body": {
"201": 80,
"409": 80
"409": 80,
"201": 80
}
},
"replicas_answered": 2,
+2 -2
View File
@@ -1,6 +1,6 @@
# 2026-11-06T22:33:44Z cursor_validation
# 2026-11-07T08:30:54Z cursor_validation
PASS: 6 cursor date boundary checks; invalid dates return 400.
# 2026-11-06T22:33:44Z idempotency_concurrency --rounds 10 --parallel 16
# 2026-11-07T08:30:55Z idempotency_concurrency --rounds 10 --parallel 16
"problems": []
}
PASS
+54
View File
@@ -0,0 +1,54 @@
# 2026-11-07T08:24:37Z round 1: make test-persistence ACTION_SCRIPT=scripts/restart.sh
## before
mtusi-lab4-api-1 StartedAt=2026-11-07T08:24:09.858075054Z
mtusi-lab4-api-2 StartedAt=2026-11-07T08:24:09.791252554Z
mtusi-lab4-db-1 StartedAt=2026-11-07T08:23:50.523803795Z
mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:24:09.793362971Z
mtusi-lab4-lb-1 StartedAt=2026-11-07T08:24:09.948012971Z
mtusi-lab4-s3-1 StartedAt=2026-11-07T08:23:50.522934587Z
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
## after
mtusi-lab4-api-1 StartedAt=2026-11-07T08:25:18.150425752Z
mtusi-lab4-api-2 StartedAt=2026-11-07T08:25:18.130956294Z
mtusi-lab4-db-1 StartedAt=2026-11-07T08:24:38.899196554Z
mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:25:25.061171964Z
mtusi-lab4-lb-1 StartedAt=2026-11-07T08:25:15.229845459Z
mtusi-lab4-s3-1 StartedAt=2026-11-07T08:24:56.087874506Z
# 2026-11-07T08:25:25Z round 1: make test-failover ACTION_SCRIPT=scripts/stop-one.sh (сразу после persistence)
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 3.723}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
mtusi-lab4-api-1 Up 22 seconds (healthy)
mtusi-lab4-api-2 Exited (0) 11 seconds ago
# 2026-11-07T08:25:50Z round 2: make test-persistence ACTION_SCRIPT=scripts/restart.sh
## before
mtusi-lab4-api-1 StartedAt=2026-11-07T08:25:18.150425752Z
mtusi-lab4-api-2 StartedAt=2026-11-07T08:25:41.189426555Z
mtusi-lab4-db-1 StartedAt=2026-11-07T08:24:38.899196554Z
mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:25:25.061171964Z
mtusi-lab4-lb-1 StartedAt=2026-11-07T08:25:15.229845459Z
mtusi-lab4-s3-1 StartedAt=2026-11-07T08:24:56.087874506Z
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
## after
mtusi-lab4-api-1 StartedAt=2026-11-07T08:26:31.35367805Z
mtusi-lab4-api-2 StartedAt=2026-11-07T08:26:31.310593342Z
mtusi-lab4-db-1 StartedAt=2026-11-07T08:25:51.588460754Z
mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:26:37.94729322Z
mtusi-lab4-lb-1 StartedAt=2026-11-07T08:26:28.08777384Z
mtusi-lab4-s3-1 StartedAt=2026-11-07T08:26:09.003885512Z
# 2026-11-07T08:26:38Z round 2: make test-failover ACTION_SCRIPT=scripts/stop-one.sh (сразу после persistence)
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.347}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
mtusi-lab4-api-1 Up 22 seconds (healthy)
mtusi-lab4-api-2 Exited (0) 11 seconds ago
-19
View File
@@ -1,19 +0,0 @@
# 2026-11-06T22:34:35Z make test-persistence ACTION_SCRIPT=scripts/restart.sh
## before
mtusi-lab4-api-1 StartedAt=2026-11-06T22:34:25.142761338Z
mtusi-lab4-api-2 StartedAt=2026-11-06T22:34:25.051958422Z
mtusi-lab4-db-1 StartedAt=2026-11-06T22:31:48.781439335Z
mtusi-lab4-janitor-1 StartedAt=2026-11-06T22:34:25.051487922Z
mtusi-lab4-lb-1 StartedAt=2026-11-06T22:34:25.25065088Z
mtusi-lab4-s3-1 StartedAt=2026-11-06T22:32:06.180453219Z
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
## after
mtusi-lab4-api-1 StartedAt=2026-11-06T22:35:04.992242468Z
mtusi-lab4-api-2 StartedAt=2026-11-06T22:35:04.956369718Z
mtusi-lab4-db-1 StartedAt=2026-11-06T22:34:36.772295219Z
mtusi-lab4-janitor-1 StartedAt=2026-11-06T22:35:11.606706763Z
mtusi-lab4-lb-1 StartedAt=2026-11-06T22:35:01.752674342Z
mtusi-lab4-s3-1 StartedAt=2026-11-06T22:34:54.170338921Z
+1 -1
View File
@@ -1,4 +1,4 @@
# 2026-11-06T22:31:45Z s3-init run twice (idempotency)
# 2026-11-07T08:24:35Z s3-init run twice (idempotency)
{"bucket": "messenger-attachments", "created": false, "already_existed": true, "anonymous_http_status": {"anonymous_get_object": 403, "anonymous_list_bucket": 403}, "private": true}
exit=0
{"bucket": "messenger-attachments", "created": false, "already_existed": true, "anonymous_http_status": {"anonymous_get_object": 403, "anonymous_list_bucket": 403}, "private": true}
+23 -18
View File
@@ -6,19 +6,19 @@
"probe": {
"upload": {
"status": 201,
"ms": 8,
"ms": 6,
"code": null,
"retry_after": null
},
"download": {
"status": 200,
"ms": 4,
"ms": 3,
"code": null,
"retry_after": null
},
"text_message": {
"status": 201,
"ms": 5,
"ms": 3,
"code": null,
"retry_after": null
},
@@ -35,19 +35,19 @@
"probe": {
"upload": {
"status": 503,
"ms": 14,
"ms": 18,
"code": "unavailable",
"retry_after": "1"
},
"download": {
"status": 503,
"ms": 11,
"ms": 10,
"code": "unavailable",
"retry_after": "1"
},
"text_message": {
"status": 201,
"ms": 11,
"ms": 9,
"code": null,
"retry_after": null
},
@@ -64,25 +64,25 @@
"probe": {
"upload": {
"status": 503,
"ms": 15,
"ms": 14,
"code": "unavailable",
"retry_after": "1"
},
"download": {
"status": 503,
"ms": 10,
"ms": 11,
"code": "unavailable",
"retry_after": "1"
},
"text_message": {
"status": 201,
"ms": 8,
"ms": 12,
"code": null,
"retry_after": null
},
"ready": {
"status": 200,
"ms": 3,
"ms": 2,
"code": null,
"retry_after": null
}
@@ -90,32 +90,32 @@
},
{
"phase": "recovery after `start s3`",
"upload_201_after_s": 19.7
"upload_201_after_s": 20.1
},
{
"phase": "immediately after `pause s3` (S3Health not yet stale)",
"probe": {
"upload": {
"status": 503,
"ms": 10041,
"ms": 10032,
"code": "unavailable",
"retry_after": "1"
},
"download": {
"status": 503,
"ms": 12,
"ms": 11,
"code": "unavailable",
"retry_after": "1"
},
"text_message": {
"status": 201,
"ms": 10,
"ms": 15,
"code": null,
"retry_after": null
},
"ready": {
"status": 200,
"ms": 3,
"ms": 4,
"code": null,
"retry_after": null
}
@@ -126,19 +126,19 @@
"probe": {
"upload": {
"status": 503,
"ms": 15,
"ms": 13,
"code": "unavailable",
"retry_after": "1"
},
"download": {
"status": 503,
"ms": 10,
"ms": 9,
"code": "unavailable",
"retry_after": "1"
},
"text_message": {
"status": 201,
"ms": 12,
"ms": 14,
"code": null,
"retry_after": null
},
@@ -153,6 +153,11 @@
{
"phase": "recovery after `unpause s3`",
"upload_201_after_s": 0.0
},
{
"phase": "s3 healthcheck healthy again",
"after_s": 5.2,
"status": "healthy"
}
]
}
+7 -6
View File
@@ -1,8 +1,9 @@
{"phase": "baseline", "probe": {"upload": {"status": 201, "ms": 8, "code": null, "retry_after": null}, "download": {"status": 200, "ms": 4, "code": null, "retry_after": null}, "text_message": {"status": 201, "ms": 5, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 1, "code": null, "retry_after": null}}}
{"phase": "immediately after `stop s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 14, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 11, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 11, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}}
{"phase": "S3 down for 5 s (`stop s3`)", "probe": {"upload": {"status": 503, "ms": 15, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 10, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 8, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}}
{"phase": "recovery after `start s3`", "upload_201_after_s": 19.7}
{"phase": "immediately after `pause s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 10041, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 12, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 10, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}}
{"phase": "S3 down for 5 s (`pause s3`)", "probe": {"upload": {"status": 503, "ms": 15, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 10, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 12, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}}
{"phase": "baseline", "probe": {"upload": {"status": 201, "ms": 6, "code": null, "retry_after": null}, "download": {"status": 200, "ms": 3, "code": null, "retry_after": null}, "text_message": {"status": 201, "ms": 3, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 1, "code": null, "retry_after": null}}}
{"phase": "immediately after `stop s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 18, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 10, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 9, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}}
{"phase": "S3 down for 5 s (`stop s3`)", "probe": {"upload": {"status": 503, "ms": 14, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 11, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 12, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 2, "code": null, "retry_after": null}}}
{"phase": "recovery after `start s3`", "upload_201_after_s": 20.1}
{"phase": "immediately after `pause s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 10032, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 11, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 15, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 4, "code": null, "retry_after": null}}}
{"phase": "S3 down for 5 s (`pause s3`)", "probe": {"upload": {"status": 503, "ms": 13, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 9, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 14, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}}
{"phase": "recovery after `unpause s3`", "upload_201_after_s": 0.0}
{"phase": "s3 healthcheck healthy again", "after_s": 5.2, "status": "healthy"}
{"pass": true, "only_200_201_503": true}
+1 -1
View File
@@ -1,4 +1,4 @@
# 2026-11-06T22:31:46Z docker compose --profile tools run --rm s3-check
# 2026-11-07T08:24:37Z docker compose --profile tools run --rm s3-check
PASS api: PutObject в свой bucket expected=allowed got=allowed
PASS anonymous GET object expected=403 got=403
PASS anonymous ListBucket expected=403 got=403
+1 -1
View File
@@ -1,4 +1,4 @@
# 2026-11-06T22:36:27Z make test
# 2026-11-07T08:24:34Z make test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
exit=0
+22 -22
View File
@@ -5,7 +5,7 @@
{
"type": "image/png",
"bytes": 10482871,
"sha256": "54d7a3b5e10ad013"
"sha256": "b71e4655e4cd99ff"
},
{
"type": "image/jpeg",
@@ -18,42 +18,42 @@
"201": 36
},
"megabytes_uploaded_ok": 318.2,
"wall_s": 5.4,
"wall_s": 5.2,
"latency_s_p50_max": [
1.55,
1.82
1.52,
1.81
],
"replicas": {
"da654745927f": {
"rss_mib": 53,
"f3ae32951e26": {
"rss_mib": 50,
"hwm_mib_after_warmup": 82,
"samples": 118,
"peak_rss_mib_sampled": 95.7,
"peak_anon_mib": 77.1,
"samples": 115,
"peak_rss_mib_sampled": 93.8,
"peak_anon_mib": 75.6,
"peak_file_cache_mib": 55.4,
"vmhwm_mib": 95,
"cgroup_memory_peak_mib": 134.6,
"vmhwm_mib": 93,
"cgroup_memory_peak_mib": 133.0,
"memory_limit_mib": 256,
"uploads_served": 18
},
"5bc0705ce7a1": {
"rss_mib": 50,
"0bab682c4d3c": {
"rss_mib": 53,
"hwm_mib_after_warmup": 82,
"samples": 119,
"peak_rss_mib_sampled": 99.0,
"peak_anon_mib": 80.5,
"peak_file_cache_mib": 55.4,
"vmhwm_mib": 99,
"cgroup_memory_peak_mib": 126.8,
"samples": 111,
"peak_rss_mib_sampled": 97.6,
"peak_anon_mib": 85.8,
"peak_file_cache_mib": 53.1,
"vmhwm_mib": 97,
"cgroup_memory_peak_mib": 139.4,
"memory_limit_mib": 256,
"uploads_served": 18
}
},
"s3": {
"rss_mib": 458,
"rss_mib": 439,
"oom_killed": "false",
"peak_rss_mib_sampled": 483.5,
"peak_anon_mib": 403.0,
"peak_rss_mib_sampled": 484.4,
"peak_anon_mib": 402.8,
"restarts": 0,
"oom_killed_after": "false",
"memory_limit_mib": 768
+20 -20
View File
@@ -5,7 +5,7 @@
{
"type": "image/png",
"bytes": 10482871,
"sha256": "d54d0141d8a2f357"
"sha256": "d6c6106d37335280"
},
{
"type": "image/jpeg",
@@ -18,42 +18,42 @@
"201": 60
},
"megabytes_uploaded_ok": 530.3,
"wall_s": 8.6,
"wall_s": 8.4,
"latency_s_p50_max": [
2.4,
3.08
2.23,
2.82
],
"replicas": {
"da654745927f": {
"rss_mib": 54,
"f3ae32951e26": {
"rss_mib": 53,
"hwm_mib_after_warmup": 82,
"samples": 158,
"peak_rss_mib_sampled": 97.5,
"peak_anon_mib": 79.1,
"samples": 159,
"peak_rss_mib_sampled": 91.9,
"peak_anon_mib": 73.5,
"peak_file_cache_mib": 70.7,
"vmhwm_mib": 98,
"cgroup_memory_peak_mib": 154.0,
"vmhwm_mib": 91,
"cgroup_memory_peak_mib": 145.4,
"memory_limit_mib": 256,
"uploads_served": 30
},
"5bc0705ce7a1": {
"0bab682c4d3c": {
"rss_mib": 50,
"hwm_mib_after_warmup": 82,
"samples": 174,
"peak_rss_mib_sampled": 102.1,
"peak_anon_mib": 83.6,
"samples": 170,
"peak_rss_mib_sampled": 94.5,
"peak_anon_mib": 75.9,
"peak_file_cache_mib": 75.4,
"vmhwm_mib": 102,
"cgroup_memory_peak_mib": 168.1,
"vmhwm_mib": 94,
"cgroup_memory_peak_mib": 159.2,
"memory_limit_mib": 256,
"uploads_served": 30
}
},
"s3": {
"rss_mib": 468,
"rss_mib": 463,
"oom_killed": "false",
"peak_rss_mib_sampled": 476.9,
"peak_anon_mib": 396.3,
"peak_rss_mib_sampled": 487.3,
"peak_anon_mib": 406.0,
"restarts": 0,
"oom_killed_after": "false",
"memory_limit_mib": 768
+1 -1
View File
@@ -5,6 +5,6 @@
set -eu
cd "$(dirname "$0")/.."
docker compose restart db s3
# API стартует, когда хранилища действительно готовы (healthcheck s3 ждёт volume-сервер).
# API стартует, когда хранилища действительно готовы (healthcheck s3 проверяет запись).
docker compose up -d --no-deps --no-recreate --wait db s3
docker compose restart api janitor lb
+3 -5
View File
@@ -8,11 +8,9 @@ cd "$(dirname "$0")/.."
case "$TARGET_INSTANCE_ID" in
*[!0-9a-f]*|'') echo "unexpected instance id format" >&2; exit 2 ;;
esac
# Проверяем, что это действительно контейнер сервиса api этого compose-проекта.
cid=$(docker ps -q --no-trunc \
--filter "label=com.docker.compose.project=mtusi-lab4" \
--filter "label=com.docker.compose.service=api" \
| grep "^${TARGET_INSTANCE_ID}" || true)
# Проверяем, что это действительно запущенный контейнер сервиса api ЭТОГО compose-проекта.
# Список берём у самого compose: работает и при другом имени проекта (-p / COMPOSE_PROJECT_NAME).
cid=$(docker compose ps -q --status running api | grep "^${TARGET_INSTANCE_ID}" || true)
[ -n "$cid" ] || { echo "no running api container for $TARGET_INSTANCE_ID" >&2; exit 3; }
name=$(docker inspect -f '{{.Name}}' "$cid")
echo "$(date -u +%FT%TZ) stopping api container ${name#/} (${TARGET_INSTANCE_ID})" >&2
+10
View File
@@ -139,6 +139,7 @@ class S3Health:
self.stale_after = stale_after
self.last_ok = None
self._stop = threading.Event()
self._ok_event = threading.Event() # выставлен, пока последняя проверка успешна
def start(self):
threading.Thread(target=self._loop, name="s3-health", daemon=True).start()
@@ -150,6 +151,13 @@ class S3Health:
last = self.last_ok
return last is not None and time.monotonic() - last <= self.stale_after
def wait_startup(self, timeout):
"""Только на старте реплики (успешной проверки ещё не было): подождать до timeout,
пока S3 станет доступен для записи. При подтверждённом отказе — не ждать."""
if self.last_ok is None:
self._ok_event.wait(timeout)
return self.ok()
def known_down(self):
"""S3 был доступен и перестал отвечать. На старте реплики (успешной проверки ещё
не было) — False: чтение может работать раньше, чем прогреется запись."""
@@ -162,10 +170,12 @@ class S3Health:
try:
self.store.ping(self.probe_key)
self.last_ok = time.monotonic()
self._ok_event.set()
if healthy is not True:
log.info("s3 health: ok")
healthy = True
except Exception as exc:
self._ok_event.clear()
if healthy is not False:
log.warning("s3 health: failing (%s)", type(exc).__name__)
healthy = False
+4 -1
View File
@@ -106,6 +106,9 @@ S3_PUT_WAIT_SECONDS = float(os.environ.get("S3_PUT_WAIT_SECONDS", "30"))
UPLOAD_TMP_DIR = os.environ.get("UPLOAD_TMP_DIR") or None
S3_HEALTH_INTERVAL_SECONDS = float(os.environ.get("S3_HEALTH_INTERVAL_SECONDS", "1"))
S3_READY_STALE_SECONDS = float(os.environ.get("S3_READY_STALE_SECONDS", "3"))
# Сразу после старта реплики первая проверка S3 ещё не завершилась: upload ждёт её до
# этого срока, а не получает мгновенный 503. При подтверждённом отказе S3 не ждём.
S3_STARTUP_WAIT_SECONDS = float(os.environ.get("S3_STARTUP_WAIT_SECONDS", "5"))
# Только для учебного эксперимента отказов (student-tests/consistency_faults.py):
# при FAULT_INJECTION=1 заголовок X-Fault-Inject роняет процесс/запись в заданной точке.
FAULT_INJECTION = os.environ.get("FAULT_INJECTION", "0") == "1"
@@ -630,7 +633,7 @@ def h_upload_attachment(req, chat_id):
raise ApiError(415, "unsupported_media_type", "Пустой файл не является изображением")
if length > MAX_UPLOAD_BYTES:
raise ApiError(413, "payload_too_large", "Файл больше 10 MiB")
if not S3_HEALTH.ok():
if not S3_HEALTH.ok() and not S3_HEALTH.wait_startup(S3_STARTUP_WAIT_SECONDS):
raise storage_unavailable() # не принимаем 10 MiB, которые некуда сохранить
with bounded_slot(_UPLOAD_SLOTS, UPLOAD_SLOT_WAIT_SECONDS, "Слишком много загрузок, повторите позже"):
with tempfile.TemporaryFile(dir=UPLOAD_TMP_DIR) as tmp:
+2 -2
View File
@@ -2,9 +2,9 @@
"""Отказы между записью в S3 и PostgreSQL и очистка janitor (уровень 4).
Требует API с FAULT_INJECTION=1 (учебный хук, по умолчанию выключен):
FAULT_INJECTION=1 docker compose --env-file .env up -d --wait api
FAULT_INJECTION=1 docker compose --env-file .env up -d --no-deps --wait api
python3 student-tests/consistency_faults.py --output evidence/consistency-faults.json
docker compose --env-file .env up -d --wait api # вернуть FAULT_INJECTION=0
docker compose --env-file .env up -d --no-deps --wait api # вернуть FAULT_INJECTION=0
Сценарии (каждый — реальный HTTP upload через LB):
db-fail-after-s3-put PUT прошёл, «COMMIT» ready упал -> 503; компенсация удаляет объект
+13
View File
@@ -81,11 +81,24 @@ def main():
rec = recover(c, alice, chat, t0)
log.append({"phase": "recovery after `%s`" % " ".join(undo), "upload_201_after_s": rec})
print(json.dumps(log[-1]), flush=True)
# Оставляем стенд рабочим: ждём, пока healthcheck S3 снова станет healthy (после pause
# он несколько проверок подряд был unhealthy, а `docker compose up api` при нездоровой
# зависимости не запускает реплики).
cid = subprocess.run(["docker", "compose", "ps", "-q", "s3"], cwd=ROOT, capture_output=True, text=True).stdout.strip()
t0 = time.monotonic()
while time.monotonic() - t0 < 120:
st = subprocess.run(["docker", "inspect", "-f", "{{.State.Health.Status}}", cid], capture_output=True, text=True).stdout.strip()
if st == "healthy":
break
time.sleep(1)
log.append({"phase": "s3 healthcheck healthy again", "after_s": round(time.monotonic() - t0, 1), "status": st})
print(json.dumps(log[-1]), flush=True)
down = [e for e in log if e.get("phase", "").startswith("S3 down")]
ok = all(e["probe"]["upload"]["status"] == 503 and e["probe"]["download"]["status"] == 503
and e["probe"]["text_message"]["status"] == 201 and e["probe"]["ready"]["status"] == 200
for e in down) and all(e.get("upload_201_after_s") is not None for e in log if "upload_201_after_s" in e)
no5xx = all(p["status"] in (200, 201, 503) for e in log if "probe" in e for p in e["probe"].values())
ok = ok and st == "healthy"
print(json.dumps({"pass": ok and no5xx, "only_200_201_503": no5xx}))
if args.output:
Path(args.output).write_text(json.dumps({"pass": ok and no5xx, "phases": log}, ensure_ascii=False, indent=1))