From 0341b4e6749da732e74b0e16351f5bf59b0a6f27 Mon Sep 17 00:00:00 2001 From: yura Date: Sat, 7 Nov 2026 11:34:41 +0300 Subject: [PATCH] =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20=D0=BF=D1=80=D0=BE=D0=B1=D0=BB=D0=B5=D0=BC=D1=8B?= =?UTF-8?q?,=20=D0=BD=D0=B0=D0=B9=D0=B4=D0=B5=D0=BD=D0=BD=D1=8B=D0=B5=20?= =?UTF-8?q?=D0=BF=D0=BE=D0=B2=D1=82=D0=BE=D1=80=D0=BD=D0=BE=D0=B9=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BA=D0=BE=D0=B9=20=D0=B8=D0=B7?= =?UTF-8?q?=20=D1=87=D0=B8=D1=81=D1=82=D0=BE=D0=B3=D0=BE=20clone?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Healthcheck S3 проверяет реальную запись (PUT во внутренний filer): после рестарта SeaweedFS запись готова на 10–20 с позже /healthz, и make test-failover сразу после make test-persistence падал с 503. - Upload на старте реплики ждёт первой успешной проверки S3 до 5 с. - stop-one.sh берёт реплики из docker compose ps, а не по имени проекта. - s3_outage.py в конце ждёт восстановления S3; переключение FAULT_INJECTION выполняется с --no-deps. - Перезаписаны evidence/, в REPORT.md добавлен раздел повторной проверки. --- REPORT.md | 58 ++++++++---- compose.yaml | 14 +-- evidence/api-no-local-originals.txt | 12 +-- evidence/attachment-failover.json | 66 +++++++------- evidence/attachment-failover.txt | 4 +- evidence/check.txt | 4 +- evidence/consistency-faults.json | 124 +++++++++++++------------- evidence/consistency-faults.txt | 32 +++---- evidence/failover.txt | 16 ---- evidence/idempotency-concurrency.json | 4 +- evidence/lab3-regression.txt | 4 +- evidence/persistence-failover.txt | 54 +++++++++++ evidence/persistence.txt | 19 ---- evidence/s3-bootstrap-idempotent.txt | 2 +- evidence/s3-outage.json | 41 +++++---- evidence/s3-outage.txt | 13 +-- evidence/s3-private-check.txt | 2 +- evidence/smoke.txt | 2 +- evidence/upload-memory-c12.json | 44 ++++----- evidence/upload-memory-c20.json | 40 ++++----- scripts/restart.sh | 2 +- scripts/stop-one.sh | 8 +- src/objstore.py | 10 +++ src/server.py | 5 +- student-tests/consistency_faults.py | 4 +- student-tests/s3_outage.py | 13 +++ 26 files changed, 335 insertions(+), 262 deletions(-) delete mode 100644 evidence/failover.txt create mode 100644 evidence/persistence-failover.txt delete mode 100644 evidence/persistence.txt diff --git a/REPORT.md b/REPORT.md index c63719e..49d257a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -32,9 +32,9 @@ python3 student-tests/attachments_negative.py --output evidence/attachments-nega python3 student-tests/attachment_failover.py --output evidence/attachment-failover.json python3 student-tests/s3_outage.py --output evidence/s3-outage.json python3 student-tests/upload_memory.py --concurrency 12 --rounds 3 --output evidence/upload-memory-c12.json -FAULT_INJECTION=1 docker compose --env-file .env up -d --wait api # учебный хук отказов, только на время теста +FAULT_INJECTION=1 docker compose --env-file .env up -d --no-deps --wait api # учебный хук отказов, только на время теста python3 student-tests/consistency_faults.py --output evidence/consistency-faults.json -docker compose --env-file .env up -d --wait api # обратно FAULT_INJECTION=0 +docker compose --env-file .env up -d --no-deps --wait api # обратно FAULT_INJECTION=0 # 4. Janitor вручную: отчёт без изменений / исправление docker compose run --rm --no-deps janitor python /app/src/janitor.py --once --dry-run @@ -65,7 +65,7 @@ docker compose down -v | API | `api` ×2 | `mtusi-messenger:lab4` (из `Dockerfile`) | `/health/live`, `/health/ready` (только БД) | — (без состояния) | backend, `8080` внутри | `postgres_password`, `s3_api_*` | | Миграции | `migrate` | тот же | exit 0 | — | backend | `postgres_password` | | БД | `db` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | backend (`internal`) | `postgres_password` | -| S3 | `s3` | `chrislusf/seaweedfs:4.50` | `/healthz` S3 **и** master видит volume-сервер | `s3data` | backend, только `:8333` | `s3_identities.json` | +| S3 | `s3` | `chrislusf/seaweedfs:4.50` | `/healthz` S3 **и** работающая запись (PUT во внутренний filer) | `s3data` | backend, только `:8333` | `s3_identities.json` | | Bootstrap S3 | `s3-init` | `mtusi-messenger:lab4` | exit 0 | — | backend | `s3_admin_*` (только он) | | Сверка | `janitor` | тот же | heartbeat-файл ≤ 90 с | — | backend | `postgres_password`, `s3_janitor_*` | | Проверка | `s3-check` (profile `tools`) | тот же | — | — | backend | `s3_api_*`, `s3_janitor_*` | @@ -128,8 +128,8 @@ docker compose down -v | Параметр | Значение | Почему | | --- | --- | --- | | `/health/ready` | только PostgreSQL (как в lab3) | S3 общий для всех реплик: убрать все реплики из LB при отказе S3 бессмысленно, а текстовые сообщения без S3 работают. Проверено: при остановленном S3 ready=200, сообщения 201 | -| S3Health (фон, 1 с) | PUT + GET `health/<реплика>`, устарело через 3 с | У SeaweedFS после рестарта `/healthz` и HEAD bucket уже успешны, а первая запись висит ~5–13 с. Upload при неготовом S3 → сразу 503, download → 503 только при подтверждённом отказе | -| healthcheck `s3` | `/healthz` и master видит volume-сервер (`/dir/status`) | иначе API стартовал раньше, чем S3 мог читать; `restart.sh` ждёт healthy S3 перед перезапуском API | +| S3Health (фон, 1 с) | PUT + GET `health/<реплика>`, устарело через 3 с | У SeaweedFS после рестарта `/healthz` и HEAD bucket уже успешны, а первая запись ещё висит. При подтверждённом отказе upload и download → сразу 503; на старте реплики upload ждёт первой успешной проверки до `S3_STARTUP_WAIT_SECONDS=5` | +| healthcheck `s3` | `/healthz` и PUT маленького файла во внутренний filer (`/.healthcheck/probe`, вне `/buckets`, через S3 не виден); `start_interval 1s`, затем раз в 5 с | после рестарта SeaweedFS запись ещё 10–20 с не готова (выбор raft-лидера, выдача volume). Без проверки записи `restart.sh` перезапускал API раньше, и `make test-failover` сразу после `make test-persistence` падал на первой загрузке (503) | | S3-клиент API | connect 2 с, read 5 с, без повторов | 5 с < `timeout server 10s` у LB: API сам отвечает 503 в формате контракта, а не LB 504 | | HAProxy для upload | `http-request set-timeout server 75s` | приём ≤ 60 с + PUT; тело проксируется потоком (без `http-buffer-request`) | | Приём тела | `UPLOAD_TIMEOUT_SECONDS=60` на всё тело, 30 с на один recv | медленный клиент не держит поток бесконечно | @@ -146,6 +146,7 @@ docker compose down -v - маршрутизация: тело читается после выбора маршрута, а upload читает его сам, потоком; - `restart.sh` перезапускает и S3; - у `db` и `s3` появился `restart: unless-stopped`; +- `stop-one.sh` берёт список реплик у `docker compose ps`, а не по жёстко прописанному имени проекта: хук работает и при другом `COMPOSE_PROJECT_NAME` (так проверялся чистый clone); - digest-ы образов закреплены полностью. `failover-each.sh` и `rolling-update.sh` в lab4 повторно не прогонялись. @@ -160,11 +161,11 @@ docker compose down -v | `S3_ENDPOINT` | `http://s3:8333` (порт SeaweedFS S3, не 9000 как у MinIO) | | `S3_REGION`, `S3_BUCKET`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | как есть (`us-east-1`, `messenger-attachments`, 10485760, 40000000) | | `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | файлы Docker secrets; у каждого сервиса свой ключ (api / janitor / s3-init) | -| добавлены | `UPLOAD_TIMEOUT_SECONDS`, `UPLOAD_CONCURRENCY`, `DECODE_CONCURRENCY`, `S3_PUT_CONCURRENCY`, `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `ATTACHMENT_GRACE_SECONDS`, `JANITOR_INTERVAL_SECONDS`, `FAULT_INJECTION` (по умолчанию 0) | +| добавлены | `UPLOAD_TIMEOUT_SECONDS`, `UPLOAD_CONCURRENCY`, `DECODE_CONCURRENCY`, `S3_PUT_CONCURRENCY`, `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `S3_STARTUP_WAIT_SECONDS`, `ATTACHMENT_GRACE_SECONDS`, `JANITOR_INTERVAL_SECONDS`, `FAULT_INJECTION` (по умолчанию 0) | ## Доказательства критериев -Все прогоны 06–07.11.2026 на итоговом коде, машина и лимиты — как выше. +Все прогоны — 07.11.2026 на итоговом коде (после исправлений из раздела «Повторная проверка»), машина и лимиты — как выше. Тот же набор дополнительно прошёл в чистом clone с новыми секретами и пустыми volumes. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -173,11 +174,11 @@ docker compose down -v | 3: 201 ready после сохранения, побайтный download, message с `attachment_ids` читается участником | `make test`, `attachments_negative.py` | 201 `status=ready`, SHA-256 и Content-Type совпадают для PNG, JPEG и PNG 10 482 871 B; bob скачивает файл alice, отправляет `text=""` + вложение | `evidence/smoke.txt`, `evidence/attachments-negative.txt` | | 3: PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения/декодирования | `attachments_negative.py` | 10 MiB+1 → 413; IHDR 100000² и 7000×6000 → 413 без распаковки; zlib-бомба 50 MB → 415; 13 вариантов опасных filename → 400 | `evidence/attachments-negative.json` | | 3: upload → остановка обслужившей реплики → download через другую | `attachment_failover.py` (по каждой реплике) | 2/2 раунда: остановлена именно загрузившая реплика, 5/5 скачиваний другой репликой, SHA-256 совпал | `evidence/attachment-failover.json` | -| 3: failover (публичный) | `make test-failover` ×2 | PASS, 2 реплики, 128/129 записей, 0 неуспешных, восстановление 3,6/3,5 с | `evidence/failover.txt` | -| 3: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `StartedAt` всех 6 контейнеров (db, s3, api×2, janitor, lb) изменился; тот же токен, тот же файл | `evidence/persistence.txt` | +| 3: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` ×2 | PASS; `StartedAt` всех 6 контейнеров (db, s3, api×2, janitor, lb) изменился; тот же токен, тот же файл | `evidence/persistence-failover.txt` | +| 3: failover (публичный) | `make test-failover` ×2, каждый раз **сразу после** persistence | PASS, 2 реплики, 129/128 записей, 0 неуспешных, восстановление 3,7/3,3 с | `evidence/persistence-failover.txt` | | 4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; ошибка пользователя ≠ 500 | `attachments_negative.py` | 60/60 PASS, **0 ответов 5xx**; все ошибки — JSON контракта с `request_id` = `X-Request-Id` | `evidence/attachments-negative.json` | | 4: прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; компенсация/сверка с grace | `consistency_faults.py` (`FAULT_INJECTION=1`) | см. «Согласованность» ниже: компенсация ничего не оставляет, свежее не удаляется, после grace удалено всё брошенное, повторный проход ничего не находит | `evidence/consistency-faults.json` | -| 4: лимиты/таймауты и потоковая обработка; ≥ 10 одновременных загрузок с замером пика памяти | `upload_memory.py --concurrency 12` и `20` | 36/36 и 60/60 × 201; пиковый RSS API 95–102 MiB при лимите 256 и **не растёт** с 12 до 20; до исправления — 178–189 MiB | `evidence/upload-memory-c{12,20}.json`, `evidence/before-fix/` | +| 4: лимиты/таймауты и потоковая обработка; ≥ 10 одновременных загрузок с замером пика памяти | `upload_memory.py --concurrency 12` и `20` | 36/36 и 60/60 × 201; пиковый RSS API 91–97 MiB при лимите 256 и **не растёт** с 12 до 20; до исправления — 178–189 MiB | `evidence/upload-memory-c{12,20}.json`, `evidence/before-fix/` | | 4: bootstrap bucket идемпотентен | `s3-init` два раза подряд | оба раза exit 0, `created:false`, `private:true` | `evidence/s3-bootstrap-idempotent.txt` | | 4: у API отдельные ограниченные S3 credentials; консоль не открыта; проверка private bucket вне API | `docker compose --profile tools run --rm s3-check` | 21/21 PASS: права api/janitor/анонима как в таблице; из backend-сети закрыты 9333, 8080, 8888, 8111, 8181, 9101, открыт только 8333; на хост S3 не опубликован | `evidence/s3-private-check.txt` | | Проверка недоступности S3 (README, п. 5) | `s3_outage.py` (`stop` и `pause` S3) | upload/download → 503 `unavailable` + `Retry-After: 1` за 10–15 мс; сообщения 201, ready 200; восстановление без перезапуска API | `evidence/s3-outage.json` | @@ -198,9 +199,9 @@ docker compose down -v | Строку брошенной загрузки удалили вручную | объект-сирота | janitor: `orphan_objects: 1` | удалён после grace | | Объект ready-вложения удалили в S3 | только отчёт, download 503 | download 503 (не 500); `missing_objects` растёт, строка не удалена | требует человека | | janitor с grace 3600 (всё свежее), dry-run и боевой | ничего не удалять | `deleted_objects: 0, deleted_rows: 0` | свежие и используемые не тронуты | -| ожидание 22 с, janitor с grace 20: dry-run → боевой → повтор | найти → удалить → 0 | dry-run: 17 брошенных pending + 1 сирота, удалено 0; боевой: удалено 18 объектов и 17 строк; повтор: 0/0/0 | контрольное ready-вложение скачивается, SHA-256 совпал | +| ожидание 22 с, janitor с grace 20: dry-run → боевой → повтор | найти → удалить → 0 | dry-run: 3 брошенных pending + 1 сирота, удалено 0; боевой: удалено 4 объекта и 3 строки; повтор: 0/0/0 | контрольное ready-вложение скачивается, SHA-256 совпал | -Брошенных pending нашлось 17, а не 2 (третью строку эксперимент сам превратил в сироту): 15 строк уже лежали в БД до начала эксперимента (baseline `pending: 15`). Они остались от реального инцидента — OOM-kill SeaweedFS во время эксперимента с памятью (см. ниже). Там PUT упал, компенсация тоже не достучалась до S3, и строки по проекту остались pending — janitor их нашёл и убрал. Ещё эксперимент нашёл ошибку в первой версии компенсации. При неудачном PUT удалялась только pending-строка, а PUT по таймауту мог успеть записать объект: на ранних прогонах так возникли 2 объекта-сироты. Исправлено: сначала удаляется объект, потом строка. Обход bucket из ~350 объектов и сверка с БД занимают ≈ 100 мс за проход. +Третья брошенная pending-строка — не от инъекции: до эксперимента в БД уже лежала одна (baseline `pending: 1`). Она осталась от теста отказа S3: первая загрузка во время `pause` упала по таймауту PUT, удалить объект тоже не вышло, и строка по проекту осталась pending. Janitor убрал её вместе с остальными. В более раннем прогоне (до исправления памяти SeaweedFS) таких строк было 15 — следы OOM-kill S3, — и janitor их так же нашёл и убрал. Ещё эксперимент нашёл ошибку в первой версии компенсации. При неудачном PUT удалялась только pending-строка, а PUT по таймауту мог успеть записать объект: так возникли 2 объекта-сироты. Исправлено: сначала удаляется объект, потом строка. `missing_objects: 4` — объекты, намеренно удалённые этим экспериментом в четырёх прогонах; строки остаются, как и задумано. Обход bucket из ~470 объектов и сверка с БД занимают ≈ 100 мс за проход. ### Память при одновременных загрузках (`student-tests/upload_memory.py`) @@ -217,11 +218,11 @@ docker compose down -v | --- | --- | --- | --- | --- | --- | --- | | до: без лимита PUT, glibc по умолчанию, c=12 | 36 / 318 MiB | 36 | 6,2 с; 1,9/2,2 с | **178 / 189** (из 256) | 213 / 229 | не мерили | | до: S3 без лимитов буферов, 512 MiB, c=12 | 36 / 318 MiB | 36 | 5,9 с | 96 / 94 | 145 / 124 | 395 MiB; **в одном из прогонов — OOM-kill (exit 137), без restart S3 остался лежать** | -| **после**, c=12 | 36 / 318 MiB | 36 | 5,4 с; 1,55/1,82 с | **95 / 99** | 135 / 127 | 484 MiB (лимит 768) | -| **после**, c=20 | 60 / 530 MiB | 60 | 8,6 с; 2,4/3,1 с | **98 / 102** | 154 / 168 | 477 MiB | +| **после**, c=12 | 36 / 318 MiB | 36 | 5,2 с; 1,52/1,81 с | **93 / 97** | 133 / 139 | 484 MiB (лимит 768) | +| **после**, c=20 | 60 / 530 MiB | 60 | 8,4 с; 2,23/2,82 с | **91 / 94** | 145 / 159 | 487 MiB | Выводы: -1. **Память API.** На простое RSS реплики ~50 MiB. Основную добавку давал S3 PUT: minio-py держит в памяти часть 5 MiB с копиями для подписи, ~20 MiB на загрузку. Ограничение PUT до 3 на реплику (тело уже на диске, остальные ждут в очереди) и `MALLOC_ARENA_MAX=2` снизили пик почти вдвое. Рост конкуренции с 12 до 20 пик **не увеличил** (95–99 → 98–102 MiB), а задержки выросли (p50 1,55 → 2,4 с) — избыток ждёт, а не занимает память. Гипотеза подтверждена в этих пределах. +1. **Память API.** На простое RSS реплики ~50 MiB. Основную добавку давал S3 PUT: minio-py держит в памяти часть 5 MiB с копиями для подписи, ~20 MiB на загрузку. Ограничение PUT до 3 на реплику (тело уже на диске, остальные ждут в очереди) и `MALLOC_ARENA_MAX=2` снизили пик почти вдвое. Рост конкуренции с 12 до 20 пик **не увеличил** (93–97 → 91–94 MiB), а задержки выросли (p50 1,52 → 2,23 с) — избыток ждёт, а не занимает память. Гипотеза подтверждена в этих пределах. 2. **File-память cgroup (cgroup peak − RSS ≈ 40–65 MiB)** — page cache временных файлов. Она вытесняема и OOM не вызывает. 3. **SeaweedFS** после исправлений выходит на плато ~480 MiB одинаково при c=12 и c=20, OOM нет, `RestartCount 0`. OOM из прогона до исправления зафиксирован в `evidence/before-fix/s3-oom.txt`. @@ -229,16 +230,17 @@ docker compose down -v | Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных | | --- | --- | --- | --- | -| `docker compose stop s3` | upload/download 503, текст и ready работают | сразу и через 5 с: upload 503 (14 мс), download 503 (10 мс), `Retry-After: 1`; сообщение 201; ready 200 | upload 201 через 19,7 с после `start` (старт SeaweedFS + выбор лидера) / 0 | -| `docker compose pause s3` (S3 завис) | то же, без 500 и таймаутов LB | первый upload после паузы — 503 за 10,0 с (PUT 5 с + попытка компенсации 5 с); дальше S3Health знает об отказе: upload 503 за 15 мс, download 503 за 10 мс; сообщения 201 | upload 201 сразу после `unpause` / 0 | +| `docker compose stop s3` | upload/download 503, текст и ready работают | сразу и через 5 с: upload 503 (14–18 мс), download 503 (10–11 мс), `Retry-After: 1`; сообщение 201; ready 200 | upload 201 через 20,1 с после `start` (старт SeaweedFS + выбор лидера) / 0 | +| `docker compose pause s3` (S3 завис) | то же, без 500 и таймаутов LB | первый upload после паузы — 503 за 10,0 с (PUT 5 с + попытка компенсации 5 с); дальше S3Health знает об отказе: upload 503 за 13 мс, download 503 за 9–11 мс; сообщения 201 | upload 201 сразу после `unpause`; healthcheck S3 снова healthy через 5,2 с / 0 | | `make test-persistence` (рестарт db, s3, api, janitor, lb) | данные, сессия и файл сохраняются | PASS, все `StartedAt` новые | в пределах лимита теста / 0 | -| `stop-one.sh` (SIGTERM загрузившей реплики) | download через другую | PASS, по каждой реплике | 3,5–3,6 с по метрике публичного теста / 0 | +| `stop-one.sh` (SIGTERM загрузившей реплики) | download через другую | PASS, по каждой реплике | 3,3–3,7 с по метрике публичного теста / 0 | ## Ограничения и следующие шаги - **Выдерживается:** остановка или падение одной API-реплики (в том числе посреди upload — остаток убирает janitor), рестарт всего стенда с volumes, временная недоступность или зависание S3 (вложения — 503, остальной API работает), обрыв клиента. - **Не выдерживается:** потеря volume `s3data` или `pgdata` (одна копия, без репликации и бэкапов); отказ PostgreSQL, единственного S3 или LB; потеря Docker-host. SeaweedFS запущен одним процессом без репликации (`replication 000`). -- **Сразу после старта или рестарта SeaweedFS** первые ~10–20 с upload получают 503 (S3Health ждёт успешной записи), чтение работает раньше. Это честный отказ, а не зависание, но и не нулевое время восстановления. +- **Сразу после старта или рестарта SeaweedFS** запись готова не сразу (~10–20 с). Healthcheck S3 это учитывает, поэтому `up` и `restart.sh` запускают API только после готовности записи. Если перезапустить один S3 вручную, upload в это окно получат 503 (чтение работает раньше). Это честный отказ, а не зависание, но и не нулевое время восстановления. +- **`docker compose up api` при нездоровом S3** (например, сразу после `pause`/`unpause`) пересоздаёт реплики и не запускает их: compose ждёт здоровья зависимости `s3-init → s3`. Переключать `FAULT_INJECTION` и пересоздавать API нужно с `--no-deps` (так в инструкции) или после восстановления S3; `s3_outage.py` в конце сам ждёт healthy S3. - **Компенсация при зависшем S3** удлиняет ответ до ~10 с (таймаут PUT + таймаут DELETE); это меньше таймаута LB 75 с. - **Grace 1 ч — компромисс:** брошенные объекты до часа занимают место; уменьшать его можно, пока он намного больше `UPLOAD_TIMEOUT_SECONDS` + таймаутов S3. - **«Missing»** (ready-строка без объекта) только сообщается в лог и отчёт janitor; автоматического восстановления нет (бэкапов нет). @@ -247,3 +249,21 @@ docker compose down -v - **Ресурсы SeaweedFS:** ему нужно ~0,5 GiB RAM даже на учебном объёме; лимит 768 MiB подобран экспериментом на этой машине, а не расчётом. - **Хук `FAULT_INJECTION`** — учебный: при значении 1 любой аутентифицированный клиент может уронить реплику. В обычной конфигурации он выключен; в lab7 код хука стоит удалить. - **Следующие шаги:** stream PUT без буферизации части в памяти (другой клиент или `UNSIGNED-PAYLOAD`), presigned upload (трек 1), метрики janitor для lab6, при необходимости — replica SeaweedFS. + +## Повторная проверка — 07.11.2026 + +Работа повторно развёрнута из чистого clone ветки (коммит `ace2bbd`, отдельный проект `COMPOSE_PROJECT_NAME=mtusi-lab4-fresh`, новые секреты из `init-secrets.sh`, пустые volumes). Холодный старт занял 34 с, bucket создан и приватен. Затем выполнены все команды раздела «Запуск». Найдено и исправлено: + +1. **`make test-failover` сразу после `make test-persistence` падал**: первая загрузка получала 503. После рестарта SeaweedFS отвечал healthy (`/healthz` и регистрация volume-сервера), но запись ещё не работала, и `restart.sh` перезапускал API слишком рано. Исправлено: healthcheck S3 проверяет реальную запись; на старте реплики upload до 5 с ждёт первой успешной проверки S3, а не отвечает 503 мгновенно. После исправления persistence → failover прошли два раза подряд. +2. **`stop-one.sh` работал только при имени проекта `mtusi-lab4`**. Исправлено: реплики берутся из `docker compose ps`. +3. **После теста отказа S3 `docker compose up api` оставлял API не запущенным** (см. «Ограничения»). Исправлено: тест ждёт восстановления S3, команды переключения `FAULT_INJECTION` используют `--no-deps`. + +После исправлений в чистом clone прошли: +- `make check`, `make test`; +- persistence и failover ×2; +- failover вложений, 60 негативных сценариев, 21 проверка S3, повторный bootstrap; +- отказ S3, эксперимент согласованности, замер памяти (c=12: 36/36, VmHWM 100/103 MiB); +- регрессия lab3; +- полный `docker compose down` → `up` с сохранёнными volumes (31 с) и smoke после него. + +Временный стенд удалён. Все файлы `evidence/` перезаписаны прогоном на основном стенде с этим кодом. Обязательные `tests/` и `contracts/` не изменены. diff --git a/compose.yaml b/compose.yaml index 85a1916..cadb854 100644 --- a/compose.yaml +++ b/compose.yaml @@ -87,12 +87,16 @@ services: networks: [backend] restart: unless-stopped healthcheck: - # Готов, когда отвечает S3 И master видит volume-сервер (иначе /healthz уже 200, а чтение висит). - test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -q '\"DataNodes\":\\[{'"] - interval: 2s + # Готов, когда S3 отвечает И реально работает ЗАПИСЬ: PUT маленького файла во внутренний + # filer (путь /.healthcheck вне /buckets, через S3 не виден). После рестарта SeaweedFS + # /healthz уже 200, а запись ещё 10–20 с висит (выбор raft-лидера, выдача volume); + # без этой проверки restart.sh и depends_on стартовали API раньше готовности S3. + test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz && curl -sf -m 2 -X PUT --data-binary ok http://127.0.0.1:8888/.healthcheck/probe -o /dev/null"] + interval: 5s + start_interval: 1s timeout: 3s - retries: 30 - start_period: 5s + retries: 3 + start_period: 60s stop_grace_period: 30s deploy: resources: diff --git a/evidence/api-no-local-originals.txt b/evidence/api-no-local-originals.txt index 885e4fb..a288c6a 100644 --- a/evidence/api-no-local-originals.txt +++ b/evidence/api-no-local-originals.txt @@ -1,16 +1,16 @@ -# 2026-11-06T22:40:29Z API containers: mounts and temp upload dir after all tests +# 2026-11-07T08:32:11Z API containers: mounts and temp upload dir after all tests ## mtusi-lab4-api-1 -Mounts: bind:/run/secrets/postgres_password bind:/run/secrets/s3_api_access_key bind:/run/secrets/s3_api_secret_key +Mounts: bind:/run/secrets/s3_api_secret_key bind:/run/secrets/postgres_password bind:/run/secrets/s3_api_access_key ls -la /tmp/uploads: total 12 -drwxrwxrwt 1 root root 4096 Nov 6 22:34 . -drwxrwxrwt 1 root root 4096 Nov 6 22:34 .. +drwxrwxrwt 1 root root 4096 Nov 7 08:23 . +drwxrwxrwt 1 root root 4096 Nov 7 08:23 .. files > 10 KB anywhere writable (excluding /proc,/sys,/usr,/run/secrets): ## mtusi-lab4-api-2 Mounts: bind:/run/secrets/postgres_password bind:/run/secrets/s3_api_access_key bind:/run/secrets/s3_api_secret_key ls -la /tmp/uploads: total 12 -drwxrwxrwt 1 root root 4096 Nov 6 22:34 . -drwxrwxrwt 1 root root 4096 Nov 6 22:34 .. +drwxrwxrwt 1 root root 4096 Nov 7 08:23 . +drwxrwxrwt 1 root root 4096 Nov 7 08:23 .. files > 10 KB anywhere writable (excluding /proc,/sys,/usr,/run/secrets): ## upload buffering: tempfile.TemporaryFile -> O_TMPFILE (no directory entry), deleted on close or process death diff --git a/evidence/attachment-failover.json b/evidence/attachment-failover.json index 73d20ee..137ef26 100644 --- a/evidence/attachment-failover.json +++ b/evidence/attachment-failover.json @@ -1,69 +1,69 @@ { "replicas": [ - "3256158ccd6a", - "680f36c618ba" + "3c9bca5b2595", + "76cd26b71556" ], "rounds": [ { - "uploaded_by": "3256158ccd6a", - "stopped": "3256158ccd6a", + "uploaded_by": "3c9bca5b2595", + "stopped": "3c9bca5b2595", "downloads": [ { - "instance": "680f36c618ba", - "sha256_ok": true, - "ms": 8.1 - }, - { - "instance": "680f36c618ba", + "instance": "76cd26b71556", "sha256_ok": true, "ms": 8.0 }, { - "instance": "680f36c618ba", + "instance": "76cd26b71556", "sha256_ok": true, - "ms": 7.3 + "ms": 5.7 }, { - "instance": "680f36c618ba", + "instance": "76cd26b71556", "sha256_ok": true, - "ms": 20.1 + "ms": 6.9 }, { - "instance": "680f36c618ba", + "instance": "76cd26b71556", "sha256_ok": true, - "ms": 7.0 + "ms": 22.4 + }, + { + "instance": "76cd26b71556", + "sha256_ok": true, + "ms": 5.8 } ], "pass": true }, { - "uploaded_by": "680f36c618ba", - "stopped": "680f36c618ba", + "uploaded_by": "76cd26b71556", + "stopped": "76cd26b71556", "downloads": [ { - "instance": "3256158ccd6a", + "instance": "3c9bca5b2595", "sha256_ok": true, - "ms": 25.3 + "ms": 8.8 }, { - "instance": "3256158ccd6a", + "instance": "3c9bca5b2595", "sha256_ok": true, - "ms": 9.1 + "ms": 5.5 }, { - "instance": "3256158ccd6a", - "sha256_ok": true, - "ms": 6.2 - }, - { - "instance": "3256158ccd6a", - "sha256_ok": true, - "ms": 6.2 - }, - { - "instance": "3256158ccd6a", + "instance": "3c9bca5b2595", "sha256_ok": true, "ms": 5.9 + }, + { + "instance": "3c9bca5b2595", + "sha256_ok": true, + "ms": 6.9 + }, + { + "instance": "3c9bca5b2595", + "sha256_ok": true, + "ms": 4.5 } ], "pass": true diff --git a/evidence/attachment-failover.txt b/evidence/attachment-failover.txt index 243fada..e266d37 100644 --- a/evidence/attachment-failover.txt +++ b/evidence/attachment-failover.txt @@ -1,4 +1,4 @@ -{"uploaded_by": "3256158ccd6a", "stopped": "3256158ccd6a", "downloads": [{"instance": "680f36c618ba", "sha256_ok": true, "ms": 8.1}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 8.0}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 7.3}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 20.1}, {"instance": "680f36c618ba", "sha256_ok": true, "ms": 7.0}], "pass": true} -{"uploaded_by": "680f36c618ba", "stopped": "680f36c618ba", "downloads": [{"instance": "3256158ccd6a", "sha256_ok": true, "ms": 25.3}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 9.1}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 6.2}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 6.2}, {"instance": "3256158ccd6a", "sha256_ok": true, "ms": 5.9}], "pass": true} +{"uploaded_by": "3c9bca5b2595", "stopped": "3c9bca5b2595", "downloads": [{"instance": "76cd26b71556", "sha256_ok": true, "ms": 8.0}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 5.7}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 6.9}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 22.4}, {"instance": "76cd26b71556", "sha256_ok": true, "ms": 5.8}], "pass": true} +{"uploaded_by": "76cd26b71556", "stopped": "76cd26b71556", "downloads": [{"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 8.8}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 5.5}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 5.9}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 6.9}, {"instance": "3c9bca5b2595", "sha256_ok": true, "ms": 4.5}], "pass": true} {"pass": true, "rounds": 2} exit=0 diff --git a/evidence/check.txt b/evidence/check.txt index cb6fca8..02cb44f 100644 --- a/evidence/check.txt +++ b/evidence/check.txt @@ -1,6 +1,6 @@ -# 2026-11-06T22:31:43Z make check +# 2026-11-07T08:24:34Z make check python3 scripts/check_contract.py PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. exit=0 -# 2026-11-06T22:31:43Z docker compose config --quiet +# 2026-11-07T08:24:34Z docker compose config --quiet exit=0 diff --git a/evidence/consistency-faults.json b/evidence/consistency-faults.json index 3375f8f..83ac516 100644 --- a/evidence/consistency-faults.json +++ b/evidence/consistency-faults.json @@ -3,205 +3,205 @@ "steps": [ { "step": "baseline janitor dry-run", - "t": 1794004683.9, + "t": 1794040130.0, "report": { "dry_run": true, "grace_seconds": 3600, "rows_by_status": { - "pending": 15, - "ready": 348 + "pending": 1, + "ready": 467 }, - "objects_total": 349, + "objects_total": 465, "abandoned_pending": 0, "orphan_objects": 0, - "missing_objects": 2, + "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 96.7 + "duration_ms": 100.5 } }, { "step": "control + victim uploaded (ready)", - "t": 1794004684.0, - "control": "d9a16769-9f6a-486f-87d5-9d72be773f4f", - "victim": "6560be97-8430-4212-b132-e8cc9f7002ec" + "t": 1794040130.0, + "control": "8ef93cb0-8d87-4bee-9c98-c0b3295e8b28", + "victim": "59255c3f-edc6-4e6f-861f-fc02a57e11e1" }, { "step": "db-fail-after-s3-put -> compensation", - "t": 1794004687.1, + "t": 1794040133.2, "status": 503, "report": { "dry_run": true, "grace_seconds": 3600, "rows_by_status": { - "pending": 15, - "ready": 350 + "pending": 1, + "ready": 469 }, - "objects_total": 351, + "objects_total": 467, "abandoned_pending": 0, "orphan_objects": 0, - "missing_objects": 2, + "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 92.0 + "duration_ms": 99.1 }, "leftover_pending": 0, "leftover_objects": 0 }, { "step": "crash-after-s3-put", - "t": 1794004687.1, + "t": 1794040133.2, "client_saw": "Failure" }, { "step": "crash-after-s3-put", - "t": 1794004690.3, + "t": 1794040136.4, "client_saw": "Failure" }, { "step": "crash-after-pending", - "t": 1794004699.0, + "t": 1794040145.1, "client_saw": "Failure" }, { "step": "client aborted upload at 1 of 5 MiB", - "t": 1794004707.3, + "t": 1794040152.9, "report": { "dry_run": true, "grace_seconds": 3600, "rows_by_status": { - "pending": 18, - "ready": 350 + "pending": 4, + "ready": 469 }, - "objects_total": 353, + "objects_total": 469, "abandoned_pending": 0, "orphan_objects": 0, - "missing_objects": 2, + "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 91.8 + "duration_ms": 24.9 } }, { "step": "pending rows left by crashes", - "t": 1794004707.5, + "t": 1794040153.1, "pending": 3 }, { "step": "orphan injected: pending row deleted, object kept", - "t": 1794004707.6, - "row": "cfc406da-7b0a-480d-821e-4fab78251770" + "t": 1794040153.2, + "row": "59726e36-b9bd-478c-8012-1d004f7cc7a5" }, { "step": "missing injected: victim object deleted in S3", - "t": 1794004708.3, + "t": 1794040153.9, "download_status": 503 }, { "step": "janitor grace=3600 (all fresh): dry-run", - "t": 1794004714.3, + "t": 1794040160.3, "report": { "dry_run": true, "grace_seconds": 3600, "rows_by_status": { - "pending": 17, - "ready": 350 + "pending": 3, + "ready": 469 }, - "objects_total": 352, + "objects_total": 468, "abandoned_pending": 0, "orphan_objects": 0, - "missing_objects": 3, + "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 105.7 + "duration_ms": 104.3 } }, { "step": "janitor grace=3600 (all fresh): real run deletes nothing", - "t": 1794004714.3, + "t": 1794040160.3, "report": { "dry_run": false, "grace_seconds": 3600, "rows_by_status": { - "pending": 17, - "ready": 350 + "pending": 3, + "ready": 469 }, - "objects_total": 352, + "objects_total": 468, "abandoned_pending": 0, "orphan_objects": 0, - "missing_objects": 3, + "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 99.5 + "duration_ms": 101.2 } }, { "step": "after grace: dry-run", - "t": 1794004739.4, + "t": 1794040185.3, "report": { "dry_run": true, "grace_seconds": 20, "rows_by_status": { - "pending": 17, - "ready": 350 + "pending": 3, + "ready": 469 }, - "objects_total": 352, - "abandoned_pending": 17, + "objects_total": 468, + "abandoned_pending": 3, "orphan_objects": 1, - "missing_objects": 3, + "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 101.9 + "duration_ms": 103.0 } }, { "step": "after grace: real run", - "t": 1794004742.5, + "t": 1794040188.5, "report": { "dry_run": false, "grace_seconds": 20, "rows_by_status": { - "pending": 17, - "ready": 350 + "pending": 3, + "ready": 469 }, - "objects_total": 348, - "abandoned_pending": 17, + "objects_total": 466, + "abandoned_pending": 3, "orphan_objects": 1, - "missing_objects": 3, - "deleted_objects": 18, - "deleted_rows": 17, + "missing_objects": 4, + "deleted_objects": 4, + "deleted_rows": 3, "errors": 0, - "duration_ms": 103.4 + "duration_ms": 180.4 } }, { "step": "after grace: repeated run (idempotent)", - "t": 1794004746.0, + "t": 1794040191.2, "report": { "dry_run": false, "grace_seconds": 20, "rows_by_status": { - "ready": 350 + "ready": 469 }, - "objects_total": 347, + "objects_total": 465, "abandoned_pending": 0, "orphan_objects": 0, - "missing_objects": 3, + "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, - "duration_ms": 99.5 + "duration_ms": 99.3 } }, { "step": "control attachment still intact", - "t": 1794004746.1, + "t": 1794040191.4, "sha256_ok": true, "pending_left": 0 } diff --git a/evidence/consistency-faults.txt b/evidence/consistency-faults.txt index 6877b80..84a8fe2 100644 --- a/evidence/consistency-faults.txt +++ b/evidence/consistency-faults.txt @@ -1,17 +1,17 @@ -{"step": "baseline janitor dry-run", "t": 1794004683.9, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 15, "ready": 348}, "objects_total": 349, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 2, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 96.7}} -{"step": "control + victim uploaded (ready)", "t": 1794004684.0, "control": "d9a16769-9f6a-486f-87d5-9d72be773f4f", "victim": "6560be97-8430-4212-b132-e8cc9f7002ec"} -{"step": "db-fail-after-s3-put -> compensation", "t": 1794004687.1, "status": 503, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 15, "ready": 350}, "objects_total": 351, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 2, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 92.0}, "leftover_pending": 0, "leftover_objects": 0} -{"step": "crash-after-s3-put", "t": 1794004687.1, "client_saw": "Failure"} -{"step": "crash-after-s3-put", "t": 1794004690.3, "client_saw": "Failure"} -{"step": "crash-after-pending", "t": 1794004699.0, "client_saw": "Failure"} -{"step": "client aborted upload at 1 of 5 MiB", "t": 1794004707.3, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 18, "ready": 350}, "objects_total": 353, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 2, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 91.8}} -{"step": "pending rows left by crashes", "t": 1794004707.5, "pending": 3} -{"step": "orphan injected: pending row deleted, object kept", "t": 1794004707.6, "row": "cfc406da-7b0a-480d-821e-4fab78251770"} -{"step": "missing injected: victim object deleted in S3", "t": 1794004708.3, "download_status": 503} -{"step": "janitor grace=3600 (all fresh): dry-run", "t": 1794004714.3, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 352, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 105.7}} -{"step": "janitor grace=3600 (all fresh): real run deletes nothing", "t": 1794004714.3, "report": {"dry_run": false, "grace_seconds": 3600, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 352, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.5}} -{"step": "after grace: dry-run", "t": 1794004739.4, "report": {"dry_run": true, "grace_seconds": 20, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 352, "abandoned_pending": 17, "orphan_objects": 1, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 101.9}} -{"step": "after grace: real run", "t": 1794004742.5, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"pending": 17, "ready": 350}, "objects_total": 348, "abandoned_pending": 17, "orphan_objects": 1, "missing_objects": 3, "deleted_objects": 18, "deleted_rows": 17, "errors": 0, "duration_ms": 103.4}} -{"step": "after grace: repeated run (idempotent)", "t": 1794004746.0, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"ready": 350}, "objects_total": 347, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.5}} -{"step": "control attachment still intact", "t": 1794004746.1, "sha256_ok": true, "pending_left": 0} +{"step": "baseline janitor dry-run", "t": 1794040130.0, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 1, "ready": 467}, "objects_total": 465, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 100.5}} +{"step": "control + victim uploaded (ready)", "t": 1794040130.0, "control": "8ef93cb0-8d87-4bee-9c98-c0b3295e8b28", "victim": "59255c3f-edc6-4e6f-861f-fc02a57e11e1"} +{"step": "db-fail-after-s3-put -> compensation", "t": 1794040133.2, "status": 503, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 1, "ready": 469}, "objects_total": 467, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.1}, "leftover_pending": 0, "leftover_objects": 0} +{"step": "crash-after-s3-put", "t": 1794040133.2, "client_saw": "Failure"} +{"step": "crash-after-s3-put", "t": 1794040136.4, "client_saw": "Failure"} +{"step": "crash-after-pending", "t": 1794040145.1, "client_saw": "Failure"} +{"step": "client aborted upload at 1 of 5 MiB", "t": 1794040152.9, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 4, "ready": 469}, "objects_total": 469, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 3, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 24.9}} +{"step": "pending rows left by crashes", "t": 1794040153.1, "pending": 3} +{"step": "orphan injected: pending row deleted, object kept", "t": 1794040153.2, "row": "59726e36-b9bd-478c-8012-1d004f7cc7a5"} +{"step": "missing injected: victim object deleted in S3", "t": 1794040153.9, "download_status": 503} +{"step": "janitor grace=3600 (all fresh): dry-run", "t": 1794040160.3, "report": {"dry_run": true, "grace_seconds": 3600, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 468, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 104.3}} +{"step": "janitor grace=3600 (all fresh): real run deletes nothing", "t": 1794040160.3, "report": {"dry_run": false, "grace_seconds": 3600, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 468, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 101.2}} +{"step": "after grace: dry-run", "t": 1794040185.3, "report": {"dry_run": true, "grace_seconds": 20, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 468, "abandoned_pending": 3, "orphan_objects": 1, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 103.0}} +{"step": "after grace: real run", "t": 1794040188.5, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"pending": 3, "ready": 469}, "objects_total": 466, "abandoned_pending": 3, "orphan_objects": 1, "missing_objects": 4, "deleted_objects": 4, "deleted_rows": 3, "errors": 0, "duration_ms": 180.4}} +{"step": "after grace: repeated run (idempotent)", "t": 1794040191.2, "report": {"dry_run": false, "grace_seconds": 20, "rows_by_status": {"ready": 469}, "objects_total": 465, "abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 4, "deleted_objects": 0, "deleted_rows": 0, "errors": 0, "duration_ms": 99.3}} +{"step": "control attachment still intact", "t": 1794040191.4, "sha256_ok": true, "pending_left": 0} {"pass": true} diff --git a/evidence/failover.txt b/evidence/failover.txt deleted file mode 100644 index 325fd97..0000000 --- a/evidence/failover.txt +++ /dev/null @@ -1,16 +0,0 @@ -# 2026-11-06T22:36:28Z round 1 make test-failover ACTION_SCRIPT=scripts/stop-one.sh -python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" -Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.616} -PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. -exit=0 -mtusi-lab4-api-1 Exited (0) 11 seconds ago -mtusi-lab4-api-2 Up About a minute (healthy) -# 2026-11-06T22:36:53Z round 2 make test-failover ACTION_SCRIPT=scripts/stop-one.sh -python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" -Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 3.514} -PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. -exit=0 -mtusi-lab4-api-1 Exited (0) 11 seconds ago -mtusi-lab4-api-2 Up 2 minutes (healthy) diff --git a/evidence/idempotency-concurrency.json b/evidence/idempotency-concurrency.json index 0dec5ae..ddcacb4 100644 --- a/evidence/idempotency-concurrency.json +++ b/evidence/idempotency-concurrency.json @@ -7,8 +7,8 @@ "201": 160 }, "conflicting_body": { - "201": 80, - "409": 80 + "409": 80, + "201": 80 } }, "replicas_answered": 2, diff --git a/evidence/lab3-regression.txt b/evidence/lab3-regression.txt index feb04a7..6a0175a 100644 --- a/evidence/lab3-regression.txt +++ b/evidence/lab3-regression.txt @@ -1,6 +1,6 @@ -# 2026-11-06T22:33:44Z cursor_validation +# 2026-11-07T08:30:54Z cursor_validation PASS: 6 cursor date boundary checks; invalid dates return 400. -# 2026-11-06T22:33:44Z idempotency_concurrency --rounds 10 --parallel 16 +# 2026-11-07T08:30:55Z idempotency_concurrency --rounds 10 --parallel 16 "problems": [] } PASS diff --git a/evidence/persistence-failover.txt b/evidence/persistence-failover.txt new file mode 100644 index 0000000..1f3c996 --- /dev/null +++ b/evidence/persistence-failover.txt @@ -0,0 +1,54 @@ +# 2026-11-07T08:24:37Z round 1: make test-persistence ACTION_SCRIPT=scripts/restart.sh +## before +mtusi-lab4-api-1 StartedAt=2026-11-07T08:24:09.858075054Z +mtusi-lab4-api-2 StartedAt=2026-11-07T08:24:09.791252554Z +mtusi-lab4-db-1 StartedAt=2026-11-07T08:23:50.523803795Z +mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:24:09.793362971Z +mtusi-lab4-lb-1 StartedAt=2026-11-07T08:24:09.948012971Z +mtusi-lab4-s3-1 StartedAt=2026-11-07T08:23:50.522934587Z +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 +## after +mtusi-lab4-api-1 StartedAt=2026-11-07T08:25:18.150425752Z +mtusi-lab4-api-2 StartedAt=2026-11-07T08:25:18.130956294Z +mtusi-lab4-db-1 StartedAt=2026-11-07T08:24:38.899196554Z +mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:25:25.061171964Z +mtusi-lab4-lb-1 StartedAt=2026-11-07T08:25:15.229845459Z +mtusi-lab4-s3-1 StartedAt=2026-11-07T08:24:56.087874506Z +# 2026-11-07T08:25:25Z round 1: make test-failover ACTION_SCRIPT=scripts/stop-one.sh (сразу после persistence) +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 3.723} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 +mtusi-lab4-api-1 Up 22 seconds (healthy) +mtusi-lab4-api-2 Exited (0) 11 seconds ago +# 2026-11-07T08:25:50Z round 2: make test-persistence ACTION_SCRIPT=scripts/restart.sh +## before +mtusi-lab4-api-1 StartedAt=2026-11-07T08:25:18.150425752Z +mtusi-lab4-api-2 StartedAt=2026-11-07T08:25:41.189426555Z +mtusi-lab4-db-1 StartedAt=2026-11-07T08:24:38.899196554Z +mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:25:25.061171964Z +mtusi-lab4-lb-1 StartedAt=2026-11-07T08:25:15.229845459Z +mtusi-lab4-s3-1 StartedAt=2026-11-07T08:24:56.087874506Z +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 +## after +mtusi-lab4-api-1 StartedAt=2026-11-07T08:26:31.35367805Z +mtusi-lab4-api-2 StartedAt=2026-11-07T08:26:31.310593342Z +mtusi-lab4-db-1 StartedAt=2026-11-07T08:25:51.588460754Z +mtusi-lab4-janitor-1 StartedAt=2026-11-07T08:26:37.94729322Z +mtusi-lab4-lb-1 StartedAt=2026-11-07T08:26:28.08777384Z +mtusi-lab4-s3-1 StartedAt=2026-11-07T08:26:09.003885512Z +# 2026-11-07T08:26:38Z round 2: make test-failover ACTION_SCRIPT=scripts/stop-one.sh (сразу после persistence) +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.347} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 +mtusi-lab4-api-1 Up 22 seconds (healthy) +mtusi-lab4-api-2 Exited (0) 11 seconds ago diff --git a/evidence/persistence.txt b/evidence/persistence.txt deleted file mode 100644 index 60721cc..0000000 --- a/evidence/persistence.txt +++ /dev/null @@ -1,19 +0,0 @@ -# 2026-11-06T22:34:35Z make test-persistence ACTION_SCRIPT=scripts/restart.sh -## before -mtusi-lab4-api-1 StartedAt=2026-11-06T22:34:25.142761338Z -mtusi-lab4-api-2 StartedAt=2026-11-06T22:34:25.051958422Z -mtusi-lab4-db-1 StartedAt=2026-11-06T22:31:48.781439335Z -mtusi-lab4-janitor-1 StartedAt=2026-11-06T22:34:25.051487922Z -mtusi-lab4-lb-1 StartedAt=2026-11-06T22:34:25.25065088Z -mtusi-lab4-s3-1 StartedAt=2026-11-06T22:32:06.180453219Z -python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" -Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. -PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. -exit=0 -## after -mtusi-lab4-api-1 StartedAt=2026-11-06T22:35:04.992242468Z -mtusi-lab4-api-2 StartedAt=2026-11-06T22:35:04.956369718Z -mtusi-lab4-db-1 StartedAt=2026-11-06T22:34:36.772295219Z -mtusi-lab4-janitor-1 StartedAt=2026-11-06T22:35:11.606706763Z -mtusi-lab4-lb-1 StartedAt=2026-11-06T22:35:01.752674342Z -mtusi-lab4-s3-1 StartedAt=2026-11-06T22:34:54.170338921Z diff --git a/evidence/s3-bootstrap-idempotent.txt b/evidence/s3-bootstrap-idempotent.txt index f455105..de2043c 100644 --- a/evidence/s3-bootstrap-idempotent.txt +++ b/evidence/s3-bootstrap-idempotent.txt @@ -1,4 +1,4 @@ -# 2026-11-06T22:31:45Z s3-init run twice (idempotency) +# 2026-11-07T08:24:35Z s3-init run twice (idempotency) {"bucket": "messenger-attachments", "created": false, "already_existed": true, "anonymous_http_status": {"anonymous_get_object": 403, "anonymous_list_bucket": 403}, "private": true} exit=0 {"bucket": "messenger-attachments", "created": false, "already_existed": true, "anonymous_http_status": {"anonymous_get_object": 403, "anonymous_list_bucket": 403}, "private": true} diff --git a/evidence/s3-outage.json b/evidence/s3-outage.json index 4bda2b8..183d1dd 100644 --- a/evidence/s3-outage.json +++ b/evidence/s3-outage.json @@ -6,19 +6,19 @@ "probe": { "upload": { "status": 201, - "ms": 8, + "ms": 6, "code": null, "retry_after": null }, "download": { "status": 200, - "ms": 4, + "ms": 3, "code": null, "retry_after": null }, "text_message": { "status": 201, - "ms": 5, + "ms": 3, "code": null, "retry_after": null }, @@ -35,19 +35,19 @@ "probe": { "upload": { "status": 503, - "ms": 14, + "ms": 18, "code": "unavailable", "retry_after": "1" }, "download": { "status": 503, - "ms": 11, + "ms": 10, "code": "unavailable", "retry_after": "1" }, "text_message": { "status": 201, - "ms": 11, + "ms": 9, "code": null, "retry_after": null }, @@ -64,25 +64,25 @@ "probe": { "upload": { "status": 503, - "ms": 15, + "ms": 14, "code": "unavailable", "retry_after": "1" }, "download": { "status": 503, - "ms": 10, + "ms": 11, "code": "unavailable", "retry_after": "1" }, "text_message": { "status": 201, - "ms": 8, + "ms": 12, "code": null, "retry_after": null }, "ready": { "status": 200, - "ms": 3, + "ms": 2, "code": null, "retry_after": null } @@ -90,32 +90,32 @@ }, { "phase": "recovery after `start s3`", - "upload_201_after_s": 19.7 + "upload_201_after_s": 20.1 }, { "phase": "immediately after `pause s3` (S3Health not yet stale)", "probe": { "upload": { "status": 503, - "ms": 10041, + "ms": 10032, "code": "unavailable", "retry_after": "1" }, "download": { "status": 503, - "ms": 12, + "ms": 11, "code": "unavailable", "retry_after": "1" }, "text_message": { "status": 201, - "ms": 10, + "ms": 15, "code": null, "retry_after": null }, "ready": { "status": 200, - "ms": 3, + "ms": 4, "code": null, "retry_after": null } @@ -126,19 +126,19 @@ "probe": { "upload": { "status": 503, - "ms": 15, + "ms": 13, "code": "unavailable", "retry_after": "1" }, "download": { "status": 503, - "ms": 10, + "ms": 9, "code": "unavailable", "retry_after": "1" }, "text_message": { "status": 201, - "ms": 12, + "ms": 14, "code": null, "retry_after": null }, @@ -153,6 +153,11 @@ { "phase": "recovery after `unpause s3`", "upload_201_after_s": 0.0 + }, + { + "phase": "s3 healthcheck healthy again", + "after_s": 5.2, + "status": "healthy" } ] } \ No newline at end of file diff --git a/evidence/s3-outage.txt b/evidence/s3-outage.txt index f72ba1d..2d7981b 100644 --- a/evidence/s3-outage.txt +++ b/evidence/s3-outage.txt @@ -1,8 +1,9 @@ -{"phase": "baseline", "probe": {"upload": {"status": 201, "ms": 8, "code": null, "retry_after": null}, "download": {"status": 200, "ms": 4, "code": null, "retry_after": null}, "text_message": {"status": 201, "ms": 5, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 1, "code": null, "retry_after": null}}} -{"phase": "immediately after `stop s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 14, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 11, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 11, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}} -{"phase": "S3 down for 5 s (`stop s3`)", "probe": {"upload": {"status": 503, "ms": 15, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 10, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 8, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}} -{"phase": "recovery after `start s3`", "upload_201_after_s": 19.7} -{"phase": "immediately after `pause s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 10041, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 12, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 10, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}} -{"phase": "S3 down for 5 s (`pause s3`)", "probe": {"upload": {"status": 503, "ms": 15, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 10, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 12, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}} +{"phase": "baseline", "probe": {"upload": {"status": 201, "ms": 6, "code": null, "retry_after": null}, "download": {"status": 200, "ms": 3, "code": null, "retry_after": null}, "text_message": {"status": 201, "ms": 3, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 1, "code": null, "retry_after": null}}} +{"phase": "immediately after `stop s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 18, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 10, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 9, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}} +{"phase": "S3 down for 5 s (`stop s3`)", "probe": {"upload": {"status": 503, "ms": 14, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 11, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 12, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 2, "code": null, "retry_after": null}}} +{"phase": "recovery after `start s3`", "upload_201_after_s": 20.1} +{"phase": "immediately after `pause s3` (S3Health not yet stale)", "probe": {"upload": {"status": 503, "ms": 10032, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 11, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 15, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 4, "code": null, "retry_after": null}}} +{"phase": "S3 down for 5 s (`pause s3`)", "probe": {"upload": {"status": 503, "ms": 13, "code": "unavailable", "retry_after": "1"}, "download": {"status": 503, "ms": 9, "code": "unavailable", "retry_after": "1"}, "text_message": {"status": 201, "ms": 14, "code": null, "retry_after": null}, "ready": {"status": 200, "ms": 3, "code": null, "retry_after": null}}} {"phase": "recovery after `unpause s3`", "upload_201_after_s": 0.0} +{"phase": "s3 healthcheck healthy again", "after_s": 5.2, "status": "healthy"} {"pass": true, "only_200_201_503": true} diff --git a/evidence/s3-private-check.txt b/evidence/s3-private-check.txt index 4bffdd6..ed98a85 100644 --- a/evidence/s3-private-check.txt +++ b/evidence/s3-private-check.txt @@ -1,4 +1,4 @@ -# 2026-11-06T22:31:46Z docker compose --profile tools run --rm s3-check +# 2026-11-07T08:24:37Z docker compose --profile tools run --rm s3-check PASS api: PutObject в свой bucket expected=allowed got=allowed PASS anonymous GET object expected=403 got=403 PASS anonymous ListBucket expected=403 got=403 diff --git a/evidence/smoke.txt b/evidence/smoke.txt index 710d049..4b6f3c6 100644 --- a/evidence/smoke.txt +++ b/evidence/smoke.txt @@ -1,4 +1,4 @@ -# 2026-11-06T22:36:27Z make test +# 2026-11-07T08:24:34Z make test python3 tests/smoke.py --base-url "http://localhost:8080" PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. exit=0 diff --git a/evidence/upload-memory-c12.json b/evidence/upload-memory-c12.json index b5f10c7..aa9140c 100644 --- a/evidence/upload-memory-c12.json +++ b/evidence/upload-memory-c12.json @@ -5,7 +5,7 @@ { "type": "image/png", "bytes": 10482871, - "sha256": "54d7a3b5e10ad013" + "sha256": "b71e4655e4cd99ff" }, { "type": "image/jpeg", @@ -18,42 +18,42 @@ "201": 36 }, "megabytes_uploaded_ok": 318.2, - "wall_s": 5.4, + "wall_s": 5.2, "latency_s_p50_max": [ - 1.55, - 1.82 + 1.52, + 1.81 ], "replicas": { - "da654745927f": { - "rss_mib": 53, + "f3ae32951e26": { + "rss_mib": 50, "hwm_mib_after_warmup": 82, - "samples": 118, - "peak_rss_mib_sampled": 95.7, - "peak_anon_mib": 77.1, + "samples": 115, + "peak_rss_mib_sampled": 93.8, + "peak_anon_mib": 75.6, "peak_file_cache_mib": 55.4, - "vmhwm_mib": 95, - "cgroup_memory_peak_mib": 134.6, + "vmhwm_mib": 93, + "cgroup_memory_peak_mib": 133.0, "memory_limit_mib": 256, "uploads_served": 18 }, - "5bc0705ce7a1": { - "rss_mib": 50, + "0bab682c4d3c": { + "rss_mib": 53, "hwm_mib_after_warmup": 82, - "samples": 119, - "peak_rss_mib_sampled": 99.0, - "peak_anon_mib": 80.5, - "peak_file_cache_mib": 55.4, - "vmhwm_mib": 99, - "cgroup_memory_peak_mib": 126.8, + "samples": 111, + "peak_rss_mib_sampled": 97.6, + "peak_anon_mib": 85.8, + "peak_file_cache_mib": 53.1, + "vmhwm_mib": 97, + "cgroup_memory_peak_mib": 139.4, "memory_limit_mib": 256, "uploads_served": 18 } }, "s3": { - "rss_mib": 458, + "rss_mib": 439, "oom_killed": "false", - "peak_rss_mib_sampled": 483.5, - "peak_anon_mib": 403.0, + "peak_rss_mib_sampled": 484.4, + "peak_anon_mib": 402.8, "restarts": 0, "oom_killed_after": "false", "memory_limit_mib": 768 diff --git a/evidence/upload-memory-c20.json b/evidence/upload-memory-c20.json index 6a715c4..79af2ca 100644 --- a/evidence/upload-memory-c20.json +++ b/evidence/upload-memory-c20.json @@ -5,7 +5,7 @@ { "type": "image/png", "bytes": 10482871, - "sha256": "d54d0141d8a2f357" + "sha256": "d6c6106d37335280" }, { "type": "image/jpeg", @@ -18,42 +18,42 @@ "201": 60 }, "megabytes_uploaded_ok": 530.3, - "wall_s": 8.6, + "wall_s": 8.4, "latency_s_p50_max": [ - 2.4, - 3.08 + 2.23, + 2.82 ], "replicas": { - "da654745927f": { - "rss_mib": 54, + "f3ae32951e26": { + "rss_mib": 53, "hwm_mib_after_warmup": 82, - "samples": 158, - "peak_rss_mib_sampled": 97.5, - "peak_anon_mib": 79.1, + "samples": 159, + "peak_rss_mib_sampled": 91.9, + "peak_anon_mib": 73.5, "peak_file_cache_mib": 70.7, - "vmhwm_mib": 98, - "cgroup_memory_peak_mib": 154.0, + "vmhwm_mib": 91, + "cgroup_memory_peak_mib": 145.4, "memory_limit_mib": 256, "uploads_served": 30 }, - "5bc0705ce7a1": { + "0bab682c4d3c": { "rss_mib": 50, "hwm_mib_after_warmup": 82, - "samples": 174, - "peak_rss_mib_sampled": 102.1, - "peak_anon_mib": 83.6, + "samples": 170, + "peak_rss_mib_sampled": 94.5, + "peak_anon_mib": 75.9, "peak_file_cache_mib": 75.4, - "vmhwm_mib": 102, - "cgroup_memory_peak_mib": 168.1, + "vmhwm_mib": 94, + "cgroup_memory_peak_mib": 159.2, "memory_limit_mib": 256, "uploads_served": 30 } }, "s3": { - "rss_mib": 468, + "rss_mib": 463, "oom_killed": "false", - "peak_rss_mib_sampled": 476.9, - "peak_anon_mib": 396.3, + "peak_rss_mib_sampled": 487.3, + "peak_anon_mib": 406.0, "restarts": 0, "oom_killed_after": "false", "memory_limit_mib": 768 diff --git a/scripts/restart.sh b/scripts/restart.sh index 9ce18a1..c437b0d 100755 --- a/scripts/restart.sh +++ b/scripts/restart.sh @@ -5,6 +5,6 @@ set -eu cd "$(dirname "$0")/.." docker compose restart db s3 -# API стартует, когда хранилища действительно готовы (healthcheck s3 ждёт volume-сервер). +# API стартует, когда хранилища действительно готовы (healthcheck s3 проверяет запись). docker compose up -d --no-deps --no-recreate --wait db s3 docker compose restart api janitor lb diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh index ad08f2a..7a9171f 100755 --- a/scripts/stop-one.sh +++ b/scripts/stop-one.sh @@ -8,11 +8,9 @@ cd "$(dirname "$0")/.." case "$TARGET_INSTANCE_ID" in *[!0-9a-f]*|'') echo "unexpected instance id format" >&2; exit 2 ;; esac -# Проверяем, что это действительно контейнер сервиса api этого compose-проекта. -cid=$(docker ps -q --no-trunc \ - --filter "label=com.docker.compose.project=mtusi-lab4" \ - --filter "label=com.docker.compose.service=api" \ - | grep "^${TARGET_INSTANCE_ID}" || true) +# Проверяем, что это действительно запущенный контейнер сервиса api ЭТОГО compose-проекта. +# Список берём у самого compose: работает и при другом имени проекта (-p / COMPOSE_PROJECT_NAME). +cid=$(docker compose ps -q --status running api | grep "^${TARGET_INSTANCE_ID}" || true) [ -n "$cid" ] || { echo "no running api container for $TARGET_INSTANCE_ID" >&2; exit 3; } name=$(docker inspect -f '{{.Name}}' "$cid") echo "$(date -u +%FT%TZ) stopping api container ${name#/} (${TARGET_INSTANCE_ID})" >&2 diff --git a/src/objstore.py b/src/objstore.py index a72d28d..3d59ba2 100644 --- a/src/objstore.py +++ b/src/objstore.py @@ -139,6 +139,7 @@ class S3Health: self.stale_after = stale_after self.last_ok = None self._stop = threading.Event() + self._ok_event = threading.Event() # выставлен, пока последняя проверка успешна def start(self): threading.Thread(target=self._loop, name="s3-health", daemon=True).start() @@ -150,6 +151,13 @@ class S3Health: last = self.last_ok return last is not None and time.monotonic() - last <= self.stale_after + def wait_startup(self, timeout): + """Только на старте реплики (успешной проверки ещё не было): подождать до timeout, + пока S3 станет доступен для записи. При подтверждённом отказе — не ждать.""" + if self.last_ok is None: + self._ok_event.wait(timeout) + return self.ok() + def known_down(self): """S3 был доступен и перестал отвечать. На старте реплики (успешной проверки ещё не было) — False: чтение может работать раньше, чем прогреется запись.""" @@ -162,10 +170,12 @@ class S3Health: try: self.store.ping(self.probe_key) self.last_ok = time.monotonic() + self._ok_event.set() if healthy is not True: log.info("s3 health: ok") healthy = True except Exception as exc: + self._ok_event.clear() if healthy is not False: log.warning("s3 health: failing (%s)", type(exc).__name__) healthy = False diff --git a/src/server.py b/src/server.py index 2526a22..7d66285 100644 --- a/src/server.py +++ b/src/server.py @@ -106,6 +106,9 @@ S3_PUT_WAIT_SECONDS = float(os.environ.get("S3_PUT_WAIT_SECONDS", "30")) UPLOAD_TMP_DIR = os.environ.get("UPLOAD_TMP_DIR") or None S3_HEALTH_INTERVAL_SECONDS = float(os.environ.get("S3_HEALTH_INTERVAL_SECONDS", "1")) S3_READY_STALE_SECONDS = float(os.environ.get("S3_READY_STALE_SECONDS", "3")) +# Сразу после старта реплики первая проверка S3 ещё не завершилась: upload ждёт её до +# этого срока, а не получает мгновенный 503. При подтверждённом отказе S3 не ждём. +S3_STARTUP_WAIT_SECONDS = float(os.environ.get("S3_STARTUP_WAIT_SECONDS", "5")) # Только для учебного эксперимента отказов (student-tests/consistency_faults.py): # при FAULT_INJECTION=1 заголовок X-Fault-Inject роняет процесс/запись в заданной точке. FAULT_INJECTION = os.environ.get("FAULT_INJECTION", "0") == "1" @@ -630,7 +633,7 @@ def h_upload_attachment(req, chat_id): raise ApiError(415, "unsupported_media_type", "Пустой файл не является изображением") if length > MAX_UPLOAD_BYTES: raise ApiError(413, "payload_too_large", "Файл больше 10 MiB") - if not S3_HEALTH.ok(): + if not S3_HEALTH.ok() and not S3_HEALTH.wait_startup(S3_STARTUP_WAIT_SECONDS): raise storage_unavailable() # не принимаем 10 MiB, которые некуда сохранить with bounded_slot(_UPLOAD_SLOTS, UPLOAD_SLOT_WAIT_SECONDS, "Слишком много загрузок, повторите позже"): with tempfile.TemporaryFile(dir=UPLOAD_TMP_DIR) as tmp: diff --git a/student-tests/consistency_faults.py b/student-tests/consistency_faults.py index 293dee1..9c35702 100644 --- a/student-tests/consistency_faults.py +++ b/student-tests/consistency_faults.py @@ -2,9 +2,9 @@ """Отказы между записью в S3 и PostgreSQL и очистка janitor (уровень 4). Требует API с FAULT_INJECTION=1 (учебный хук, по умолчанию выключен): - FAULT_INJECTION=1 docker compose --env-file .env up -d --wait api + FAULT_INJECTION=1 docker compose --env-file .env up -d --no-deps --wait api python3 student-tests/consistency_faults.py --output evidence/consistency-faults.json - docker compose --env-file .env up -d --wait api # вернуть FAULT_INJECTION=0 + docker compose --env-file .env up -d --no-deps --wait api # вернуть FAULT_INJECTION=0 Сценарии (каждый — реальный HTTP upload через LB): db-fail-after-s3-put PUT прошёл, «COMMIT» ready упал -> 503; компенсация удаляет объект diff --git a/student-tests/s3_outage.py b/student-tests/s3_outage.py index 1b3088f..0802626 100644 --- a/student-tests/s3_outage.py +++ b/student-tests/s3_outage.py @@ -81,11 +81,24 @@ def main(): rec = recover(c, alice, chat, t0) log.append({"phase": "recovery after `%s`" % " ".join(undo), "upload_201_after_s": rec}) print(json.dumps(log[-1]), flush=True) + # Оставляем стенд рабочим: ждём, пока healthcheck S3 снова станет healthy (после pause + # он несколько проверок подряд был unhealthy, а `docker compose up api` при нездоровой + # зависимости не запускает реплики). + cid = subprocess.run(["docker", "compose", "ps", "-q", "s3"], cwd=ROOT, capture_output=True, text=True).stdout.strip() + t0 = time.monotonic() + while time.monotonic() - t0 < 120: + st = subprocess.run(["docker", "inspect", "-f", "{{.State.Health.Status}}", cid], capture_output=True, text=True).stdout.strip() + if st == "healthy": + break + time.sleep(1) + log.append({"phase": "s3 healthcheck healthy again", "after_s": round(time.monotonic() - t0, 1), "status": st}) + print(json.dumps(log[-1]), flush=True) down = [e for e in log if e.get("phase", "").startswith("S3 down")] ok = all(e["probe"]["upload"]["status"] == 503 and e["probe"]["download"]["status"] == 503 and e["probe"]["text_message"]["status"] == 201 and e["probe"]["ready"]["status"] == 200 for e in down) and all(e.get("upload_201_after_s") is not None for e in log if "upload_201_after_s" in e) no5xx = all(p["status"] in (200, 201, 503) for e in log if "probe" in e for p in e["probe"].values()) + ok = ok and st == "healthy" print(json.dumps({"pass": ok and no5xx, "only_200_201_503": no5xx})) if args.output: Path(args.output).write_text(json.dumps({"pass": ok and no5xx, "phases": log}, ensure_ascii=False, indent=1))