docs: add upload-consistency verify evidence and report
Capture the cleaner pass under a paused S3 (row stays marked pending,
next pass removes it), re-run failure checks (32 of 32 with red runs of
the new checks), student tests and the isolated run on 87c48b9, and
describe the marked three-step cleanup and its rolling-update window in
the report.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -441,13 +441,13 @@ Dockerfile # builder (uv sync --locked) → runtime: .venv + s
|
||||
docker-compose.yml # проект mtusi-lab4: postgres, valkey, s3 (SeaweedFS, служебное на loopback, API S3 на 127.0.0.1:S3_OUT_PORT), migrate, s3-bootstrap, api × API_REPLICAS без портов, cleaner (уборщик: точка входа python -m src.cleaner, пул 1, ключи S3_CLEANER_*, без healthcheck), haproxy — единственный порт API; адреса и порты из .env, volumes postgres_data и s3_data, лимиты у всех, окружение и секреты по сервисам (x-db-env, x-cache-env, x-s3-env, x-s3-api-keys-env)
|
||||
.dockerignore
|
||||
config_example.toml, .env.example
|
||||
evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ)
|
||||
evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ, отказ S3 во время прохода)
|
||||
evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам)
|
||||
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 29 проверок, красный прогон до upload-consistency), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
|
||||
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
|
||||
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
|
||||
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh
|
||||
|
||||
@@ -229,7 +229,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр
|
||||
| 0 | — (подготовка) | — | этот план; выбор трека и S3-сервера | план сохранён 2026-10-20; трек 2, SeaweedFS, решения 3 и 7 подтверждены 2026-10-20 |
|
||||
| 1 | `s3-storage` | 3 (+4: bootstrap, права, консоль, приватность) | S3 в стенде, bootstrap, клиент в `src/infra/s3/`, настройки, все стенды знают о S3 | bootstrap дважды без ошибок, анонимный GET / LIST → 403, ключ API не может admin-операций, `make test-persistence` перезапускает и S3; **заархивирован 2026-10-20** — `openspec/changes/archive/2026-10-20-s3-storage/` |
|
||||
| 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` |
|
||||
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/` (`failure_checks` 29 из 29, `student_test` 197, сверка 212 / 33, `test_isolated` 192 + 5 пропусков); `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4»** |
|
||||
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`** |
|
||||
| 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён |
|
||||
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено |
|
||||
| 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` |
|
||||
|
||||
@@ -303,7 +303,7 @@ PostgreSQL **до** записи — строка `pending` с `object_key` фи
|
||||
| PUT: S3 недоступен, срок 5 с, 5xx, отказ в доступе | 503 | не трогается: при замороженном S3 тело не уходит без ответа сервера (проба), а DELETE ждал бы ещё 5 с | уборщику |
|
||||
| tx2 до отправки COMMIT (`UPDATE`, пул, срок на нём) | 503 (отказ БД) или 500 (дефект) | **удаляется до ответа** ключом API, без повторов; не удалось — `warning`, остаётся уборщику | уборщику |
|
||||
| tx2 на самом COMMIT (связь оборвалась во время фиксации) | 503 | **не трогается**: вложение могло стать `ready`, удаление дало бы `ready` без объекта | уборщику, если фиксации не было |
|
||||
| `mark_ready` → 0 строк (строку убрал уборщик: загрузка длилась дольше grace) | 503, `error` в журнале | **удаляется до ответа** | нет |
|
||||
| `mark_ready` → 0 строк (строку убрал или пометил к уборке уборщик: загрузка длилась дольше grace) | 503, `error` в журнале | **удаляется до ответа** | нет или помеченная — уборщику |
|
||||
| процесс убит, задача отменена | — | не трогается | уборщику |
|
||||
|
||||
Граница «до отправки COMMIT» — флаг, который ставится прямо перед
|
||||
@@ -319,16 +319,20 @@ PostgreSQL **до** записи — строка `pending` с `object_key` фи
|
||||
выбирает строки `pending` старше `[cleaner] pending_grace_seconds`
|
||||
(900 с) выборками по 100 (keyset по `(created_at, id)`, частичный индекс
|
||||
`ix_attachments_pending_created_at` — план в
|
||||
`evidence/migrations/pending-index.md`) и каждую убирает своей
|
||||
транзакцией:
|
||||
1. `SELECT … FOR UPDATE SKIP LOCKED` той же строки (всё ещё `pending` и
|
||||
старше порога; нет — пропуск);
|
||||
2. DELETE объекта ключом уборщика (отсутствие объекта — тоже 204);
|
||||
3. DELETE строки, commit.
|
||||
`evidence/migrations/pending-index.md`) и каждую убирает в три шага
|
||||
(после verify, `87c48b9`):
|
||||
1. транзакция пометки: `SELECT … FOR UPDATE SKIP LOCKED` той же строки
|
||||
(всё ещё `pending` и старше порога; нет — пропуск), `updated_at =
|
||||
now()` уборщика, commit;
|
||||
2. DELETE объекта ключом уборщика, вне транзакции (отсутствие объекта —
|
||||
тоже 204);
|
||||
3. транзакция строки: та же блокировка, DELETE строки, commit.
|
||||
|
||||
Объект удаляется раньше строки: сбой между шагами оставляет строку без
|
||||
объекта (следующий проход её доуберёт), а не объект без строки. Строки
|
||||
`ready` выборка не видит никогда.
|
||||
объекта (следующий проход её доуберёт, пометка ставится заново), а не
|
||||
объект без строки. Строки `ready` выборка не видит никогда. SIGTERM
|
||||
доводит только текущий шаг (≤ 6 с), между шагами уборщик останавливается
|
||||
сам.
|
||||
|
||||
**Зачем блокировка.** Загрузка короче grace, но процесс API, замороженный
|
||||
дольше grace (`docker pause`, пауза ВМ), после разморозки дойдёт до
|
||||
@@ -336,10 +340,21 @@ PostgreSQL **до** записи — строка `pending` с `object_key` фи
|
||||
`mark_ready` сделал строку `ready`» дал бы `ready` без объекта (201
|
||||
клиенту, 500 при скачивании). С блокировкой `mark_ready` ждёт commit
|
||||
уборщика и находит 0 строк → компенсация и 503; если `mark_ready` успел
|
||||
раньше, строка уже `ready`, и уборщик её не выбирает. Транзакция
|
||||
уборщика держит строку на время DELETE в S3 (≤ 5 с) — в своём пуле из
|
||||
одного соединения; `[s3] timeout_seconds` 5 < `request_timeout_seconds`
|
||||
6 < `idle_in_transaction_session_timeout` 10 с.
|
||||
раньше, строка уже `ready`, и уборщик её не выбирает.
|
||||
|
||||
**Зачем пометка** (замечание W1 verify). В первой версии блокировка,
|
||||
DELETE объекта и DELETE строки шли одной транзакцией. Её откат уже после
|
||||
удачного DELETE в S3 (сбой БД перед COMMIT, срок, заморозка уборщика) или
|
||||
DELETE, который S3 выполнил после срока вызова, возвращали строку
|
||||
`pending` как была, и ждавший `mark_ready` делал её `ready` без объекта.
|
||||
Теперь `mark_ready` переводит в `ready` только непомеченную строку
|
||||
(`updated_at = created_at`: вставка пишет оба поля одним значением), а
|
||||
пометка зафиксирована до DELETE объекта. Помеченная строка `ready` уже не
|
||||
станет: загрузка получает 503 и удаляет свой объект, уборку доводит
|
||||
следующий проход (`test_cleaner_failure_after_object_delete`). Миграции
|
||||
нет, CHECK `updated_at >= created_at` выполняется. Блокировку держат
|
||||
только две короткие транзакции; DELETE в S3 — между ними, в своём пуле
|
||||
уборщика из одного соединения.
|
||||
|
||||
**Grace period и его обоснование.** Граница живой загрузки B — от
|
||||
записи `created_at` строки до фиксации `ready`: tx1 ≤
|
||||
@@ -418,17 +433,23 @@ PostgreSQL недоступен — проход пропускается (`warn
|
||||
- связь оборвалась **во время** COMMIT — исход неизвестен, вложение
|
||||
могло стать `ready`, поэтому объект не трогаем; если фиксации не
|
||||
было, строка осталась `pending`, и уборщик после grace (900 с)
|
||||
удалит объект и строку;
|
||||
удалит объект и строку (`test_ready_commit_outcome_unknown`:
|
||||
отложенный триггер роняет COMMIT, объект на месте сразу после 503,
|
||||
после grace — ни строки, ни объекта);
|
||||
- процесс API убит между PUT и COMMIT — то же: строка `pending` и
|
||||
объект, уборщик убирает оба после grace
|
||||
(`test_killed_between_put_and_ready`).
|
||||
|
||||
Уборщик удаляет объект раньше строки и под `FOR UPDATE SKIP LOCKED`,
|
||||
поэтому загрузка, пережившая grace, и уборщик не дают `ready` без
|
||||
объекта. Остаток риска назван в «Ограничениях»: процесс API заморожен
|
||||
дольше grace посреди самого PUT, уборщик убрал строку, а S3 принял
|
||||
тело после разморозки — объект без строки, его находит только сверка
|
||||
bucket и БД (трек 2).
|
||||
Уборщик под `FOR UPDATE SKIP LOCKED` сначала помечает строку
|
||||
отдельной транзакцией, потом удаляет объект, потом строку. Помеченную
|
||||
строку `mark_ready` не переводит в `ready`, поэтому загрузка,
|
||||
пережившая grace, получает 503 (`test_upload_outlives_grace`), и даже
|
||||
сбой уборки после удаления объекта не даёт `ready` без объекта
|
||||
(`test_cleaner_failure_after_object_delete`). Остаток риска назван в
|
||||
«Ограничениях»: процесс API заморожен дольше grace посреди самого
|
||||
PUT, уборщик убрал строку, а S3 принял тело после разморозки и
|
||||
удалить его API не смог — объект без строки, его находит только сверка
|
||||
bucket и БД (трек 2); и окно `make rolling_update`.
|
||||
- **Почему случайный object key и приватный bucket не заменяют ACL
|
||||
приложения?** Приватный bucket закрывает прямой доступ к S3, но
|
||||
скачивает через API любой аутентифицированный пользователь: кто
|
||||
@@ -451,9 +472,14 @@ failure_checks` (`evidence/tests/student-test-lb.md`,
|
||||
`failure-checks.md`) и замер `bench_rollout` на чистом дереве
|
||||
(`evidence/rollout/attachments/`, `dirty: false`). Строки
|
||||
согласованности БД и S3 (change `upload-consistency`) — с `5b42bd2` на
|
||||
том же стенде с уборщиком `cleaner`; с него же переснято `make
|
||||
student_test` через LB, `make failure_checks` и `make test_isolated`
|
||||
(`evidence/tests/`).
|
||||
том же стенде с уборщиком `cleaner`. После правок по verify (код
|
||||
`87c48b9`: пометка строки уборщиком, три новых теста отказов) с
|
||||
`87c48b9` переснято `make student_test` через LB, `make failure_checks`
|
||||
и `make test_isolated` (`evidence/tests/`) и снят раздел 7
|
||||
`evidence/attachments/cleaner-process.md` (отказ S3 во время прохода).
|
||||
`driver.py upload-consistency` на коде `87c48b9` — тоже PASS, файл
|
||||
`evidence/attachments/consistency.md` остался с `5b42bd2`: его шаги
|
||||
правка не меняет.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
@@ -464,12 +490,13 @@ student_test` через LB, `make failure_checks` и `make test_isolated`
|
||||
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
|
||||
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
|
||||
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
|
||||
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `5b42bd2`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 212 сценариев 13 спеков, 197 тестами (33 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 29 / 29, код 0 (`5b42bd2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали | `evidence/tests/failure-checks.md` |
|
||||
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`87c48b9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
|
||||
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
|
||||
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED`, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
|
||||
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` с пометкой строки до удаления объекта, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
|
||||
| «4»: уборщик переживает отказы хранилищ, готовые вложения не трогает | `make failure_checks` (`test_cleaner_survives_outages`); `make test-persistence` | S3 остановлен и PostgreSQL остановлен на 3 с: строка на месте после G + 3I, после возврата S3 убрана за I + 5 с без перезапуска; готовое вложение старше grace — 200 `ready`, тот же SHA-256; после `scripts/restart.sh` (`make test-persistence` — PASS) у уборщика прежний `StartedAt`, `RestartCount` 0, `cleaner --once` — код 0 | `evidence/tests/failure-checks.md`, `evidence/attachments/cleaner-process.md` (раздел 6) |
|
||||
| «4»: отказ S3 во время прохода уборщика виден в журнале, строка не теряется | рабочий стенд (`87c48b9`): `docker compose pause s3` → загрузка через LB → `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once` → `unpause` → тот же `--once` | загрузка 503, строка `pending`; проход: DELETE объекта — срок 5,01 с, `warning` «Object storage is unavailable» (`delete_object`, `TimeoutError`, без ключей) и «Interrupted cleanup pass» с `interrupted_by: object_storage`, код 1, строка на месте и помечена; после `unpause` — «Removed stale attachment», код 0, ни строки, ни файла `original` | `evidence/attachments/cleaner-process.md` (раздел 7) |
|
||||
| «4»: отдельные ограниченные credentials уборщика | `make s3_check` (строки `cleaner key …`), bootstrap на пустом volume и со сменой секрета, `docker compose config` | ключ уборщика: GET / HEAD / DELETE своего объекта 200 / 200 / 204, повторный DELETE 204; запись, список, bucket, политика, ACL, чужой bucket — 403; новый секрет — ключ пересоздан, прежний — 403 `SignatureDoesNotMatch`; ключи уборщика только у `s3-bootstrap` и `cleaner`, у уборщика нет пароля Valkey, ключей API и административных | `evidence/s3/cleaner-key.md` |
|
||||
| «4»: индекс уборщика без блокировки записи, план по индексу | `alembic upgrade head --sql`; с нуля, повтор, откат на временной базе; `EXPLAIN (ANALYZE, BUFFERS)` общего плана на рабочей базе с откатом; `make bench_rollout_quick` | `CREATE INDEX CONCURRENTLY IF NOT EXISTS` вне транзакции; повтор и повтор после «сбоя» проходят, `indisvalid` true; 22 000 строк (2 000 `pending`) — `Index Scan using ix_attachments_pending_created_at`, 100 кандидатов за 28–29 буферов, 0,03–0,04 мс; замена под нагрузкой `e656d6bbe1a4 → 739b8f04d5fb`, ошибок 0 | `evidence/migrations/pending-index.md` |
|
||||
| «4»: длинная передача не держит соединение пула | разовый скрипт: 10 MiB частями ~12 с и скачивание с медленным чтением | 201 за 12,4 с и 200 за 13,1 с через LB, «Database is unavailable» — 0 | `evidence/attachments/slow-transfer.md` |
|
||||
@@ -571,10 +598,22 @@ S3 (change `s3-storage`):
|
||||
- **Остаток риска — объект без строки.** Процесс API заморожен дольше
|
||||
grace (15 мин) ровно посреди PUT, уборщик за это время убрал строку, а
|
||||
после разморозки S3 принял тело. Для API PUT кончился ошибкой по сроку,
|
||||
компенсации нет — объект остаётся без строки. Вероятность мала (запас
|
||||
×50, заморозка посреди PUT), такой объект находит только сверка bucket
|
||||
и БД (трек 2). `ready` без объекта при этом не возникает: `mark_ready`
|
||||
и уборщик упорядочены блокировкой строки.
|
||||
компенсации нет — объект остаётся без строки. То же, если PUT прошёл
|
||||
после уборки, `mark_ready` вернул 0 строк, а удаление при компенсации
|
||||
не удалось (`warning` «Attachment object kept for cleaner»). Вероятность
|
||||
мала (запас ×50, заморозка посреди PUT), такой объект находит только
|
||||
сверка bucket и БД (трек 2). `ready` без объекта при этом не возникает:
|
||||
уборщик помечает строку до удаления объекта, а помеченную `mark_ready`
|
||||
в `ready` не переводит.
|
||||
- **Окно `make rolling_update` для пометки.** Реплики прежней версии
|
||||
(`f2dc0b3` и раньше) пометку не проверяют, а скрипт замены уборщика не
|
||||
пересоздаёт (прежний не помечает). Пока замена не закончена и не
|
||||
выполнен `docker compose up -d --no-deps cleaner`, для загрузки,
|
||||
пережившей grace, остаётся прежний риск: откат транзакции уборщика
|
||||
после удачного DELETE в S3 даёт `ready` без объекта. Нужно совпадение
|
||||
зомби дольше 15 мин и сбоя в окне меньше секунды. Смешанные версии
|
||||
друг другу не мешают: новый `mark_ready` работает на строках прежних
|
||||
реплик (вставка всегда писала `created_at` = `updated_at`).
|
||||
- **Проверка grace — по настройкам уборщика.** `config.toml` у API и
|
||||
уборщика общий, но подмена сроков окружением только у API
|
||||
(`DATABASE__REQUEST_TIMEOUT_SECONDS`, `S3__TIMEOUT_SECONDS`) обошла бы
|
||||
|
||||
@@ -1,7 +1,10 @@
|
||||
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
|
||||
|
||||
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35).
|
||||
- Commit: `5b42bd2` (change `upload-consistency`).
|
||||
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35,
|
||||
раздел 7 — 18:29:22–18:30:18).
|
||||
- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `87c48b9`
|
||||
(правки по verify: пометка строки до удаления объекта), рабочее дерево
|
||||
чистое.
|
||||
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
|
||||
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
|
||||
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
|
||||
@@ -131,4 +134,60 @@ exit=0
|
||||
- Записи `warning` об отказе в журнале сервиса за это время нет: при
|
||||
интервале 60 с ни один проход не попал в окно рестарта (~25 с).
|
||||
Проход во время отказа S3 и PostgreSQL — `test_cleaner_survives_outages`
|
||||
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`).
|
||||
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`) и
|
||||
раздел 7.
|
||||
|
||||
## 7. Отказ S3 во время прохода: код 1, строка на месте
|
||||
|
||||
Сценарий `service-logging` «Отказ S3 во время прохода» (замечание W4
|
||||
verify). Стенд: рабочий `mtusi-lab4` на commit `87c48b9` — `make
|
||||
rolling_update` из чистого дерева (реплики `api-11`, `api-12`) и
|
||||
`docker compose up -d --no-deps --force-recreate cleaner`; у реплик и
|
||||
уборщика один образ (`.Image` совпадает). Загрузка — синтетический
|
||||
пользователь через LB (`127.0.0.1:8080`), токен и пароль не печатаются.
|
||||
Строку смотрит psql, объект — `weed shell fs.ls` в контейнере `s3`.
|
||||
Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод `Container
|
||||
…` compose опущен.
|
||||
|
||||
```
|
||||
start 2026-10-21T18:29:22Z
|
||||
$ docker compose pause s3
|
||||
$ upload sample.png через LB
|
||||
upload: 503 unavailable
|
||||
pending row: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending f
|
||||
$ sleep 31 # grace разового прохода 30 с
|
||||
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
|
||||
{"event": "Started cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:04.420195Z", "filename": "main.py", "func_name": "run", "lineno": 120}
|
||||
{"event": "Object storage is unavailable", "instance_id": "acefe62351e6", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "duration_ms": 5010, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T18:30:09.619614Z", "filename": "client.py", "func_name": "_failure", "lineno": 377}
|
||||
{"event": "Interrupted cleanup pass", "instance_id": "acefe62351e6", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5200, "level": "warning", "timestamp": "2026-10-21T18:30:09.620582Z", "filename": "attachment_cleanup.py", "func_name": "clean_stale_pending", "lineno": 123}
|
||||
{"event": "Stopped cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T18:30:09.627573Z", "filename": "main.py", "func_name": "run", "lineno": 158}
|
||||
exit=1
|
||||
row after: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending t
|
||||
$ docker compose unpause s3
|
||||
s3 answers 2026-10-21T18:30:10Z
|
||||
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
|
||||
{"event": "Started cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:16.413465Z", "func_name": "run", "filename": "main.py", "lineno": 120}
|
||||
{"event": "Removed stale attachment", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "68d56c3d-cf89-4fd6-a1f2-17460dba9d3b", "object_key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "age_seconds": 54, "level": "info", "timestamp": "2026-10-21T18:30:16.618704Z", "func_name": "_remove", "filename": "attachment_cleanup.py", "lineno": 194}
|
||||
{"event": "Finished cleanup pass", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 205, "level": "info", "timestamp": "2026-10-21T18:30:16.618939Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
|
||||
{"event": "Stopped cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T18:30:16.622080Z", "func_name": "run", "filename": "main.py", "lineno": 158}
|
||||
exit=0
|
||||
row after: []
|
||||
object files 'original': 0
|
||||
end 2026-10-21T18:30:18Z
|
||||
```
|
||||
|
||||
- При замороженном S3 загрузка — 503, строка `pending` осталась
|
||||
(`marked` — `updated_at > created_at` — `f`: строку ещё никто не
|
||||
трогал).
|
||||
- Разовый проход: DELETE объекта упёрся в срок вызова (5,01 с). Клиент S3
|
||||
записал `warning` «Object storage is unavailable» — операция, адрес,
|
||||
bucket, ключ, длительность, класс ошибки, без ключей и текста
|
||||
исключения. Сервис записал `warning` «Interrupted cleanup pass» с
|
||||
`interrupted_by: object_storage`; `--once` — код 1.
|
||||
- Строка на месте и помечена (`marked` `t`): пометка зафиксирована до
|
||||
DELETE объекта (design, «Уточнения apply», п. 16), поэтому `ready`
|
||||
такая строка уже не станет. Метаданные без подтверждённого удаления
|
||||
объекта не удалены (спек `storage-consistency`, «Уборка при отказах
|
||||
хранилищ»).
|
||||
- После `unpause` следующий проход ставит пометку заново и убирает
|
||||
строку и объект: код 0, строки нет, файла `original` нет.
|
||||
|
||||
@@ -1,9 +1,10 @@
|
||||
# `make failure_checks`: проверки отказов с уборщиком и согласованностью БД и S3
|
||||
|
||||
- Дата: 2026-10-21, 03:20:17–03:23:44 UTC.
|
||||
- Commit: `5b42bd2` (change `upload-consistency`: компенсация в загрузке,
|
||||
уборщик, hook и тесты отказов); незакоммичены только файлы `evidence/`
|
||||
этого change.
|
||||
- Дата: 2026-10-21, 18:30:28–18:34:30 UTC.
|
||||
- Commit: `87c48b9` (правки change `upload-consistency` по verify: пометка
|
||||
строки уборщиком до удаления объекта, режимы hook `commit`, `outlive`,
|
||||
`undeletable` и три новых теста); рабочее дерево чистое (`git status`
|
||||
пуст), образ собран из него.
|
||||
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
|
||||
и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не
|
||||
публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с
|
||||
@@ -11,16 +12,16 @@
|
||||
обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении, и
|
||||
«тесный» (сроки сессии и ключа 2 с, пул 1). Рабочий стенд `mtusi-lab4`
|
||||
в это время запущен. Docker Desktop 29.9.1, Apple M3 Pro.
|
||||
- Прежний снимок этого файла (commit `e1f8531`, change `attachments`) —
|
||||
24 из 24 за 94 с; сейчас 29 из 29 за 190 с: пять новых тестов и три
|
||||
изменённых (design change `upload-consistency`, решение 10).
|
||||
- Прежний снимок этого файла (commit `5b42bd2`) — 29 из 29 за 190 с;
|
||||
сейчас 32 из 32 за 224 с: три теста по замечаниям verify W1–W3 (design
|
||||
change `upload-consistency`, «Уточнения apply», п. 16–18).
|
||||
|
||||
## Итог: код 0, 29 из 29
|
||||
## Итог: код 0, 32 из 32
|
||||
|
||||
Вывод сборки образа (BuildKit), строки `Container …` compose и записи
|
||||
alembic о прежних пяти ревизиях опущены;
|
||||
строки `platform` и `rootdir` pytest с путём к рабочему каталогу
|
||||
заменены на `…`.
|
||||
Вывод сборки образа (BuildKit), строки `Container …` compose, записи
|
||||
alembic о прежних пяти ревизиях и журналы контейнеров стенда опущены;
|
||||
путь к рабочему каталогу в строках `platform` и `rootdir` pytest заменён
|
||||
на `…`.
|
||||
|
||||
```
|
||||
$ make failure_checks
|
||||
@@ -29,7 +30,7 @@ python3 student-tests/run_failures.py
|
||||
[failure_checks] build image
|
||||
[failure_checks] start postgres, valkey and s3
|
||||
[failure_checks] migrations
|
||||
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "7dc2d0220d90", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T03:20:24.135091Z"}
|
||||
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "16f65334b59e", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T18:30:36.141892Z"}
|
||||
[failure_checks] s3 bootstrap
|
||||
s3-bootstrap-1 | s3-bootstrap: bucket messenger created
|
||||
s3-bootstrap-1 | s3-bootstrap: user api created
|
||||
@@ -38,64 +39,71 @@ s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get; cleaner key get/
|
||||
s3-bootstrap-1 exited with code 0
|
||||
[failure_checks] start cleaner: grace 20 s, interval 1 s
|
||||
[failure_checks] start api containers
|
||||
[failure_checks] ready: api=http://127.0.0.1:65050 tight=http://127.0.0.1:65068
|
||||
[failure_checks] ready: api=http://127.0.0.1:57436 tight=http://127.0.0.1:57440
|
||||
[failure_checks] pytest -m fault
|
||||
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
|
||||
collecting ... collected 226 items / 197 deselected / 29 selected
|
||||
|
||||
collecting ... collected 229 items / 197 deselected / 32 selected
|
||||
student-tests/test_failures.py::test_expired_token PASSED [ 3%]
|
||||
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 6%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 10%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 13%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 17%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 20%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 24%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 27%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 31%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 34%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 37%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 41%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 44%]
|
||||
student-tests/test_failures.py::test_valkey_stopped PASSED [ 48%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 51%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 55%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 58%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 62%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 65%]
|
||||
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 68%]
|
||||
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 72%]
|
||||
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 75%]
|
||||
student-tests/test_failures.py::test_interrupted_body PASSED [ 79%]
|
||||
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 82%]
|
||||
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 86%]
|
||||
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 89%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 9%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 12%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 15%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 18%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 21%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 25%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 28%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 31%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 34%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 37%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 40%]
|
||||
student-tests/test_failures.py::test_valkey_stopped PASSED [ 43%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 46%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 50%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 53%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 56%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 59%]
|
||||
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 62%]
|
||||
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 65%]
|
||||
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 68%]
|
||||
student-tests/test_failures.py::test_interrupted_body PASSED [ 71%]
|
||||
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 75%]
|
||||
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 78%]
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 81%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 84%]
|
||||
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 87%]
|
||||
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 90%]
|
||||
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 93%]
|
||||
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 96%]
|
||||
student-tests/test_failures.py::test_object_storage_paused PASSED [100%]
|
||||
|
||||
================ 29 passed, 197 deselected in 190.40s (0:03:10) ================
|
||||
[failure_checks] postgres log: 418 lines, crash markers 0; "too many clients" 31, "administrator command" 138
|
||||
================ 32 passed, 197 deselected in 223.70s (0:03:43) ================
|
||||
[failure_checks] postgres log: 424 lines, crash markers 0; "too many clients" 20, "administrator command" 137
|
||||
[failure_checks] cleanup
|
||||
[failure_checks] results: {'fault': 0, 'postgres': 0}
|
||||
exit=0
|
||||
```
|
||||
|
||||
Вся команда — 242 с (18:30:28–18:34:30). «too many clients» и
|
||||
«administrator command» — следы проверок «Предел соединений PostgreSQL
|
||||
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
|
||||
аварийного перезапуска нет.
|
||||
|
||||
## Уборка и рабочий стенд
|
||||
|
||||
```
|
||||
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после — одинаково
|
||||
/mtusi-lab4-api-7 2026-10-21T03:02:55.127674845Z
|
||||
/mtusi-lab4-api-8 2026-10-21T03:03:45.600925174Z
|
||||
/mtusi-lab4-cleaner-1 2026-10-21T03:14:42.071533631Z
|
||||
/mtusi-lab4-haproxy-1 2026-10-21T03:02:55.18557422Z
|
||||
/mtusi-lab4-postgres-1 2026-10-21T03:02:33.641433585Z
|
||||
/mtusi-lab4-s3-1 2026-10-21T03:02:48.641611592Z
|
||||
/mtusi-lab4-valkey-1 2026-10-21T03:02:33.670361668Z
|
||||
/mtusi-lab4-api-11 2026-10-21T18:28:46.759887001Z
|
||||
/mtusi-lab4-api-12 2026-10-21T18:28:49.979426419Z
|
||||
/mtusi-lab4-cleaner-1 2026-10-21T18:29:04.322478592Z
|
||||
/mtusi-lab4-haproxy-1 2026-10-21T03:30:26.991596804Z
|
||||
/mtusi-lab4-postgres-1 2026-10-21T03:30:05.896306378Z
|
||||
/mtusi-lab4-s3-1 2026-10-21T03:30:20.918287843Z
|
||||
/mtusi-lab4-valkey-1 2026-10-21T03:30:05.925240128Z
|
||||
left: containers 0, volumes 0
|
||||
```
|
||||
|
||||
- `StartedAt` всех контейнеров `mtusi-lab4`, в том числе его уборщика,
|
||||
до и после совпали (`diff` пуст): рабочий стенд не тронут.
|
||||
до и после совпали: рабочий стенд не тронут.
|
||||
- У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes.
|
||||
|
||||
## Что проверяют проверки вложений и уборщика
|
||||
@@ -136,6 +144,23 @@ left: containers 0, volumes 0
|
||||
`pending` и объект → `kill-api` (docker kill обычного API) → 201 до
|
||||
клиента не дошёл, строка и объект на месте → `start-api` → после grace
|
||||
ни строки, ни объекта, объектов без строки нет; загрузка — 201.
|
||||
- «Исход фиксации неизвестен» (`test_ready_commit_outcome_unknown`,
|
||||
verify W2): отложенный триггер ограничения роняет COMMIT перевода в
|
||||
`ready` (08006) → 503, строка `pending`, по API не видна, **объект на
|
||||
месте** сразу после ответа (исход для API неизвестен, компенсации
|
||||
нет); не позже G + I + 5 с ни строки, ни объекта, объектов без строки
|
||||
нет.
|
||||
- «Загрузка дольше grace» (`test_upload_outlives_grace`, verify W3):
|
||||
строка вставлена на час старше (`created_at` и `updated_at` вместе),
|
||||
перевод в `ready` ждёт в триггере уровня оператора `BEFORE UPDATE OF
|
||||
status`, пока уборщик стенда не уберёт строку → 503, а не 201 и не 500;
|
||||
ни строки, ни объекта, объектов без строки нет.
|
||||
- «Сбой уборки после удаления объекта»
|
||||
(`test_cleaner_failure_after_object_delete`, verify W1): то же, но
|
||||
удаление строки падает с 08006 уже после удаления объекта → 503, а не
|
||||
201; строка `pending` (помечена уборщиком), по API не видна, вложений
|
||||
`ready` без объекта нет; после снятия триггера следующий проход
|
||||
убирает строку, объектов без строки нет.
|
||||
- «S3 недоступен во время уборки», «БД недоступна во время уборки»,
|
||||
«Готовые вложения не тронуты» (`test_cleaner_survives_outages`):
|
||||
готовое вложение R; S3 остановлен → загрузка 503 (строка X);
|
||||
@@ -175,3 +200,34 @@ E AssertionError: attachment 359413af-… is not cleaned 26.4s aft
|
||||
«Сбой записи метаданных», «Обрыв передачи тела» и «Незавершённая
|
||||
загрузка не видна» прежний код уже выполнял — эти тесты закрепляют
|
||||
поведение.
|
||||
|
||||
## Красные прогоны тестов по замечаниям verify (2026-10-21)
|
||||
|
||||
Новые тесты и режимы hook против кода `f2dc0b3` (рабочее дерево до
|
||||
правки уборщика; `make failure_checks FAULT_ARGS='-k "commit_outcome or
|
||||
outlives or failure_after_object"'`):
|
||||
|
||||
```
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 33%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 66%]
|
||||
student-tests/test_failures.py::test_cleaner_failure_after_object_delete FAILED [100%]
|
||||
E AssertionError: POST /api/v1/chats/0ba258db-…/attachments: expected 503; got 201 {"id":"2dd20f36-…", …}
|
||||
================= 1 failed, 2 passed, 226 deselected in 31.21s =================
|
||||
```
|
||||
|
||||
- W1 на прежнем коде — 201 за 4,6 с: уборщик удалил объект, его
|
||||
транзакция откатилась на DELETE строки, и ждавший `mark_ready`
|
||||
перевёл строку в `ready` без объекта.
|
||||
- W2 и W3 на прежнем коде зелёные: эти ветки были верны, тесты их
|
||||
закрепляют. Краснеют на временных регрессиях (правки возвращены, `git
|
||||
diff src/core/services/attachment.py` пуст): «компенсация на любой
|
||||
сбой» и возврат `RuntimeError` вместо 503
|
||||
(`FAULT_ARGS='-k "commit_outcome or outlives"'`):
|
||||
|
||||
```
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown FAILED [ 50%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace FAILED [100%]
|
||||
E AssertionError: assert '2b1ccadf-…' in set() # объект удалён после неизвестного COMMIT
|
||||
E AssertionError: POST /api/v1/chats/e6a74a0b-…/attachments: expected 503; got 500 {"error":{"code":"internal_error","message":"Internal server error","request_id":"…"}}
|
||||
====================== 2 failed, 227 deselected in 3.49s =======================
|
||||
```
|
||||
|
||||
@@ -1,21 +1,24 @@
|
||||
# `make student_test` через балансировщик
|
||||
|
||||
- Дата: 2026-10-21, 03:24:44–03:25:18 UTC (пересъёмка после change
|
||||
`upload-consistency`; счёт по модулям — из того же вывода).
|
||||
- Commit: `5b42bd2` (change `upload-consistency`); незакоммичены только
|
||||
файлы `evidence/` этого change.
|
||||
- Стенд: рабочий `mtusi-lab4` — `BASE_URL=http://localhost:8080`
|
||||
(HAProxy), `EXPECT_REPLICAS=2` (`API_REPLICAS`): реплики
|
||||
`c6cde1dc6109` и `13f1cb708119`, PostgreSQL, Valkey, S3, уборщик
|
||||
`cleaner`. Тесты реплик выполняются, проверки отказов (`fault`) — нет
|
||||
(`-m 'not fault'`, их гоняет `make failure_checks`,
|
||||
`failure-checks.md`).
|
||||
- Что изменилось с прежнего снимка (commit `e1f8531`, change
|
||||
`attachments`): в сверке покрытия новая capability
|
||||
`storage-consistency` (7 сценариев) и 3 новых сценария `attachments` —
|
||||
212 сценариев в 13 спеках, из них 33 покрыты проверками отказов (было
|
||||
202, 12 и 23); проверок отказов в наборе 29 (было 24), поэтому
|
||||
`deselected` — 29. Число выполняемых тестов то же — 197.
|
||||
- Дата: 2026-10-21, 18:35:35–18:36:25 UTC (пересъёмка после правок
|
||||
change `upload-consistency` по verify); счёт по модулям — повторный
|
||||
прогон 18:36–18:37 с тем же итогом (197 passed, 32 deselected).
|
||||
- Commit: `87c48b9`; вне commit — только файлы `evidence/` и `REPORT.md`
|
||||
второго этапа правок (код стенда собран из чистого дерева этого
|
||||
commit).
|
||||
- Стенд: рабочий `mtusi-lab4` после `make rolling_update` с этого commit
|
||||
— `BASE_URL=http://localhost:8080` (HAProxy), `EXPECT_REPLICAS=2`
|
||||
(`API_REPLICAS`): реплики `17d8dd756626` и `b3c055808ddf`, PostgreSQL,
|
||||
Valkey, S3, уборщик `cleaner` на том же образе. Тесты реплик
|
||||
выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`, их
|
||||
гоняет `make failure_checks`, `failure-checks.md`).
|
||||
- Что изменилось с прежнего снимка (commit `5b42bd2`): три новых
|
||||
сценария по замечаниям verify — «Исход фиксации неизвестен»
|
||||
(`attachments`), «Загрузка дольше grace» и «Сбой уборки после удаления
|
||||
объекта» (`storage-consistency`, теперь 9 сценариев). Итог — 215
|
||||
сценариев в 13 спеках, из них 36 покрыты проверками отказов (было 212 и
|
||||
33); проверок отказов в наборе 32 (было 29), поэтому `deselected` —
|
||||
32. Число выполняемых тестов то же — 197.
|
||||
- Файлы исключений сверки покрытия сняты на стенде лабы 4 (commit
|
||||
`8dc925e`: `evidence/cache/hits.md`,
|
||||
`evidence/auth/passwords-and-tokens.md`,
|
||||
@@ -28,8 +31,8 @@
|
||||
|
||||
```
|
||||
$ make student_test
|
||||
coverage: 212 scenarios in 13 specs, 197 tested (33 by make failure_checks), 15 excluded
|
||||
===================== 197 passed, 29 deselected in 33.56s ======================
|
||||
coverage: 215 scenarios in 13 specs, 200 tested (36 by make failure_checks), 15 excluded
|
||||
===================== 197 passed, 32 deselected in 48.84s ======================
|
||||
exit=0
|
||||
```
|
||||
|
||||
@@ -58,16 +61,16 @@ exit=0
|
||||
## Строки тестов реплик и гонок (`-rsP`)
|
||||
|
||||
```
|
||||
uploaded via c6cde1dc6109, downloaded via ['13f1cb708119', 'c6cde1dc6109']
|
||||
sent via c6cde1dc6109, replayed via ['13f1cb708119']
|
||||
409 via ['13f1cb708119', 'c6cde1dc6109']
|
||||
one session, 20 requests: {'13f1cb708119': 10, 'c6cde1dc6109': 10}
|
||||
written via c6cde1dc6109, read via {'13f1cb708119': 3, 'c6cde1dc6109': 3}
|
||||
uploaded via 17d8dd756626, downloaded via ['17d8dd756626', 'b3c055808ddf']
|
||||
sent via 17d8dd756626, replayed via ['b3c055808ddf']
|
||||
409 via ['17d8dd756626', 'b3c055808ddf']
|
||||
one session, 20 requests: {'b3c055808ddf': 10, '17d8dd756626': 10}
|
||||
written via 17d8dd756626, read via {'b3c055808ddf': 3, '17d8dd756626': 3}
|
||||
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
|
||||
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race through replicas: {'c6cde1dc6109': 5, '13f1cb708119': 5}
|
||||
key race through replicas: {'b3c055808ddf': 5, '17d8dd756626': 5}
|
||||
```
|
||||
|
||||
- Вложения лабы 4: 33 теста спека `attachments` (`test_attachments.py`)
|
||||
@@ -75,7 +78,7 @@ key race through replicas: {'c6cde1dc6109': 5, '13f1cb708119': 5}
|
||||
большой файл, повреждённое изображение, подмена MIME, чужое
|
||||
`attachment_id`, вложение другого чата): каждая ошибка клиента — 4xx
|
||||
в формате контракта, не 500. «Скачивание через другую реплику»:
|
||||
загрузку принял `c6cde1dc6109`, оригинал отдал и `13f1cb708119`.
|
||||
загрузку принял `17d8dd756626`, оригинал отдал и `b3c055808ddf`.
|
||||
- Новый после verify тест `test_filename_not_utf8` (сценарий «Имя не в
|
||||
UTF-8»): `filename=a%FFb.png`, `a%C3.png`, `a%ED%A0%80b.png` — 400,
|
||||
`%C3%A9t%C3%A9.png` — 201 с `été.png`. На коде до правки (`8dc925e`)
|
||||
@@ -83,6 +86,6 @@ key race through replicas: {'c6cde1dc6109': 5, '13f1cb708119': 5}
|
||||
- Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в
|
||||
истории; гонка регистрации — один 201; гонка одного ключа через
|
||||
реплики — одно сообщение.
|
||||
- Сверка покрытия: все 212 сценариев 13 спеков — тест (197, из них 33
|
||||
проверками отказов, в том числе все 7 сценариев `storage-consistency`)
|
||||
- Сверка покрытия: все 215 сценариев 13 спеков — тест (200, из них 36
|
||||
проверками отказов, в том числе все 9 сценариев `storage-consistency`)
|
||||
или исключение с доказательством (15).
|
||||
|
||||
@@ -3,18 +3,20 @@
|
||||
- Спек `student-tests`: «Прогон на временной базе» (уборка префикса
|
||||
`test_<db>/`, «Хвост прошлого прогона», «Сохранить базу для разбора»).
|
||||
Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11.
|
||||
- Раздел 0 — пересъёмка после change `upload-consistency` (зелёная).
|
||||
Разделы 1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки
|
||||
с тех пор не менялся (`student-tests/run_isolated.py`), а красное в
|
||||
них — ожидаемое до `attachments`, как сказано ниже. Прежний снимок
|
||||
раздела 0 (commit `d56b892`, change `attachments`): 191 passed, 5
|
||||
skipped, 23 deselected.
|
||||
- Раздел 0 — пересъёмка после правок change `upload-consistency` по
|
||||
verify (зелёная). Разделы 1–3 сняты на `f57635a` (change `s3-storage`):
|
||||
механизм уборки с тех пор не менялся (`student-tests/run_isolated.py`),
|
||||
а красное в них — ожидаемое до `attachments`, как сказано ниже.
|
||||
Прежние снимки раздела 0: commit `d56b892` (change `attachments`) — 191
|
||||
passed, 5 skipped, 23 deselected; `5b42bd2` — 192 passed, 5 skipped, 29
|
||||
deselected, сверка 212 / 33.
|
||||
|
||||
## 0. Пересъёмка: код 0 (change `upload-consistency`)
|
||||
## 0. Пересъёмка: код 0 (change `upload-consistency`, правки по verify)
|
||||
|
||||
- Дата: 2026-10-21, 03:25:49–03:27:24 UTC.
|
||||
- Commit: `5b42bd2` (change `upload-consistency`); незакоммичены только
|
||||
файлы `evidence/` этого change.
|
||||
- Дата: 2026-10-21, 18:37:58–18:39:52 UTC.
|
||||
- Commit: `87c48b9`; рабочее дерево — только незакоммиченные файлы
|
||||
`evidence/` и `REPORT.md` второго этапа правок (образ собирается из
|
||||
дерева, код совпадает с commit).
|
||||
- Стенд: рабочий `mtusi-lab4` (с уборщиком `cleaner`); временная база
|
||||
`test_messenger`, один контейнер API `mtusi-lab4-test-api` на
|
||||
`127.0.0.1:18088` без LB (`EXPECT_REPLICAS=1`), Valkey и S3 стенда
|
||||
@@ -36,13 +38,13 @@ $ make test_isolated
|
||||
[test_isolated] make test
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
[test_isolated] make student_test
|
||||
coverage: 212 scenarios in 13 specs, 197 tested (33 by make failure_checks), 15 excluded
|
||||
coverage: 215 scenarios in 13 specs, 200 tested (36 by make failure_checks), 15 excluded
|
||||
SKIPPED [1] student-tests/test_attachments.py:648: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
=========== 192 passed, 5 skipped, 29 deselected in 83.18s (0:01:23) ===========
|
||||
=========== 192 passed, 5 skipped, 32 deselected in 98.88s (0:01:38) ===========
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/
|
||||
[test_isolated] results: {'test': 0, 'student_test': 0}
|
||||
|
||||
@@ -846,7 +846,14 @@ stop cleaner`. Индекс и пользователь `cleaner` остаютс
|
||||
дольше grace» (`storage-consistency`). На `f2dc0b3` зелёный; красный
|
||||
на временном возврате `RuntimeError`: 500 вместо 503. Правка
|
||||
возвращена.
|
||||
19. **W4 — evidence «Отказ S3 во время прохода»** — после коммита
|
||||
основной сессии (раздел в `evidence/attachments/cleaner-process.md`).
|
||||
19. **W4 — evidence «Отказ S3 во время прохода»** — с `87c48b9`,
|
||||
раздел 7 `evidence/attachments/cleaner-process.md`: `pause s3` →
|
||||
загрузка 503 → `cleaner --once` с grace 30 с — DELETE объекта по
|
||||
сроку 5,01 с, `warning` «Object storage is unavailable» и
|
||||
«Interrupted cleanup pass» (`interrupted_by: object_storage`), код 1,
|
||||
строка `pending` на месте и помечена (п. 16) → `unpause` → `--once`
|
||||
убирает, код 0. С того же commit переснято `evidence/tests/` (32 из
|
||||
32, сверка 215 / 36); `consistency.md` не переснимался — драйвер на
|
||||
этом коде PASS, его шаги правка не меняет.
|
||||
20. **S1** — `docker.md`, раздел «Уборщик»: `entrypoint`, как в
|
||||
`docker-compose.yml`, и почему не `command` (п. 6).
|
||||
|
||||
@@ -379,7 +379,7 @@ Verify 2026-10-21: 0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения
|
||||
201 и не 500), ни строки, ни объекта, объектов без строки нет.
|
||||
Проверка: тест красный на временном возврате `RuntimeError`, зелёный
|
||||
на коде.
|
||||
- [ ] 11.4 W4, evidence сценария `service-logging` «Отказ S3 во время
|
||||
- [x] 11.4 W4, evidence сценария `service-logging` «Отказ S3 во время
|
||||
прохода» — раздел в `evidence/attachments/cleaner-process.md` (`pause
|
||||
s3` → `cleaner --once` с grace 30 с: код 1, «Object storage is
|
||||
unavailable» и «Interrupted cleanup pass» с `interrupted_by:
|
||||
@@ -397,7 +397,7 @@ Verify 2026-10-21: 0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения
|
||||
после `make rolling_update` и `docker compose up -d --no-deps cleaner`
|
||||
— `make test`, `make student_test` через LB, `make test_isolated`,
|
||||
`driver.py --port <LB> upload-consistency` (код 0).
|
||||
- [ ] 11.7 После коммита основной сессии: evidence 11.4, пересъёмка
|
||||
- [x] 11.7 После коммита основной сессии: evidence 11.4, пересъёмка
|
||||
`evidence/tests/failure-checks.md` и чисел в `evidence/tests/` и
|
||||
`REPORT.md`; `REPORT.md` — порядок уборки с пометкой и остаточный
|
||||
риск, новые проверки, строка W4; строка этапа 3 `PLAN.md`.
|
||||
|
||||
Reference in New Issue
Block a user