Re-run failure checks (32 of 32) and the cleaner pass under a paused S3 on the two-step cleanup, fix the storage-consistency scenario count in the student test evidence and point the report at the new commit. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
202 lines
16 KiB
Markdown
202 lines
16 KiB
Markdown
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
|
||
|
||
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35,
|
||
раздел 7 — 19:13:43–19:14:40).
|
||
- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `5889ca2`
|
||
(правки по повторному verify: пометка строки, затем объект и строка
|
||
одной транзакцией под блокировкой), рабочее дерево чистое.
|
||
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
|
||
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
|
||
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
|
||
Docker Desktop 29.9.1, Apple M3 Pro.
|
||
- Спеки: `service-configuration` «Параметры уборщика» (сценарии
|
||
«Параметры по умолчанию», «Grace не больше границы», «Интервал не
|
||
число»), `graceful-shutdown` «Остановка уборщика» («docker stop
|
||
уборщика»), `container-run` «Лимиты ресурсов и секреты по сервисам»,
|
||
`service-logging` «Журнал уборщика». Design change
|
||
`upload-consistency`, решения 2, 4, 9, «Уточнения apply», пп. 4–6.
|
||
|
||
## 1. Старт с параметрами по умолчанию
|
||
|
||
`config.toml` рабочего стенда — секция `[cleaner]` со значениями по
|
||
умолчанию, переменных `CLEANER__*` у сервиса нет. Запись о старте
|
||
называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки
|
||
17 с, адрес S3, bucket, базу и пул 1 (`DATABASE__POOL_SIZE: "1"` в
|
||
окружении сервиса). Секретов и ключей в записи нет.
|
||
|
||
```
|
||
$ docker compose logs --no-log-prefix cleaner | head -1
|
||
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}
|
||
```
|
||
|
||
## 2. Отказ старта при неверной конфигурации: код 2
|
||
|
||
Grace не больше границы `2 × [database] request_timeout_seconds + [s3]
|
||
timeout_seconds` = 2 × 6 + 5 = 17 с — запись `error` называет grace, оба
|
||
срока и границу; проверка стоит до создания engine и клиента S3, записи
|
||
«Started cleaner» нет. Интервал 0 и `abc` — ошибка проверки настроек:
|
||
одна запись без значений полей (в них могли бы быть секреты), без
|
||
traceback.
|
||
|
||
```
|
||
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
|
||
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
|
||
exit=2
|
||
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
|
||
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
|
||
exit=2
|
||
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
|
||
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
|
||
exit=2
|
||
```
|
||
|
||
## 3. Контейнер: лимиты, healthcheck, порты, память
|
||
|
||
```
|
||
$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
|
||
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
|
||
$ docker stats --no-stream cleaner
|
||
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
|
||
```
|
||
|
||
- Healthcheck образа (HTTP `/health/ready`) выключен: уборщик HTTP не
|
||
слушает. `8080/tcp:<nil>` — `EXPOSE` образа API, порт не опубликован.
|
||
- Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели
|
||
botocore). Проход на две строки — 0,18 с (`duration_ms` 182 в
|
||
`evidence/attachments/consistency.md`).
|
||
|
||
## 4. `docker compose stop cleaner`: 0,57 с, код 0
|
||
|
||
```
|
||
$ time docker compose stop cleaner
|
||
stop took 0.57 s
|
||
exit code 0, OOMKilled false
|
||
$ docker compose logs --no-log-prefix cleaner | tail -1
|
||
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}
|
||
```
|
||
|
||
SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не
|
||
берёт новые, затем engine и клиент S3 закрываются и процесс выходит с
|
||
кодом 0 — много раньше `stop_grace_period` 10 с.
|
||
|
||
## 5. Остановка во время старта
|
||
|
||
`docker compose stop cleaner` через паузу после `docker compose up -d
|
||
--no-deps cleaner` (команда `up` возвращается, когда контейнер запущен):
|
||
|
||
```
|
||
delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
|
||
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
|
||
```
|
||
|
||
- С паузы 0,05 с сигнал принимает ранний обработчик
|
||
(`early_stop.install("cleaner")`): одна запись «Stopped cleaner before
|
||
startup» и код 0 за 0,2 с.
|
||
- Пауза 0 — **окно 0**, то же ограничение, что у API (`run-modes.md`):
|
||
запуск интерпретатора до первых строк `src/cleaner/__main__.py`, меньше
|
||
0,05 с после `up`. У процесса с PID 1 обработчика ещё нет, и ядро
|
||
сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker
|
||
через `stop_grace_period` 10 с шлёт SIGKILL (137). Данных это не
|
||
портит: в этом окне нет ни соединений, ни транзакций, а проход, если
|
||
бы и начался, держит строку только в транзакции, которую PostgreSQL
|
||
откатит при обрыве. Ограничение — в `REPORT.md`.
|
||
|
||
## 6. Рестарт хранилищ: уборщик без перезапуска
|
||
|
||
`make test-persistence ACTION_SCRIPT=scripts/restart.sh` (03:30:04–03:30:35
|
||
UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика
|
||
не трогает.
|
||
|
||
```
|
||
cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
|
||
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
|
||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||
exit=0
|
||
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
|
||
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
|
||
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
|
||
$ docker compose run --rm --no-deps cleaner --once
|
||
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
|
||
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
|
||
exit=0
|
||
```
|
||
|
||
- PostgreSQL и S3 перезапущены (новый `StartedAt`), контейнер уборщика —
|
||
тот же процесс, `RestartCount` 0; разовый проход сразу после рестарта
|
||
— код 0 (строк старше 900 с нет, пустой проход пишется на `debug`).
|
||
- Записи `warning` об отказе в журнале сервиса за это время нет: при
|
||
интервале 60 с ни один проход не попал в окно рестарта (~25 с).
|
||
Проход во время отказа S3 и PostgreSQL — `test_cleaner_survives_outages`
|
||
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`) и
|
||
раздел 7.
|
||
|
||
## 7. Отказ S3 во время прохода: код 1, строка на месте
|
||
|
||
Сценарий `service-logging` «Отказ S3 во время прохода» (замечание W4
|
||
verify), переснят после повторного verify. Стенд: рабочий `mtusi-lab4`
|
||
на commit `5889ca2`. Реплики (`api-15`, `api-16`) обновлены `make
|
||
rolling_update` из чистого дерева, сервис `cleaner` — `docker compose up
|
||
-d --no-deps --force-recreate cleaner`; у реплик и уборщика один образ
|
||
(`.Image` совпадает). Разовые `cleaner --once` запущены на теге
|
||
`mtusi-messenger:lab4`, который перед этим пересобрал `make
|
||
failure_checks` из того же чистого дерева. Загрузка — синтетический
|
||
пользователь через LB (`127.0.0.1:8080`), токен и пароль не печатаются.
|
||
Строку смотрит psql, объект — `weed shell fs.ls` в контейнере `s3`.
|
||
Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод `Container
|
||
…` compose опущен.
|
||
|
||
```
|
||
start 2026-10-21T19:13:43Z
|
||
$ docker compose pause s3
|
||
$ upload sample.png через LB
|
||
upload: 503 unavailable
|
||
pending row: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending f
|
||
$ sleep 31 # grace разового прохода 30 с
|
||
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
|
||
{"event": "Started cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:26.495280Z", "func_name": "run", "filename": "main.py", "lineno": 121}
|
||
{"event": "Object storage is unavailable", "instance_id": "d2e99cba60fc", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "duration_ms": 5007, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T19:14:31.623024Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
|
||
{"event": "Interrupted cleanup pass", "instance_id": "d2e99cba60fc", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5131, "level": "warning", "timestamp": "2026-10-21T19:14:31.626325Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
|
||
{"event": "Stopped cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T19:14:31.632276Z", "func_name": "run", "filename": "main.py", "lineno": 159}
|
||
exit=1
|
||
row after: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending t
|
||
$ docker compose unpause s3
|
||
s3 answers 2026-10-21T19:14:32Z
|
||
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
|
||
{"event": "Started cleaner", "instance_id": "c522e710369d", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:38.459927Z", "func_name": "run", "lineno": 121, "filename": "main.py"}
|
||
{"event": "Removed stale attachment", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "e62b8df0-8ce6-4125-acbe-302e5391dd93", "object_key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "age_seconds": 55, "level": "info", "timestamp": "2026-10-21T19:14:38.656561Z", "func_name": "_remove", "lineno": 200, "filename": "attachment_cleanup.py"}
|
||
{"event": "Finished cleanup pass", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 197, "level": "info", "timestamp": "2026-10-21T19:14:38.656816Z", "func_name": "clean_stale_pending", "lineno": 127, "filename": "attachment_cleanup.py"}
|
||
{"event": "Stopped cleaner", "instance_id": "c522e710369d", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T19:14:38.659621Z", "func_name": "run", "lineno": 159, "filename": "main.py"}
|
||
exit=0
|
||
row after: []
|
||
object files 'original': 0
|
||
end 2026-10-21T19:14:40Z
|
||
```
|
||
|
||
- При замороженном S3 загрузка — 503, строка `pending` осталась
|
||
(`marked` — `updated_at > created_at` — `f`: строку ещё никто не
|
||
трогал).
|
||
- Разовый проход: DELETE объекта упёрся в срок вызова (5,01 с). Клиент S3
|
||
записал `warning` «Object storage is unavailable» — операция, адрес,
|
||
bucket, ключ, длительность, класс ошибки, без ключей и текста
|
||
исключения. Сервис записал `warning` «Interrupted cleanup pass» с
|
||
`interrupted_by: object_storage`; `--once` — код 1.
|
||
- Строка на месте и помечена (`marked` `t`): пометка зафиксирована первым
|
||
шагом, до DELETE объекта, а отказ S3 откатил второй шаг — транзакцию,
|
||
где DELETE объекта и строки идут под блокировкой (design, «Уточнения
|
||
apply», п. 16 и 21). Поэтому `ready` такая строка уже не станет.
|
||
Метаданные без подтверждённого удаления объекта не удалены (спек
|
||
`storage-consistency`, «Уборка при отказах хранилищ»).
|
||
- После `unpause` следующий проход ставит пометку заново и убирает
|
||
строку и объект: код 0, строки нет, файла `original` нет.
|
||
- Прежний снимок раздела (commit `87c48b9`, DELETE объекта между
|
||
транзакциями) дал те же наблюдения: 503, `warning` по сроку 5,01 с,
|
||
код 1, строка помечена, затем код 0 и ни строки, ни объекта. На
|
||
наблюдаемое поведение при отказе S3 правка `5889ca2` не влияет.
|