- evidence: consistency (driver upload-consistency), cleaner process, cleaner S3 key, pending index plan on the working database - re-run failure_checks (29/29), student_test via LB and test_isolated with the cleaner and storage-consistency coverage - REPORT: database and S3 consistency, compensation table, grace period rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows, limitations; PLAN stage 3 and AGENTS evidence map Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
135 lines
9.2 KiB
Markdown
135 lines
9.2 KiB
Markdown
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
|
||
|
||
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35).
|
||
- Commit: `5b42bd2` (change `upload-consistency`).
|
||
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
|
||
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
|
||
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
|
||
Docker Desktop 29.9.1, Apple M3 Pro.
|
||
- Спеки: `service-configuration` «Параметры уборщика» (сценарии
|
||
«Параметры по умолчанию», «Grace не больше границы», «Интервал не
|
||
число»), `graceful-shutdown` «Остановка уборщика» («docker stop
|
||
уборщика»), `container-run` «Лимиты ресурсов и секреты по сервисам»,
|
||
`service-logging` «Журнал уборщика». Design change
|
||
`upload-consistency`, решения 2, 4, 9, «Уточнения apply», пп. 4–6.
|
||
|
||
## 1. Старт с параметрами по умолчанию
|
||
|
||
`config.toml` рабочего стенда — секция `[cleaner]` со значениями по
|
||
умолчанию, переменных `CLEANER__*` у сервиса нет. Запись о старте
|
||
называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки
|
||
17 с, адрес S3, bucket, базу и пул 1 (`DATABASE__POOL_SIZE: "1"` в
|
||
окружении сервиса). Секретов и ключей в записи нет.
|
||
|
||
```
|
||
$ docker compose logs --no-log-prefix cleaner | head -1
|
||
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}
|
||
```
|
||
|
||
## 2. Отказ старта при неверной конфигурации: код 2
|
||
|
||
Grace не больше границы `2 × [database] request_timeout_seconds + [s3]
|
||
timeout_seconds` = 2 × 6 + 5 = 17 с — запись `error` называет grace, оба
|
||
срока и границу; проверка стоит до создания engine и клиента S3, записи
|
||
«Started cleaner» нет. Интервал 0 и `abc` — ошибка проверки настроек:
|
||
одна запись без значений полей (в них могли бы быть секреты), без
|
||
traceback.
|
||
|
||
```
|
||
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
|
||
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
|
||
exit=2
|
||
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
|
||
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
|
||
exit=2
|
||
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
|
||
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
|
||
exit=2
|
||
```
|
||
|
||
## 3. Контейнер: лимиты, healthcheck, порты, память
|
||
|
||
```
|
||
$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
|
||
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
|
||
$ docker stats --no-stream cleaner
|
||
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
|
||
```
|
||
|
||
- Healthcheck образа (HTTP `/health/ready`) выключен: уборщик HTTP не
|
||
слушает. `8080/tcp:<nil>` — `EXPOSE` образа API, порт не опубликован.
|
||
- Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели
|
||
botocore). Проход на две строки — 0,18 с (`duration_ms` 182 в
|
||
`evidence/attachments/consistency.md`).
|
||
|
||
## 4. `docker compose stop cleaner`: 0,57 с, код 0
|
||
|
||
```
|
||
$ time docker compose stop cleaner
|
||
stop took 0.57 s
|
||
exit code 0, OOMKilled false
|
||
$ docker compose logs --no-log-prefix cleaner | tail -1
|
||
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}
|
||
```
|
||
|
||
SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не
|
||
берёт новые, затем engine и клиент S3 закрываются и процесс выходит с
|
||
кодом 0 — много раньше `stop_grace_period` 10 с.
|
||
|
||
## 5. Остановка во время старта
|
||
|
||
`docker compose stop cleaner` через паузу после `docker compose up -d
|
||
--no-deps cleaner` (команда `up` возвращается, когда контейнер запущен):
|
||
|
||
```
|
||
delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
|
||
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
|
||
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
|
||
```
|
||
|
||
- С паузы 0,05 с сигнал принимает ранний обработчик
|
||
(`early_stop.install("cleaner")`): одна запись «Stopped cleaner before
|
||
startup» и код 0 за 0,2 с.
|
||
- Пауза 0 — **окно 0**, то же ограничение, что у API (`run-modes.md`):
|
||
запуск интерпретатора до первых строк `src/cleaner/__main__.py`, меньше
|
||
0,05 с после `up`. У процесса с PID 1 обработчика ещё нет, и ядро
|
||
сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker
|
||
через `stop_grace_period` 10 с шлёт SIGKILL (137). Данных это не
|
||
портит: в этом окне нет ни соединений, ни транзакций, а проход, если
|
||
бы и начался, держит строку только в транзакции, которую PostgreSQL
|
||
откатит при обрыве. Ограничение — в `REPORT.md`.
|
||
|
||
## 6. Рестарт хранилищ: уборщик без перезапуска
|
||
|
||
`make test-persistence ACTION_SCRIPT=scripts/restart.sh` (03:30:04–03:30:35
|
||
UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика
|
||
не трогает.
|
||
|
||
```
|
||
cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
|
||
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
|
||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||
exit=0
|
||
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
|
||
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
|
||
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
|
||
$ docker compose run --rm --no-deps cleaner --once
|
||
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
|
||
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
|
||
exit=0
|
||
```
|
||
|
||
- PostgreSQL и S3 перезапущены (новый `StartedAt`), контейнер уборщика —
|
||
тот же процесс, `RestartCount` 0; разовый проход сразу после рестарта
|
||
— код 0 (строк старше 900 с нет, пустой проход пишется на `debug`).
|
||
- Записи `warning` об отказе в журнале сервиса за это время нет: при
|
||
интервале 60 с ни один проход не попал в окно рестарта (~25 с).
|
||
Проход во время отказа S3 и PostgreSQL — `test_cleaner_survives_outages`
|
||
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`).
|