- evidence: consistency (driver upload-consistency), cleaner process, cleaner S3 key, pending index plan on the working database - re-run failure_checks (29/29), student_test via LB and test_isolated with the cleaner and storage-consistency coverage - REPORT: database and S3 consistency, compensation table, grace period rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows, limitations; PLAN stage 3 and AGENTS evidence map Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.2 KiB
Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35).
- Commit:
5b42bd2(changeupload-consistency). - Стенд: рабочий
mtusi-lab4послеmake run_dockerс этого commit, сервисcleaner(образmtusi-messenger:lab4, точка входаpython -m src.cleaner, лимиты 0,25 CPU / 256 МБ,stop_grace_period: 10s). Docker Desktop 29.9.1, Apple M3 Pro. - Спеки:
service-configuration«Параметры уборщика» (сценарии «Параметры по умолчанию», «Grace не больше границы», «Интервал не число»),graceful-shutdown«Остановка уборщика» («docker stop уборщика»),container-run«Лимиты ресурсов и секреты по сервисам»,service-logging«Журнал уборщика». Design changeupload-consistency, решения 2, 4, 9, «Уточнения apply», пп. 4–6.
1. Старт с параметрами по умолчанию
config.toml рабочего стенда — секция [cleaner] со значениями по
умолчанию, переменных CLEANER__* у сервиса нет. Запись о старте
называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки
17 с, адрес S3, bucket, базу и пул 1 (DATABASE__POOL_SIZE: "1" в
окружении сервиса). Секретов и ключей в записи нет.
$ docker compose logs --no-log-prefix cleaner | head -1
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}
2. Отказ старта при неверной конфигурации: код 2
Grace не больше границы 2 × [database] request_timeout_seconds + [s3] timeout_seconds = 2 × 6 + 5 = 17 с — запись error называет grace, оба
срока и границу; проверка стоит до создания engine и клиента S3, записи
«Started cleaner» нет. Интервал 0 и abc — ошибка проверки настроек:
одна запись без значений полей (в них могли бы быть секреты), без
traceback.
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
exit=2
3. Контейнер: лимиты, healthcheck, порты, память
$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
$ docker stats --no-stream cleaner
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
- Healthcheck образа (HTTP
/health/ready) выключен: уборщик HTTP не слушает.8080/tcp:<nil>—EXPOSEобраза API, порт не опубликован. - Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели
botocore). Проход на две строки — 0,18 с (
duration_ms182 вevidence/attachments/consistency.md).
4. docker compose stop cleaner: 0,57 с, код 0
$ time docker compose stop cleaner
stop took 0.57 s
exit code 0, OOMKilled false
$ docker compose logs --no-log-prefix cleaner | tail -1
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}
SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не
берёт новые, затем engine и клиент S3 закрываются и процесс выходит с
кодом 0 — много раньше stop_grace_period 10 с.
5. Остановка во время старта
docker compose stop cleaner через паузу после docker compose up -d --no-deps cleaner (команда up возвращается, когда контейнер запущен):
delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
- С паузы 0,05 с сигнал принимает ранний обработчик
(
early_stop.install("cleaner")): одна запись «Stopped cleaner before startup» и код 0 за 0,2 с. - Пауза 0 — окно 0, то же ограничение, что у API (
run-modes.md): запуск интерпретатора до первых строкsrc/cleaner/__main__.py, меньше 0,05 с послеup. У процесса с PID 1 обработчика ещё нет, и ядро сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker черезstop_grace_period10 с шлёт SIGKILL (137). Данных это не портит: в этом окне нет ни соединений, ни транзакций, а проход, если бы и начался, держит строку только в транзакции, которую PostgreSQL откатит при обрыве. Ограничение — вREPORT.md.
6. Рестарт хранилищ: уборщик без перезапуска
make test-persistence ACTION_SCRIPT=scripts/restart.sh (03:30:04–03:30:35
UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика
не трогает.
cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
$ docker compose run --rm --no-deps cleaner --once
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
exit=0
- PostgreSQL и S3 перезапущены (новый
StartedAt), контейнер уборщика — тот же процесс,RestartCount0; разовый проход сразу после рестарта — код 0 (строк старше 900 с нет, пустой проход пишется наdebug). - Записи
warningоб отказе в журнале сервиса за это время нет: при интервале 60 с ни один проход не попал в окно рестарта (~25 с). Проход во время отказа S3 и PostgreSQL —test_cleaner_survives_outagesстенда отказов (интервал 1 с,evidence/tests/failure-checks.md).