Files
mtusi2026lab4/evidence/attachments/cleaner-process.md
T
ricoromaandClaude Opus 5.5 f2dc0b368a docs: add upload-consistency evidence and report
- evidence: consistency (driver upload-consistency), cleaner process,
  cleaner S3 key, pending index plan on the working database
- re-run failure_checks (29/29), student_test via LB and test_isolated
  with the cleaner and storage-consistency coverage
- REPORT: database and S3 consistency, compensation table, grace period
  rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows,
  limitations; PLAN stage 3 and AGENTS evidence map

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 06:32:48 +03:00

9.2 KiB
Raw Blame History

Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы

  • Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35).
  • Commit: 5b42bd2 (change upload-consistency).
  • Стенд: рабочий mtusi-lab4 после make run_docker с этого commit, сервис cleaner (образ mtusi-messenger:lab4, точка входа python -m src.cleaner, лимиты 0,25 CPU / 256 МБ, stop_grace_period: 10s). Docker Desktop 29.9.1, Apple M3 Pro.
  • Спеки: service-configuration «Параметры уборщика» (сценарии «Параметры по умолчанию», «Grace не больше границы», «Интервал не число»), graceful-shutdown «Остановка уборщика» («docker stop уборщика»), container-run «Лимиты ресурсов и секреты по сервисам», service-logging «Журнал уборщика». Design change upload-consistency, решения 2, 4, 9, «Уточнения apply», пп. 4–6.

1. Старт с параметрами по умолчанию

config.toml рабочего стенда — секция [cleaner] со значениями по умолчанию, переменных CLEANER__* у сервиса нет. Запись о старте называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки 17 с, адрес S3, bucket, базу и пул 1 (DATABASE__POOL_SIZE: "1" в окружении сервиса). Секретов и ключей в записи нет.

$ docker compose logs --no-log-prefix cleaner | head -1
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}

2. Отказ старта при неверной конфигурации: код 2

Grace не больше границы 2 × [database] request_timeout_seconds + [s3] timeout_seconds = 2 × 6 + 5 = 17 с — запись error называет grace, оба срока и границу; проверка стоит до создания engine и клиента S3, записи «Started cleaner» нет. Интервал 0 и abc — ошибка проверки настроек: одна запись без значений полей (в них могли бы быть секреты), без traceback.

$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
exit=2

3. Контейнер: лимиты, healthcheck, порты, память

$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
$ docker stats --no-stream cleaner
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
  • Healthcheck образа (HTTP /health/ready) выключен: уборщик HTTP не слушает. 8080/tcp:<nil> — EXPOSE образа API, порт не опубликован.
  • Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели botocore). Проход на две строки — 0,18 с (duration_ms 182 в evidence/attachments/consistency.md).

4. docker compose stop cleaner: 0,57 с, код 0

$ time docker compose stop cleaner
stop took 0.57 s
exit code 0, OOMKilled false
$ docker compose logs --no-log-prefix cleaner | tail -1
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}

SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не берёт новые, затем engine и клиент S3 закрываются и процесс выходит с кодом 0 — много раньше stop_grace_period 10 с.

5. Остановка во время старта

docker compose stop cleaner через паузу после docker compose up -d --no-deps cleaner (команда up возвращается, когда контейнер запущен):

delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
  • С паузы 0,05 с сигнал принимает ранний обработчик (early_stop.install("cleaner")): одна запись «Stopped cleaner before startup» и код 0 за 0,2 с.
  • Пауза 0 — окно 0, то же ограничение, что у API (run-modes.md): запуск интерпретатора до первых строк src/cleaner/__main__.py, меньше 0,05 с после up. У процесса с PID 1 обработчика ещё нет, и ядро сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker через stop_grace_period 10 с шлёт SIGKILL (137). Данных это не портит: в этом окне нет ни соединений, ни транзакций, а проход, если бы и начался, держит строку только в транзакции, которую PostgreSQL откатит при обрыве. Ограничение — в REPORT.md.

6. Рестарт хранилищ: уборщик без перезапуска

make test-persistence ACTION_SCRIPT=scripts/restart.sh (03:30:04–03:30:35 UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика не трогает.

cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
$ docker compose run --rm --no-deps cleaner --once
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
exit=0
  • PostgreSQL и S3 перезапущены (новый StartedAt), контейнер уборщика — тот же процесс, RestartCount 0; разовый проход сразу после рестарта — код 0 (строк старше 900 с нет, пустой проход пишется на debug).
  • Записи warning об отказе в журнале сервиса за это время нет: при интервале 60 с ни один проход не попал в окно рестарта (~25 с). Проход во время отказа S3 и PostgreSQL — test_cleaner_survives_outages стенда отказов (интервал 1 с, evidence/tests/failure-checks.md).