Files
mtusi2026lab4/evidence/attachments/cleaner-process.md
T
ricoromaandClaude Opus 5.5 f2dc0b368a docs: add upload-consistency evidence and report
- evidence: consistency (driver upload-consistency), cleaner process,
  cleaner S3 key, pending index plan on the working database
- re-run failure_checks (29/29), student_test via LB and test_isolated
  with the cleaner and storage-consistency coverage
- REPORT: database and S3 consistency, compensation table, grace period
  rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows,
  limitations; PLAN stage 3 and AGENTS evidence map

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 06:32:48 +03:00

135 lines
9.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35).
- Commit: `5b42bd2` (change `upload-consistency`).
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
Docker Desktop 29.9.1, Apple M3 Pro.
- Спеки: `service-configuration` «Параметры уборщика» (сценарии
«Параметры по умолчанию», «Grace не больше границы», «Интервал не
число»), `graceful-shutdown` «Остановка уборщика» («docker stop
уборщика»), `container-run` «Лимиты ресурсов и секреты по сервисам»,
`service-logging` «Журнал уборщика». Design change
`upload-consistency`, решения 2, 4, 9, «Уточнения apply», пп. 4–6.
## 1. Старт с параметрами по умолчанию
`config.toml` рабочего стенда — секция `[cleaner]` со значениями по
умолчанию, переменных `CLEANER__*` у сервиса нет. Запись о старте
называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки
17 с, адрес S3, bucket, базу и пул 1 (`DATABASE__POOL_SIZE: "1"` в
окружении сервиса). Секретов и ключей в записи нет.
```
$ docker compose logs --no-log-prefix cleaner | head -1
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}
```
## 2. Отказ старта при неверной конфигурации: код 2
Grace не больше границы `2 × [database] request_timeout_seconds + [s3]
timeout_seconds` = 2 × 6 + 5 = 17 с — запись `error` называет grace, оба
срока и границу; проверка стоит до создания engine и клиента S3, записи
«Started cleaner» нет. Интервал 0 и `abc` — ошибка проверки настроек:
одна запись без значений полей (в них могли бы быть секреты), без
traceback.
```
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
exit=2
```
## 3. Контейнер: лимиты, healthcheck, порты, память
```
$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
$ docker stats --no-stream cleaner
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
```
- Healthcheck образа (HTTP `/health/ready`) выключен: уборщик HTTP не
слушает. `8080/tcp:<nil>` — `EXPOSE` образа API, порт не опубликован.
- Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели
botocore). Проход на две строки — 0,18 с (`duration_ms` 182 в
`evidence/attachments/consistency.md`).
## 4. `docker compose stop cleaner`: 0,57 с, код 0
```
$ time docker compose stop cleaner
stop took 0.57 s
exit code 0, OOMKilled false
$ docker compose logs --no-log-prefix cleaner | tail -1
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}
```
SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не
берёт новые, затем engine и клиент S3 закрываются и процесс выходит с
кодом 0 — много раньше `stop_grace_period` 10 с.
## 5. Остановка во время старта
`docker compose stop cleaner` через паузу после `docker compose up -d
--no-deps cleaner` (команда `up` возвращается, когда контейнер запущен):
```
delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
```
- С паузы 0,05 с сигнал принимает ранний обработчик
(`early_stop.install("cleaner")`): одна запись «Stopped cleaner before
startup» и код 0 за 0,2 с.
- Пауза 0 — **окно 0**, то же ограничение, что у API (`run-modes.md`):
запуск интерпретатора до первых строк `src/cleaner/__main__.py`, меньше
0,05 с после `up`. У процесса с PID 1 обработчика ещё нет, и ядро
сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker
через `stop_grace_period` 10 с шлёт SIGKILL (137). Данных это не
портит: в этом окне нет ни соединений, ни транзакций, а проход, если
бы и начался, держит строку только в транзакции, которую PostgreSQL
откатит при обрыве. Ограничение — в `REPORT.md`.
## 6. Рестарт хранилищ: уборщик без перезапуска
`make test-persistence ACTION_SCRIPT=scripts/restart.sh` (03:30:04–03:30:35
UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика
не трогает.
```
cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
$ docker compose run --rm --no-deps cleaner --once
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
exit=0
```
- PostgreSQL и S3 перезапущены (новый `StartedAt`), контейнер уборщика —
тот же процесс, `RestartCount` 0; разовый проход сразу после рестарта
— код 0 (строк старше 900 с нет, пустой проход пишется на `debug`).
- Записи `warning` об отказе в журнале сервиса за это время нет: при
интервале 60 с ни один проход не попал в окно рестарта (~25 с).
Проход во время отказа S3 и PostgreSQL — `test_cleaner_survives_outages`
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`).