Files
mtusi2026lab4/evidence/attachments/cleaner-process.md
T
ricoromaandClaude Opus 5.5 9dde16e638 docs: re-capture upload-consistency evidence on 5889ca2
Re-run failure checks (32 of 32) and the cleaner pass under a paused S3
on the two-step cleanup, fix the storage-consistency scenario count in
the student test evidence and point the report at the new commit.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 22:17:53 +03:00

202 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35,
раздел 7 — 19:13:43–19:14:40).
- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `5889ca2`
(правки по повторному verify: пометка строки, затем объект и строка
одной транзакцией под блокировкой), рабочее дерево чистое.
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
Docker Desktop 29.9.1, Apple M3 Pro.
- Спеки: `service-configuration` «Параметры уборщика» (сценарии
«Параметры по умолчанию», «Grace не больше границы», «Интервал не
число»), `graceful-shutdown` «Остановка уборщика» («docker stop
уборщика»), `container-run` «Лимиты ресурсов и секреты по сервисам»,
`service-logging` «Журнал уборщика». Design change
`upload-consistency`, решения 2, 4, 9, «Уточнения apply», пп. 4–6.
## 1. Старт с параметрами по умолчанию
`config.toml` рабочего стенда — секция `[cleaner]` со значениями по
умолчанию, переменных `CLEANER__*` у сервиса нет. Запись о старте
называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки
17 с, адрес S3, bucket, базу и пул 1 (`DATABASE__POOL_SIZE: "1"` в
окружении сервиса). Секретов и ключей в записи нет.
```
$ docker compose logs --no-log-prefix cleaner | head -1
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}
```
## 2. Отказ старта при неверной конфигурации: код 2
Grace не больше границы `2 × [database] request_timeout_seconds + [s3]
timeout_seconds` = 2 × 6 + 5 = 17 с — запись `error` называет grace, оба
срока и границу; проверка стоит до создания engine и клиента S3, записи
«Started cleaner» нет. Интервал 0 и `abc` — ошибка проверки настроек:
одна запись без значений полей (в них могли бы быть секреты), без
traceback.
```
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
exit=2
```
## 3. Контейнер: лимиты, healthcheck, порты, память
```
$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
$ docker stats --no-stream cleaner
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
```
- Healthcheck образа (HTTP `/health/ready`) выключен: уборщик HTTP не
слушает. `8080/tcp:<nil>` — `EXPOSE` образа API, порт не опубликован.
- Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели
botocore). Проход на две строки — 0,18 с (`duration_ms` 182 в
`evidence/attachments/consistency.md`).
## 4. `docker compose stop cleaner`: 0,57 с, код 0
```
$ time docker compose stop cleaner
stop took 0.57 s
exit code 0, OOMKilled false
$ docker compose logs --no-log-prefix cleaner | tail -1
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}
```
SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не
берёт новые, затем engine и клиент S3 закрываются и процесс выходит с
кодом 0 — много раньше `stop_grace_period` 10 с.
## 5. Остановка во время старта
`docker compose stop cleaner` через паузу после `docker compose up -d
--no-deps cleaner` (команда `up` возвращается, когда контейнер запущен):
```
delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
```
- С паузы 0,05 с сигнал принимает ранний обработчик
(`early_stop.install("cleaner")`): одна запись «Stopped cleaner before
startup» и код 0 за 0,2 с.
- Пауза 0 — **окно 0**, то же ограничение, что у API (`run-modes.md`):
запуск интерпретатора до первых строк `src/cleaner/__main__.py`, меньше
0,05 с после `up`. У процесса с PID 1 обработчика ещё нет, и ядро
сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker
через `stop_grace_period` 10 с шлёт SIGKILL (137). Данных это не
портит: в этом окне нет ни соединений, ни транзакций, а проход, если
бы и начался, держит строку только в транзакции, которую PostgreSQL
откатит при обрыве. Ограничение — в `REPORT.md`.
## 6. Рестарт хранилищ: уборщик без перезапуска
`make test-persistence ACTION_SCRIPT=scripts/restart.sh` (03:30:04–03:30:35
UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика
не трогает.
```
cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
$ docker compose run --rm --no-deps cleaner --once
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
exit=0
```
- PostgreSQL и S3 перезапущены (новый `StartedAt`), контейнер уборщика —
тот же процесс, `RestartCount` 0; разовый проход сразу после рестарта
— код 0 (строк старше 900 с нет, пустой проход пишется на `debug`).
- Записи `warning` об отказе в журнале сервиса за это время нет: при
интервале 60 с ни один проход не попал в окно рестарта (~25 с).
Проход во время отказа S3 и PostgreSQL — `test_cleaner_survives_outages`
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`) и
раздел 7.
## 7. Отказ S3 во время прохода: код 1, строка на месте
Сценарий `service-logging` «Отказ S3 во время прохода» (замечание W4
verify), переснят после повторного verify. Стенд: рабочий `mtusi-lab4`
на commit `5889ca2`. Реплики (`api-15`, `api-16`) обновлены `make
rolling_update` из чистого дерева, сервис `cleaner` — `docker compose up
-d --no-deps --force-recreate cleaner`; у реплик и уборщика один образ
(`.Image` совпадает). Разовые `cleaner --once` запущены на теге
`mtusi-messenger:lab4`, который перед этим пересобрал `make
failure_checks` из того же чистого дерева. Загрузка — синтетический
пользователь через LB (`127.0.0.1:8080`), токен и пароль не печатаются.
Строку смотрит psql, объект — `weed shell fs.ls` в контейнере `s3`.
Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод `Container
…` compose опущен.
```
start 2026-10-21T19:13:43Z
$ docker compose pause s3
$ upload sample.png через LB
upload: 503 unavailable
pending row: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending f
$ sleep 31 # grace разового прохода 30 с
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:26.495280Z", "func_name": "run", "filename": "main.py", "lineno": 121}
{"event": "Object storage is unavailable", "instance_id": "d2e99cba60fc", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "duration_ms": 5007, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T19:14:31.623024Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
{"event": "Interrupted cleanup pass", "instance_id": "d2e99cba60fc", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5131, "level": "warning", "timestamp": "2026-10-21T19:14:31.626325Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
{"event": "Stopped cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T19:14:31.632276Z", "func_name": "run", "filename": "main.py", "lineno": 159}
exit=1
row after: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending t
$ docker compose unpause s3
s3 answers 2026-10-21T19:14:32Z
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "c522e710369d", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:38.459927Z", "func_name": "run", "lineno": 121, "filename": "main.py"}
{"event": "Removed stale attachment", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "e62b8df0-8ce6-4125-acbe-302e5391dd93", "object_key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "age_seconds": 55, "level": "info", "timestamp": "2026-10-21T19:14:38.656561Z", "func_name": "_remove", "lineno": 200, "filename": "attachment_cleanup.py"}
{"event": "Finished cleanup pass", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 197, "level": "info", "timestamp": "2026-10-21T19:14:38.656816Z", "func_name": "clean_stale_pending", "lineno": 127, "filename": "attachment_cleanup.py"}
{"event": "Stopped cleaner", "instance_id": "c522e710369d", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T19:14:38.659621Z", "func_name": "run", "lineno": 159, "filename": "main.py"}
exit=0
row after: []
object files 'original': 0
end 2026-10-21T19:14:40Z
```
- При замороженном S3 загрузка — 503, строка `pending` осталась
(`marked` — `updated_at > created_at` — `f`: строку ещё никто не
трогал).
- Разовый проход: DELETE объекта упёрся в срок вызова (5,01 с). Клиент S3
записал `warning` «Object storage is unavailable» — операция, адрес,
bucket, ключ, длительность, класс ошибки, без ключей и текста
исключения. Сервис записал `warning` «Interrupted cleanup pass» с
`interrupted_by: object_storage`; `--once` — код 1.
- Строка на месте и помечена (`marked` `t`): пометка зафиксирована первым
шагом, до DELETE объекта, а отказ S3 откатил второй шаг — транзакцию,
где DELETE объекта и строки идут под блокировкой (design, «Уточнения
apply», п. 16 и 21). Поэтому `ready` такая строка уже не станет.
Метаданные без подтверждённого удаления объекта не удалены (спек
`storage-consistency`, «Уборка при отказах хранилищ»).
- После `unpause` следующий проход ставит пометку заново и убирает
строку и объект: код 0, строки нет, файла `original` нет.
- Прежний снимок раздела (commit `87c48b9`, DELETE объекта между
транзакциями) дал те же наблюдения: 503, `warning` по сроку 5,01 с,
код 1, строка помечена, затем код 0 и ни строки, ни объекта. На
наблюдаемое поведение при отказе S3 правка `5889ca2` не влияет.