Re-run failure checks (32 of 32) and the cleaner pass under a paused S3 on the two-step cleanup, fix the storage-consistency scenario count in the student test evidence and point the report at the new commit. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
16 KiB
Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35, раздел 7 — 19:13:43–19:14:40).
- Commit:
5b42bd2(changeupload-consistency); раздел 7 —5889ca2(правки по повторному verify: пометка строки, затем объект и строка одной транзакцией под блокировкой), рабочее дерево чистое. - Стенд: рабочий
mtusi-lab4послеmake run_dockerс этого commit, сервисcleaner(образmtusi-messenger:lab4, точка входаpython -m src.cleaner, лимиты 0,25 CPU / 256 МБ,stop_grace_period: 10s). Docker Desktop 29.9.1, Apple M3 Pro. - Спеки:
service-configuration«Параметры уборщика» (сценарии «Параметры по умолчанию», «Grace не больше границы», «Интервал не число»),graceful-shutdown«Остановка уборщика» («docker stop уборщика»),container-run«Лимиты ресурсов и секреты по сервисам»,service-logging«Журнал уборщика». Design changeupload-consistency, решения 2, 4, 9, «Уточнения apply», пп. 4–6.
1. Старт с параметрами по умолчанию
config.toml рабочего стенда — секция [cleaner] со значениями по
умолчанию, переменных CLEANER__* у сервиса нет. Запись о старте
называет интервал 60 с, grace 900 с, выборку 100, границу живой загрузки
17 с, адрес S3, bucket, базу и пул 1 (DATABASE__POOL_SIZE: "1" в
окружении сервиса). Секретов и ключей в записи нет.
$ docker compose logs --no-log-prefix cleaner | head -1
{"event": "Started cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T03:01:21.099231Z", "lineno": 120, "filename": "main.py", "func_name": "run"}
2. Отказ старта при неверной конфигурации: код 2
Grace не больше границы 2 × [database] request_timeout_seconds + [s3] timeout_seconds = 2 × 6 + 5 = 17 с — запись error называет grace, оба
срока и границу; проверка стоит до создания engine и клиента S3, записи
«Started cleaner» нет. Интервал 0 и abc — ошибка проверки настроек:
одна запись без значений полей (в них могли бы быть секреты), без
traceback.
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=17 cleaner --once
{"event": "Cleaner grace period is not longer than live upload bound", "instance_id": "224b8fffa50f", "module": "cleaner", "pending_grace_seconds": 17, "database_request_timeout_seconds": 6.0, "s3_timeout_seconds": 5.0, "live_upload_bound_seconds": 17.0, "level": "error", "timestamp": "2026-10-21T03:13:15.122839Z", "lineno": 79, "func_name": "run", "filename": "main.py"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=0 cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "7bbfaa8c314a", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be greater than 0"}], "level": "error", "timestamp": "2026-10-21T03:13:18.749639Z"}
exit=2
$ docker compose run --rm --no-deps -e CLEANER__INTERVAL_SECONDS=abc cleaner --once
{"event": "Invalid cleaner settings", "instance_id": "d8f4fa41d77f", "module": "cleaner", "errors": [{"loc": "cleaner.interval_seconds", "msg": "Input should be a valid number, unable to parse string as a number"}], "level": "error", "timestamp": "2026-10-21T03:13:22.022444Z"}
exit=2
3. Контейнер: лимиты, healthcheck, порты, память
$ docker inspect -f 'NanoCpus=… Memory=… Healthcheck=… Entrypoint=… RestartPolicy=… Ports=…' <cleaner>
NanoCpus=250000000 Memory=268435456 Healthcheck=[NONE] Entrypoint=[python -m src.cleaner] RestartPolicy=unless-stopped Ports=map[8080/tcp:<nil>]
$ docker stats --no-stream cleaner
mtusi-lab4-cleaner-1 cpu 0.00% mem 90.53MiB / 256MiB (35.36%) pids 2
- Healthcheck образа (HTTP
/health/ready) выключен: уборщик HTTP не слушает.8080/tcp:<nil>—EXPOSEобраза API, порт не опубликован. - Память в простое ~91 MiB из 256 МБ (интерпретатор, SQLAlchemy, модели
botocore). Проход на две строки — 0,18 с (
duration_ms182 вevidence/attachments/consistency.md).
4. docker compose stop cleaner: 0,57 с, код 0
$ time docker compose stop cleaner
stop took 0.57 s
exit code 0, OOMKilled false
$ docker compose logs --no-log-prefix cleaner | tail -1
{"event": "Stopped cleaner", "instance_id": "37c2debb97a9", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T03:13:34.844081Z", "lineno": 158, "filename": "main.py", "func_name": "run"}
SIGTERM ставит флаг в цикле asyncio: проход доводит текущую строку и не
берёт новые, затем engine и клиент S3 закрываются и процесс выходит с
кодом 0 — много раньше stop_grace_period 10 с.
5. Остановка во время старта
docker compose stop cleaner через паузу после docker compose up -d --no-deps cleaner (команда up возвращается, когда контейнер запущен):
delay 0: exit 137 stop 10.21 s; last: {"event": "Started cleaner", "instance_id": "
delay 0.05: exit 0 stop 0.24 s; last: {"event": "Stopped cleaner before startup", "
delay 0.1: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.15: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 0.2: exit 0 stop 0.16 s; last: {"event": "Stopped cleaner before startup", "
delay 0.4: exit 0 stop 0.20 s; last: {"event": "Stopped cleaner before startup", "
delay 0.6: exit 0 stop 0.19 s; last: {"event": "Stopped cleaner before startup", "
delay 1.0: exit 0 stop 0.27 s; last: {"event": "Stopped cleaner before startup", "
- С паузы 0,05 с сигнал принимает ранний обработчик
(
early_stop.install("cleaner")): одна запись «Stopped cleaner before startup» и код 0 за 0,2 с. - Пауза 0 — окно 0, то же ограничение, что у API (
run-modes.md): запуск интерпретатора до первых строкsrc/cleaner/__main__.py, меньше 0,05 с послеup. У процесса с PID 1 обработчика ещё нет, и ядро сигнал отбрасывает; процесс доходит до «Started cleaner», а Docker черезstop_grace_period10 с шлёт SIGKILL (137). Данных это не портит: в этом окне нет ни соединений, ни транзакций, а проход, если бы и начался, держит строку только в транзакции, которую PostgreSQL откатит при обрыве. Ограничение — вREPORT.md.
6. Рестарт хранилищ: уборщик без перезапуска
make test-persistence ACTION_SCRIPT=scripts/restart.sh (03:30:04–03:30:35
UTC): hook перезапускает LB, реплики, PostgreSQL, Valkey и S3, уборщика
не трогает.
cleaner before: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0
postgres before: StartedAt 2026-10-21T03:02:33.641433585Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
cleaner after: StartedAt 2026-10-21T03:14:42.071533631Z RestartCount 0 Running true
postgres after: StartedAt 2026-10-21T03:30:05.896306378Z
s3 after: StartedAt 2026-10-21T03:30:20.918287843Z
$ docker compose run --rm --no-deps cleaner --once
{"event": "Started cleaner", "pending_grace_seconds": 900, "level": "info"}
{"event": "Stopped cleaner", "exit_code": 0, "level": "info"}
exit=0
- PostgreSQL и S3 перезапущены (новый
StartedAt), контейнер уборщика — тот же процесс,RestartCount0; разовый проход сразу после рестарта — код 0 (строк старше 900 с нет, пустой проход пишется наdebug). - Записи
warningоб отказе в журнале сервиса за это время нет: при интервале 60 с ни один проход не попал в окно рестарта (~25 с). Проход во время отказа S3 и PostgreSQL —test_cleaner_survives_outagesстенда отказов (интервал 1 с,evidence/tests/failure-checks.md) и раздел 7.
7. Отказ S3 во время прохода: код 1, строка на месте
Сценарий service-logging «Отказ S3 во время прохода» (замечание W4
verify), переснят после повторного verify. Стенд: рабочий mtusi-lab4
на commit 5889ca2. Реплики (api-15, api-16) обновлены make rolling_update из чистого дерева, сервис cleaner — docker compose up -d --no-deps --force-recreate cleaner; у реплик и уборщика один образ
(.Image совпадает). Разовые cleaner --once запущены на теге
mtusi-messenger:lab4, который перед этим пересобрал make failure_checks из того же чистого дерева. Загрузка — синтетический
пользователь через LB (127.0.0.1:8080), токен и пароль не печатаются.
Строку смотрит psql, объект — weed shell fs.ls в контейнере s3.
Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод Container … compose опущен.
start 2026-10-21T19:13:43Z
$ docker compose pause s3
$ upload sample.png через LB
upload: 503 unavailable
pending row: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending f
$ sleep 31 # grace разового прохода 30 с
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:26.495280Z", "func_name": "run", "filename": "main.py", "lineno": 121}
{"event": "Object storage is unavailable", "instance_id": "d2e99cba60fc", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "duration_ms": 5007, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T19:14:31.623024Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
{"event": "Interrupted cleanup pass", "instance_id": "d2e99cba60fc", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5131, "level": "warning", "timestamp": "2026-10-21T19:14:31.626325Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
{"event": "Stopped cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T19:14:31.632276Z", "func_name": "run", "filename": "main.py", "lineno": 159}
exit=1
row after: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending t
$ docker compose unpause s3
s3 answers 2026-10-21T19:14:32Z
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "c522e710369d", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:38.459927Z", "func_name": "run", "lineno": 121, "filename": "main.py"}
{"event": "Removed stale attachment", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "e62b8df0-8ce6-4125-acbe-302e5391dd93", "object_key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "age_seconds": 55, "level": "info", "timestamp": "2026-10-21T19:14:38.656561Z", "func_name": "_remove", "lineno": 200, "filename": "attachment_cleanup.py"}
{"event": "Finished cleanup pass", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 197, "level": "info", "timestamp": "2026-10-21T19:14:38.656816Z", "func_name": "clean_stale_pending", "lineno": 127, "filename": "attachment_cleanup.py"}
{"event": "Stopped cleaner", "instance_id": "c522e710369d", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T19:14:38.659621Z", "func_name": "run", "lineno": 159, "filename": "main.py"}
exit=0
row after: []
object files 'original': 0
end 2026-10-21T19:14:40Z
- При замороженном S3 загрузка — 503, строка
pendingосталась (marked—updated_at > created_at—f: строку ещё никто не трогал). - Разовый проход: DELETE объекта упёрся в срок вызова (5,01 с). Клиент S3
записал
warning«Object storage is unavailable» — операция, адрес, bucket, ключ, длительность, класс ошибки, без ключей и текста исключения. Сервис записалwarning«Interrupted cleanup pass» сinterrupted_by: object_storage;--once— код 1. - Строка на месте и помечена (
markedt): пометка зафиксирована первым шагом, до DELETE объекта, а отказ S3 откатил второй шаг — транзакцию, где DELETE объекта и строки идут под блокировкой (design, «Уточнения apply», п. 16 и 21). Поэтомуreadyтакая строка уже не станет. Метаданные без подтверждённого удаления объекта не удалены (спекstorage-consistency, «Уборка при отказах хранилищ»). - После
unpauseследующий проход ставит пометку заново и убирает строку и объект: код 0, строки нет, файлаoriginalнет. - Прежний снимок раздела (commit
87c48b9, DELETE объекта между транзакциями) дал те же наблюдения: 503,warningпо сроку 5,01 с, код 1, строка помечена, затем код 0 и ни строки, ни объекта. На наблюдаемое поведение при отказе S3 правка5889ca2не влияет.