- upload: delete the stored object when ready fails before COMMIT or the pending row is gone (503 instead of 500); unknown COMMIT outcome keeps it - cleaner service (python -m src.cleaner): stale pending rows older than grace (900 s, must exceed 17 s live-upload bound) under FOR UPDATE SKIP LOCKED, object before row, own S3 user with read/delete only - shared session_scope for API and cleaner; early_stop process name - partial index on pending attachments, CREATE INDEX CONCURRENTLY - s3-bootstrap: cleaner user, policy and checks; make env_setup appends missing template variables to an existing .env - failure checks: cleaner on the failure stand, id-list hook actions, five new and three updated tests; driver upload-consistency - sync upload-consistency deltas into main specs (storage-consistency) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
5.6 KiB
Spec Delta
MODIFIED Requirements
Requirement: Запуск через compose
make run_docker SHALL собирать образ и поднимать стенд через
docker compose. В стенд входят:
- PostgreSQL и Valkey;
- сервер S3 (capability
object-storage); - одноразовые сервисы миграций и bootstrap S3;
API_REPLICASреплик API (capabilityload-balancing);- уборщик незавершённых загрузок (capability
storage-consistency) — один долгоживущий процесс на образе API со своей командой; - балансировщик (LB).
Реплики API SHALL стартовать после готовности PostgreSQL и Valkey, успешных миграций и успешного bootstrap S3. Миграции и bootstrap SHALL выполняться один раз за запуск отдельными сервисами, а не репликами. Уборщик SHALL стартовать после готовности PostgreSQL, успешных миграций и успешного bootstrap S3. Реплики API его не ждут, а фоновую уборку MUST NOT выполнять сами. Уборщик MUST NOT публиковать порты и SHALL перезапускаться после сбоя.
Перед этим цель SHALL создавать недостающие .env и config.toml из
шаблонов (make env_setup) и MUST NOT перезаписывать существующие: в
существующий .env она только дописывает переменные шаблона, которых в
нём нет (capability service-configuration, «Подключение к S3»).
make stop SHALL останавливать сервисы, make down — удалять
контейнеры, сохраняя volumes, make logs — показывать журнал всех
реплик API.
Scenario: Штатный запуск
- WHEN в свежем clone выполнен
make run_docker - THEN сервис отвечает через LB на
http://localhost:8080/health/ready, работают две реплики API и уборщик, сервер S3 в состоянииhealthy, bootstrap S3 завершился с кодом 0, иmake student_testпроходит
Scenario: Миграции один раз
- WHEN выполнен
make run_dockerс двумя репликами - THEN журнал сервиса миграций содержит один прогон, а в журналах реплик API нет запуска миграций
Scenario: Bootstrap S3 один раз
- WHEN выполнен
make run_dockerс двумя репликами - THEN журнал bootstrap S3 содержит один прогон, завершённый до старта реплик и уборщика, а в журналах реплик API нет создания bucket
Requirement: Лимиты ресурсов и секреты по сервисам
Каждый сервис стенда SHALL иметь лимиты CPU и памяти: LB, реплики API,
уборщик, сервисы миграций и bootstrap S3, PostgreSQL, Valkey и сервер
S3. Сумма лимитов и расчёт соединений PostgreSQL для заявленного числа
реплик и уборщика SHALL быть описаны в REPORT.md. Секреты SHALL
передаваться только тем сервисам, которым они нужны:
- пароль PostgreSQL — PostgreSQL, репликам API, уборщику и сервису миграций;
- пароль Valkey — Valkey и репликам API;
- административные ключ и секрет S3 — только серверу S3;
- ключ подписи служебных вызовов S3 — серверу S3 и bootstrap;
- ключи пользователя API в S3 — bootstrap и репликам API;
- ключи пользователя уборщика в S3 — bootstrap и уборщику;
- LB MUST NOT получать ни одного секрета, а сервис миграций, PostgreSQL и Valkey MUST NOT получать секретов S3. Уборщик MUST NOT получать пароль Valkey, ключи API, административные ключи S3 и ключ подписи.
Scenario: Лимиты у всех контейнеров
- WHEN для каждого контейнера запущенного стенда выполняется
docker inspect(HostConfig.NanoCpus,HostConfig.Memory) - THEN у LB, каждой реплики API, уборщика, сервисов миграций и bootstrap S3, PostgreSQL, Valkey и сервера S3 оба значения больше нуля
Scenario: Секреты по сервисам
- WHEN проверяющий смотрит окружение сервисов в
docker compose config - THEN у LB нет ни одного секрета; у сервиса миграций нет пароля Valkey и секретов S3; пароль Valkey есть только у Valkey и реплик API; административные ключи S3 — только у сервера S3, ключ подписи — у сервера S3 и bootstrap, ключи API в S3 — у bootstrap и реплик API, ключи уборщика в S3 — у bootstrap и уборщика