Files
mtusi2026lab4-fork/REPORT.md
T

445 lines
31 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт - лабораторная 4
- Автор, группа: Голиков Антон, БВТ2303
- Целевая оценка: на 4 (уровни 3+4, без трека 5)
- Commit/PR: ветка `solution/BVT2303-Golikov`, PR будет открыт после публикации
- Использованные источники, библиотеки и помощь ИИ:
- Скелет лабы 4 и материалы курса: COURSE.md, contracts/openapi.json,
contracts/README.md, contracts/infrastructure.json
- Документация MinIO (mc admin user/policy, bucket policy), S3 API
(PutObject/GetObject/ListObjects), pgx v5, goose, gin
- Собственная реализация лабы 3: Go 1.26, gin, pgx, goose, Redis,
nginx, две API-реплики, X-Instance-Id, Idempotency-Key
- ИИ (ChatGPT) использован для структуры отчёта, вычитки формулировок
и подсказок по рутинным местам (политика MinIO, healthcheck).
Весь код, конфигурация, эксперименты и финальные тексты проверены
и объясняются автором на защите.
## Запуск из чистого clone
Prerequisites:
- Docker Desktop 4.30+ (WSL2 backend) или Docker Engine с Compose v2.20+
- Go 1.26+ (для локальной сборки без Docker; в Docker-варианте не нужен)
- Python 3.9+ (для публичных тестов из scaffold)
- git, make
Шаги запуска:
1. Клонировать fork и перейти на ветку solution:
git clone https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab4-fork.git
cd mtusi2026lab4
git checkout solution/BVT2303-Golikov
2. Создать локальные secrets. Значения генерируются оператором, в Git
не попадают. Добавились четыре секрета для S3 (в дополнение к трём
из lab2-3):
mkdir -p secrets
# PostgreSQL (как в lab2-3)
PW="$(openssl rand -hex 16)"
printf "%s" "$PW" > secrets/postgres_password
printf "%s" "postgres://messenger:$PW@postgres:5432/messenger?sslmode=disable" \
> secrets/database_url
printf "%s" "redis://redis:6379/0" > secrets/cache_url
# MinIO root (только для mc-init, API их не видит)
printf "%s" "messenger-minio-root" > secrets/minio_root_user
openssl rand -base64 32 | tr -d '\r\n' > secrets/minio_root_password
# S3 API-креды (для сервиса api)
printf "%s" "messenger-api" > secrets/s3_access_key_id
openssl rand -hex 32 > secrets/s3_secret_access_key
chmod 600 secrets/*
3. Создать .env из .env.example:
cp .env.example .env
Переменные и дефолты, которые изменились относительно lab3:
- S3_ENDPOINT=http://minio:9000
- S3_BUCKET=messenger-attachments
- S3_REGION=us-east-1
- S3_USE_SSL=false
- S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
- S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
- MAX_UPLOAD_BYTES=10485760 (10 MiB)
- MAX_IMAGE_PIXELS=40000000 (40 млн)
- RECONCILER_ENABLED=true
- RECONCILER_INTERVAL_SECONDS=300
- RECONCILER_GRACE_SECONDS=3600 (1 час)
- MINIO_ROOT_USER=messenger-minio-root
- MINIO_CPUS=0.5, MINIO_MEMORY=512M
Остальные переменные (SESSION_STORE=redis, SESSION_TTL_SECONDS,
IDEMPOTENCY_TTL_SECONDS, SHUTDOWN_DRAIN_SECONDS, лимиты CPU/RAM,
API_REPLICAS=2, LB_PORT=8080) без изменений от lab3.
4. Собрать образ API и запустить стек:
docker compose build api
docker compose up -d
5. Дождаться, пока mc-init создаст bucket и API-пользователя,
и применились миграции 0001–0004:
docker compose logs migrate
# ожидать: goose: successfully migrated database to version: 4
# при первом запуске: OK 0001..0004
docker compose logs mc-init
# ожидать: minio bootstrap ok: bucket=messenger-attachments user=messenger-api
curl -sS http://localhost:8080/health/ready
# ожидать: {"status":"ok"}
Сервис mc-init идемпотентен: повторный `docker compose run --rm mc-init`
не падает и не дублирует bucket или policy. API использует отдельные
S3-креды (messenger-api, policy только на messenger-attachments/*);
root-креды MinIO видят только minio и mc-init.
6. Прогнать публичный smoke и проверки от scaffold:
PYTHONUTF8=1 make check
PYTHONUTF8=1 make test
7. Проверки сохранности и отказа (требуют scripts/restart.sh и
scripts/stop-one.sh из lab3, они перенесены):
PYTHONUTF8=1 make test-persistence ACTION_SCRIPT=scripts/restart.sh
PYTHONUTF8=1 make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Версии образов (закреплены в compose.yaml):
- pgsty/silo:RELEASE.2026-09-16T00-00-00Z — drop-in MinIO fork.
Оригинальный minio/minio заархивирован в 2025-м, официальные
community-образы сняты с Docker Hub; pgsty/silo сохраняет S3 API,
mc и healthcheck без изменений.
- postgres:16.4-alpine
- redis:7.4-alpine
- nginx:1.27.4-alpine
- mtusi-messenger-api:lab3 — собственный образ, собирается из Dockerfile
Безопасная остановка:
docker compose stop # остановить контейнеры, volumes сохранить
docker compose down # удалить контейнеры и сеть, volumes сохранить
Остановка с удалением учебных данных (необратимо, удалит все volumes):
docker compose down -v
Отдельно про .env и secrets: оба пути в .gitignore, в репозиторий не
попадают. Значения паролей синтетические, для локального стенда.
## Архитектура и решения
Схема:
client (curl / python / smoke)
|
v
nginx LB (:8080) единственная публичная точка
|
+-> api-1 :8080 реплика 1
+-> api-2 :8080 реплика 2
|
+-> postgres :5432 users, chats, chat_members, messages,
| sessions, idempotency_keys, attachments,
| message_attachments
+-> redis :6379 сессии (SESSION_STORE=redis)
+-> minio :9000 S3, приватный bucket messenger-attachments
(порты наружу не публикуются)
|
+-- mc-init (одноразовый) bootstrap: bucket + policy + API-user
+-- migrate (одноразовый) goose up
Источник истины - PostgreSQL для метаданных и S3 для бинарных байтов.
Разделение намеренное: байты не хранятся в БД (не BLOB, не локальный
каталог api), только в приватном bucket; в Postgres - object_key,
sha256, content_type, size_bytes, status, привязка к chat_id и к
message_attachments. Через S3 любая API-реплика читает любую вложенность
одинаково; локальный volume API не годится, потому что файл лежит только
на одной реплике и теряется при её остановке - это критерий README
уровня 3 "Upload → остановка обслужившей API → download через другую
возвращает тот же файл".
Сессии - в Redis (без изменений от lab2-3). Без sticky session на LB
любая реплика видит любую сессию.
Транзакционные границы:
- Создание чата - одна транзакция в Postgres (chats + chat_members).
- Идемпотентная отправка сообщения - одна транзакция: слот в
idempotency_keys, проверка и линковка attachments, INSERT в messages,
INSERT в message_attachments. Либо всё, либо ничего.
- Загрузка вложения - две точки сохранения без общей транзакции (S3
и Postgres - разные системы). Последовательность:
INSERT attachments (status='pending', object_key, sha256) → COMMIT
PutObject в S3 → OK/FAIL
UPDATE attachments status='ready' → COMMIT
Это ключевая граница lab4. Ниже - как каждый отказ на этой границе
компенсируется.
- Регистрация - один INSERT с UNIQUE-индексом на username (23505 →
409 через mapError).
Компенсация и сверка (уровень 4):
- Отказ между INSERT и PutObject. Строка pending осталась, объекта в
S3 нет. Handler ловит ошибку PutObject и сразу вызывает
MarkFailed(id, "upload_failed") - компенсация в том же запросе, без
ожидания reconciler.
- Отказ между PutObject и UPDATE status='ready'. Объект в S3 есть,
строка pending. Это и есть "вечный неучтённый объект", если ничего
не делать. Закрывает reconciler: ListStalePending(now - grace) →
Delete(object_key) → DeletePending(id). Grace 1 час: свежие pending
(реальные upload'ы) не трогаются, только застрявшие.
- Обратный случай: PutObject прошёл, INSERT в Postgres упал. Объект
в S3 есть, строки в БД нет - orphan. Закрывает reconciler:
List(S3) → отфильтровать LastModified < now - grace → ExistingKeys(DB)
→ Delete тех, которых нет в БД. Grace 1 час защищает свежий Put,
чей INSERT ещё не закоммичен.
- Reconciler запускается во всех репликах, но использует
pg_try_advisory_lock: одна реплика на tick берёт session-level
advisory lock, остальные пропускают tick. Postgres автоматически
освобождает лок, если процесс упал.
Отдельные S3-креды и приватность bucket:
- Root-креды MinIO (minio_root_user/minio_root_password) видят только
minio и mc-init. API-контейнер их не получает.
- API использует messenger-api с policy только на messenger-attachments
(GetObject, PutObject, DeleteObject на bucket/*, ListBucket на bucket).
Создание/удаление bucket, policy, пользователей недоступны.
- Bucket приватный: без подписи GET возвращает 403. Проверяется в
evidence/s3-private.txt.
- MINIO_BROWSER=off: административная консоль не слушается. Порты
9000/9001 не публикуются на хост (только внутри internal-сети).
Что перенесено из lab3 без изменений:
- Схема БД: users, chats, chat_members, messages, sessions
- idempotency_keys с TTL 24 часа, Idempotency-Key обязателен
- X-Instance-Id в каждом ответе API (os.Hostname())
- Миграции goose, отдельный процесс /server migrate
- Graceful drain на SIGTERM, atomic ready-флаг, SHUTDOWN_DRAIN_SECONDS
- CPU/RAM лимиты на api, postgres, redis через deploy.resources
- nginx LB перед двумя репликами, upstream keepalive
- Горизонтальное масштабирование: две реплики, общие сессии в Redis
Что добавлено/изменено в lab4:
1. Отдельный сервис minio (pgsty/silo), persistent volume minio_data.
2. Одноразовый сервис mc-init: создаёт bucket, policy, API-user.
Идемпотентен.
3. Миграция 0003: таблицы attachments и message_attachments, индексы,
ограничения (status, size, sha256, content_type, filename).
4. Миграция 0004: ослаблен CHECK messages_text_not_blank - пустой
текст разрешён при наличии вложений (lab4 anyOf), но
whitespace-only по-прежнему запрещён.
5. Три endpoint: POST /chats/{chat_id}/attachments (raw bytes PNG/JPEG,
max 10 MiB, max 40M пикселей), GET /attachments/{id} и
GET /attachments/{id}/content (без redirect, только участникам чата).
6. POST /messages принимает attachment_ids (0-10), все вложения должны
принадлежать этому чату и быть ready; anyOf text или attachments.
7. RequestHash расширен: sha256(text) без attachments (обратная
совместимость с lab3), sha256(text + 0x00 + ids) с attachments.
8. Reconciler в API, pg advisory lock, две задачи (stale pending,
orphan objects), grace 1 час.
9. Healthcheck /health/ready пингует S3 (BucketExists).
10. nginx client_max_body_size=12m (10 MiB upload + запас на 11 MiB
negative-тест, чтобы 413 шёл от API с X-Request-Id, а не от nginx).
Соответствие переменных .env.example реальной конфигурации (новое
в lab4):
- S3_ENDPOINT, S3_BUCKET, S3_REGION, S3_USE_SSL - читаются в
config.Load, идут в s3.Config. Для внутреннего MinIO
http://minio:9000, SSL=false.
- S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE - secrets в
/run/secrets, читаются через readSecretOptional.
- MAX_UPLOAD_BYTES - идёт в AttachmentService (io.LimitReader body =
maxBytes+1, 413 при превышении).
- MAX_IMAGE_PIXELS - идёт в AttachmentService (image.DecodeConfig,
413 при W*H > maxPixels).
- RECONCILER_ENABLED, RECONCILER_INTERVAL_SECONDS,
RECONCILER_GRACE_SECONDS - читаются в config.Load, идут в
service.Reconciler.
- MINIO_ROOT_USER - только для minio и mc-init, не попадает в api.
## Доказательства критериев
Все evidence-файлы лежат в `evidence/`, содержат только обезличенные
результаты и не включают токены, пароли, signed URL или приватные
ключи.
Уровень 3:
| Критерий | Команда | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Публичный smoke | `PYTHONUTF8=1 make test` | PASS: lab4 public API scenario | evidence/smoke.txt |
| >= 2 API-реплики за LB | `docker compose ps` | api-1 и api-2 Up (healthy), LB публикует :8080 | evidence/container-state.txt |
| Остановка одной реплики <= 10 с | `make test-failover` | first_recovery_seconds 5.48 | evidence/failover-1.txt |
| Поочерёдная остановка каждой (автотест) | `make test-failover` дважды | recovery 5.48 и 5.34, дублей нет | evidence/failover-1.txt, failover-2.txt |
| Поочерёдная остановка каждой (ручной) | `docker stop api-1`, потом `api-2` | после остановки каждой отвечает ровно один X-Instance-Id | evidence/failover-manual.txt |
| Идемпотентность POST | smoke + failover (replay с тем же ключом) | тот же ответ, дублей нет | evidence/smoke.txt, failover-*.txt |
| Persistence после restart | `make test-persistence` | PASS, StartedAt всех контейнеров обновился | evidence/persistence.txt |
| S3-сервер в общем стенде, приватный bucket | `docker compose ps`, `mc ls local` | minio Up (healthy), bucket messenger-attachments (0 B) | evidence/container-state.txt |
| Метаданные в Postgres, байты в S3 | `psql \d attachments`, `mc ls` | таблица attachments; object_key в S3 | evidence/s3-private.txt, container-state.txt |
| POST вложения возвращает 201 ready | smoke, test_attachments | 201 ready, sha256/size совпадают | evidence/attachments-negative.txt |
| Download побайтно, sha256 совпадает | smoke | download.bytes == original | evidence/smoke.txt |
| Чужой участник получает 404 на метаданные и байты | test_attachments | 404 без 403 | evidence/attachments-negative.txt |
| Прямой GET S3 без подписи -> 403 | `wget http://minio:9000/messenger-attachments/<key>` | HTTP/1.1 403 Forbidden | evidence/s3-private.txt |
| Upload -> остановка обслужившей API -> download через другую | failover (файл приложен до отказа) | download через другую реплику == оригинал | evidence/failover-1.txt, failover-2.txt |
| Restart с сохранением volumes сохраняет оригинал | persistence | PASS, download == исходный файл | evidence/persistence.txt |
| S3 недоступен -> 503 без утечек | `docker compose stop minio` | /health/ready 503 unavailable; LB снимает реплики | evidence/s3-down.txt |
| Не более 10 MiB, не более 40M пикселей | test_attachments | 11 MiB -> 413 payload_too_large | evidence/attachments-negative.txt |
| MIME по содержимому | test_attachments | PNG-байты с Content-Type image/jpeg -> 201, content_type image/png | evidence/attachments-negative.txt |
| Опасные filename отклоняются | test_attachments | /, \\, NUL -> 400 invalid_request | evidence/attachments-negative.txt |
Уровень 4:
| Критерий | Команда | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Тест слишком большого файла | test_attachments (11 MiB) | 413 payload_too_large, не 500 | evidence/attachments-negative.txt |
| Тест повреждённого изображения | test_attachments (signature без IHDR) | 415 unsupported_media_type | evidence/attachments-negative.txt |
| Тест подмены MIME | test_attachments (PNG как image/jpeg) | 201, content_type определён по magic bytes | evidence/attachments-negative.txt |
| Тест чужого attachment_id | test_attachments (eve -> metadata и bytes) | 404 без утечки существования | evidence/attachments-negative.txt |
| Тест attachment_id из другого чата | test_attachments (message с чужим id) | 404 not_found | evidence/attachments-negative.txt |
| Failed-вложение в message | test_attachments | 409 conflict (см. Contract) | evidence/attachments-negative.txt |
| Пользовательская ошибка не превращается в 500 | test_attachments | все отказы 4xx; ни одна не 500 | evidence/attachments-negative.txt |
| Отказ S3/БД не оставляет вечных неучтённых объектов | reconciler с ускоренными интервалами | stale pending и orphan-объект удалены; pending_left=0 | evidence/reconciler.txt |
| Документированный grace period | README/REPORT, плюс evidence | ListStalePending(now - 1h), orphan только старше 1h | этот отчёт, evidence/reconciler.txt |
| Лимиты до неограниченного чтения | код + memory test | io.LimitReader(maxBytes+1), image.DecodeConfig до декодирования | student-tests/test_memory.py |
| >=10 одновременных загрузок с измерением пика RAM | test_memory.py + cgroups v2 | пик 141 MiB на каждой реплике <= 256 MiB лимита | evidence/memory-10x10mb.txt |
| Bucket bootstrap идемпотентен | `docker compose run --rm mc-init` дважды | exit 0, "no such bucket / user exists" не срабатывает | этот отчёт |
| API использует отдельные S3-креды с ограниченными правами | `mc admin user list`, policy | только messenger-api, GetObject/PutObject/DeleteObject на bucket/* | evidence/s3-private.txt |
| Административная консоль не открыта в общей сети | `docker compose port minio 9001`, `printenv MINIO_BROWSER` | порт не проброшен, браузер off | evidence/s3-private.txt |
| Проверка private bucket вне API | `wget http://minio:9000/messenger-attachments/<key>` | 403 Forbidden без подписи | evidence/s3-private.txt |
## Эксперименты и отказы
Общая среда: Windows 10, Docker Desktop (WSL2 backend), одна физическая
машина, на которой работают и весь стенд, и клиенты тестов.
Все пользователи и изображения синтетические. Версии: PostgreSQL 16.4,
Redis 7.4, nginx 1.27.4, pgsty/silo RELEASE.2026-09-16T00-00-00Z
(MinIO fork), Go 1.26.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления, потеря данных |
| --- | --- | --- | --- |
| Остановка одной API-реплики | writes продолжаются через LB, без дублей | recovery 5.48 / 5.34 с, повтор с тем же ключом даёт то же сообщение | 5–6 с, потерь нет |
| Поочерёдная остановка api-1 и api-2 вручную | каждый раз обслуживает оставшаяся | после stop api-1 отвечает один X-Instance-Id, после stop api-2 другой | <20 с суммарно, потерь нет |
| Перезапуск всего стека (`scripts/restart.sh`) | данные, сессии и файлы сохранены | StartedAt всех контейнеров обновился, PASS, прежний токен работает | в пределах бюджета теста, потерь нет |
| Остановка minio | /health/ready 503, LB снимает реплики; после start всё возвращается | ровно так; после start оба X-Instance-Id вернулись | ~15–20 с, потерь нет |
| Stale pending (2 минуты) при grace 30 с (для теста) | reconciler удаляет строку и объект | "reconciler: sweep done pending=1 orphans=0", pending_left=0 | на следующем tick (≤10 с в тестовом прогоне) |
| Orphan-объект в S3 старше grace | reconciler удаляет объект | лог orphans=N, объект удалён | аналогично |
| 10 параллельных upload по 10 MiB | RAM каждой реплики в пределах 256 MiB | 10 upload за 1.79 с, peak 138 / 141.5 MiB | пик не превышен, OOM нет |
Пояснения:
- Ошибки в окне переключения nginx при остановке API-реплики - нормальны
и разрешены README уровня 3 ("краткие ошибки во время обнаружения
отказа измеряются и допустимы"). После 5 секунд writes продолжаются.
- Reconciler в тесте запускался с `RECONCILER_INTERVAL_SECONDS=10` и
`RECONCILER_GRACE_SECONDS=30`, чтобы уложиться в минуту. В дефолтной
конфигурации интервал 5 минут, grace 1 час - для реальной работы
это безопаснее, потому что не трогает свежие upload'ы и только что
загруженные объекты, чей INSERT ещё в полёте.
- Пик RAM 141 MiB на реплике - не от upload'ов, а от Argon2id при
регистрации пользователей (6 операций × 64 MiB malloc при bootstrap).
Upload'ы добавили только +1..4 MiB к peak, потому что Go heap уже
раздут GC и `io.LimitReader` ограничивает каждый upload 10 MiB.
Худший сценарий 141 + 100 = 240 MiB < 256 MiB - укладывается с
запасом.
## Ограничения и следующие шаги
Что выдерживает:
- Отказ одной API-реплики при живом S3 и Postgres.
- Перезапуск API и всех хранилищ (Postgres, Redis, MinIO) с сохранением
volumes - данные, сессии и файлы.
- Отказ S3: /health/ready 503 без утечек, LB снимает реплики, после
восстановления всё возвращается.
- Отказ между INSERT и PutObject: компенсация MarkFailed в том же
запросе, без ожидания reconciler.
- Отказ между PutObject и UPDATE ready: reconciler через grace period
(1 час) удаляет застрявшие pending и объект.
- Orphan-объекты (Put прошёл, INSERT упал): reconciler через grace
period удаляет объекты в S3, которых нет в БД.
- 10 параллельных upload по 10 MiB - peak RAM каждой реплики
укладывается в лимит 256 MiB.
Что не выдерживает:
- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря
системы. PostgreSQL и MinIO без репликации, nginx LB без резерва.
- Отказ MinIO на длительное время (например, потеря volume): файлы
не восстановятся, потому что второй копии нет. Метаданные в
Postgres остаются, скачивание отдаёт 404/503.
- Grace period reconciler (1 час) защищает от случайного удаления
живых загрузок, но не является транзакционной гарантией. В
редком случае ровно на границе grace и очень медленной загрузки
возможен false-positive, теоретически удаление свежего объекта.
Вероятность пренебрежимо мала для учебного стенда, но в реальной
работе grace стоит увеличивать до нескольких часов и добавлять
heartbeat-обновление updated_at у активных загрузок.
- Медленная сеть к S3: reconciler обходит ListObjects и Delete
по одному, что на больших бакетах станет дорого. На учебном
бакете это не проявляется.
Не реализовано в этой работе:
- Трек 5 (presigned upload или повторяемый reconciler с dry-run и
инъекцией ошибок) - целевая оценка 4, трек 5 не заявлен.
- Background worker и thumbnail (это уже lab5).
- Argon2id вместо текущего KDF в lab7, TLS/mTLS, OpenBao.
- HTTPS. По контракту до lab7 достаточно HTTP для локального стенда.
- Rate limiting: схема допускает `429`, реализация не требуется.
Учебные упрощения:
- MinIO fork pgsty/silo: `minio/minio` заархивирован, официальных
community-образов с 2025 нет. pgsty/silo - drop-in замена с тем же
S3 API и mc; версия образа закреплена.
- Роль reconciler в одной реплике через pg advisory lock. Не является
распределённой HA-сверкой; при потере хоста обе реплики и
reconciler исчезают.
- БД и S3 в одном экземпляре, оба на том же хосте, что и API. Для
уровня 3-4 достаточно, для продакшена нужны репликация БД,
версионирование S3, отдельный хост под reconciler/worker.
Подтверждённые улучшения (сводка по lab4):
- Метаданные и бинарные данные разнесены: Postgres - источник истины
для структуры, S3 - источник истины для байтов. Файл в локальном
volume API не равен объектному хранилищу, потому что при остановке
реплики файл недоступен через другую; S3 решает это.
- Grace period reconciler (1 час) не трогает живые загрузки и свежие
Put-объекты: stale pending и orphans обрабатываются только после
истечения срока.
- Отдельные S3-креды с ограниченной policy плюс приватный bucket
плюс MINIO_BROWSER=off: административный доступ к S3 полностью
изолирован от API. Проверяется в evidence/s3-private.txt.
- nginx client_max_body_size=12m: иначе nginx режет на 1 MiB по
умолчанию, 413 летит без X-Request-Id (это ответ LB, а не API),
и публичный тест падает "missing X-Request-Id".
- Миграция 0004 ослабляет CHECK messages_text_not_blank до
`text !~ '^[[:space:]]+$'`: `text=""` с attachments валиден по
lab4 anyOf, а whitespace-only по-прежнему запрещён на уровне БД.
Следующий шаг для полной картины: увеличить grace period reconciler
до нескольких часов и добавить heartbeat от активных загрузок
(обновление updated_at), чтобы устранить теоретический false-positive
на границе grace. Для production-варианта - вынести reconciler в
отдельный процесс/реплику и добавить репликацию БД и S3.