diff --git a/REPORT.md b/REPORT.md index 88710f9..955acaf 100644 --- a/REPORT.md +++ b/REPORT.md @@ -165,8 +165,8 @@ sha256, content_type, size_bytes, status, привязка к chat_id и к message_attachments. Через S3 любая API-реплика читает любую вложенность одинаково; локальный volume API не годится, потому что файл лежит только на одной реплике и теряется при её остановке - это критерий README -уровня 3 «Upload → остановка обслужившей API → download через другую -возвращает тот же файл». +уровня 3 "Upload → остановка обслужившей API → download через другую +возвращает тот же файл". Сессии - в Redis (без изменений от lab2-3). Без sticky session на LB любая реплика видит любую сессию. @@ -198,7 +198,7 @@ message_attachments. Через S3 любая API-реплика читает л ожидания reconciler. - Отказ между PutObject и UPDATE status='ready'. Объект в S3 есть, - строка pending. Это и есть «вечный неучтённый объект», если ничего + строка pending. Это и есть "вечный неучтённый объект", если ничего не делать. Закрывает reconciler: ListStalePending(now - grace) → Delete(object_key) → DeletePending(id). Grace 1 час: свежие pending (реальные upload'ы) не трогаются, только застрявшие. @@ -329,12 +329,117 @@ message_attachments. Через S3 любая API-реплика читает л ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Общая среда: Windows 10, Docker Desktop (WSL2 backend), одна физическая +машина, на которой работают и весь стенд, и клиенты тестов. +Все пользователи и изображения синтетические. Версии: PostgreSQL 16.4, +Redis 7.4, nginx 1.27.4, pgsty/silo RELEASE.2026-09-16T00-00-00Z +(MinIO fork), Go 1.26. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +| Воздействие | Что ожидаем | Что наблюдали | Время восстановления, потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Остановка одной API-реплики | writes продолжаются через LB, без дублей | recovery 5.48 / 5.34 с, повтор с тем же ключом даёт то же сообщение | 5–6 с, потерь нет | +| Поочерёдная остановка api-1 и api-2 вручную | каждый раз обслуживает оставшаяся | после stop api-1 отвечает один X-Instance-Id, после stop api-2 другой | <20 с суммарно, потерь нет | +| Перезапуск всего стека (`scripts/restart.sh`) | данные, сессии и файлы сохранены | StartedAt всех контейнеров обновился, PASS, прежний токен работает | в пределах бюджета теста, потерь нет | +| Остановка minio | /health/ready 503, LB снимает реплики; после start всё возвращается | ровно так; после start оба X-Instance-Id вернулись | ~15–20 с, потерь нет | +| Stale pending (2 минуты) при grace 30 с (для теста) | reconciler удаляет строку и объект | "reconciler: sweep done pending=1 orphans=0", pending_left=0 | на следующем tick (≤10 с в тестовом прогоне) | +| Orphan-объект в S3 старше grace | reconciler удаляет объект | лог orphans=N, объект удалён | аналогично | +| 10 параллельных upload по 10 MiB | RAM каждой реплики в пределах 256 MiB | 10 upload за 1.79 с, peak 138 / 141.5 MiB | пик не превышен, OOM нет | + +Пояснения: + +- Ошибки в окне переключения nginx при остановке API-реплики - нормальны + и разрешены README уровня 3 ("краткие ошибки во время обнаружения + отказа измеряются и допустимы"). После 5 секунд writes продолжаются. +- Reconciler в тесте запускался с `RECONCILER_INTERVAL_SECONDS=10` и + `RECONCILER_GRACE_SECONDS=30`, чтобы уложиться в минуту. В дефолтной + конфигурации интервал 5 минут, grace 1 час - для реальной работы + это безопаснее, потому что не трогает свежие upload'ы и только что + загруженные объекты, чей INSERT ещё в полёте. +- Пик RAM 141 MiB на реплике - не от upload'ов, а от Argon2id при + регистрации пользователей (6 операций × 64 MiB malloc при bootstrap). + Upload'ы добавили только +1..4 MiB к peak, потому что Go heap уже + раздут GC и `io.LimitReader` ограничивает каждый upload 10 MiB. + Худший сценарий 141 + 100 = 240 MiB < 256 MiB - укладывается с + запасом. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Что выдерживает: + +- Отказ одной API-реплики при живом S3 и Postgres. +- Перезапуск API и всех хранилищ (Postgres, Redis, MinIO) с сохранением + volumes - данные, сессии и файлы. +- Отказ S3: /health/ready 503 без утечек, LB снимает реплики, после + восстановления всё возвращается. +- Отказ между INSERT и PutObject: компенсация MarkFailed в том же + запросе, без ожидания reconciler. +- Отказ между PutObject и UPDATE ready: reconciler через grace period + (1 час) удаляет застрявшие pending и объект. +- Orphan-объекты (Put прошёл, INSERT упал): reconciler через grace + period удаляет объекты в S3, которых нет в БД. +- 10 параллельных upload по 10 MiB - peak RAM каждой реплики + укладывается в лимит 256 MiB. + +Что не выдерживает: + +- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря + системы. PostgreSQL и MinIO без репликации, nginx LB без резерва. +- Отказ MinIO на длительное время (например, потеря volume): файлы + не восстановятся, потому что второй копии нет. Метаданные в + Postgres остаются, скачивание отдаёт 404/503. +- Grace period reconciler (1 час) защищает от случайного удаления + живых загрузок, но не является транзакционной гарантией. В + редком случае ровно на границе grace и очень медленной загрузки + возможен false-positive, теоретически удаление свежего объекта. + Вероятность пренебрежимо мала для учебного стенда, но в реальной + работе grace стоит увеличивать до нескольких часов и добавлять + heartbeat-обновление updated_at у активных загрузок. +- Медленная сеть к S3: reconciler обходит ListObjects и Delete + по одному, что на больших бакетах станет дорого. На учебном + бакете это не проявляется. + +Не реализовано в этой работе: + +- Трек 5 (presigned upload или повторяемый reconciler с dry-run и + инъекцией ошибок) - целевая оценка 4, трек 5 не заявлен. +- Background worker и thumbnail (это уже lab5). +- Argon2id вместо текущего KDF в lab7, TLS/mTLS, OpenBao. +- HTTPS. По контракту до lab7 достаточно HTTP для локального стенда. +- Rate limiting: схема допускает `429`, реализация не требуется. + +Учебные упрощения: + +- MinIO fork pgsty/silo: `minio/minio` заархивирован, официальных + community-образов с 2025 нет. pgsty/silo - drop-in замена с тем же + S3 API и mc; версия образа закреплена. +- Роль reconciler в одной реплике через pg advisory lock. Не является + распределённой HA-сверкой; при потере хоста обе реплики и + reconciler исчезают. +- БД и S3 в одном экземпляре, оба на том же хосте, что и API. Для + уровня 3-4 достаточно, для продакшена нужны репликация БД, + версионирование S3, отдельный хост под reconciler/worker. + +Подтверждённые улучшения (сводка по lab4): + +- Метаданные и бинарные данные разнесены: Postgres - источник истины + для структуры, S3 - источник истины для байтов. Файл в локальном + volume API не равен объектному хранилищу, потому что при остановке + реплики файл недоступен через другую; S3 решает это. +- Grace period reconciler (1 час) не трогает живые загрузки и свежие + Put-объекты: stale pending и orphans обрабатываются только после + истечения срока. +- Отдельные S3-креды с ограниченной policy плюс приватный bucket + плюс MINIO_BROWSER=off: административный доступ к S3 полностью + изолирован от API. Проверяется в evidence/s3-private.txt. +- nginx client_max_body_size=12m: иначе nginx режет на 1 MiB по + умолчанию, 413 летит без X-Request-Id (это ответ LB, а не API), + и публичный тест падает "missing X-Request-Id". +- Миграция 0004 ослабляет CHECK messages_text_not_blank до + `text !~ '^[[:space:]]+$'`: `text=""` с attachments валиден по + lab4 anyOf, а whitespace-only по-прежнему запрещён на уровне БД. + +Следующий шаг для полной картины: увеличить grace period reconciler +до нескольких часов и добавить heartbeat от активных загрузок +(обновление updated_at), чтобы устранить теоретический false-positive +на границе grace. Для production-варианта - вынести reconciler в +отдельный процесс/реплику и добавить репликацию БД и S3. \ No newline at end of file