docs(report):lab4 experiments, failures and limitations

This commit is contained in:
Голиков Maximillian Антон
2026-10-23 20:40:33 +03:00
parent 7d61768e55
commit 53aeca3653
+112 -7
View File
@@ -165,8 +165,8 @@ sha256, content_type, size_bytes, status, привязка к chat_id и к
message_attachments. Через S3 любая API-реплика читает любую вложенность
одинаково; локальный volume API не годится, потому что файл лежит только
на одной реплике и теряется при её остановке - это критерий README
уровня 3 «Upload → остановка обслужившей API → download через другую
возвращает тот же файл».
уровня 3 "Upload → остановка обслужившей API → download через другую
возвращает тот же файл".
Сессии - в Redis (без изменений от lab2-3). Без sticky session на LB
любая реплика видит любую сессию.
@@ -198,7 +198,7 @@ message_attachments. Через S3 любая API-реплика читает л
ожидания reconciler.
- Отказ между PutObject и UPDATE status='ready'. Объект в S3 есть,
строка pending. Это и есть «вечный неучтённый объект», если ничего
строка pending. Это и есть "вечный неучтённый объект", если ничего
не делать. Закрывает reconciler: ListStalePending(now - grace) →
Delete(object_key) → DeletePending(id). Grace 1 час: свежие pending
(реальные upload'ы) не трогаются, только застрявшие.
@@ -329,12 +329,117 @@ message_attachments. Через S3 любая API-реплика читает л
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Общая среда: Windows 10, Docker Desktop (WSL2 backend), одна физическая
машина, на которой работают и весь стенд, и клиенты тестов.
Все пользователи и изображения синтетические. Версии: PostgreSQL 16.4,
Redis 7.4, nginx 1.27.4, pgsty/silo RELEASE.2026-09-16T00-00-00Z
(MinIO fork), Go 1.26.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления, потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Остановка одной API-реплики | writes продолжаются через LB, без дублей | recovery 5.48 / 5.34 с, повтор с тем же ключом даёт то же сообщение | 5–6 с, потерь нет |
| Поочерёдная остановка api-1 и api-2 вручную | каждый раз обслуживает оставшаяся | после stop api-1 отвечает один X-Instance-Id, после stop api-2 другой | <20 с суммарно, потерь нет |
| Перезапуск всего стека (`scripts/restart.sh`) | данные, сессии и файлы сохранены | StartedAt всех контейнеров обновился, PASS, прежний токен работает | в пределах бюджета теста, потерь нет |
| Остановка minio | /health/ready 503, LB снимает реплики; после start всё возвращается | ровно так; после start оба X-Instance-Id вернулись | ~15–20 с, потерь нет |
| Stale pending (2 минуты) при grace 30 с (для теста) | reconciler удаляет строку и объект | "reconciler: sweep done pending=1 orphans=0", pending_left=0 | на следующем tick (≤10 с в тестовом прогоне) |
| Orphan-объект в S3 старше grace | reconciler удаляет объект | лог orphans=N, объект удалён | аналогично |
| 10 параллельных upload по 10 MiB | RAM каждой реплики в пределах 256 MiB | 10 upload за 1.79 с, peak 138 / 141.5 MiB | пик не превышен, OOM нет |
Пояснения:
- Ошибки в окне переключения nginx при остановке API-реплики - нормальны
и разрешены README уровня 3 ("краткие ошибки во время обнаружения
отказа измеряются и допустимы"). После 5 секунд writes продолжаются.
- Reconciler в тесте запускался с `RECONCILER_INTERVAL_SECONDS=10` и
`RECONCILER_GRACE_SECONDS=30`, чтобы уложиться в минуту. В дефолтной
конфигурации интервал 5 минут, grace 1 час - для реальной работы
это безопаснее, потому что не трогает свежие upload'ы и только что
загруженные объекты, чей INSERT ещё в полёте.
- Пик RAM 141 MiB на реплике - не от upload'ов, а от Argon2id при
регистрации пользователей (6 операций × 64 MiB malloc при bootstrap).
Upload'ы добавили только +1..4 MiB к peak, потому что Go heap уже
раздут GC и `io.LimitReader` ограничивает каждый upload 10 MiB.
Худший сценарий 141 + 100 = 240 MiB < 256 MiB - укладывается с
запасом.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Что выдерживает:
- Отказ одной API-реплики при живом S3 и Postgres.
- Перезапуск API и всех хранилищ (Postgres, Redis, MinIO) с сохранением
volumes - данные, сессии и файлы.
- Отказ S3: /health/ready 503 без утечек, LB снимает реплики, после
восстановления всё возвращается.
- Отказ между INSERT и PutObject: компенсация MarkFailed в том же
запросе, без ожидания reconciler.
- Отказ между PutObject и UPDATE ready: reconciler через grace period
(1 час) удаляет застрявшие pending и объект.
- Orphan-объекты (Put прошёл, INSERT упал): reconciler через grace
period удаляет объекты в S3, которых нет в БД.
- 10 параллельных upload по 10 MiB - peak RAM каждой реплики
укладывается в лимит 256 MiB.
Что не выдерживает:
- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря
системы. PostgreSQL и MinIO без репликации, nginx LB без резерва.
- Отказ MinIO на длительное время (например, потеря volume): файлы
не восстановятся, потому что второй копии нет. Метаданные в
Postgres остаются, скачивание отдаёт 404/503.
- Grace period reconciler (1 час) защищает от случайного удаления
живых загрузок, но не является транзакционной гарантией. В
редком случае ровно на границе grace и очень медленной загрузки
возможен false-positive, теоретически удаление свежего объекта.
Вероятность пренебрежимо мала для учебного стенда, но в реальной
работе grace стоит увеличивать до нескольких часов и добавлять
heartbeat-обновление updated_at у активных загрузок.
- Медленная сеть к S3: reconciler обходит ListObjects и Delete
по одному, что на больших бакетах станет дорого. На учебном
бакете это не проявляется.
Не реализовано в этой работе:
- Трек 5 (presigned upload или повторяемый reconciler с dry-run и
инъекцией ошибок) - целевая оценка 4, трек 5 не заявлен.
- Background worker и thumbnail (это уже lab5).
- Argon2id вместо текущего KDF в lab7, TLS/mTLS, OpenBao.
- HTTPS. По контракту до lab7 достаточно HTTP для локального стенда.
- Rate limiting: схема допускает `429`, реализация не требуется.
Учебные упрощения:
- MinIO fork pgsty/silo: `minio/minio` заархивирован, официальных
community-образов с 2025 нет. pgsty/silo - drop-in замена с тем же
S3 API и mc; версия образа закреплена.
- Роль reconciler в одной реплике через pg advisory lock. Не является
распределённой HA-сверкой; при потере хоста обе реплики и
reconciler исчезают.
- БД и S3 в одном экземпляре, оба на том же хосте, что и API. Для
уровня 3-4 достаточно, для продакшена нужны репликация БД,
версионирование S3, отдельный хост под reconciler/worker.
Подтверждённые улучшения (сводка по lab4):
- Метаданные и бинарные данные разнесены: Postgres - источник истины
для структуры, S3 - источник истины для байтов. Файл в локальном
volume API не равен объектному хранилищу, потому что при остановке
реплики файл недоступен через другую; S3 решает это.
- Grace period reconciler (1 час) не трогает живые загрузки и свежие
Put-объекты: stale pending и orphans обрабатываются только после
истечения срока.
- Отдельные S3-креды с ограниченной policy плюс приватный bucket
плюс MINIO_BROWSER=off: административный доступ к S3 полностью
изолирован от API. Проверяется в evidence/s3-private.txt.
- nginx client_max_body_size=12m: иначе nginx режет на 1 MiB по
умолчанию, 413 летит без X-Request-Id (это ответ LB, а не API),
и публичный тест падает "missing X-Request-Id".
- Миграция 0004 ослабляет CHECK messages_text_not_blank до
`text !~ '^[[:space:]]+$'`: `text=""` с attachments валиден по
lab4 anyOf, а whitespace-only по-прежнему запрещён на уровне БД.
Следующий шаг для полной картины: увеличить grace period reconciler
до нескольких часов и добавить heartbeat от активных загрузок
(обновление updated_at), чтобы устранить теоретический false-positive
на границе grace. Для production-варианта - вынести reconciler в
отдельный процесс/реплику и добавить репликацию БД и S3.