docs(report):lab4 experiments, failures and limitations
This commit is contained in:
@@ -165,8 +165,8 @@ sha256, content_type, size_bytes, status, привязка к chat_id и к
|
||||
message_attachments. Через S3 любая API-реплика читает любую вложенность
|
||||
одинаково; локальный volume API не годится, потому что файл лежит только
|
||||
на одной реплике и теряется при её остановке - это критерий README
|
||||
уровня 3 «Upload → остановка обслужившей API → download через другую
|
||||
возвращает тот же файл».
|
||||
уровня 3 "Upload → остановка обслужившей API → download через другую
|
||||
возвращает тот же файл".
|
||||
|
||||
Сессии - в Redis (без изменений от lab2-3). Без sticky session на LB
|
||||
любая реплика видит любую сессию.
|
||||
@@ -198,7 +198,7 @@ message_attachments. Через S3 любая API-реплика читает л
|
||||
ожидания reconciler.
|
||||
|
||||
- Отказ между PutObject и UPDATE status='ready'. Объект в S3 есть,
|
||||
строка pending. Это и есть «вечный неучтённый объект», если ничего
|
||||
строка pending. Это и есть "вечный неучтённый объект", если ничего
|
||||
не делать. Закрывает reconciler: ListStalePending(now - grace) →
|
||||
Delete(object_key) → DeletePending(id). Grace 1 час: свежие pending
|
||||
(реальные upload'ы) не трогаются, только застрявшие.
|
||||
@@ -329,12 +329,117 @@ message_attachments. Через S3 любая API-реплика читает л
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Общая среда: Windows 10, Docker Desktop (WSL2 backend), одна физическая
|
||||
машина, на которой работают и весь стенд, и клиенты тестов.
|
||||
Все пользователи и изображения синтетические. Версии: PostgreSQL 16.4,
|
||||
Redis 7.4, nginx 1.27.4, pgsty/silo RELEASE.2026-09-16T00-00-00Z
|
||||
(MinIO fork), Go 1.26.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления, потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Остановка одной API-реплики | writes продолжаются через LB, без дублей | recovery 5.48 / 5.34 с, повтор с тем же ключом даёт то же сообщение | 5–6 с, потерь нет |
|
||||
| Поочерёдная остановка api-1 и api-2 вручную | каждый раз обслуживает оставшаяся | после stop api-1 отвечает один X-Instance-Id, после stop api-2 другой | <20 с суммарно, потерь нет |
|
||||
| Перезапуск всего стека (`scripts/restart.sh`) | данные, сессии и файлы сохранены | StartedAt всех контейнеров обновился, PASS, прежний токен работает | в пределах бюджета теста, потерь нет |
|
||||
| Остановка minio | /health/ready 503, LB снимает реплики; после start всё возвращается | ровно так; после start оба X-Instance-Id вернулись | ~15–20 с, потерь нет |
|
||||
| Stale pending (2 минуты) при grace 30 с (для теста) | reconciler удаляет строку и объект | "reconciler: sweep done pending=1 orphans=0", pending_left=0 | на следующем tick (≤10 с в тестовом прогоне) |
|
||||
| Orphan-объект в S3 старше grace | reconciler удаляет объект | лог orphans=N, объект удалён | аналогично |
|
||||
| 10 параллельных upload по 10 MiB | RAM каждой реплики в пределах 256 MiB | 10 upload за 1.79 с, peak 138 / 141.5 MiB | пик не превышен, OOM нет |
|
||||
|
||||
Пояснения:
|
||||
|
||||
- Ошибки в окне переключения nginx при остановке API-реплики - нормальны
|
||||
и разрешены README уровня 3 ("краткие ошибки во время обнаружения
|
||||
отказа измеряются и допустимы"). После 5 секунд writes продолжаются.
|
||||
- Reconciler в тесте запускался с `RECONCILER_INTERVAL_SECONDS=10` и
|
||||
`RECONCILER_GRACE_SECONDS=30`, чтобы уложиться в минуту. В дефолтной
|
||||
конфигурации интервал 5 минут, grace 1 час - для реальной работы
|
||||
это безопаснее, потому что не трогает свежие upload'ы и только что
|
||||
загруженные объекты, чей INSERT ещё в полёте.
|
||||
- Пик RAM 141 MiB на реплике - не от upload'ов, а от Argon2id при
|
||||
регистрации пользователей (6 операций × 64 MiB malloc при bootstrap).
|
||||
Upload'ы добавили только +1..4 MiB к peak, потому что Go heap уже
|
||||
раздут GC и `io.LimitReader` ограничивает каждый upload 10 MiB.
|
||||
Худший сценарий 141 + 100 = 240 MiB < 256 MiB - укладывается с
|
||||
запасом.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Что выдерживает:
|
||||
|
||||
- Отказ одной API-реплики при живом S3 и Postgres.
|
||||
- Перезапуск API и всех хранилищ (Postgres, Redis, MinIO) с сохранением
|
||||
volumes - данные, сессии и файлы.
|
||||
- Отказ S3: /health/ready 503 без утечек, LB снимает реплики, после
|
||||
восстановления всё возвращается.
|
||||
- Отказ между INSERT и PutObject: компенсация MarkFailed в том же
|
||||
запросе, без ожидания reconciler.
|
||||
- Отказ между PutObject и UPDATE ready: reconciler через grace period
|
||||
(1 час) удаляет застрявшие pending и объект.
|
||||
- Orphan-объекты (Put прошёл, INSERT упал): reconciler через grace
|
||||
period удаляет объекты в S3, которых нет в БД.
|
||||
- 10 параллельных upload по 10 MiB - peak RAM каждой реплики
|
||||
укладывается в лимит 256 MiB.
|
||||
|
||||
Что не выдерживает:
|
||||
|
||||
- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря
|
||||
системы. PostgreSQL и MinIO без репликации, nginx LB без резерва.
|
||||
- Отказ MinIO на длительное время (например, потеря volume): файлы
|
||||
не восстановятся, потому что второй копии нет. Метаданные в
|
||||
Postgres остаются, скачивание отдаёт 404/503.
|
||||
- Grace period reconciler (1 час) защищает от случайного удаления
|
||||
живых загрузок, но не является транзакционной гарантией. В
|
||||
редком случае ровно на границе grace и очень медленной загрузки
|
||||
возможен false-positive, теоретически удаление свежего объекта.
|
||||
Вероятность пренебрежимо мала для учебного стенда, но в реальной
|
||||
работе grace стоит увеличивать до нескольких часов и добавлять
|
||||
heartbeat-обновление updated_at у активных загрузок.
|
||||
- Медленная сеть к S3: reconciler обходит ListObjects и Delete
|
||||
по одному, что на больших бакетах станет дорого. На учебном
|
||||
бакете это не проявляется.
|
||||
|
||||
Не реализовано в этой работе:
|
||||
|
||||
- Трек 5 (presigned upload или повторяемый reconciler с dry-run и
|
||||
инъекцией ошибок) - целевая оценка 4, трек 5 не заявлен.
|
||||
- Background worker и thumbnail (это уже lab5).
|
||||
- Argon2id вместо текущего KDF в lab7, TLS/mTLS, OpenBao.
|
||||
- HTTPS. По контракту до lab7 достаточно HTTP для локального стенда.
|
||||
- Rate limiting: схема допускает `429`, реализация не требуется.
|
||||
|
||||
Учебные упрощения:
|
||||
|
||||
- MinIO fork pgsty/silo: `minio/minio` заархивирован, официальных
|
||||
community-образов с 2025 нет. pgsty/silo - drop-in замена с тем же
|
||||
S3 API и mc; версия образа закреплена.
|
||||
- Роль reconciler в одной реплике через pg advisory lock. Не является
|
||||
распределённой HA-сверкой; при потере хоста обе реплики и
|
||||
reconciler исчезают.
|
||||
- БД и S3 в одном экземпляре, оба на том же хосте, что и API. Для
|
||||
уровня 3-4 достаточно, для продакшена нужны репликация БД,
|
||||
версионирование S3, отдельный хост под reconciler/worker.
|
||||
|
||||
Подтверждённые улучшения (сводка по lab4):
|
||||
|
||||
- Метаданные и бинарные данные разнесены: Postgres - источник истины
|
||||
для структуры, S3 - источник истины для байтов. Файл в локальном
|
||||
volume API не равен объектному хранилищу, потому что при остановке
|
||||
реплики файл недоступен через другую; S3 решает это.
|
||||
- Grace period reconciler (1 час) не трогает живые загрузки и свежие
|
||||
Put-объекты: stale pending и orphans обрабатываются только после
|
||||
истечения срока.
|
||||
- Отдельные S3-креды с ограниченной policy плюс приватный bucket
|
||||
плюс MINIO_BROWSER=off: административный доступ к S3 полностью
|
||||
изолирован от API. Проверяется в evidence/s3-private.txt.
|
||||
- nginx client_max_body_size=12m: иначе nginx режет на 1 MiB по
|
||||
умолчанию, 413 летит без X-Request-Id (это ответ LB, а не API),
|
||||
и публичный тест падает "missing X-Request-Id".
|
||||
- Миграция 0004 ослабляет CHECK messages_text_not_blank до
|
||||
`text !~ '^[[:space:]]+$'`: `text=""` с attachments валиден по
|
||||
lab4 anyOf, а whitespace-only по-прежнему запрещён на уровне БД.
|
||||
|
||||
Следующий шаг для полной картины: увеличить grace period reconciler
|
||||
до нескольких часов и добавить heartbeat от активных загрузок
|
||||
(обновление updated_at), чтобы устранить теоретический false-positive
|
||||
на границе grace. Для production-варианта - вынести reconciler в
|
||||
отдельный процесс/реплику и добавить репликацию БД и S3.
|
||||
Reference in New Issue
Block a user