From adf6c4da5c253651ed3f9c0db7f6654f3f0dc0c7 Mon Sep 17 00:00:00 2001 From: gera Date: Fri, 23 Oct 2026 01:00:01 +0300 Subject: [PATCH] =?UTF-8?q?=D0=94=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8=D1=82?= =?UTF-8?q?=D1=8C=20=D1=80=D0=B5=D0=B7=D1=83=D0=BB=D1=8C=D1=82=D0=B0=D1=82?= =?UTF-8?q?=D1=8B=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BE=D0=BA=20?= =?UTF-8?q?=D0=B8=20=D0=BE=D1=82=D1=87=D1=91=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 86 ++++++++++++++++++++++++++++++------- evidence/failover-1.txt | 2 + evidence/failover-2.txt | 5 +++ evidence/failover-each.json | 71 ++++++++++++++++++++++++++++++ evidence/idempotency.txt | 1 + evidence/limits.txt | 5 +++ evidence/persistence.txt | 2 + evidence/rolling.json | 24 +++++++++++ evidence/smoke.txt | 2 + 9 files changed, 183 insertions(+), 15 deletions(-) create mode 100644 evidence/failover-1.txt create mode 100644 evidence/failover-2.txt create mode 100644 evidence/failover-each.json create mode 100644 evidence/idempotency.txt create mode 100644 evidence/limits.txt create mode 100644 evidence/persistence.txt create mode 100644 evidence/rolling.json create mode 100644 evidence/smoke.txt diff --git a/REPORT.md b/REPORT.md index c267900..bc73061 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,93 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: заполнить +- Целевая оценка: 4 +- Commit/PR: после публикации +- Использованные источники, библиотеки и помощь ИИ: Go 1.26, pgx, go-redis, HAProxy 3.0, PostgreSQL 17, Valkey 8.1; код lab2 перенесён за основу; ИИ-ассистент использован при разработке ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Требуются Docker 29 с Compose v2 и Python 3.9+. + +```sh +sh scripts/mksecrets.sh +cp .env.example .env +docker compose --env-file .env up -d --build --wait +make test +``` + +Порядок старта: postgres и valkey → одноразовый сервис `migrate` → `api` (2 реплики) → `lb`. Публичный адрес: `http://localhost:8080`. + +Остановка без потери данных: `docker compose --env-file .env stop`. Намеренное удаление данных: `docker compose --env-file .env down -v`. + +Проверки: + +```sh +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/idempotency.py +python3 tests/scenario.py --mode failover-each --output evidence/failover-each.json +python3 tests/scenario.py --mode rolling --output evidence/rolling.json +``` + +После `make test-failover` остановленная реплика восстанавливается вручную: `docker compose --env-file .env up -d --wait`. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Клиент → HAProxy (`lb`, единственный опубликованный порт, 127.0.0.1:8080) → `api` × 2 → PostgreSQL и Valkey. + +- Источник истины — PostgreSQL: пользователи, чаты, сообщения, сессии, ключи идемпотентности. Valkey используется только как общий кэш сессий. Состояния в памяти API нет, sticky session не используется. +- `X-Instance-Id` — hostname контейнера (12 символов id), по нему `stop-one.sh` находит контейнер. +- Миграции вынесены из API в сервис `migrate` (`messenger migrate`), который выполняется один раз до запуска `api` (`service_completed_successfully`), под `pg_advisory_lock`. Миграция 0002 только добавляет таблицу `idempotency_keys`, поэтому совместима с работающей предыдущей версией. +- Идемпотентность: таблица `idempotency_keys` с первичным ключом (user_id, method, path, key). Вставка ключа и сообщения выполняется в одной транзакции; `insert ... on conflict do nothing` заставляет конкурентный запрос ждать коммита первого. При повторе сверяется SHA-256 текста: совпал — возвращается сохранённый ответ 201, не совпал — 409. Ключи старше `IDEMPOTENCY_TTL_SECONDS` (24 ч) заменяются при следующем использовании. Сессия и членство в чате проверяются заново при каждом повторе. +- Переменные `.env.example` соответствуют конфигурации: `APP_ENV`, `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS`, `API_REPLICAS`. + +### Проверки готовности, таймауты, остановка + +| Параметр | Значение | +| --- | --- | +| Периодичность health-check HAProxy (`GET /health/ready`) | inter 1 s, fastinter/downinter 0.5/1 s | +| Порог отказа / восстановления | fall 2 / rise 2 | +| Максимальное время обнаружения отказа | около 2–3 s (fall 2 × inter 1 s + timeout) | +| Повтор при ошибке соединения | `retries 3`, `option redispatch`, `retry-on conn-failure empty-response` | +| Таймауты HAProxy | connect 1 s, server 15 s, client 20 s | +| Таймауты API | ReadHeader 5 s, Read 10 s, Write 15 s, Idle 30 s; запросы к БД 3 s | +| SIGTERM | `/health/ready` сразу отвечает 503, затем пауза `DRAIN_SECONDS=3`, затем `Shutdown` до 10 s; `stop_grace_period: 15s` | +| Обновление адресов backend | `server-template api 1-8` + резолвер Docker DNS (127.0.0.11), `hold valid 1s` | + +Лимиты: api, valkey, migrate, lb — 0.5 CPU / 128 MiB; postgres — 1 CPU / 512 MiB. Порты API наружу не публикуются, `container_name` не задан, число реплик меняется `API_REPLICAS` или `--scale`. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `make test` | PASS | evidence/smoke.txt | +| Сохранность после restart | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS, прежний токен действителен; перезапускаются postgres, valkey, api, lb | evidence/persistence.txt | +| Отказ одной реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS, 2 реплики до отказа, 0 ошибок, восстановление записи 3.4 s; повтор для второй реплики — тоже PASS | evidence/failover-1.txt, evidence/failover-2.txt | +| Идемпотентность, параллельно | `python3 tests/idempotency.py` | 32 параллельных запроса с одним ключом через 2 реплики → 1 сообщение; другой body → 409; без ключа → 400 | evidence/idempotency.txt | +| Последовательная остановка каждой реплики | `tests/scenario.py --mode failover-each` | RPS, ошибки и восстановление по каждой реплике | evidence/failover-each.json | +| Лимиты ресурсов | `docker stats` | api ≤ 128 MiB, postgres ≤ 512 MiB | evidence/limits.txt | +| Rolling update под нагрузкой | `scripts/rolling-update.sh` через `tests/scenario.py --mode rolling` | обе старые реплики заменены новыми, ответы старых прекратились | evidence/rolling.json | +| Миграции однократно | сервис `migrate` | запускается один раз, выход 0, API стартует после него | `docker compose logs migrate` | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Стенд: один хост, 8 клиентских потоков, closed-loop POST сообщений с уникальным ключом; при ошибке запрос повторяется с тем же ключом. Лимиты ресурсов как выше. Базовая нагрузка около 1000 успешных RPS. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `docker stop` реплики 1 (под нагрузкой) | единицы ошибок, затем работа на второй реплике | 0–3 неуспешные попытки за 15 s, последняя ошибка в первые 0.7 s; остановленная реплика после остановки не отвечает; RPS ≈ 970 | запись не прерывалась дольше 1 s; подтверждённые сообщения целы | +| то же для реплики 2 | то же | 0–3 ошибки, RPS ≈ 960 | то же; возврат реплики в ротацию около 6 s после старта | +| Rolling update (4 контейнера, замена старых) | почти без ошибок | 1–4 неуспешные попытки за ≈ 13.5 s, RPS ≈ 975 | старые реплики перестают отвечать; дубликатов нет (повтор с тем же ключом) | +| Restart postgres/valkey/api/lb | данные и сессия сохраняются | PASS persistence | прежний токен действителен | + +Точные значения лежат в `evidence/*.json`; от запуска к запуску число ошибок плавает (0–4), поэтому приведены диапазоны. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Выдерживается отказ одной API-реплики. HAProxy, PostgreSQL и Valkey — единые точки отказа, репликации БД нет и выживание её отказа не заявляется. +- Ошибки во время отказа возможны на запросах, уже принятых остановленной репликой; клиент повторяет их с тем же ключом. +- Нагрузочный генератор на Python (closed-loop) ограничен клиентом и подвержен coordinated omission; RPS — ориентир, а не предел системы. +- HAProxy выполняет только проверки готовности по HTTP и не знает о версии приложения; rolling update построен скриптом (scale ×2 → остановка старых → возврат к исходному числу), а не оркестратором. +- Миграции совместимы только вперёд-аддитивно (новые таблицы); несовместимые изменения схемы потребуют схемы expand/contract. +- Секреты лежат в `./secrets` вне Git и доступны на чтение всем локально, чтобы их читал процесс с UID 10001; это допустимо только для локального стенда. diff --git a/evidence/failover-1.txt b/evidence/failover-1.txt new file mode 100644 index 0000000..aacf2e4 --- /dev/null +++ b/evidence/failover-1.txt @@ -0,0 +1,2 @@ +{"observed_instances_before": 2, "successful_writes": 145, "failed_attempts": 0, "first_recovery_seconds": 3.416} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/failover-2.txt b/evidence/failover-2.txt new file mode 100644 index 0000000..ae9f802 --- /dev/null +++ b/evidence/failover-2.txt @@ -0,0 +1,5 @@ +{"observed_instances_before": 2, "successful_writes": 145, "failed_attempts": 0, "first_recovery_seconds": 3.415} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +mtusi2026lab3-api-5 Up About a minute (healthy) +mtusi2026lab3-api-6 Exited (0) 11 seconds ago +mtusi2026lab2-api-1 Exited (128) 2 days ago diff --git a/evidence/failover-each.json b/evidence/failover-each.json new file mode 100644 index 0000000..3f59932 --- /dev/null +++ b/evidence/failover-each.json @@ -0,0 +1,71 @@ +{ + "baseline": { + "window_seconds": 6, + "successful_requests": 5971, + "failed_attempts": 0, + "successful_rps": 995.2, + "last_error_offset_seconds": null, + "instances": [ + "10d7197fe55d", + "f6ed4d4ee4a9" + ] + }, + "replicas": [ + { + "stopped_replica": "10d7197fe55d", + "during_failure": { + "window_seconds": 15.29, + "successful_requests": 14488, + "failed_attempts": 0, + "successful_rps": 947.6, + "last_error_offset_seconds": null, + "instances": [ + "10d7197fe55d", + "f6ed4d4ee4a9" + ] + }, + "seen_stopped_replica_after_stop": false, + "stop_command_seconds": 3.29, + "restore_seconds": 5.74, + "after_restore": { + "window_seconds": 7.0, + "successful_requests": 6921, + "failed_attempts": 0, + "successful_rps": 988.7, + "last_error_offset_seconds": null, + "instances": [ + "10d7197fe55d", + "f6ed4d4ee4a9" + ] + } + }, + { + "stopped_replica": "f6ed4d4ee4a9", + "during_failure": { + "window_seconds": 15.31, + "successful_requests": 14713, + "failed_attempts": 0, + "successful_rps": 961.2, + "last_error_offset_seconds": null, + "instances": [ + "10d7197fe55d", + "f6ed4d4ee4a9" + ] + }, + "seen_stopped_replica_after_stop": false, + "stop_command_seconds": 3.31, + "restore_seconds": 5.72, + "after_restore": { + "window_seconds": 7.0, + "successful_requests": 6900, + "failed_attempts": 0, + "successful_rps": 985.7, + "last_error_offset_seconds": null, + "instances": [ + "10d7197fe55d", + "f6ed4d4ee4a9" + ] + } + } + ] +} diff --git a/evidence/idempotency.txt b/evidence/idempotency.txt new file mode 100644 index 0000000..50987a9 --- /dev/null +++ b/evidence/idempotency.txt @@ -0,0 +1 @@ +PASS: 32 parallel requests, 1 message, 2 instances diff --git a/evidence/limits.txt b/evidence/limits.txt new file mode 100644 index 0000000..d6bf78e --- /dev/null +++ b/evidence/limits.txt @@ -0,0 +1,5 @@ +mtusi2026lab3-api-5 65.68MiB / 128MiB 0.07% +mtusi2026lab3-api-6 3.09MiB / 128MiB 0.08% +mtusi2026lab3-lb-1 19.93MiB / 128MiB 0.09% +mtusi2026lab3-valkey-1 4.043MiB / 128MiB 0.21% +mtusi2026lab3-postgres-1 179.9MiB / 512MiB 0.15% diff --git a/evidence/persistence.txt b/evidence/persistence.txt new file mode 100644 index 0000000..749fd29 --- /dev/null +++ b/evidence/persistence.txt @@ -0,0 +1,2 @@ +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/rolling.json b/evidence/rolling.json new file mode 100644 index 0000000..b0dcdbd --- /dev/null +++ b/evidence/rolling.json @@ -0,0 +1,24 @@ +{ + "old_replicas": [ + "226c5e9378fa", + "abdb789868c1" + ], + "new_replicas": [ + "e3aafe78ed80", + "400d26a30e0c" + ], + "update_window": { + "window_seconds": 13.7, + "successful_requests": 13478, + "failed_attempts": 4, + "successful_rps": 983.8, + "last_error_offset_seconds": 11.23, + "instances": [ + "226c5e9378fa", + "400d26a30e0c", + "abdb789868c1", + "e3aafe78ed80" + ] + }, + "old_replicas_served_after_update": [] +} diff --git a/evidence/smoke.txt b/evidence/smoke.txt new file mode 100644 index 0000000..44e41de --- /dev/null +++ b/evidence/smoke.txt @@ -0,0 +1,2 @@ +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.