Лабораторная 3
Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 1 «Цена масштабирования»
Что реализовано и что перенесено
сохранён минимум лабораторной 2: Go-приложение, PostgreSQL как источник истины, версионируемые SQL-миграции под advisory lock, Argon2id, Bearer-сессии в PostgreSQL с кэшем в Valkey, keyset-пагинация, ограниченный пул pgxpool с statement_timeout/lock_timeout;
HAProxy 3.0 round-robin без sticky перед двумя stateless API-репликами; реплики находятся через Docker DNS (127.0.0.11, server-template); healthcheck GET /health/ready каждую 1 с (fall 2 rise 2, обнаружение отказа ≤ ~2,5 с); retry-on conn-failure + redispatch;
X-Instance-Id (ID контейнера) в каждом ответе API, включая ошибки и health;
graceful shutdown: по SIGTERM readiness сразу 503, 3 с drain, затем Shutdown; остановка выбранной реплики через scripts/stop-one.sh (поиск по ID + меткам проекта, только API);
общая PostgreSQL-идемпотентность сообщений: таблица message_idempotency (PK user_id + chat_id + key, SHA-256 канонического тела, TTL 24 ч с очисткой); ключ и сообщение пишутся атомарно одним SQL-оператором с CTE; конкурентный повтор через другую реплику ждёт на PK и получает тот же 201; другое тело → 409; обязательный Idempotency-Key;
отдельный сервис migrate применяет миграции однократно, API ждёт service_completed_successfully; миграция 0002 аддитивная (совместима со старой версией);
rolling update 2→2 под нагрузкой (surge +1, scripts/rolling_update.py);
CPU/RAM-лимиты на всех сервисах, API не публикуют порты наружу, без container_name, сети app/data разделены;
собственные тесты (student-tests/run_tests.py, 8 шт.): отсутствие sticky, X-Instance-Id на ошибках, валидация ключа, конкурентный повтор через разные реплики, семантическое сравнение тела, область ключа, повторная проверка доступа, logout на всех репликах;
трек 1: k6-серии 1/2/4 реплики при фиксированном бюджете и 1/2/4/8 при росте ресурсов, найден saturation point (PostgreSQL / WAL commit), подтверждённое улучшение (запись одним SQL-оператором, +24…35% RPS).
Команды запуска из чистого clone
python3 scripts/init_secrets.py
docker compose up -d --build --wait
docker compose ps
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
make test-student
make failover-series
make rolling-update
make track1 && make track1-report
Результаты проверок
make check, make validate → PASS;
make test → PASS: lab3 public API scenario;
make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS: persistence preserved confirmed data and existing session (перезапущены lb, api ×2, postgres, valkey);
make test-failover: 7 прогонов, остановлены обе реплики по очереди, 7/7 PASS, failed_attempts 0, восстановление записи 3,76–3,91 с (почти целиком длительность docker stop с drain), 131–139 успешных записей за прогон;
отказ каждой реплики под нагрузкой ~800 RPS: docker stop → 0 ошибок; docker kill → 4 и 2 ответа 502 в первые 0,1 с, клиент повторил с тем же ключом; потерь 0, дублей 0 (38 100 и 32 533 сообщений);
конкурентная идемпотентность: 24 одновременных POST с одним Idempotency-Key через 2 реплики → все 201 с одним Message, в истории одно сообщение; тот же ключ с другим телом → 409;
rolling update под нагрузкой: 0 ошибок, 0 retry, 812 RPS во время замены (789 до), p50 = 7 ms, p95 = 27 ms, p99 = 31 ms; 22 423 записи, потерь и дублей нет;
балансировка: одна сессия, 30 запросов → 15 / 15 по двум X-Instance-Id без повторного входа;
трек 1: фиксированный бюджет 2 CPU — 1×2.0 = 3636 RPS, 2×1.0 = 3537, 4×0.5 = 3110; рост 1→2→4→8 реплик — 2051 → 3440 → 3645 → 3408 RPS, PostgreSQL 187% из 200% CPU, ожидания WALWriteLock; улучшение: 3390 → 4579 RPS (+35%) на 2 репликах, 3474 → 4301 (+24%) на 4.
Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (failover.txt, failover-stop.json, failover-kill.json, rolling-update.json, student-tests.json, track1/raw/, track1/summary.md, графики track1/*.svg).
Ограничения / известные ошибки
Все компоненты размещены на одном Docker-хосте. HAProxy, PostgreSQL и сам хост остаются SPOF; проверяется отказ процесса API, а не узла. При crash реплики запросы «в полёте» получают 502 от LB: безопасно повторять только POST сообщений с ключом. Rolling update реализован скриптом (в Compose нет встроенного). Абсолютные числа трека 1 получены на Docker Desktop/WSL2 и переносимы только как относительные выводы; серия с увеличенным CPU PostgreSQL не проводилась. На Windows хуки запускались через .cmd-версии (Python не запускает .sh без shell), .sh проверены из Git Bash. X-Instance-Id раскрывает ID контейнера (в lab7 будет заменён на случайный alias).
Источники и использование ИИ
Использованы официальные материалы HAProxy, Docker Compose, PostgreSQL (INSERT … ON CONFLICT, data-modifying CTE), pgx, Valkey, k6. Помощь ИИ использовалась для создания отчета.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов воспроизведены (failover обеих реплик, stop/kill под нагрузкой, parallel idempotency, rolling update, persistence).
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Лабораторная 3
Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 1 «Цена масштабирования»
Что реализовано и что перенесено
* сохранён минимум лабораторной 2: Go-приложение, PostgreSQL как источник истины, версионируемые SQL-миграции под advisory lock, Argon2id, Bearer-сессии в PostgreSQL с кэшем в Valkey, keyset-пагинация, ограниченный пул pgxpool с statement_timeout/lock_timeout;
* HAProxy 3.0 round-robin без sticky перед двумя stateless API-репликами; реплики находятся через Docker DNS (127.0.0.11, server-template); healthcheck GET /health/ready каждую 1 с (fall 2 rise 2, обнаружение отказа ≤ ~2,5 с); retry-on conn-failure + redispatch;
* X-Instance-Id (ID контейнера) в каждом ответе API, включая ошибки и health;
* graceful shutdown: по SIGTERM readiness сразу 503, 3 с drain, затем Shutdown; остановка выбранной реплики через scripts/stop-one.sh (поиск по ID + меткам проекта, только API);
* общая PostgreSQL-идемпотентность сообщений: таблица message_idempotency (PK user_id + chat_id + key, SHA-256 канонического тела, TTL 24 ч с очисткой); ключ и сообщение пишутся атомарно одним SQL-оператором с CTE; конкурентный повтор через другую реплику ждёт на PK и получает тот же 201; другое тело → 409; обязательный Idempotency-Key;
* отдельный сервис migrate применяет миграции однократно, API ждёт service_completed_successfully; миграция 0002 аддитивная (совместима со старой версией);
* rolling update 2→2 под нагрузкой (surge +1, scripts/rolling_update.py);
* CPU/RAM-лимиты на всех сервисах, API не публикуют порты наружу, без container_name, сети app/data разделены;
* собственные тесты (student-tests/run_tests.py, 8 шт.): отсутствие sticky, X-Instance-Id на ошибках, валидация ключа, конкурентный повтор через разные реплики, семантическое сравнение тела, область ключа, повторная проверка доступа, logout на всех репликах;
* трек 1: k6-серии 1/2/4 реплики при фиксированном бюджете и 1/2/4/8 при росте ресурсов, найден saturation point (PostgreSQL / WAL commit), подтверждённое улучшение (запись одним SQL-оператором, +24…35% RPS).
Команды запуска из чистого clone
python3 scripts/init_secrets.py
docker compose up -d --build --wait
docker compose ps
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
make test-student
make failover-series
make rolling-update
make track1 && make track1-report
Результаты проверок
make check, make validate → PASS;
make test → PASS: lab3 public API scenario;
make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS: persistence preserved confirmed data and existing session (перезапущены lb, api ×2, postgres, valkey);
make test-failover: 7 прогонов, остановлены обе реплики по очереди, 7/7 PASS, failed_attempts 0, восстановление записи 3,76–3,91 с (почти целиком длительность docker stop с drain), 131–139 успешных записей за прогон;
отказ каждой реплики под нагрузкой ~800 RPS: docker stop → 0 ошибок; docker kill → 4 и 2 ответа 502 в первые 0,1 с, клиент повторил с тем же ключом; потерь 0, дублей 0 (38 100 и 32 533 сообщений);
конкурентная идемпотентность: 24 одновременных POST с одним Idempotency-Key через 2 реплики → все 201 с одним Message, в истории одно сообщение; тот же ключ с другим телом → 409;
rolling update под нагрузкой: 0 ошибок, 0 retry, 812 RPS во время замены (789 до), p50 = 7 ms, p95 = 27 ms, p99 = 31 ms; 22 423 записи, потерь и дублей нет;
балансировка: одна сессия, 30 запросов → 15 / 15 по двум X-Instance-Id без повторного входа;
трек 1: фиксированный бюджет 2 CPU — 1×2.0 = 3636 RPS, 2×1.0 = 3537, 4×0.5 = 3110; рост 1→2→4→8 реплик — 2051 → 3440 → 3645 → 3408 RPS, PostgreSQL 187% из 200% CPU, ожидания WALWriteLock; улучшение: 3390 → 4579 RPS (+35%) на 2 репликах, 3474 → 4301 (+24%) на 4.
Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (failover.txt, failover-stop.json, failover-kill.json, rolling-update.json, student-tests.json, track1/raw/, track1/summary.md, графики track1/*.svg).
Ограничения / известные ошибки
Все компоненты размещены на одном Docker-хосте. HAProxy, PostgreSQL и сам хост остаются SPOF; проверяется отказ процесса API, а не узла. При crash реплики запросы «в полёте» получают 502 от LB: безопасно повторять только POST сообщений с ключом. Rolling update реализован скриптом (в Compose нет встроенного). Абсолютные числа трека 1 получены на Docker Desktop/WSL2 и переносимы только как относительные выводы; серия с увеличенным CPU PostgreSQL не проводилась. На Windows хуки запускались через .cmd-версии (Python не запускает .sh без shell), .sh проверены из Git Bash. X-Instance-Id раскрывает ID контейнера (в lab7 будет заменён на случайный alias).
Источники и использование ИИ
Использованы официальные материалы HAProxy, Docker Compose, PostgreSQL (INSERT … ON CONFLICT, data-modifying CTE), pgx, Valkey, k6. Помощь ИИ использовалась для создания отчета.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов воспроизведены (failover обеих реплик, stop/kill под нагрузкой, parallel idempotency, rolling update, persistence).
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
src/internal/api/helpers.go:63: отправьте {"text":"x"}}. Сервер читает правильный объект в начале тела, пропускает оставшуюся скобку и создаёт сообщение с ответом 201. Но всё тело запроса является повреждённым JSON и должно дать 400. После первого объекта попробуйте прочитать ещё одно значение: допустим только конец потока — io.EOF; дополнительное значение или ошибка разбора должны отклоняться.
scripts/init_secrets.py:15: инструкция разрешает Python 3.9, но создание секретов на нём останавливается с TypeError: эта версия Path.write_text() не принимает newline. Пользователь, выполнивший инструкцию, не дойдёт до запуска стенда. Используйте совместимый способ записи либо укажите фактически необходимую минимальную версию Python.
- [src/internal/api/helpers.go:63](https://gitea.privcloud.tech/Sh1pYe/mtusi2026lab3/src/commit/da019afaa0ba61a3c8c74f5e4131d99075538b93/src/internal/api/helpers.go#L63): отправьте `{"text":"x"}}`. Сервер читает правильный объект в начале тела, пропускает оставшуюся скобку и создаёт сообщение с ответом 201. Но всё тело запроса является повреждённым JSON и должно дать 400. После первого объекта попробуйте прочитать ещё одно значение: допустим только конец потока — `io.EOF`; дополнительное значение или ошибка разбора должны отклоняться.
- [scripts/init_secrets.py:15](https://gitea.privcloud.tech/Sh1pYe/mtusi2026lab3/src/commit/da019afaa0ba61a3c8c74f5e4131d99075538b93/scripts/init_secrets.py#L15): инструкция разрешает Python 3.9, но создание секретов на нём останавливается с `TypeError`: эта версия `Path.write_text()` не принимает `newline`. Пользователь, выполнивший инструкцию, не дойдёт до запуска стенда. Используйте совместимый способ записи либо укажите фактически необходимую минимальную версию Python.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 3
Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 1 «Цена масштабирования»
Что реализовано и что перенесено
Команды запуска из чистого clone
python3 scripts/init_secrets.py
docker compose up -d --build --wait
docker compose ps
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
make test-student
make failover-series
make rolling-update
make track1 && make track1-report
Результаты проверок
make check, make validate → PASS;
make test → PASS: lab3 public API scenario;
make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS: persistence preserved confirmed data and existing session (перезапущены lb, api ×2, postgres, valkey);
make test-failover: 7 прогонов, остановлены обе реплики по очереди, 7/7 PASS, failed_attempts 0, восстановление записи 3,76–3,91 с (почти целиком длительность docker stop с drain), 131–139 успешных записей за прогон;
отказ каждой реплики под нагрузкой ~800 RPS: docker stop → 0 ошибок; docker kill → 4 и 2 ответа 502 в первые 0,1 с, клиент повторил с тем же ключом; потерь 0, дублей 0 (38 100 и 32 533 сообщений);
конкурентная идемпотентность: 24 одновременных POST с одним Idempotency-Key через 2 реплики → все 201 с одним Message, в истории одно сообщение; тот же ключ с другим телом → 409;
rolling update под нагрузкой: 0 ошибок, 0 retry, 812 RPS во время замены (789 до), p50 = 7 ms, p95 = 27 ms, p99 = 31 ms; 22 423 записи, потерь и дублей нет;
балансировка: одна сессия, 30 запросов → 15 / 15 по двум X-Instance-Id без повторного входа;
трек 1: фиксированный бюджет 2 CPU — 1×2.0 = 3636 RPS, 2×1.0 = 3537, 4×0.5 = 3110; рост 1→2→4→8 реплик — 2051 → 3440 → 3645 → 3408 RPS, PostgreSQL 187% из 200% CPU, ожидания WALWriteLock; улучшение: 3390 → 4579 RPS (+35%) на 2 репликах, 3474 → 4301 (+24%) на 4.
Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (failover.txt, failover-stop.json, failover-kill.json, rolling-update.json, student-tests.json, track1/raw/, track1/summary.md, графики track1/*.svg).
Ограничения / известные ошибки
Все компоненты размещены на одном Docker-хосте. HAProxy, PostgreSQL и сам хост остаются SPOF; проверяется отказ процесса API, а не узла. При crash реплики запросы «в полёте» получают 502 от LB: безопасно повторять только POST сообщений с ключом. Rolling update реализован скриптом (в Compose нет встроенного). Абсолютные числа трека 1 получены на Docker Desktop/WSL2 и переносимы только как относительные выводы; серия с увеличенным CPU PostgreSQL не проводилась. На Windows хуки запускались через .cmd-версии (Python не запускает .sh без shell), .sh проверены из Git Bash. X-Instance-Id раскрывает ID контейнера (в lab7 будет заменён на случайный alias).
Источники и использование ИИ
Использованы официальные материалы HAProxy, Docker Compose, PostgreSQL (INSERT … ON CONFLICT, data-modifying CTE), pgx, Valkey, k6. Помощь ИИ использовалась для создания отчета.
Lab3 - оценка 5to ЛР3 - БВТ2304 - Кораблев - на 5{"text":"x"}}. Сервер читает правильный объект в начале тела, пропускает оставшуюся скобку и создаёт сообщение с ответом 201. Но всё тело запроса является повреждённым JSON и должно дать 400. После первого объекта попробуйте прочитать ещё одно значение: допустим только конец потока —io.EOF; дополнительное значение или ошибка разбора должны отклоняться.TypeError: эта версияPath.write_text()не принимаетnewline. Пользователь, выполнивший инструкцию, не дойдёт до запуска стенда. Используйте совместимый способ записи либо укажите фактически необходимую минимальную версию Python.Принято. Закрываю МР.
Pull request closed