ЛР 3 - БВТ2303 - Голиков - на 5, трек 1 #4

Closed
Maximillan_Mercer wants to merge 36 commits from Maximillan_Mercer/mtusi2026lab3-fork:solution/BVT2303-Golikov into main
First-time contributor

Лабораторная 3

Автор / группа: Голиков, БВТ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 "Цена масштабирования"

Что реализовано и что перенесено:

  • Перенесено из lab2: PostgreSQL-схема (users, chats, chat_members, messages,
    sessions), Argon2id, opaque bearer token, goose-миграции, публичный
    HTTP-контракт.
  • Добавлено в lab3: LB на nginx, две API-реплики,
    Idempotency-Key на POST /messages (таблица idempotency_keys, ON CONFLICT
    DO NOTHING в одной транзакции с INSERT сообщения), X-Instance-Id во всех
    ответах, миграции отдельным сервисом migrate, graceful drain на SIGTERM
    с atomic ready-флагом, CPU/RAM лимиты, upstream keepalive в nginx.

Команды запуска из чистого clone:
См. раздел "Запуск из чистого clone" в REPORT.md. Кратко:

git clone https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3.git && cd mtusi2026lab3
git checkout solution/BVT2303-Golikov
создать secrets/* (5 строк, генерируются оператором)
cp .env.example .env
docker compose build api && docker compose up -d
PYTHONUTF8=1 make check && PYTHONUTF8=1 make test

Результаты проверок и ссылка на REPORT.md:
Отчёт: REPORT.md в корне репозитория.
make check -> PASS
make test -> PASS (lab3 public API scenario)
test-persistence -> PASS, прежний токен работает после down/up
test-failover -> PASS, first_recovery_seconds 2.466 / 2.487
Дополнительно:
rolling update под k6 RATE=50: write_errors 0.26%
failover под k6 RATE=30: 0 и 1.38% ошибок в окне переключения LB
трек 1: потолок поднят с 395 до 711 RPS (+80%) через upstream keepalive
в nginx, 0 ошибок при RATE=800 (было 40.5%)

Ограничения / известные ошибки:
См. раздел "Ограничения и следующие шаги" в REPORT.md. Кратко:

  • PostgreSQL и Redis без репликации, SPOF на уровне узла.
  • RATE=1200 после оптимизации LB всё ещё деградирует (4.13% ошибок).

Источники и использование ИИ:
Скелет курса и контракты (COURSE.md, contracts/), документация Docker
Compose, nginx upstream и k6. ИИ помогал со структурой REPORT.md и
вычиткой формулировок; код и измерения выполнены самостоятельно.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: Голиков, БВТ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 "Цена масштабирования" Что реализовано и что перенесено: - Перенесено из lab2: PostgreSQL-схема (users, chats, chat_members, messages, sessions), Argon2id, opaque bearer token, goose-миграции, публичный HTTP-контракт. - Добавлено в lab3: LB на nginx, две API-реплики, Idempotency-Key на POST /messages (таблица idempotency_keys, ON CONFLICT DO NOTHING в одной транзакции с INSERT сообщения), X-Instance-Id во всех ответах, миграции отдельным сервисом migrate, graceful drain на SIGTERM с atomic ready-флагом, CPU/RAM лимиты, upstream keepalive в nginx. Команды запуска из чистого clone: См. раздел "Запуск из чистого clone" в REPORT.md. Кратко: ``` git clone https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3.git && cd mtusi2026lab3 git checkout solution/BVT2303-Golikov создать secrets/* (5 строк, генерируются оператором) cp .env.example .env docker compose build api && docker compose up -d PYTHONUTF8=1 make check && PYTHONUTF8=1 make test ``` Результаты проверок и ссылка на REPORT.md: Отчёт: REPORT.md в корне репозитория. make check -> PASS make test -> PASS (lab3 public API scenario) test-persistence -> PASS, прежний токен работает после down/up test-failover -> PASS, first_recovery_seconds 2.466 / 2.487 Дополнительно: rolling update под k6 RATE=50: write_errors 0.26% failover под k6 RATE=30: 0 и 1.38% ошибок в окне переключения LB трек 1: потолок поднят с 395 до 711 RPS (+80%) через upstream keepalive в nginx, 0 ошибок при RATE=800 (было 40.5%) Ограничения / известные ошибки: См. раздел "Ограничения и следующие шаги" в REPORT.md. Кратко: - PostgreSQL и Redis без репликации, SPOF на уровне узла. - RATE=1200 после оптимизации LB всё ещё деградирует (4.13% ошибок). Источники и использование ИИ: Скелет курса и контракты (COURSE.md, contracts/), документация Docker Compose, nginx upstream и k6. ИИ помогал со структурой REPORT.md и вычиткой формулировок; код и измерения выполнены самостоятельно. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Maximillan_Mercer added 29 commits 2026-10-09 18:16:50 +03:00
Owner

Проблемы (последнее - самое критичное):

  • Уровень 3: повтор сообщения с attachment_ids: [] возвращает 400 вместо исходного 201; некорректный UUID внутри cursor приводит к 500 вместо 400. Места: backend/internal/httpapi/dto/message.go:7, backend/internal/storage/postgres/cursor.go:33.
  • Уровень 4: у LB и одноразового migrate отсутствуют CPU/RAM limits. Отказы обеих реплик, сохранность данных, graceful shutdown и поочерёдная замена под нагрузкой прошли. Конфигурация: compose.yaml:127.
  • Трек 1 на 5: отсутствует серия с ростом ресурсов; потолок 395 RPS ошибочно выведен из нагрузки RATE=400; объяснение улучшения через «включение keepalive» расходится с Git — keepalive уже был включён. При оценке производительности нужно отделять успешные запросы от попыток и учитывать пропущенные итерации. Основные выводы исследования требуют пересмотра: REPORT.md:442.
Проблемы (последнее - самое критичное): - Уровень 3: повтор сообщения с attachment_ids: [] возвращает 400 вместо исходного 201; некорректный UUID внутри cursor приводит к 500 вместо 400. Места: [backend/internal/httpapi/dto/message.go:7](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab3-fork/src/commit/e7a8e1a6646a50f1f85ffc3943651ad50e9d625e/backend/internal/httpapi/dto/message.go#L7), [backend/internal/storage/postgres/cursor.go:33](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab3-fork/src/commit/e7a8e1a6646a50f1f85ffc3943651ad50e9d625e/backend/internal/storage/postgres/cursor.go#L33). - Уровень 4: у LB и одноразового migrate отсутствуют CPU/RAM limits. Отказы обеих реплик, сохранность данных, graceful shutdown и поочерёдная замена под нагрузкой прошли. Конфигурация: [compose.yaml:127](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab3-fork/src/commit/e7a8e1a6646a50f1f85ffc3943651ad50e9d625e/compose.yaml#L127). - Трек 1 на 5: отсутствует серия с ростом ресурсов; потолок 395 RPS ошибочно выведен из нагрузки RATE=400; объяснение улучшения через «включение keepalive» расходится с Git — keepalive уже был включён. При оценке производительности нужно отделять успешные запросы от попыток и учитывать пропущенные итерации. Основные выводы исследования требуют пересмотра: [REPORT.md:442](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab3-fork/src/commit/e7a8e1a6646a50f1f85ffc3943651ad50e9d625e/REPORT.md#L442).
Author
First-time contributor

Добрый вечер, пингую вас насчет переделанного трека 1, как вы и просили. Все проблемы закрыл

Вкратце что сделал:

  • Переделал методику: разделил успешные запросы, попытки, dropped_iterations
    k6 и ошибки сервера. Раньше они смешивались и искажали картину.
  • Провёл серию с ростом ресурсов при фиксированном числе реплик (2 на 0.25/0.5/1.0/2.0
    CPU), её раньше не было.
  • Убрал неверный вывод про потолок 395 RPS: это была недогрузка при RATE=400,
    а не насыщение полное. Настоящую точку нашёл рампом RATE 200 ->1000 - она около 650-700
    RPS, после неё p95 latency растёт с 6 мс до 4.5 с.
  • Разобрался с keepalive по Git: keepalive 32 был в конфиге с первого коммита,
    коммит e769e08 добавил только keepalive_requests/timeout и увеличил
    worker_connections. Приписывать +80% включению keepalive было неверно, убрал.
Добрый вечер, пингую вас насчет переделанного трека 1, как вы и просили. Все проблемы закрыл Вкратце что сделал: - Переделал методику: разделил успешные запросы, попытки, dropped_iterations k6 и ошибки сервера. Раньше они смешивались и искажали картину. - Провёл серию с ростом ресурсов при фиксированном числе реплик (2 на 0.25/0.5/1.0/2.0 CPU), её раньше не было. - Убрал неверный вывод про потолок 395 RPS: это была недогрузка при RATE=400, а не насыщение полное. Настоящую точку нашёл рампом RATE 200 ->1000 - она около 650-700 RPS, после неё p95 latency растёт с 6 мс до 4.5 с. - Разобрался с keepalive по Git: `keepalive 32` был в конфиге с первого коммита, коммит e769e08 добавил только `keepalive_requests`/`timeout` и увеличил worker_connections. Приписывать +80% включению keepalive было неверно, убрал.
Maximillan_Mercer added 7 commits 2026-10-10 22:44:29 +03:00
Author
First-time contributor

@veprickiy забыл как пингануть правильно в гит системах

@veprickiy забыл как пингануть правильно в гит системах
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-11 18:59:17 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#4