Commit Graph
9 Commits
Author SHA1 Message Date
Alexey BodanyukandClaude Opus 5.5 4830be414e perf: идемпотентная отправка сообщения одним вызовом SQL (трек 1)
Гипотеза из профиля (py-spy, 2 x 1.0 CPU, 240 req/s): ~57 % CPU реплики
уходит в psycopg — накладные расходы на каждый оператор; на одно
сообщение ~11 обращений к PostgreSQL в двух транзакциях (проверка
членства, BEGIN, ключ, часы чата, сообщение, COMMIT, проверки пула).

- migrations/0003: функция post_message — та же логика и тот же SQL,
  что в многооператорном пути; вызывается в autocommit, поэтому вызов и
  есть транзакция (ключ, часы чата и сообщение — всё или ничего).
- пул: autocommit-соединения; многооператорная работа по-прежнему в явной
  conn.transaction(); ping — один оператор без транзакции.
- MESSAGE_WRITE_PATH=function (по умолчанию) | multi (прежний путь) — A/B
  на одном образе. Порядок ответов одинаков: постороннему всегда 404,
  даже при неверном ключе/теле.
- Оба режима проходят одни и те же тесты идемпотентности и контракта.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 16:03:22 +03:00
Alexey BodanyukandClaude Opus 5.5 26a0d86431 bench: план серий трека 1 (series.sh)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 14:01:56 +03:00
Alexey BodanyukandClaude Opus 5.5 3f45eb1b51 fix: реплика не «замерзает» при потере сети к PostgreSQL; сети edge/data
Найдено тестом сценария рецензента (docker network disconnect одной API
от сети хранилищ): по дедлайну задача psycopg отменялась, psycopg слал
cancel-запрос, а libpq PQcancelStart синхронно резолвит имя хоста в потоке
event loop — вся реплика, включая /health/live, висела ~1 минуту и не
возвращалась в ротацию сама. Теперь задача по дедлайну не отменяется
(запрос сразу получает 503, задача доживает сама), а мёртвые соединения
рвёт TCP keepalive + tcp_user_timeout = DB_TIMEOUT_SECONDS.

- compose: сеть edge (lb, api) и internal-сеть data (api, migrate,
  postgres, valkey) — LB не видит хранилища.
- тесты: неготовая реплика (pg_hba и network disconnect) выводится из
  ротации, процесс отвечает на live, после восстановления сам UP за <= 15 с;
  пробельные Unicode-строки, 1e1000, байт FF в пароле, 101 участник,
  курсор одного списка в другом.
- bench/track1: CPU реплик суммируется по каждому замеру, в raw и CSV —
  фактические лимиты контейнеров из docker inspect.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 14:01:11 +03:00
Alexey BodanyukandClaude Opus 5.5 2033440cdb bench: трек 1 — оркестратор серий, k6 open-loop, py-spy sidecar
- bench/track1/run.py: на каждую конфигурацию x повтор — свежий стенд
  (отдельный compose-проект, пустые volumes), образ API из git-коммита
  (git archive), ступени constant-arrival-rate; CPU каждого контейнера,
  ожидание пула (STATS_LOG_SECONDS), pg_stat_database/pg_stat_statements,
  счётчики HAProxy; raw JSON + results.csv, без токенов.
- compose.bench.yaml: cpuset для k6 / LB+Valkey / PostgreSQL / API, чтобы
  генератор и LB не отнимали CPU у реплик.
- bench/track1/profile.py + pyspy/: py-spy с хешем пакета, профиль одной
  реплики под нагрузкой.
- API: STATS_LOG_SECONDS (по умолчанию выключено) — счётчики пула и CPU
  процесса в лог; API_IMAGE в compose для образа из коммита.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 13:51:37 +03:00
Alexey BodanyukandClaude Opus 5.5 c050642ec2 feat: rolling update без простоя и серия отказов реплик под нагрузкой (уровень 4)
- scripts/rolling-update.sh: сборка, однократные миграции новым образом,
  затем для каждой старой реплики: +1 новая (healthy и UP в HAProxy),
  graceful stop старой; ревизия образа видна в label и логе "starting".
- bench/loadgen.py: фоновая нагрузка через LB (POST с Idempotency-Key +
  GET), неопределённый POST повторяется тем же ключом, проверка истории
  на потери и дубли.
- bench/failover_series.py: каждая реплика по очереди в режимах stop /
  kill / pause; RPS, ошибки, время выхода из ротации и возврата.
- bench/rolling_under_load.py: rolling update под нагрузкой.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 13:39:54 +03:00
Alexey BodanyukandClaude Opus 5.5 78b95acabf test: строгие тесты lab3 — идемпотентность, балансировка, отказы реплик
- test_idempotency: точные коды и тела повторов через разные реплики, 24
  одновременных запроса с одним ключом -> ровно одно сообщение и одна строка
  ключа в БД, 409 при другом body, scope user+chat+key, 404 постороннему,
  откат после сбоя на втором INSERT (триггер, n_tup_ins), неопределённый
  POST (клиентский timeout) и lock_timeout с повтором тем же ключом.
- test_balancing: X-Instance-Id = реальные контейнеры, нет sticky,
  LB исключает живую, но неготовую реплику (pg_hba reject), graceful stop
  каждой реплики под нагрузкой без единой ошибки, SIGKILL — ограниченные
  ошибки и восстановление, полный restart и scale up/down без рестарта LB,
  политика compose (лимиты, порты, secrets, digest), миграции один раз.
- Входы из замечаний к чужим PR: курсоры с []/{}/числами/пустые/пробел,
  байт FF, TEXT/text, дубли ключей, Bearer é, UUID в разном регистре, тело
  при входе, пароль "я:"*64. Тесты lab2 переведены на Idempotency-Key и LB;
  все отказы восстанавливаются в finally и ждут UP всех реплик в HAProxy.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 13:32:13 +03:00
Alexey BodanyukandClaude Opus 5.5 3f12698676 feat: HAProxy и N API-реплик, X-Instance-Id, общая идемпотентность, drain при SIGTERM
- compose: один масштабируемый сервис api (deploy.replicas=2, без ports и
  container_name), HAProxy 3.2 LTS по digest — единственная точка входа
  (127.0.0.1), разовый migrate до старта реплик, CPU/RAM-лимиты у всех сервисов,
  каждому сервису только его secrets.
- HAProxy: server-template + Docker DNS (re-resolve 1 с), активная проверка
  GET /health/ready каждую 1 с (fall 2 / rise 2), без backup-серверов,
  retry только conn-failure, ошибки самого LB — в формате контракта с X-Request-Id.
- API: X-Instance-Id = hostname контейнера на каждом ответе (и на 500/503);
  Idempotency-Key обязателен; ключ, сообщение и результат пишутся в ОДНОЙ
  транзакции (миграция 0002), конкурентный повтор ждёт уникальный индекс;
  другой body — 409, посторонний — всегда 404; attachment_ids=[] равен
  отсутствию поля; дубли ключей JSON и тело у POST /auth/sessions — 400.
- SIGTERM: readiness 503 + DRAIN_SECONDS=3 обслуживания, затем graceful stop.
- scripts: stop-one.sh (+ .cmd для Windows), restore-api.sh, restart.sh
  перезапускает и LB, lbctl.py — состояние бэкендов HAProxy -> контейнеры.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 13:32:13 +03:00
Alexey BodanyukandClaude Opus 5.5 4f6cfda37a chore: перенос решения lab2 (src, миграции, student-tests, Dockerfile, compose, lock) без изменений
Исходная точка lab3: код из solution/bvt2302-bodanyuk лабы 2, коммит ef44e48
(PR mtusi2026/mtusi2026lab2#42 принят). README, COURSE, contracts/ и tests/
преподавателя не тронуты; к Makefile дописан студенческий раздел lab2,
.env.example — версия lab2. Исследование трека 2 lab2 (bench/track2) не переносилось.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 13:02:13 +03:00
Mikhail Verkovykh 0ab3a341aa Подготовить skeleton лабораторной 3 по мессенджеру 2026-09-10 18:01:35 +03:00