Files
mtusi2026lab2/REPORT.md
T
2026-10-01 12:59:06 +03:00

11 KiB
Raw Blame History

Отчёт — лабораторная 2

  • Автор, группа: Владислав Кунецкий, БВT2303
  • Целевая оценка: 5
  • Выбранный трек 5: трек 1 — предел in-memory архитектуры
  • Commit/PR: solution/bvt2303-kunetsky
  • Использованные библиотеки: ogen - генерация транспортного слова из openapi спеки, testify, mockery/v3 - тесты, zap обернутый в slog - логгирование.
  • Помощь ИИ использовалась для обсуждения архитектуры, ревью и подготовки кода; решение проверено и изменено автором.

Запуск из чистого clone

Требования: make, Go 1.27+ / Docker

запуск через go

make run

запуск через docker

cp .env.example .env
docker build -t mtusi-messenger:lab1 .
docker run --rm --name mtusi-messenger-lab1 \
  -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1

В другом терминале:

make check
make unit-test
make test

Контейнер останавливается через Ctrl-C или docker stop mtusi-messenger-lab1; приложение принимает SIGTERM и завершает HTTP-сервер с timeout 10 секунд. Состояние хранится только в памяти процесса. Удаление контейнера намеренно удаляет все учебные данные:

docker rm -f mtusi-messenger-lab1

Архитектура и решения

Клиент → ogen-generated HTTP transport → REST adapter → user/chat/message services → единый in-memory Store. Store реализован на mutex; создание чата вместе с проверкой участников выполняется атомарно. ID и created_at назначаются in-memory storage. После перезапуска процесса данные исчезают. Store реализован таким образом, чтобы в будущем изменить его на реальную базу данных, без изменения сигнатур и кода в сервисах

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab1 public API scenario evidence/smoke.txt
Контракт и структура make check PASS evidence/check.txt
Unit, vet, race, lint make unit-test, go vet ./..., make lint PASS evidence/quality.txt
Docker build/run/health docker build, curl /health/live image built, {"status":"ok"} evidence/docker.txt
Сброс in-memory состояния restart container, old X-User-Id old user receives 401 evidence/restart.txt
100 concurrent messages 10 clients × 10 messages 100 unique messages evidence/concurrency.txt
SIGTERM kill -TERM <pid> graceful stop under 10 seconds evidence/sigterm.txt
Трек 1 benchmark go test -run '^$' -bench '^BenchmarkMessageCreate$' -benchmem -count=5 ./internal/storage/memory и baseline через Go overlay; scripts/track1_benchmark.py --mode ... --requests 100000 изолированная вставка 1k/10k/50k и E2E с ровно 100 000 запросами на комбинацию, concurrency 1/4/16/32: RPS/p95/p99/RSS evidence/track1/
Memory exhaustion point python3 scripts/memory_experiment.py --image mtusi2026lab1-messenger:arm64 --memory 64m --max-messages 20000 --output evidence/memory-experiment.json --plot evidence/memory-experiment.png container OOMKilled, exit 137, 8997 successful messages evidence/memory-experiment.json, evidence/memory-experiment.png

Эксперименты и отказы

В рамках трека оптимизировано добавление новых сообщений в конец отсортированной истории. Если ключ нового сообщения больше ключа последнего сообщения, используется прямой append; бинарный поиск и упорядоченная вставка остаются fallback-путём для сообщений, пришедших не по порядку. Изолированный Go benchmark выполнялся на Apple M5 Pro, darwin/arm64, Go 1.27.1, пять раз для историй 1 000, 10 000 и 50 000. Baseline собран через Go overlay с удалённым fast path, optimized — текущая версия. Полные сырые результаты: evidence/track1/baseline-storage-benchmark.txt и optimized-storage-benchmark.txt.

Отдельно выполнен end-to-end benchmark через go run без Docker: истории 1 000, 10 000 и 50 000; конкуренция 1, 4, 16 и 32; ровно 100 000 нагрузочных POST-запросов на каждую комбинацию и 100 warm-up запросов; RSS дочернего исполняемого процесса сэмплировался каждые 100 мс. Baseline запускается через go run -overlay, optimized — обычный go run. Результаты: evidence/track1/go-baseline/results.json, go-optimized/results.json, go-comparison.json.

Оптимизация уменьшила стоимость операции добавления сообщения: медиана составляет 308.2 / 241.8 ns/op для истории 1 000, 335.9 / 242.2 ns/op для 10 000 и 349.8 / 242.5 ns/op для 50 000 (baseline / optimized). Это соответствует ускорению примерно в 1.27×, 1.39× и 1.44× соответственно. Число аллокаций одинаковое: 1 alloc/op, 16 B/op. Вставка в середину по-прежнему использует бинарный поиск и slices.Insert; оптимизирован только наиболее частый сценарий последовательного добавления в конец.

На полном HTTP-пути это ускорение не переносится напрямую в RPS: там дополнительно присутствуют HTTP, JSON, маршрутизация и общий mutex Store. В новом эксперименте число запросов фиксировано, поэтому сравниваются одинаковые объёмы работы, а не разные числа запросов за заданное время. При увеличении объёма до 100 000 запросов результаты стали стабильнее: optimized выигрывает по RPS в 5 из 12 комбинаций, прежде всего при concurrency 4/16; на concurrency 32 система упирается в конкуренцию за общий mutex, поэтому дополнительное увеличение параллелизма не даёт ускорения. Разница остаётся умеренной, поскольку fast path оптимизирует только часть полного HTTP-запроса.

Точка отказа по памяти

Эксперимент запускался с лимитом контейнера 64m, swap отключён (--memory-swap 64m). В каждое сообщение записывалось 4000 Unicode-символов. Контейнер завершился после 8997 подтверждённых сообщений с OOMKilled=true и ExitCode=137. На графике evidence/memory-experiment.png показан рост памяти контейнера до лимита и число подтверждённых сообщений. Причина отказа — in-memory Store удерживает все сообщения и их строки; после достижения cgroup memory limit ядро завершает процесс OOM killer. Это ожидаемая граница выбранной архитектуры: сервер не вводит лимиты количества сообщений и не выполняет controlled degradation.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Перезапуск контейнера in-memory данные исчезают старый пользователь получает 401 данные теряются намеренно при restart
SIGTERM сервер прекращает приём и завершает работу остановка менее 10 секунд подтверждённые данные не сохраняются
10 клиентов × 10 сообщений ровно 100 уникальных сообщений 100 уникальных сообщений нет потери в рамках процесса

Трек 1: baseline / optimized

History Concurrency Requests before/after RPS before RPS after p95 before/after ms p99 before/after ms RSS max before/after KiB
1000 1 100000 / 100000 7334.409 7184.594 0.146 / 0.150 0.186 / 0.231 32560 / 32272
1000 4 100000 / 100000 8823.924 8996.523 0.654 / 0.632 0.869 / 0.867 35520 / 35504
1000 16 100000 / 100000 7336.995 7482.719 3.514 / 3.445 4.631 / 4.577 35808 / 35680
1000 32 100000 / 100000 7386.656 7381.500 7.026 / 7.058 8.953 / 9.054 36336 / 36208
10000 1 100000 / 100000 7138.887 7150.931 0.149 / 0.146 0.210 / 0.187 36208 / 36224
10000 4 100000 / 100000 9043.732 9052.965 0.626 / 0.628 0.841 / 0.859 38496 / 38384
10000 16 100000 / 100000 7442.895 7440.817 3.485 / 3.468 4.703 / 4.701 38384 / 38624
10000 32 100000 / 100000 7382.485 7419.326 7.051 / 7.049 9.096 / 9.096 38384 / 38400
50000 1 100000 / 100000 7158.653 7213.610 0.149 / 0.145 0.211 / 0.191 52416 / 52304
50000 4 100000 / 100000 9079.212 9036.335 0.623 / 0.630 0.823 / 0.842 53152 / 53008
50000 16 100000 / 100000 7419.068 7453.530 3.471 / 3.455 4.694 / 4.688 53536 / 53216
50000 32 100000 / 100000 7427.333 7384.536 7.049 / 7.084 9.007 / 9.203 53760 / 53776

Ограничения и следующие шаги

Решение выдерживает конкурентные запросы внутри одного процесса и корректный SIGTERM. Оно не сохраняет состояние после перезапуска и не рассчитано на несколько API-процессов. Авторизация через X-User-Id является учебным механизмом lab1 и не является безопасной аутентификацией. Persistence, внешняя база и горизонтальное масштабирование не реализованы.