perf: index in-memory message history and measure limits

This commit is contained in:
Самохвалов Андрей Ремович
2026-10-01 22:22:42 +03:00
parent c5e93067ec
commit 82b2fbe850
4 changed files with 281 additions and 10 deletions
+47 -4
View File
@@ -1,7 +1,7 @@
# Отчёт — лабораторная 1
- Автор: Самохвалов Андрей Ремович (локальный Git); группа БПИ2302 (имя ветки/remote). Подтвердить данные перед PR.
- Цель: оценка 5, трек 1. Результаты исследования будут добавлены в U5. Ниже — проверенные критерии уровней 3 и 4.
- Цель: оценка 5, трек 1 «Предел in-memory архитектуры». Ниже — проверенные критерии уровней 3 и 4 и эксперимент уровня 5.
- Ветка: `solution/bpi2302-samohvalov`. Commit/PR: заполнить после публикации.
- Источники: `README.md`, `COURSE.md`, `contracts/openapi.json`, `contracts/README.md`, `Dockerfile.example`, `tests/README.md`. FastAPI, Pydantic и Uvicorn закреплены в `requirements.lock`. Codex помог написать код, тесты и отчёт; результаты команд получены локально.
@@ -23,6 +23,13 @@ docker rm mtusi-messenger-lab1
`APP_HOST=0.0.0.0` и `APP_PORT=8080` из `.env.example` читает `src/server.py`; при смене порта измените и публикацию Docker. Миграций и volumes нет. Сервер — PID 1, `docker stop` посылает SIGTERM. Удаление контейнера намеренно удаляет учебные данные. Локальный `.env` исключён из Git и Docker build context.
На этой машине Colima не пробрасывает published port на macOS. Для `make test` откройте во втором терминале туннель, после проверки завершите его Ctrl-C:
```sh
ssh -F /Users/wingto/.colima/ssh_config -o ExitOnForwardFailure=yes -N -L 127.0.0.1:8080:127.0.0.1:8080 colima
make test BASE_URL=http://127.0.0.1:8080
```
## Архитектура
Один Uvicorn worker обслуживает FastAPI и один `Store` в памяти. Словари пользователей, чатов и сообщений защищены общим `threading.Lock`. Членство проверяется перед чтением чата и истории. Страницы отсортированы по `(created_at, id)`, cursor привязан к пользователю или чату. Данные не переживают рестарт и не синхронизируются между процессами. Базовый Python 3.12.12 slim-bookworm закреплён по digest; прямые и транзитивные зависимости закреплены версиями в `requirements.lock`. Контейнер работает от UID 999.
@@ -40,7 +47,7 @@ docker rm mtusi-messenger-lab1
| Non-root, pinned образ/зависимости, healthcheck, .dockerignore | Lifecycle-тест в Colima VM | `healthy`, UID 999; образ собран по digest и `requirements.lock` | `Dockerfile`, `.dockerignore`, `requirements.lock`, `student-tests/test_lifecycle.py` |
| SIGTERM, закрытый порт, логи без текстов | Lifecycle-тест в Colima VM | `SIGTERM=0.25s`, exit code 0, новое TCP-подключение отклонено, текст тестового сообщения отсутствует в `docker logs` | `student-tests/test_lifecycle.py` |
| CI приложения | `.github/workflows/application.yml` | Job build/readiness/public smoke добавлен; внешнее выполнение ещё не подтверждено | `.github/workflows/application.yml` |
| Трек 5 | Эксперимент U5 | Пока не выполнен | `student-tests/benchmark_memory.py`, `evidence/load-lab1.csv` будут добавлены в U5 |
| Трек 5 | Матрица 3 размера истории × 3 конкуренции × 2 повтора до/после | 36 замеров, 0 ошибок; при 10 000 сообщений и 12 клиентах медианный RPS 493 → 2343, p95 32.157 → 6.793 мс | `student-tests/benchmark_memory.py`, `evidence/load-lab1.csv` |
## Эксперименты и отказы
@@ -49,8 +56,44 @@ docker rm mtusi-messenger-lab1
| `docker restart` | Память сброшена | Прежний пользователь получил 401 после готовности | Все данные потеряны по дизайну lab1 |
| `docker stop --time 10` | Завершение за ≤10 с, новые запросы отклонены | 0.25 с, exit code 0, порт закрыт | После остановки сервис недоступен |
Для трека 1 в U5 нужны гипотеза, одинаковые CPU/RAM-лимиты, матрица ≥3 размеров истории × ≥3 конкуренции, прогрев, длительность, повторения, successful RPS, доля ошибок, p50/p95/p99, CPU/RSS и сравнение до/после одного изменения. `tests/load.py` использует closed-loop нагрузку; его latencies относятся только к успешным ответам и подвержены coordinated omission.
## Исследование предела памяти: трек 1
**Гипотеза до изменения.** `Store.list_messages` на каждом GET сортирует весь список сообщений и фильтрует его после cursor под общим lock. При фиксированной странице из 20 сообщений рост истории должен снизить throughput и увеличить задержки. Поддержание порядка при записи и бинарный поиск cursor должны убрать эту зависимость для чтения; размер памяти при этом останется пропорциональным числу сообщений.
**Стенд и метод.** Измерения 01.10.2026 выполнены внутри Colima VM, Linux aarch64 / Ubuntu 24.04.4 LTS, Docker Engine 29.5.2 (VM: 2 CPU, 2 054 840 320 байт RAM). Каждый контейнер ограничен `--cpus=1 --memory=512m --memory-swap=512m`, один Uvicorn worker, Python 3.12.12. Исходный образ `mtusi-messenger:lab1` имеет ID `sha256:2e71d7424c0769e04834d5d71ee929efd8772048f38842deeb62ca4506703430` и собран из commit `c5e93067ec5b57031fdfb413ad6033dde622590d`; образ после одного изменения `mtusi-messenger:lab1-after` — `sha256:99353b010fcd7704b06a884a6fccbbe8dd487fb20e11946c6f8828256a793ad9`.
Для каждого размера истории (100, 2000, 10 000) стартует новый контейнер, создаются пользователь, чат и заданное число синтетических сообщений с seed `20261001`. Нагрузка — `GET /api/v1/chats/{id}/messages?limit=20&cursor=...` из середины истории. Для 1, 4 и 12 клиентов выполняются два повтора по 1 секунде прогрева и 3 секунды замера. Клиенты держат HTTP keep-alive, не делают retry и измеряют время до полного чтения ответа. Успешный RPS — число ответов 200 за фактическое время; ошибки считаются отдельно. p50/p95/p99 вычисляются по успешным ответам. CPU — разница `utime+stime` `/proc/1/stat` за интервал как процент одного ядра; RSS — `VmRSS` `/proc/1/status` до и после интервала. CSV содержит все 36 отдельных агрегатов без текстов сообщений и идентификаторов пользователей.
После baseline изменён только алгоритм хранения и чтения сообщений в `src/store.py`: вставка в отсортированный список через `bisect.insort`, поиск позиции cursor через `bisect_right`, выдача среза страницы. Это сохраняет порядок `(created_at, id)`, включая совпавшие timestamps. Повторная матрица использовала тот же скрипт, seed, размеры, конкуренцию, длительность и лимиты.
```sh
# Команды из корня текущего checkout; baseline-образ собран из commit U4 до правки src/store.py.
git checkout c5e93067ec5b57031fdfb413ad6033dde622590d
docker build -t mtusi-messenger:lab1 .
git checkout solution/bpi2302-samohvalov
docker build -t mtusi-messenger:lab1-after .
colima ssh -- python3 "$PWD/student-tests/benchmark_memory.py" --phase baseline --image mtusi-messenger:lab1 --output "$PWD/evidence/load-lab1.csv" --duration 3 --warmup 1 --repeats 2 --seed 20261001
colima ssh -- python3 "$PWD/student-tests/benchmark_memory.py" --phase after --image mtusi-messenger:lab1-after --output "$PWD/evidence/load-lab1.csv" --duration 3 --warmup 1 --repeats 2 --seed 20261001
```
Перед повторным запуском удалите старый `evidence/load-lab1.csv`, иначе скрипт допишет строки. Ниже медианы двух повторов; полные числа, включая количество успешных ответов, ошибки, CPU и RSS в каждом повторе, находятся в CSV. RSS приведён в KiB после замера.
| Сообщений | Клиентов | RPS до → после | p50, мс до → после | p95, мс до → после | p99, мс до → после | CPU %, до → после | RSS KiB, до → после |
| ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| 100 | 1 | 1763 → 1758 | 0.564 → 0.568 | 0.636 → 0.629 | 0.696 → 0.677 | 86.2 → 86.0 | 45666 → 45674 |
| 100 | 4 | 2087 → 2143 | 1.784 → 1.732 | 2.575 → 2.494 | 3.426 → 3.269 | 95.4 → 95.3 | 45884 → 45848 |
| 100 | 12 | 2277 → 2384 | 5.160 → 4.967 | 7.042 → 6.710 | 9.841 → 8.994 | 98.7 → 98.9 | 46828 → 46766 |
| 2000 | 1 | 1195 → 1671 | 0.819 → 0.587 | 0.883 → 0.647 | 0.932 → 0.706 | 88.7 → 85.0 | 47040 → 46950 |
| 2000 | 4 | 1301 → 2125 | 2.966 → 1.784 | 4.171 → 2.567 | 5.067 → 3.267 | 94.8 → 97.2 | 47296 → 47074 |
| 2000 | 12 | 1344 → 2322 | 8.587 → 5.010 | 11.563 → 6.787 | 25.556 → 9.622 | 95.3 → 96.9 | 48420 → 47714 |
| 10000 | 1 | 469 → 1666 | 1.968 → 0.587 | 2.276 → 0.647 | 7.179 → 0.706 | 93.8 → 84.5 | 51852 → 50996 |
| 10000 | 4 | 464 → 2116 | 7.824 → 1.760 | 13.589 → 2.529 | 19.584 → 3.349 | 95.2 → 95.5 | 52456 → 51120 |
| 10000 | 12 | 493 → 2343 | 23.328 → 5.054 | 32.157 → 6.793 | 39.069 → 9.267 | 98.8 → 99.4 | 53688 → 51792 |
**Вывод и ограничения.** В baseline рост истории с 100 до 10 000 при 12 клиентах уменьшил медианный RPS в 4.6 раза; CPU был почти насыщен. После изменения RPS на 10 000 сообщениях вырос в 4.75 раза, а p95 уменьшился в 4.73 раза. На 100 сообщениях при одном клиенте разница RPS меньше разброса повторов; универсального выигрыша не утверждаем. При 2000 сообщениях и 12 клиентах baseline p99 различался между повторами (37.517 и 13.596 мс), поэтому медиана не описывает худший выброс. RSS увеличивается с размером истории и остаётся около 46–54 MiB в этом опыте: оптимизация чтения не устраняет предел in-memory хранения. Алгоритм вставки сохраняет быстрый append для хронологических записей, но при времени, идущем назад, может потребовать сдвига O(N); нагрузка записи после изменения отдельно не измерена. Генератор closed-loop, клиент и сервер делят VM, поэтому coordinated omission и CPU клиента ограничивают выводы о максимальной ёмкости; трёхсекундные окна и два повтора дают локальное сравнение, но не долгосрочную оценку. Ошибок HTTP во всех 36 замерах не было; отсутствие ошибок в этом опыте не доказывает надёжность при OOM или отказе host.
После изменения `make check` прошёл; `python -m unittest discover -s student-tests -v` дал 8 проверок, 7 успешных и 1 пропуск Docker lifecycle, включая 100/100 уникальных сообщений в конкурентном тесте. Публичный `tests/smoke.py --base-url http://127.0.0.1:18080` внутри Colima VM прошёл на изменённом образе (`PASS: lab1 public API scenario`).
## Ограничения и следующие шаги
В текущей Colima VM опубликованный порт отвечал, но macOS host без отдельного SSH-туннеля получал `Connection refused` даже для `-p 18080:8080`. Контейнер и API проверены из VM, штатный `make test` — через туннель; прямой host localhost на этой машине пока не подтверждён. CI job рассчитан на обычный Docker runner, внешний результат пока не получен. Второй worker имел бы независимую память. Cursor не даёт snapshot между запросами. Стоимость общего lock и сортировки истории будет измерена в U5.
В текущей Colima VM опубликованный порт отвечал, но macOS host без отдельного SSH-туннеля получал `Connection refused` даже для `-p 18080:8080`. Контейнер и API проверены из VM, штатный `make test` — через туннель; прямой host localhost на этой машине пока не подтверждён. CI job рассчитан на обычный Docker runner, внешний результат пока не получен. Второй worker имел бы независимую память. Cursor не даёт snapshot между запросами. Общий lock и хранение всей истории в RAM остаются ограничениями, несмотря на измеренное ускорение чтения.
+37
View File
@@ -0,0 +1,37 @@
phase,image,history,clients,repeat,seed,duration_s,warmup_s,cpu_limit,memory_limit_mib,success,errors,error_ratio,rps,p50_ms,p95_ms,p99_ms,cpu_percent_one_core,rss_start_kib,rss_end_kib
baseline,mtusi-messenger:lab1,100,1,1,20261001,3.0,1.0,1,512,5365,0,0.0,1787.98,0.555,0.636,0.705,86.3,45664,45664
baseline,mtusi-messenger:lab1,100,1,2,20261001,3.0,1.0,1,512,5213,0,0.0,1737.57,0.573,0.636,0.688,86.0,45668,45668
baseline,mtusi-messenger:lab1,100,4,1,20261001,3.0,1.0,1,512,6299,0,0.0,2098.64,1.775,2.55,3.39,95.6,45724,45872
baseline,mtusi-messenger:lab1,100,4,2,20261001,3.0,1.0,1,512,6229,0,0.0,2075.15,1.792,2.6,3.462,95.3,45880,45896
baseline,mtusi-messenger:lab1,100,12,1,20261001,3.0,1.0,1,512,6759,0,0.0,2233.82,5.189,7.182,11.011,97.8,46544,46732
baseline,mtusi-messenger:lab1,100,12,2,20261001,3.0,1.0,1,512,6971,0,0.0,2320.88,5.131,6.902,8.671,99.5,46776,46924
baseline,mtusi-messenger:lab1,2000,1,1,20261001,3.0,1.0,1,512,3543,0,0.0,1180.85,0.816,0.882,0.929,87.0,47040,47040
baseline,mtusi-messenger:lab1,2000,1,2,20261001,3.0,1.0,1,512,3629,0,0.0,1209.46,0.822,0.885,0.935,90.3,47040,47040
baseline,mtusi-messenger:lab1,2000,4,1,20261001,3.0,1.0,1,512,3954,0,0.0,1317.0,2.978,4.178,5.124,96.3,47152,47276
baseline,mtusi-messenger:lab1,2000,4,2,20261001,3.0,1.0,1,512,3857,0,0.0,1284.94,2.955,4.165,5.011,93.3,47276,47316
baseline,mtusi-messenger:lab1,2000,12,1,20261001,3.0,1.0,1,512,3923,0,0.0,1306.5,8.582,11.963,37.517,92.9,47900,48408
baseline,mtusi-messenger:lab1,2000,12,2,20261001,3.0,1.0,1,512,4149,0,0.0,1380.83,8.591,11.163,13.596,97.8,48408,48432
baseline,mtusi-messenger:lab1,10000,1,1,20261001,3.0,1.0,1,512,1414,0,0.0,471.24,1.972,2.428,7.17,95.6,51852,51852
baseline,mtusi-messenger:lab1,10000,1,2,20261001,3.0,1.0,1,512,1403,0,0.0,467.56,1.963,2.124,7.188,92.0,51852,51852
baseline,mtusi-messenger:lab1,10000,4,1,20261001,3.0,1.0,1,512,1403,0,0.0,467.41,7.757,13.445,20.216,94.6,52180,52456
baseline,mtusi-messenger:lab1,10000,4,2,20261001,3.0,1.0,1,512,1384,0,0.0,459.76,7.891,13.733,18.953,95.7,52456,52456
baseline,mtusi-messenger:lab1,10000,12,1,20261001,3.0,1.0,1,512,1487,0,0.0,492.47,23.43,32.159,36.49,99.0,53688,53688
baseline,mtusi-messenger:lab1,10000,12,2,20261001,3.0,1.0,1,512,1492,0,0.0,494.24,23.225,32.156,41.648,98.7,53688,53688
after,mtusi-messenger:lab1-after,100,1,1,20261001,3.0,1.0,1,512,5318,0,0.0,1772.48,0.564,0.619,0.667,85.7,45668,45672
after,mtusi-messenger:lab1-after,100,1,2,20261001,3.0,1.0,1,512,5232,0,0.0,1743.92,0.572,0.64,0.688,86.3,45676,45676
after,mtusi-messenger:lab1-after,100,4,1,20261001,3.0,1.0,1,512,6467,0,0.0,2154.4,1.728,2.465,3.272,95.3,45708,45844
after,mtusi-messenger:lab1-after,100,4,2,20261001,3.0,1.0,1,512,6394,0,0.0,2130.72,1.736,2.523,3.266,95.3,45852,45852
after,mtusi-messenger:lab1-after,100,12,1,20261001,3.0,1.0,1,512,7106,0,0.0,2365.5,4.978,6.7,9.385,98.2,46640,46760
after,mtusi-messenger:lab1-after,100,12,2,20261001,3.0,1.0,1,512,7212,0,0.0,2401.58,4.957,6.719,8.602,99.6,46768,46772
after,mtusi-messenger:lab1-after,2000,1,1,20261001,3.0,1.0,1,512,4938,0,0.0,1645.72,0.586,0.647,0.712,83.3,46944,46948
after,mtusi-messenger:lab1-after,2000,1,2,20261001,3.0,1.0,1,512,5088,0,0.0,1695.92,0.588,0.647,0.7,86.7,46948,46952
after,mtusi-messenger:lab1-after,2000,4,1,20261001,3.0,1.0,1,512,6553,0,0.0,2183.74,1.772,2.516,3.089,99.3,46960,47072
after,mtusi-messenger:lab1-after,2000,4,2,20261001,3.0,1.0,1,512,6198,0,0.0,2065.56,1.796,2.618,3.445,95.0,47072,47076
after,mtusi-messenger:lab1-after,2000,12,1,20261001,3.0,1.0,1,512,6832,0,0.0,2275.4,5.022,6.818,10.848,95.3,47484,47672
after,mtusi-messenger:lab1-after,2000,12,2,20261001,3.0,1.0,1,512,7114,0,0.0,2369.51,4.998,6.755,8.396,98.6,47720,47756
after,mtusi-messenger:lab1-after,10000,1,1,20261001,3.0,1.0,1,512,5089,0,0.0,1696.27,0.586,0.638,0.683,86.0,50992,50992
after,mtusi-messenger:lab1-after,10000,1,2,20261001,3.0,1.0,1,512,4909,0,0.0,1636.14,0.589,0.656,0.728,83.0,50992,51000
after,mtusi-messenger:lab1-after,10000,4,1,20261001,3.0,1.0,1,512,6269,0,0.0,2088.53,1.791,2.566,3.432,94.9,51008,51120
after,mtusi-messenger:lab1-after,10000,4,2,20261001,3.0,1.0,1,512,6436,0,0.0,2144.3,1.73,2.492,3.266,96.0,51120,51120
after,mtusi-messenger:lab1-after,10000,12,1,20261001,3.0,1.0,1,512,7156,0,0.0,2381.81,4.975,6.708,8.366,99.5,51632,51768
after,mtusi-messenger:lab1-after,10000,12,2,20261001,3.0,1.0,1,512,6918,0,0.0,2304.09,5.133,6.878,10.168,99.3,51784,51816
1 phase image history clients repeat seed duration_s warmup_s cpu_limit memory_limit_mib success errors error_ratio rps p50_ms p95_ms p99_ms cpu_percent_one_core rss_start_kib rss_end_kib
2 baseline mtusi-messenger:lab1 100 1 1 20261001 3.0 1.0 1 512 5365 0 0.0 1787.98 0.555 0.636 0.705 86.3 45664 45664
3 baseline mtusi-messenger:lab1 100 1 2 20261001 3.0 1.0 1 512 5213 0 0.0 1737.57 0.573 0.636 0.688 86.0 45668 45668
4 baseline mtusi-messenger:lab1 100 4 1 20261001 3.0 1.0 1 512 6299 0 0.0 2098.64 1.775 2.55 3.39 95.6 45724 45872
5 baseline mtusi-messenger:lab1 100 4 2 20261001 3.0 1.0 1 512 6229 0 0.0 2075.15 1.792 2.6 3.462 95.3 45880 45896
6 baseline mtusi-messenger:lab1 100 12 1 20261001 3.0 1.0 1 512 6759 0 0.0 2233.82 5.189 7.182 11.011 97.8 46544 46732
7 baseline mtusi-messenger:lab1 100 12 2 20261001 3.0 1.0 1 512 6971 0 0.0 2320.88 5.131 6.902 8.671 99.5 46776 46924
8 baseline mtusi-messenger:lab1 2000 1 1 20261001 3.0 1.0 1 512 3543 0 0.0 1180.85 0.816 0.882 0.929 87.0 47040 47040
9 baseline mtusi-messenger:lab1 2000 1 2 20261001 3.0 1.0 1 512 3629 0 0.0 1209.46 0.822 0.885 0.935 90.3 47040 47040
10 baseline mtusi-messenger:lab1 2000 4 1 20261001 3.0 1.0 1 512 3954 0 0.0 1317.0 2.978 4.178 5.124 96.3 47152 47276
11 baseline mtusi-messenger:lab1 2000 4 2 20261001 3.0 1.0 1 512 3857 0 0.0 1284.94 2.955 4.165 5.011 93.3 47276 47316
12 baseline mtusi-messenger:lab1 2000 12 1 20261001 3.0 1.0 1 512 3923 0 0.0 1306.5 8.582 11.963 37.517 92.9 47900 48408
13 baseline mtusi-messenger:lab1 2000 12 2 20261001 3.0 1.0 1 512 4149 0 0.0 1380.83 8.591 11.163 13.596 97.8 48408 48432
14 baseline mtusi-messenger:lab1 10000 1 1 20261001 3.0 1.0 1 512 1414 0 0.0 471.24 1.972 2.428 7.17 95.6 51852 51852
15 baseline mtusi-messenger:lab1 10000 1 2 20261001 3.0 1.0 1 512 1403 0 0.0 467.56 1.963 2.124 7.188 92.0 51852 51852
16 baseline mtusi-messenger:lab1 10000 4 1 20261001 3.0 1.0 1 512 1403 0 0.0 467.41 7.757 13.445 20.216 94.6 52180 52456
17 baseline mtusi-messenger:lab1 10000 4 2 20261001 3.0 1.0 1 512 1384 0 0.0 459.76 7.891 13.733 18.953 95.7 52456 52456
18 baseline mtusi-messenger:lab1 10000 12 1 20261001 3.0 1.0 1 512 1487 0 0.0 492.47 23.43 32.159 36.49 99.0 53688 53688
19 baseline mtusi-messenger:lab1 10000 12 2 20261001 3.0 1.0 1 512 1492 0 0.0 494.24 23.225 32.156 41.648 98.7 53688 53688
20 after mtusi-messenger:lab1-after 100 1 1 20261001 3.0 1.0 1 512 5318 0 0.0 1772.48 0.564 0.619 0.667 85.7 45668 45672
21 after mtusi-messenger:lab1-after 100 1 2 20261001 3.0 1.0 1 512 5232 0 0.0 1743.92 0.572 0.64 0.688 86.3 45676 45676
22 after mtusi-messenger:lab1-after 100 4 1 20261001 3.0 1.0 1 512 6467 0 0.0 2154.4 1.728 2.465 3.272 95.3 45708 45844
23 after mtusi-messenger:lab1-after 100 4 2 20261001 3.0 1.0 1 512 6394 0 0.0 2130.72 1.736 2.523 3.266 95.3 45852 45852
24 after mtusi-messenger:lab1-after 100 12 1 20261001 3.0 1.0 1 512 7106 0 0.0 2365.5 4.978 6.7 9.385 98.2 46640 46760
25 after mtusi-messenger:lab1-after 100 12 2 20261001 3.0 1.0 1 512 7212 0 0.0 2401.58 4.957 6.719 8.602 99.6 46768 46772
26 after mtusi-messenger:lab1-after 2000 1 1 20261001 3.0 1.0 1 512 4938 0 0.0 1645.72 0.586 0.647 0.712 83.3 46944 46948
27 after mtusi-messenger:lab1-after 2000 1 2 20261001 3.0 1.0 1 512 5088 0 0.0 1695.92 0.588 0.647 0.7 86.7 46948 46952
28 after mtusi-messenger:lab1-after 2000 4 1 20261001 3.0 1.0 1 512 6553 0 0.0 2183.74 1.772 2.516 3.089 99.3 46960 47072
29 after mtusi-messenger:lab1-after 2000 4 2 20261001 3.0 1.0 1 512 6198 0 0.0 2065.56 1.796 2.618 3.445 95.0 47072 47076
30 after mtusi-messenger:lab1-after 2000 12 1 20261001 3.0 1.0 1 512 6832 0 0.0 2275.4 5.022 6.818 10.848 95.3 47484 47672
31 after mtusi-messenger:lab1-after 2000 12 2 20261001 3.0 1.0 1 512 7114 0 0.0 2369.51 4.998 6.755 8.396 98.6 47720 47756
32 after mtusi-messenger:lab1-after 10000 1 1 20261001 3.0 1.0 1 512 5089 0 0.0 1696.27 0.586 0.638 0.683 86.0 50992 50992
33 after mtusi-messenger:lab1-after 10000 1 2 20261001 3.0 1.0 1 512 4909 0 0.0 1636.14 0.589 0.656 0.728 83.0 50992 51000
34 after mtusi-messenger:lab1-after 10000 4 1 20261001 3.0 1.0 1 512 6269 0 0.0 2088.53 1.791 2.566 3.432 94.9 51008 51120
35 after mtusi-messenger:lab1-after 10000 4 2 20261001 3.0 1.0 1 512 6436 0 0.0 2144.3 1.73 2.492 3.266 96.0 51120 51120
36 after mtusi-messenger:lab1-after 10000 12 1 20261001 3.0 1.0 1 512 7156 0 0.0 2381.81 4.975 6.708 8.366 99.5 51632 51768
37 after mtusi-messenger:lab1-after 10000 12 2 20261001 3.0 1.0 1 512 6918 0 0.0 2304.09 5.133 6.878 10.168 99.3 51784 51816
+10 -6
View File
@@ -3,6 +3,7 @@
import base64
import binascii
import json
from bisect import bisect_right, insort
from datetime import datetime, timezone
from threading import Lock
from uuid import UUID, uuid4
@@ -14,6 +15,10 @@ def now() -> str:
return datetime.now(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z")
def message_key(item: dict) -> tuple[str, str]:
return item["created_at"], item["id"]
def encode_cursor(resource: str, item: dict) -> str:
value = [resource, item["created_at"], item["id"]]
return base64.urlsafe_b64encode(json.dumps(value, separators=(",", ":")).encode()).decode().rstrip("=")
@@ -100,7 +105,7 @@ class Store:
"id": str(uuid4()), "chat_id": chat_id, "sender_id": actor_id,
"text": text, "created_at": now(),
}
self.messages[chat_id].append(message)
insort(self.messages[chat_id], message, key=message_key)
return message
def list_messages(self, actor_id: str, chat_id: str, limit: int, cursor: str | None) -> dict:
@@ -109,11 +114,10 @@ class Store:
if chat is None or actor_id not in chat["member_ids"]:
raise HTTPException(404)
after = decode_cursor(cursor, f"messages:{chat_id}")
items = sorted(self.messages[chat_id], key=lambda item: (item["created_at"], item["id"]))
if after is not None:
items = [item for item in items if (item["created_at"], item["id"]) > after]
page = items[:limit]
next_cursor = encode_cursor(f"messages:{chat_id}", page[-1]) if len(items) > limit else None
items = self.messages[chat_id]
start = bisect_right(items, after, key=message_key) if after is not None else 0
page = items[start:start + limit]
next_cursor = encode_cursor(f"messages:{chat_id}", page[-1]) if len(items) > start + limit else None
return {"items": page, "next_cursor": next_cursor}
+187
View File
@@ -0,0 +1,187 @@
#!/usr/bin/env python3
"""Repeatable closed-loop read benchmark for the lab 1 in-memory history."""
import argparse
import base64
import csv
import http.client
import json
import math
import os
from concurrent.futures import ThreadPoolExecutor
from pathlib import Path
import subprocess
import threading
import time
from urllib.parse import quote
PORT = 18080
NAME = "mtusi-lab1-benchmark"
HISTORY = (100, 2000, 10000)
CLIENTS = (1, 4, 12)
FIELDS = (
"phase", "image", "history", "clients", "repeat", "seed", "duration_s", "warmup_s",
"cpu_limit", "memory_limit_mib", "success", "errors", "error_ratio", "rps",
"p50_ms", "p95_ms", "p99_ms", "cpu_percent_one_core", "rss_start_kib", "rss_end_kib",
)
def docker(*args):
return subprocess.check_output(("docker", *args), text=True).strip()
class HTTP:
def __init__(self):
self.conn = http.client.HTTPConnection("127.0.0.1", PORT, timeout=10)
def call(self, method, path, user=None, body=None):
headers = {"X-User-Id": user} if user else {}
if body is not None:
headers["Content-Type"] = "application/json"
body = json.dumps(body, separators=(",", ":")).encode()
self.conn.request(method, path, body, headers)
response = self.conn.getresponse()
data = response.read()
if response.status not in (200, 201):
raise RuntimeError(f"HTTP {response.status}: {data[:120]!r}")
return json.loads(data)
def close(self):
self.conn.close()
def seed_history(count, seed):
client = HTTP()
try:
user = client.call("POST", "/api/v1/users", body={"username": "bench", "display_name": "Benchmark"})["id"]
chat = client.call("POST", "/api/v1/chats", user, {"title": "Benchmark", "member_ids": [user]})["id"]
finally:
client.close()
def batch(worker):
local = HTTP()
try:
return [local.call("POST", f"/api/v1/chats/{chat}/messages", user,
{"text": f"synthetic-{seed}-{index:05d}"})
for index in range(worker, count, 8)]
finally:
local.close()
with ThreadPoolExecutor(max_workers=8) as pool:
messages = [message for batch_result in pool.map(batch, range(8)) for message in batch_result]
messages.sort(key=lambda item: (item["created_at"], item["id"]))
midpoint = messages[count // 2]
cursor = base64.urlsafe_b64encode(json.dumps(
[f"messages:{chat}", midpoint["created_at"], midpoint["id"]], separators=(",", ":")
).encode()).decode().rstrip("=")
path = f"/api/v1/chats/{chat}/messages?limit=20&cursor={quote(cursor)}"
client = HTTP()
try:
page = client.call("GET", path, user)
assert len(page["items"]) == 20
assert (page["items"][0]["created_at"], page["items"][0]["id"]) > (midpoint["created_at"], midpoint["id"])
finally:
client.close()
return user, path
def process_metrics():
stat = docker("exec", NAME, "cat", "/proc/1/stat").split()
status = docker("exec", NAME, "cat", "/proc/1/status")
rss = int(next(line.split()[1] for line in status.splitlines() if line.startswith("VmRSS:")))
return (int(stat[13]) + int(stat[14])) / os.sysconf("SC_CLK_TCK"), rss
def percentile(values, fraction):
return round(values[math.ceil(len(values) * fraction) - 1], 3) if values else ""
def load(user, path, clients, duration):
barrier = threading.Barrier(clients)
deadline = time.monotonic() + duration
def worker():
connection = HTTP()
latencies, errors = [], 0
barrier.wait()
try:
while time.monotonic() < deadline:
start = time.perf_counter()
try:
connection.call("GET", path, user)
latencies.append((time.perf_counter() - start) * 1000)
except (OSError, RuntimeError, ValueError):
errors += 1
connection.close()
connection = HTTP()
finally:
connection.close()
return latencies, errors
start = time.monotonic()
with ThreadPoolExecutor(max_workers=clients) as pool:
results = list(pool.map(lambda _: worker(), range(clients)))
elapsed = time.monotonic() - start
latencies = sorted(value for successes, _ in results for value in successes)
errors = sum(failures for _, failures in results)
return elapsed, latencies, errors
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--phase", choices=("baseline", "after"), required=True)
parser.add_argument("--image", required=True)
parser.add_argument("--output", default="evidence/load-lab1.csv")
parser.add_argument("--duration", type=float, default=3)
parser.add_argument("--warmup", type=float, default=1)
parser.add_argument("--repeats", type=int, default=2)
parser.add_argument("--seed", type=int, default=20261001)
args = parser.parse_args()
if args.duration <= 0 or args.warmup <= 0 or args.repeats < 2:
parser.error("duration and warmup must be positive; repeats must be >= 2")
output = Path(args.output)
output.parent.mkdir(parents=True, exist_ok=True)
new_file = not output.exists()
with output.open("a", newline="") as result:
writer = csv.DictWriter(result, fieldnames=FIELDS)
if new_file:
writer.writeheader()
for history in HISTORY:
docker("run", "-d", "--rm", "--name", NAME, "--cpus=1", "--memory=512m",
"--memory-swap=512m", "-p", f"127.0.0.1:{PORT}:8080", args.image)
try:
for _ in range(100):
try:
HTTP().call("GET", "/health/ready")
break
except OSError:
time.sleep(.1)
else:
raise RuntimeError("container did not become ready")
user, path = seed_history(history, args.seed)
for clients in CLIENTS:
for repeat in range(1, args.repeats + 1):
load(user, path, clients, args.warmup)
cpu_before, rss_before = process_metrics()
elapsed, latencies, errors = load(user, path, clients, args.duration)
cpu_after, rss_after = process_metrics()
total = len(latencies) + errors
row = dict(phase=args.phase, image=args.image, history=history, clients=clients,
repeat=repeat, seed=args.seed, duration_s=args.duration, warmup_s=args.warmup,
cpu_limit=1, memory_limit_mib=512, success=len(latencies), errors=errors,
error_ratio=round(errors / total, 6) if total else 0,
rps=round(len(latencies) / elapsed, 2),
p50_ms=percentile(latencies, .5), p95_ms=percentile(latencies, .95),
p99_ms=percentile(latencies, .99),
cpu_percent_one_core=round((cpu_after - cpu_before) / elapsed * 100, 1),
rss_start_kib=rss_before, rss_end_kib=rss_after)
writer.writerow(row)
result.flush()
print(row, flush=True)
finally:
docker("stop", "--time", "10", NAME)
if __name__ == "__main__":
main()