diff --git a/REPORT.md b/REPORT.md index f870aeb..1b56faa 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,7 +1,7 @@ # Отчёт — лабораторная 1 - Автор: Самохвалов Андрей Ремович (локальный Git); группа БПИ2302 (имя ветки/remote). Подтвердить данные перед PR. -- Цель: оценка 5, трек 1. Результаты исследования будут добавлены в U5. Ниже — проверенные критерии уровней 3 и 4. +- Цель: оценка 5, трек 1 «Предел in-memory архитектуры». Ниже — проверенные критерии уровней 3 и 4 и эксперимент уровня 5. - Ветка: `solution/bpi2302-samohvalov`. Commit/PR: заполнить после публикации. - Источники: `README.md`, `COURSE.md`, `contracts/openapi.json`, `contracts/README.md`, `Dockerfile.example`, `tests/README.md`. FastAPI, Pydantic и Uvicorn закреплены в `requirements.lock`. Codex помог написать код, тесты и отчёт; результаты команд получены локально. @@ -23,6 +23,13 @@ docker rm mtusi-messenger-lab1 `APP_HOST=0.0.0.0` и `APP_PORT=8080` из `.env.example` читает `src/server.py`; при смене порта измените и публикацию Docker. Миграций и volumes нет. Сервер — PID 1, `docker stop` посылает SIGTERM. Удаление контейнера намеренно удаляет учебные данные. Локальный `.env` исключён из Git и Docker build context. +На этой машине Colima не пробрасывает published port на macOS. Для `make test` откройте во втором терминале туннель, после проверки завершите его Ctrl-C: + +```sh +ssh -F /Users/wingto/.colima/ssh_config -o ExitOnForwardFailure=yes -N -L 127.0.0.1:8080:127.0.0.1:8080 colima +make test BASE_URL=http://127.0.0.1:8080 +``` + ## Архитектура Один Uvicorn worker обслуживает FastAPI и один `Store` в памяти. Словари пользователей, чатов и сообщений защищены общим `threading.Lock`. Членство проверяется перед чтением чата и истории. Страницы отсортированы по `(created_at, id)`, cursor привязан к пользователю или чату. Данные не переживают рестарт и не синхронизируются между процессами. Базовый Python 3.12.12 slim-bookworm закреплён по digest; прямые и транзитивные зависимости закреплены версиями в `requirements.lock`. Контейнер работает от UID 999. @@ -40,7 +47,7 @@ docker rm mtusi-messenger-lab1 | Non-root, pinned образ/зависимости, healthcheck, .dockerignore | Lifecycle-тест в Colima VM | `healthy`, UID 999; образ собран по digest и `requirements.lock` | `Dockerfile`, `.dockerignore`, `requirements.lock`, `student-tests/test_lifecycle.py` | | SIGTERM, закрытый порт, логи без текстов | Lifecycle-тест в Colima VM | `SIGTERM=0.25s`, exit code 0, новое TCP-подключение отклонено, текст тестового сообщения отсутствует в `docker logs` | `student-tests/test_lifecycle.py` | | CI приложения | `.github/workflows/application.yml` | Job build/readiness/public smoke добавлен; внешнее выполнение ещё не подтверждено | `.github/workflows/application.yml` | -| Трек 5 | Эксперимент U5 | Пока не выполнен | `student-tests/benchmark_memory.py`, `evidence/load-lab1.csv` будут добавлены в U5 | +| Трек 5 | Матрица 3 размера истории × 3 конкуренции × 2 повтора до/после | 36 замеров, 0 ошибок; при 10 000 сообщений и 12 клиентах медианный RPS 493 → 2343, p95 32.157 → 6.793 мс | `student-tests/benchmark_memory.py`, `evidence/load-lab1.csv` | ## Эксперименты и отказы @@ -49,8 +56,44 @@ docker rm mtusi-messenger-lab1 | `docker restart` | Память сброшена | Прежний пользователь получил 401 после готовности | Все данные потеряны по дизайну lab1 | | `docker stop --time 10` | Завершение за ≤10 с, новые запросы отклонены | 0.25 с, exit code 0, порт закрыт | После остановки сервис недоступен | -Для трека 1 в U5 нужны гипотеза, одинаковые CPU/RAM-лимиты, матрица ≥3 размеров истории × ≥3 конкуренции, прогрев, длительность, повторения, successful RPS, доля ошибок, p50/p95/p99, CPU/RSS и сравнение до/после одного изменения. `tests/load.py` использует closed-loop нагрузку; его latencies относятся только к успешным ответам и подвержены coordinated omission. +## Исследование предела памяти: трек 1 + +**Гипотеза до изменения.** `Store.list_messages` на каждом GET сортирует весь список сообщений и фильтрует его после cursor под общим lock. При фиксированной странице из 20 сообщений рост истории должен снизить throughput и увеличить задержки. Поддержание порядка при записи и бинарный поиск cursor должны убрать эту зависимость для чтения; размер памяти при этом останется пропорциональным числу сообщений. + +**Стенд и метод.** Измерения 01.10.2026 выполнены внутри Colima VM, Linux aarch64 / Ubuntu 24.04.4 LTS, Docker Engine 29.5.2 (VM: 2 CPU, 2 054 840 320 байт RAM). Каждый контейнер ограничен `--cpus=1 --memory=512m --memory-swap=512m`, один Uvicorn worker, Python 3.12.12. Исходный образ `mtusi-messenger:lab1` имеет ID `sha256:2e71d7424c0769e04834d5d71ee929efd8772048f38842deeb62ca4506703430` и собран из commit `c5e93067ec5b57031fdfb413ad6033dde622590d`; образ после одного изменения `mtusi-messenger:lab1-after` — `sha256:99353b010fcd7704b06a884a6fccbbe8dd487fb20e11946c6f8828256a793ad9`. + +Для каждого размера истории (100, 2000, 10 000) стартует новый контейнер, создаются пользователь, чат и заданное число синтетических сообщений с seed `20261001`. Нагрузка — `GET /api/v1/chats/{id}/messages?limit=20&cursor=...` из середины истории. Для 1, 4 и 12 клиентов выполняются два повтора по 1 секунде прогрева и 3 секунды замера. Клиенты держат HTTP keep-alive, не делают retry и измеряют время до полного чтения ответа. Успешный RPS — число ответов 200 за фактическое время; ошибки считаются отдельно. p50/p95/p99 вычисляются по успешным ответам. CPU — разница `utime+stime` `/proc/1/stat` за интервал как процент одного ядра; RSS — `VmRSS` `/proc/1/status` до и после интервала. CSV содержит все 36 отдельных агрегатов без текстов сообщений и идентификаторов пользователей. + +После baseline изменён только алгоритм хранения и чтения сообщений в `src/store.py`: вставка в отсортированный список через `bisect.insort`, поиск позиции cursor через `bisect_right`, выдача среза страницы. Это сохраняет порядок `(created_at, id)`, включая совпавшие timestamps. Повторная матрица использовала тот же скрипт, seed, размеры, конкуренцию, длительность и лимиты. + +```sh +# Команды из корня текущего checkout; baseline-образ собран из commit U4 до правки src/store.py. +git checkout c5e93067ec5b57031fdfb413ad6033dde622590d +docker build -t mtusi-messenger:lab1 . +git checkout solution/bpi2302-samohvalov +docker build -t mtusi-messenger:lab1-after . +colima ssh -- python3 "$PWD/student-tests/benchmark_memory.py" --phase baseline --image mtusi-messenger:lab1 --output "$PWD/evidence/load-lab1.csv" --duration 3 --warmup 1 --repeats 2 --seed 20261001 +colima ssh -- python3 "$PWD/student-tests/benchmark_memory.py" --phase after --image mtusi-messenger:lab1-after --output "$PWD/evidence/load-lab1.csv" --duration 3 --warmup 1 --repeats 2 --seed 20261001 +``` + +Перед повторным запуском удалите старый `evidence/load-lab1.csv`, иначе скрипт допишет строки. Ниже медианы двух повторов; полные числа, включая количество успешных ответов, ошибки, CPU и RSS в каждом повторе, находятся в CSV. RSS приведён в KiB после замера. + +| Сообщений | Клиентов | RPS до → после | p50, мс до → после | p95, мс до → после | p99, мс до → после | CPU %, до → после | RSS KiB, до → после | +| ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | +| 100 | 1 | 1763 → 1758 | 0.564 → 0.568 | 0.636 → 0.629 | 0.696 → 0.677 | 86.2 → 86.0 | 45666 → 45674 | +| 100 | 4 | 2087 → 2143 | 1.784 → 1.732 | 2.575 → 2.494 | 3.426 → 3.269 | 95.4 → 95.3 | 45884 → 45848 | +| 100 | 12 | 2277 → 2384 | 5.160 → 4.967 | 7.042 → 6.710 | 9.841 → 8.994 | 98.7 → 98.9 | 46828 → 46766 | +| 2000 | 1 | 1195 → 1671 | 0.819 → 0.587 | 0.883 → 0.647 | 0.932 → 0.706 | 88.7 → 85.0 | 47040 → 46950 | +| 2000 | 4 | 1301 → 2125 | 2.966 → 1.784 | 4.171 → 2.567 | 5.067 → 3.267 | 94.8 → 97.2 | 47296 → 47074 | +| 2000 | 12 | 1344 → 2322 | 8.587 → 5.010 | 11.563 → 6.787 | 25.556 → 9.622 | 95.3 → 96.9 | 48420 → 47714 | +| 10000 | 1 | 469 → 1666 | 1.968 → 0.587 | 2.276 → 0.647 | 7.179 → 0.706 | 93.8 → 84.5 | 51852 → 50996 | +| 10000 | 4 | 464 → 2116 | 7.824 → 1.760 | 13.589 → 2.529 | 19.584 → 3.349 | 95.2 → 95.5 | 52456 → 51120 | +| 10000 | 12 | 493 → 2343 | 23.328 → 5.054 | 32.157 → 6.793 | 39.069 → 9.267 | 98.8 → 99.4 | 53688 → 51792 | + +**Вывод и ограничения.** В baseline рост истории с 100 до 10 000 при 12 клиентах уменьшил медианный RPS в 4.6 раза; CPU был почти насыщен. После изменения RPS на 10 000 сообщениях вырос в 4.75 раза, а p95 уменьшился в 4.73 раза. На 100 сообщениях при одном клиенте разница RPS меньше разброса повторов; универсального выигрыша не утверждаем. При 2000 сообщениях и 12 клиентах baseline p99 различался между повторами (37.517 и 13.596 мс), поэтому медиана не описывает худший выброс. RSS увеличивается с размером истории и остаётся около 46–54 MiB в этом опыте: оптимизация чтения не устраняет предел in-memory хранения. Алгоритм вставки сохраняет быстрый append для хронологических записей, но при времени, идущем назад, может потребовать сдвига O(N); нагрузка записи после изменения отдельно не измерена. Генератор closed-loop, клиент и сервер делят VM, поэтому coordinated omission и CPU клиента ограничивают выводы о максимальной ёмкости; трёхсекундные окна и два повтора дают локальное сравнение, но не долгосрочную оценку. Ошибок HTTP во всех 36 замерах не было; отсутствие ошибок в этом опыте не доказывает надёжность при OOM или отказе host. + +После изменения `make check` прошёл; `python -m unittest discover -s student-tests -v` дал 8 проверок, 7 успешных и 1 пропуск Docker lifecycle, включая 100/100 уникальных сообщений в конкурентном тесте. Публичный `tests/smoke.py --base-url http://127.0.0.1:18080` внутри Colima VM прошёл на изменённом образе (`PASS: lab1 public API scenario`). ## Ограничения и следующие шаги -В текущей Colima VM опубликованный порт отвечал, но macOS host без отдельного SSH-туннеля получал `Connection refused` даже для `-p 18080:8080`. Контейнер и API проверены из VM, штатный `make test` — через туннель; прямой host localhost на этой машине пока не подтверждён. CI job рассчитан на обычный Docker runner, внешний результат пока не получен. Второй worker имел бы независимую память. Cursor не даёт snapshot между запросами. Стоимость общего lock и сортировки истории будет измерена в U5. +В текущей Colima VM опубликованный порт отвечал, но macOS host без отдельного SSH-туннеля получал `Connection refused` даже для `-p 18080:8080`. Контейнер и API проверены из VM, штатный `make test` — через туннель; прямой host localhost на этой машине пока не подтверждён. CI job рассчитан на обычный Docker runner, внешний результат пока не получен. Второй worker имел бы независимую память. Cursor не даёт snapshot между запросами. Общий lock и хранение всей истории в RAM остаются ограничениями, несмотря на измеренное ускорение чтения. diff --git a/evidence/load-lab1.csv b/evidence/load-lab1.csv new file mode 100644 index 0000000..6c65873 --- /dev/null +++ b/evidence/load-lab1.csv @@ -0,0 +1,37 @@ +phase,image,history,clients,repeat,seed,duration_s,warmup_s,cpu_limit,memory_limit_mib,success,errors,error_ratio,rps,p50_ms,p95_ms,p99_ms,cpu_percent_one_core,rss_start_kib,rss_end_kib +baseline,mtusi-messenger:lab1,100,1,1,20261001,3.0,1.0,1,512,5365,0,0.0,1787.98,0.555,0.636,0.705,86.3,45664,45664 +baseline,mtusi-messenger:lab1,100,1,2,20261001,3.0,1.0,1,512,5213,0,0.0,1737.57,0.573,0.636,0.688,86.0,45668,45668 +baseline,mtusi-messenger:lab1,100,4,1,20261001,3.0,1.0,1,512,6299,0,0.0,2098.64,1.775,2.55,3.39,95.6,45724,45872 +baseline,mtusi-messenger:lab1,100,4,2,20261001,3.0,1.0,1,512,6229,0,0.0,2075.15,1.792,2.6,3.462,95.3,45880,45896 +baseline,mtusi-messenger:lab1,100,12,1,20261001,3.0,1.0,1,512,6759,0,0.0,2233.82,5.189,7.182,11.011,97.8,46544,46732 +baseline,mtusi-messenger:lab1,100,12,2,20261001,3.0,1.0,1,512,6971,0,0.0,2320.88,5.131,6.902,8.671,99.5,46776,46924 +baseline,mtusi-messenger:lab1,2000,1,1,20261001,3.0,1.0,1,512,3543,0,0.0,1180.85,0.816,0.882,0.929,87.0,47040,47040 +baseline,mtusi-messenger:lab1,2000,1,2,20261001,3.0,1.0,1,512,3629,0,0.0,1209.46,0.822,0.885,0.935,90.3,47040,47040 +baseline,mtusi-messenger:lab1,2000,4,1,20261001,3.0,1.0,1,512,3954,0,0.0,1317.0,2.978,4.178,5.124,96.3,47152,47276 +baseline,mtusi-messenger:lab1,2000,4,2,20261001,3.0,1.0,1,512,3857,0,0.0,1284.94,2.955,4.165,5.011,93.3,47276,47316 +baseline,mtusi-messenger:lab1,2000,12,1,20261001,3.0,1.0,1,512,3923,0,0.0,1306.5,8.582,11.963,37.517,92.9,47900,48408 +baseline,mtusi-messenger:lab1,2000,12,2,20261001,3.0,1.0,1,512,4149,0,0.0,1380.83,8.591,11.163,13.596,97.8,48408,48432 +baseline,mtusi-messenger:lab1,10000,1,1,20261001,3.0,1.0,1,512,1414,0,0.0,471.24,1.972,2.428,7.17,95.6,51852,51852 +baseline,mtusi-messenger:lab1,10000,1,2,20261001,3.0,1.0,1,512,1403,0,0.0,467.56,1.963,2.124,7.188,92.0,51852,51852 +baseline,mtusi-messenger:lab1,10000,4,1,20261001,3.0,1.0,1,512,1403,0,0.0,467.41,7.757,13.445,20.216,94.6,52180,52456 +baseline,mtusi-messenger:lab1,10000,4,2,20261001,3.0,1.0,1,512,1384,0,0.0,459.76,7.891,13.733,18.953,95.7,52456,52456 +baseline,mtusi-messenger:lab1,10000,12,1,20261001,3.0,1.0,1,512,1487,0,0.0,492.47,23.43,32.159,36.49,99.0,53688,53688 +baseline,mtusi-messenger:lab1,10000,12,2,20261001,3.0,1.0,1,512,1492,0,0.0,494.24,23.225,32.156,41.648,98.7,53688,53688 +after,mtusi-messenger:lab1-after,100,1,1,20261001,3.0,1.0,1,512,5318,0,0.0,1772.48,0.564,0.619,0.667,85.7,45668,45672 +after,mtusi-messenger:lab1-after,100,1,2,20261001,3.0,1.0,1,512,5232,0,0.0,1743.92,0.572,0.64,0.688,86.3,45676,45676 +after,mtusi-messenger:lab1-after,100,4,1,20261001,3.0,1.0,1,512,6467,0,0.0,2154.4,1.728,2.465,3.272,95.3,45708,45844 +after,mtusi-messenger:lab1-after,100,4,2,20261001,3.0,1.0,1,512,6394,0,0.0,2130.72,1.736,2.523,3.266,95.3,45852,45852 +after,mtusi-messenger:lab1-after,100,12,1,20261001,3.0,1.0,1,512,7106,0,0.0,2365.5,4.978,6.7,9.385,98.2,46640,46760 +after,mtusi-messenger:lab1-after,100,12,2,20261001,3.0,1.0,1,512,7212,0,0.0,2401.58,4.957,6.719,8.602,99.6,46768,46772 +after,mtusi-messenger:lab1-after,2000,1,1,20261001,3.0,1.0,1,512,4938,0,0.0,1645.72,0.586,0.647,0.712,83.3,46944,46948 +after,mtusi-messenger:lab1-after,2000,1,2,20261001,3.0,1.0,1,512,5088,0,0.0,1695.92,0.588,0.647,0.7,86.7,46948,46952 +after,mtusi-messenger:lab1-after,2000,4,1,20261001,3.0,1.0,1,512,6553,0,0.0,2183.74,1.772,2.516,3.089,99.3,46960,47072 +after,mtusi-messenger:lab1-after,2000,4,2,20261001,3.0,1.0,1,512,6198,0,0.0,2065.56,1.796,2.618,3.445,95.0,47072,47076 +after,mtusi-messenger:lab1-after,2000,12,1,20261001,3.0,1.0,1,512,6832,0,0.0,2275.4,5.022,6.818,10.848,95.3,47484,47672 +after,mtusi-messenger:lab1-after,2000,12,2,20261001,3.0,1.0,1,512,7114,0,0.0,2369.51,4.998,6.755,8.396,98.6,47720,47756 +after,mtusi-messenger:lab1-after,10000,1,1,20261001,3.0,1.0,1,512,5089,0,0.0,1696.27,0.586,0.638,0.683,86.0,50992,50992 +after,mtusi-messenger:lab1-after,10000,1,2,20261001,3.0,1.0,1,512,4909,0,0.0,1636.14,0.589,0.656,0.728,83.0,50992,51000 +after,mtusi-messenger:lab1-after,10000,4,1,20261001,3.0,1.0,1,512,6269,0,0.0,2088.53,1.791,2.566,3.432,94.9,51008,51120 +after,mtusi-messenger:lab1-after,10000,4,2,20261001,3.0,1.0,1,512,6436,0,0.0,2144.3,1.73,2.492,3.266,96.0,51120,51120 +after,mtusi-messenger:lab1-after,10000,12,1,20261001,3.0,1.0,1,512,7156,0,0.0,2381.81,4.975,6.708,8.366,99.5,51632,51768 +after,mtusi-messenger:lab1-after,10000,12,2,20261001,3.0,1.0,1,512,6918,0,0.0,2304.09,5.133,6.878,10.168,99.3,51784,51816 diff --git a/src/store.py b/src/store.py index 91ec75c..8951551 100644 --- a/src/store.py +++ b/src/store.py @@ -3,6 +3,7 @@ import base64 import binascii import json +from bisect import bisect_right, insort from datetime import datetime, timezone from threading import Lock from uuid import UUID, uuid4 @@ -14,6 +15,10 @@ def now() -> str: return datetime.now(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z") +def message_key(item: dict) -> tuple[str, str]: + return item["created_at"], item["id"] + + def encode_cursor(resource: str, item: dict) -> str: value = [resource, item["created_at"], item["id"]] return base64.urlsafe_b64encode(json.dumps(value, separators=(",", ":")).encode()).decode().rstrip("=") @@ -100,7 +105,7 @@ class Store: "id": str(uuid4()), "chat_id": chat_id, "sender_id": actor_id, "text": text, "created_at": now(), } - self.messages[chat_id].append(message) + insort(self.messages[chat_id], message, key=message_key) return message def list_messages(self, actor_id: str, chat_id: str, limit: int, cursor: str | None) -> dict: @@ -109,11 +114,10 @@ class Store: if chat is None or actor_id not in chat["member_ids"]: raise HTTPException(404) after = decode_cursor(cursor, f"messages:{chat_id}") - items = sorted(self.messages[chat_id], key=lambda item: (item["created_at"], item["id"])) - if after is not None: - items = [item for item in items if (item["created_at"], item["id"]) > after] - page = items[:limit] - next_cursor = encode_cursor(f"messages:{chat_id}", page[-1]) if len(items) > limit else None + items = self.messages[chat_id] + start = bisect_right(items, after, key=message_key) if after is not None else 0 + page = items[start:start + limit] + next_cursor = encode_cursor(f"messages:{chat_id}", page[-1]) if len(items) > start + limit else None return {"items": page, "next_cursor": next_cursor} diff --git a/student-tests/benchmark_memory.py b/student-tests/benchmark_memory.py new file mode 100644 index 0000000..3254a20 --- /dev/null +++ b/student-tests/benchmark_memory.py @@ -0,0 +1,187 @@ +#!/usr/bin/env python3 +"""Repeatable closed-loop read benchmark for the lab 1 in-memory history.""" + +import argparse +import base64 +import csv +import http.client +import json +import math +import os +from concurrent.futures import ThreadPoolExecutor +from pathlib import Path +import subprocess +import threading +import time +from urllib.parse import quote + + +PORT = 18080 +NAME = "mtusi-lab1-benchmark" +HISTORY = (100, 2000, 10000) +CLIENTS = (1, 4, 12) +FIELDS = ( + "phase", "image", "history", "clients", "repeat", "seed", "duration_s", "warmup_s", + "cpu_limit", "memory_limit_mib", "success", "errors", "error_ratio", "rps", + "p50_ms", "p95_ms", "p99_ms", "cpu_percent_one_core", "rss_start_kib", "rss_end_kib", +) + + +def docker(*args): + return subprocess.check_output(("docker", *args), text=True).strip() + + +class HTTP: + def __init__(self): + self.conn = http.client.HTTPConnection("127.0.0.1", PORT, timeout=10) + + def call(self, method, path, user=None, body=None): + headers = {"X-User-Id": user} if user else {} + if body is not None: + headers["Content-Type"] = "application/json" + body = json.dumps(body, separators=(",", ":")).encode() + self.conn.request(method, path, body, headers) + response = self.conn.getresponse() + data = response.read() + if response.status not in (200, 201): + raise RuntimeError(f"HTTP {response.status}: {data[:120]!r}") + return json.loads(data) + + def close(self): + self.conn.close() + + +def seed_history(count, seed): + client = HTTP() + try: + user = client.call("POST", "/api/v1/users", body={"username": "bench", "display_name": "Benchmark"})["id"] + chat = client.call("POST", "/api/v1/chats", user, {"title": "Benchmark", "member_ids": [user]})["id"] + finally: + client.close() + + def batch(worker): + local = HTTP() + try: + return [local.call("POST", f"/api/v1/chats/{chat}/messages", user, + {"text": f"synthetic-{seed}-{index:05d}"}) + for index in range(worker, count, 8)] + finally: + local.close() + + with ThreadPoolExecutor(max_workers=8) as pool: + messages = [message for batch_result in pool.map(batch, range(8)) for message in batch_result] + messages.sort(key=lambda item: (item["created_at"], item["id"])) + midpoint = messages[count // 2] + cursor = base64.urlsafe_b64encode(json.dumps( + [f"messages:{chat}", midpoint["created_at"], midpoint["id"]], separators=(",", ":") + ).encode()).decode().rstrip("=") + path = f"/api/v1/chats/{chat}/messages?limit=20&cursor={quote(cursor)}" + client = HTTP() + try: + page = client.call("GET", path, user) + assert len(page["items"]) == 20 + assert (page["items"][0]["created_at"], page["items"][0]["id"]) > (midpoint["created_at"], midpoint["id"]) + finally: + client.close() + return user, path + + +def process_metrics(): + stat = docker("exec", NAME, "cat", "/proc/1/stat").split() + status = docker("exec", NAME, "cat", "/proc/1/status") + rss = int(next(line.split()[1] for line in status.splitlines() if line.startswith("VmRSS:"))) + return (int(stat[13]) + int(stat[14])) / os.sysconf("SC_CLK_TCK"), rss + + +def percentile(values, fraction): + return round(values[math.ceil(len(values) * fraction) - 1], 3) if values else "" + + +def load(user, path, clients, duration): + barrier = threading.Barrier(clients) + deadline = time.monotonic() + duration + + def worker(): + connection = HTTP() + latencies, errors = [], 0 + barrier.wait() + try: + while time.monotonic() < deadline: + start = time.perf_counter() + try: + connection.call("GET", path, user) + latencies.append((time.perf_counter() - start) * 1000) + except (OSError, RuntimeError, ValueError): + errors += 1 + connection.close() + connection = HTTP() + finally: + connection.close() + return latencies, errors + + start = time.monotonic() + with ThreadPoolExecutor(max_workers=clients) as pool: + results = list(pool.map(lambda _: worker(), range(clients))) + elapsed = time.monotonic() - start + latencies = sorted(value for successes, _ in results for value in successes) + errors = sum(failures for _, failures in results) + return elapsed, latencies, errors + + +def main(): + parser = argparse.ArgumentParser(description=__doc__) + parser.add_argument("--phase", choices=("baseline", "after"), required=True) + parser.add_argument("--image", required=True) + parser.add_argument("--output", default="evidence/load-lab1.csv") + parser.add_argument("--duration", type=float, default=3) + parser.add_argument("--warmup", type=float, default=1) + parser.add_argument("--repeats", type=int, default=2) + parser.add_argument("--seed", type=int, default=20261001) + args = parser.parse_args() + if args.duration <= 0 or args.warmup <= 0 or args.repeats < 2: + parser.error("duration and warmup must be positive; repeats must be >= 2") + output = Path(args.output) + output.parent.mkdir(parents=True, exist_ok=True) + new_file = not output.exists() + with output.open("a", newline="") as result: + writer = csv.DictWriter(result, fieldnames=FIELDS) + if new_file: + writer.writeheader() + for history in HISTORY: + docker("run", "-d", "--rm", "--name", NAME, "--cpus=1", "--memory=512m", + "--memory-swap=512m", "-p", f"127.0.0.1:{PORT}:8080", args.image) + try: + for _ in range(100): + try: + HTTP().call("GET", "/health/ready") + break + except OSError: + time.sleep(.1) + else: + raise RuntimeError("container did not become ready") + user, path = seed_history(history, args.seed) + for clients in CLIENTS: + for repeat in range(1, args.repeats + 1): + load(user, path, clients, args.warmup) + cpu_before, rss_before = process_metrics() + elapsed, latencies, errors = load(user, path, clients, args.duration) + cpu_after, rss_after = process_metrics() + total = len(latencies) + errors + row = dict(phase=args.phase, image=args.image, history=history, clients=clients, + repeat=repeat, seed=args.seed, duration_s=args.duration, warmup_s=args.warmup, + cpu_limit=1, memory_limit_mib=512, success=len(latencies), errors=errors, + error_ratio=round(errors / total, 6) if total else 0, + rps=round(len(latencies) / elapsed, 2), + p50_ms=percentile(latencies, .5), p95_ms=percentile(latencies, .95), + p99_ms=percentile(latencies, .99), + cpu_percent_one_core=round((cpu_after - cpu_before) / elapsed * 100, 1), + rss_start_kib=rss_before, rss_end_kib=rss_after) + writer.writerow(row) + result.flush() + print(row, flush=True) + finally: + docker("stop", "--time", "10", NAME) + + +if __name__ == "__main__": + main()