Files
mtusi2026lab2/REPORT.md
T

27 KiB
Raw Blame History

Отчёт — лабораторная 2

  • Автор, группа: Гамаюнов Артём, БВТ2301.
  • Целевая оценка; выбранный трек 5, если нужен: 5; трек 1 «Согласованность кэша» — cache stampede.
  • Commit/PR: PR №97; опубликованный коммит пятёрки 799f56c, ветка solution/bvt2301-gamayunov.
  • Использованные источники, библиотеки и помощь ИИ: оригинальные README/COURSE/CONTRIBUTING/contracts/tests ЛР2; собственная актуальная ЛР1 на 5 (соседняя папка только для чтения). FastAPI/Pydantic/Uvicorn, psycopg/pool, Argon2id, redis-py; Codex — реализация, методика, проверки и отчёт. PostgreSQL16 pg_stat_statements, Python3.12 Future. Преподавательский сервер не использовался.

Запуск из чистого clone

Нужны Docker Engine с Linux containers, Compose с --wait, сеть для первого скачивания образов/пакетов. Host Python нужен только для исследовательской обвязки; make/проверки выполняются в Linux tools. Проверено 25.10.2026 Europe/Moscow: Windows + Docker Desktop, Engine 29.5.2, Compose 5.1.3, WSL 2; Intel i5-6300U (2cores/4threads), DockerVM4CPU/8242409472bytes. Образы: python:3.12.10-slim-bookworm, postgres:16.8-bookworm, valkey/valkey:8.0.2-alpine, tools docker:27.5.1-cli. Python зависимости закреплены в requirements.lock и infra/requirements-tools.lock. Конкретные imageID/digest и конфигурация: evidence/grade5.

Обычный запуск решения из свободной локальной копии:

powershell -NoProfile -ExecutionPolicy Bypass -File scripts/init-env.ps1
# Linux вместо PowerShell: sh scripts/init-env.sh
# На Linux: chmod +x scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env --profile test build
docker compose --env-file .env --profile test up -d --wait --wait-timeout 120 api api-expiry
docker compose --profile test run --rm tools sh scripts/run-checks.sh

API — http://localhost:8080; PG/Valkey не публикуют порты. /health/live проверяет процесс; /health/ready — PostgreSQL, поскольку кэш необязателен для безопасного обслуживания. init-env генерирует file secrets без печати значений, повторный запуск сохраняет пароль БД. Secrets/.env исключены из Git/build context. На Linux каталог secrets 700, файлы444 для чтения UID 10001 внутри API. Миграции запускаются автоматически; отдельно: docker compose exec -T api python -m src.db.

Безопасная остановка — docker compose --profile test down (volumes сохраняются). Намеренное удаление своих ненужных учебных данных, только по решению оператора: та же команда с --volumes. В ходе этой работы volumes не удалялись. Tools имеет Docker socket для операторских fault/restart hooks; обычный API его не имеет.

Текущий исходный стенд mtusi-lab2 не перезапускался и не обновлялся. Все новые проверки выполнялись на отдельных lab2-g5-20261025-{baseline,candidate,final,clean} с собственными credentials/networks/volumes и уникальными image tags. Из чистой копии исходный compose.yaml проверен с маленьким override: новые image names, отключение публикации8080, запрет дополнительного swap и project env для tools. Чистая build --no-cache, bootstrap дважды, пустые users/chats/messages, миграции и полный набор проверок прошли. Лог, bootstrap, результаты.

Новый полный сравнительный эксперимент, не затрагивающий основной стенд:

py -3.14 evidence/grade5/reproduce.py
# Linux: python3 evidence/grade5/reproduce.py
# Только пересчёт опубликованных чисел:
py -3.14 evidence/grade5/aggregate.py
py -3.14 evidence/grade5/audit.py --offline

Пути, команды Linux tools, время, создание/остановка своих ресурсов и ограничения: README воспроизведения, выполненные команды.

Архитектура и решения

Клиент → API → PostgreSQL; API → Valkey для неизменяемого публичного профиля. Сохраняются все users/chats/chat_members/messages/sessions в PG с UUID PK, FK, UNIQUE username и версионируемой миграцией001. Чат и все участники создаются одной транзакцией: реальный FK после INSERT родителя откатывает всё. Сообщение подтверждается201 после COMMIT. fsync/synchronous_commit=on; durability зависит также от volume/диска host.

Пароли — Argon2id (19 MiB,t=2,p=1), 12–128 Unicode code points без усечения. Basic применяется только на login, пароль с двоеточием поддержан; неизвестный username/неверный пароль дают одинаковый401. Bearer — opaque random 256 bit, в PG только32 byteSHA256 токена и абсолютный expires_at. Это hash случайного токена, не способ хранения пароля. На каждом защищённом HTTP-запросе с корректным Bearer выполняется session SELECT PostgreSQL до обращения к профилю. Logout удаляет сессию; expiry проверяет clock_timestamp, не продлевается чтением/рестартом. X-User-Id не авторизует и не меняет владельца токена. Пароли, токены и сессии не кэшируются.

Все значения параметризованы psycopg. Pool на процесс min1/max8, wait 2 s, очередь32, connect 2 s, statement 2 s, lock 1.5 s, idle transaction 5 s. Синхронных рабочих потоков16. API1CPU/512MiB; PG1CPU/512MiB; Valkey0.5CPU/128MiB, maxmemory96MiB/allkeys-lru/AOF everysec. Исследовательский driver1CPU/512MiB; дополнительный swap запрещён. Образы и реальные лимиты проверены в audit.json.

Valkey хранит profile:<user UUID>: id/username/display_name/created_at, TTL 60 s без sliding. PG — истина. При неизменяемых профилях нет инвалидации по записи. История и членство не кэшируются, поэтому RAW не зависит от Valkey. После потери кэша профиль читается из PG. Сохранены прежние optional_call: socket timeouts 200 ms, бюджет полной операции250 ms (включая ожидание DNS), четыре bounded worker slots, обход кэша5 s после сбоя. При отказе Valkey остаётся PG fallback; при отказе PG корректный503, даже с тёплым профилем.

Новое: bounded single-flight на один профиль в одном процессе охватывает GET/load/SET, включая warm hits. Один лидер загружает/публикует профиль, последователи получают тот же публичный результат. Mutex держится только при регистрации/удалении Future; I/O под ним нет, разные пользователи не сериализуются. Реестр максимум128 записей, очистка в finally при успехе и исключении. Максимум ожидания последователя1 s, затем прямой PG fallback без конкурирующей записи кэша. Потеря процесса уничтожает локальный реестр; устаревших distributed locks нет. Это осознанно локальная защита для однопроцессного ЛР2: два процесса могут сделать два SELECT, что реально проверено. Медленный лидер допускает повторные SELECT после timeout; доступность важнее вечной блокировки. При полном реестре — PG с прежними ограничениями pool. Повреждённый JSON/неверные типы/чужой id/лишние поля считаются miss, а не попадают в HTTP.

SQL keyset и индекс messages_history(chat_id,created_at,id) сохранены: tuple>boundary ORDER BY tuple LIMIT n+1; OFFSET в API отсутствует. Из актуальной ЛР1 адаптированы полезные проверки UUID spelling, ошибок и access-before-cursor; исправлена нормализация UUID внутри cursor до SQL (urn:uuid принимается PythonUUID, но не PG input) и приоритет404 для чужого чата с malformed cursor. Member UUID уже нормализовались. In-memory индекс/bisect/чужие контракты и tests из ЛР1 не переносились.

Между HTTP-страницами snapshot нет. Поздний COMMIT с ранним created_at или откат часов могут поместить сообщение перед уже пройденным cursor; свежий обход его увидит. При неизменной истории гарантия отсутствия повторов/потерь доказана, равное время разрешается UUID. Настройки .env.example: SESSION_TTL_SECONDS по умолчанию3600, отдельный expiryAPI 2; SESSION_STORE=postgres; Compose задаёт APP_HOST/PORT/ENV и *_URL_FILE; API_PORT меняет только loopback-порт. Текст ошибок/request_id остаётся контрактным и не раскрывает SQL/credentials/stack trace.

Доказательства критериев

Все строки ниже относятся к окончательным файлам и новым результатам 25.10.2026. Исходная матрица до изменения — requirements.md; независимая финальная сверка — audit.md. Исторические evidence уровня4 не переписывались.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
3: API ЛР1 с переходом на PG/Bearer make check validate test, core smokePASS, Unicode, пагинация/изоляция, KDF/Basic/Bearer grade5/checks/checks.txt, smoke.txt, core.txt
3: users/chats/members/messages, PK/FK/UNIQUE, миграции с нуля, атомарный чат clean bootstrap; grade 4 core/migrations пустая БД→001; FK после INSERT откатывает чат/членство; два запуска миграций не меняют counts/expiry grade5/clean-bootstrap.txt, checks/core.txt, migrations.txt
3: данные/действующая сессия переживают restart всех stores make test-persistence ACTION_SCRIPT=scripts/restart.sh; persistence_meta прежние token/message читаются; StartedAt изменился у api/PG/Valkey; абсолютный expires_at тот же grade5/checks/persistence.txt, session-persistence.txt
3: auth/expiry/logout/KDF/X-User-Id core, expiry, integration, faults неверный пароль/Basic на бизнесAPI/X-User-Id/anonymous401; UTF8:128 codepoints; expired/revoked401 при разных состояниях кэша grade5/checks/core.txt, expiry.txt, cache-integration.txt, cache-recovery.txt
3: check/test/persistence, секреты/volumes вне Git весь набор дважды на final/clean; local audit PASS; реальные private values отсутствуют в передаваемых файлах, teacher files неизменны grade5/checks/, clean-checks/, audit.json
4: осмысленный Valkey с TTL/истиной core + integration + faults реальные hit/TTL/expiry/refill,10 corrupt values; потеря своего ключа+restart→refill из PG grade5/checks/core.txt, cache-integration.txt, cache-recovery.txt
4: безопасныеSQL/bounded pool/username race/rollback core/failures 12 регистраций:1×201+11×409;40 concurrent messages; rollback; bounded 503 grade5/checks/core.txt, failures.txt
4: индекс ≥10000 и EXPLAIN grade 4 explain 3 IndexScan,51 строка/страница;100 HTTP страниц без потерь/повторов grade5/checks/explain.txt, clean-checks/explain.txt
4: автоматические expiry/logout/wrong password/cache+DB outage expiry/failures/faults stop/start реальных own containers; PG неавторизует изкэша; ready503/live200; confirmed data сохранены grade5/checks/expiry.txt, failures.txt, cache-recovery.txt
5 трек1: конкурентный stampede ДО изменения HTTP 16 clients, pg_stat_statements все3 повтора: cold 405–463 profile SELECT/512HTTP, session 512; warm 42–58 лишних SELECT grade5/raw/baseline/, baseline-source.json/zip
5 трек1: защита/SQL/latency до→после тот же plan/generator/counters,3 повтора cold/contended ровно32profileSELECT/512HTTP, warm 0; session 512 сохранены; таблица ниже grade5/raw/candidate/, runs.csv, comparison.json/svg
5 трек1: RAW и восстановление кэша integration/faults/persistence чаты/списки/сообщения немедленно видны другому процессу в обе стороны; restart/loss безопасны grade5/checks/cache-integration.txt, cache-recovery.txt, persistence.txt
5: границы/стоимость защиты unit+realHTTP lock+two processes 5 unitPASS;2 process→2 SQL;leader 1.2 s→8SQL/8HTTP, max 1.232 s;warm p99 regression grade5/checks/unit.txt, cache-integration.txt; results.md

Эксперименты и отказы

Гипотеза: группировка одновременного чтения одного неизменяемого профиля уменьшит SQL-нагрузку при холодном ключе и перегрузке четырёх cache slots, сохранив session SELECT и корректность. Искусственный API редактирования пользователя не вводился; stale read не заявляется.

Методика, зафиксированная до измерений: plan.json. По16 clients,32 волны/режим,3 повтора; cold/contended/warm, вращение порядка режимов. На версию4608 GET me, 1536/режим. Один синтетический пользователь/валидная сессия. Прогрев профиля и16 keep-alive соединений до фаз. DEL только своего profileUUID перед cold/contended; warm primed перед волной. Barrier в driver запускает настоящие HTTP запросы. Contended держит таблицу users отдельной observer-транзакцией около100 ms; эта задержка включена в latency. Cold не имеет задержек. Генератор ждёт все16 ответов; retries нет. SQL/app исходники для измерений не инструментировались.

pg_stat_statements считает реальные завершённые SQL, snapshot до/после каждой волны под отдельным observer. Фильтр app-role/database; profile/session SELECT раздельны. AllSQL включает BEGIN/COMMIT и попавшие в окно healthSELECT 1; observer/подготовка исключены. Инструментовка одинаковая, её CPU/память и накладные расходы отдельно не вычитались: абсолютные latency включают их влияние. HTTP clock monotonic, полное тело и проверка JSON. RPS — успешные ответы/sum(wave durations), подготовка/сброс/счётчики вне таймера; это goodput синхронных всплесков, не maxRPS. Квантили nearest-rank 512 успешных наблюдений/повтор; около5 наблюдений в верхнем1%, поэтому p99 неточен. 4xx/5xx/timeouts записываются отдельно.

Пилот исходной версии:96 запросов, wall 1.2 s; на32 coldHTTP 23 profileSELECT, при contention32/32, warm3/32. Основная удачная серия baseline 56.084 s, окончательный candidate 41.205 s; подготовка/SQL snapshots включены в wall, но не RPS знаменатель. Baseline измерен до изменения src на исходном HEAD b5b35682c25e99f774596a809a11d2be2aaf83d8. SHA всех файлов, source archive и imageID сохранены. Baselineimage 6f6b9e436cb3; finalcandidate 0bed5b677a58; полные SHA и clean image — images-apps.txt, audit.json. Текущие src совпали побайтно с final/clean контейнерами; отдельные LF SHA описывают нормализацию будущего Git checkout.

Результат: медианы трёх повторов; каждая ячейка относится к512 HTTP, session SELECT 512→512 во всех режимах.

Режим ProfileSQL до→после AllSQL до→после RPS до→после p50 ms p95 ms p99 ms
cold 459→32 2916→1635 87.03→151.32 151.90→69.96 279.25→167.42 296.88→205.41
contended 100 ms 508→32 3066→1635 82.86→110.74 165.81→128.72 288.36→169.53 313.78→196.85
warm 44→0 1668→1539 133.08→146.03 88.75→80.13 181.42→174.78 205.38→215.68

Всего в основных сериях: 9216 успешных HTTP,0 ошибок/4xx/5xx/timeouts; profileSQL 2994→192, sessionSQL 4608→4608, allSQL 22836→14418. Все individual repeats и min/max: runs.csv, results.md. В cold число profileSELECT уменьшилось на93.0% по медиане, ровно один на волну. Warm control дополнительно подтверждает причину прежних SQL: ограниченные cache slots обходились конкурентными запросами.

Медианы и min/max трёх повторов

Регрессии и цена: warm p99 +5.0% (205.38→215.68 ms), диапазоны повторов199.66–243.44 и183.80–233.37 ms пересекаются; статистическая значимость не установлена. Candidate cold p99 во втором повторе379.49 ms; нельзя скрывать этот хвост медианой. Появились Future/registry mutex, ожидание followers и максимум128 entries; CPU/RAM overhead количественно не измерен. Несинхронные Docker samples прежних попыток оставлены диагностикой, без заявления об улучшении CPU/RSS. При лидере1.2 s после секунды ожидания fallback допускает8profileSQL/8HTTP вместо одного — доказанная цена ограничения ожидания. Два API-процесса дают2 profileSQL, распределённой дедупликации нет.

Неуспешные и промежуточные попытки: первая основная baseline-серия оборвалась из-за Windows bind-mount OSError 22 при сохранении JSON; частичные raw/stdout сохранены и исключены. Raw стали записываться в /tmp контейнера и копироваться после завершения; вся baseline-серия повторена до изменения src. Первая candidate-серия завершилась, но audit обнаружил искажённые русские тексты ошибок после записи WindowsPython с default encoding. Тексты восстановлены из baseline, вся candidate-серия и correctness повторены на finalimage. Пилоты и предыдущая версия не входят в итоговые агрегаты. Подробности и точные fingerprints: provenance. Нулевые ошибки основных серий не выдаются за отсутствие этой неуспешной попытки.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
restart API+PG+Valkey прежние token/data/expiry публичный persistence и metaPASS, все StartedAt изменились в бюджетах hook/ready; потерь нет
stop Valkey PGfallback, auth остаётся PG valid read/write; anonymous/unknown/revoked401, чужой404 final сценарий0.363 s; boundedHTTPmax 0.451 s по всему failures
потеря своего ключа + restart Valkey refill с TTL после cooldown ключ реально отсутствовал; валидный User восстановлен из PG;expired/revoked401 7.725 s сявным5.1 s ожиданием cooldown, потерьнет
stop PG при прогретом профиле ready/auth/write503;live 200 всё подтверждено, anonymous 401;неудачная запись отсутствует ready+session/data после start 2.083 s
sessionTTL 2, logout 401 независимо от кэша/процесса warm/cold/corrupt/down и второйпроцесс проверены старые токены не оживают
leaderdelay 1.2 s / ошибка / другие key boundedfallback/очистка/нет общейI/Oблокировки реальный HTTPmax 1.232 s,8 SQL;5 unitPASS лидер завершился, повторные вызовы работают
clean export / migrations / EXPLAIN тот же контракт снуля полная build --no-cache+весьнабор PASS;3 IndexScan на10000 finalplans0.157/0.135/0.085ms;100 API страниц2.597 s

Логи API/PG/Valkey проверены на синтетический message marker, пять паролей/токенов и Argon 2 hash; совпадений нет. Некорректный HTTP не отражает тело запроса. Это проверенный набор маркеров, а не универсальное доказательство отсутствия утечек.

Ограничения и следующие шаги

Весь формальный уровень3, все пункты4 и завершённый трек1 локально доказаны; статус READY FOR GRADE 5 REVIEW означает готовность к независимому ревью, оценку выставляет преподаватель. Контракт и публичные tests не изменены. Source/ref архивы и raw не содержат credentials; исходная однострочная правка REPORT сохранена в начальном snapshot. До публикации выборочный staging был проверен агентом только в отдельной временной Git-копии. Версия на 5 опубликована в коммите 799f56c и представлена в PR №97.

Ограничения: single-flight локален одному процессу; timeout/полный реестр/недоступный Valkey возвращают SQL нагрузку. Профили неизменяемы, будущему updateAPI понадобится инвалидация. Смена cache data с корректной схемой не обнаруживается как враждебная подмена — доверие к изолированному Valkey остаётся прежним. 16 рабочих потоков, pool 8, однаБД/host не дают HA. Истёкшие sessionrows отвергаются сразу, физическая очистка операторская по expires_at index.

Три повтора, WSL 2/общийноутбук, блоки baseline→candidate, closed-loop/barrier и ограниченныйp99 не описывают открытуюочередь/все workloads. Ресурсная стоимость Future не измерена. Не проверялись отдельная UbuntuVM, powerloss/OOM/hostloss, backuprestore/трек2, распределённаядедупликация и удалённый CI. Это явно незаявленные условия, не пропуски выбраннойрубрикитрека1. Чистый локальный экспорт с пустыми volumes проверен; отдельный запуск из свежего clone опубликованного коммита 799f56c не проверялся. Для независимого ревью до публикации был подготовлен ZIP рабочего дерева.