diff --git a/DEFENSE.md b/DEFENSE.md new file mode 100644 index 00000000..ce743df2 --- /dev/null +++ b/DEFENSE.md @@ -0,0 +1,76 @@ +# Разбор решения перед защитой + +Не заучивайте ответы без проверки: откройте указанные файлы, найдите запросы, запустите тесты и попробуйте объяснить своими словами. + +## Как проходит запрос + +Клиент (например публичный tests/smoke.py) отправляет HTTP-запрос → Gunicorn принимает его → Flask выбирает обработчик в src/app.py → обработчик берёт соединение из пула → выполняет параметризованный SQL в PostgreSQL → транзакция завершается → клиент получает JSON. Все постоянные данные хранятся в PostgreSQL, файлы БД — в именованном Docker volume. Сам API можно пересоздать, данные останутся. + +## Регистрация, вход и доступ — разные действия + +1. `POST /api/v1/users`: создаёт пользователя. Пароль проходит Argon2id — медленную, требовательную к памяти функцию. В БД записывается hash с солью и параметрами, исходный пароль не сохраняется и не возвращается. +2. `POST /api/v1/auth/sessions`: клиент присылает `Authorization: Basic …`. Base64 содержит `username:password`; это кодирование, его легко обратить, поэтому для реальной удалённой работы нужен HTTPS. API проверяет пароль через Argon2id и создаёт случайный токен из 32 случайных байт (256 бит). +3. Ответ содержит Bearer-токен. Последующие запросы присылают `Authorization: Bearer …`. В PostgreSQL хранится только SHA-256 токена, user_id и expires_at. Быстрый SHA-256 подходит для случайного токена с высокой энтропией, но не для пароля человека. +4. Сессия действительна, пока найдена её запись и expires_at позже часов PostgreSQL. Рестарт не обновляет expires_at. +5. Logout удаляет запись сессии, повторный запрос с этим токеном получает 401. +6. Успешная аутентификация ещё не даёт доступ ко всем чатам. Таблица members проверяет членство. Чужой и отсутствующий чат оба дают 404, чтобы не раскрывать наличие чужого чата. `X-User-Id` вообще не участвует в выборе пользователя. + +Найдите функции register, login, authenticate, chat и logout. Объясните, чем они отличаются. + +## Таблицы + +- users: UUID, уникальный username, имя, password_hash и время. +- chats: UUID, заголовок и время. +- members: составной первичный ключ (chat_id,user_id); дубли членства невозможны. +- messages: UUID, чат, автор, текст и время. Составной внешний ключ требует, чтобы автор состоял в чате. +- sessions: hash токена, пользователь и абсолютный срок действия. +- schema_migrations: какие версии миграций уже применены. + +Первичный ключ идентифицирует строку, UNIQUE не допускает повторов username, FOREIGN KEY не допускает ссылок на несуществующие записи. Проверки в Python удобны для понятной ошибки, ограничения БД защищают данные и при гонках. + +## Транзакции + +`with pool.connection() as conn:` завершается COMMIT при успехе и ROLLBACK при исключении. Создание чата и всех строк members происходит в одном таком блоке: нельзя получить половину чата после ошибки. Если ошибётся SQL вставки участника, вставка самого чата тоже откатится. Публичные ошибки наружу не содержат SQL. + +COMMIT означает, что PostgreSQL зафиксировал транзакцию. При стандартных fsync=on и synchronous_commit=on WAL сброшен в устойчивое хранилище до подтверждения. Это зависит от честности диска/виртуализации. Volume сохраняет файлы после удаления контейнера, но не защищает от потери компьютера или удаления самого volume. Этот стенд не имеет репликации и резервного копирования. + +Миграции создают таблицы с нуля. Версия хранится в schema_migrations, advisory lock сериализует одновременные запуски миграций. Повтор уже применённой версии пропускается. Применённые SQL-файлы не редактируют: добавляют следующую миграцию. + +## История и пагинация + +SQL сортирует по `(created_at,id)`. При следующей странице условие `(created_at,id) > (время,UUID из cursor)`. Это keyset pagination: последняя строка страницы не повторяется. Индекс `(chat_id,created_at,id)` соответствует фильтру и порядку. Читаем limit+1 строку, чтобы понять, есть ли продолжение. Если лишней строки нет, next_cursor=null. + +Cursor — base64 от JSON с областью запроса, временем и UUID. Он непрозрачен по контракту для клиента, но не зашифрован и не подписан. Это не секрет и не разрешение доступа: членство проверяется заново при любом cursor. Cursor другого чата отвергается. + +Между страницами нет общего snapshot. Времена назначает PostgreSQL; при конкурирующих транзакциях запись с более ранним временем может стать видимой позже, поэтому обход не обещает включить все конкурентные вставки. Неизменная история обходится без повторов. Часы не используются как уникальный идентификатор — есть UUID. + +## Где Redis и почему его потеря безопасна + +Redis кэширует только неизменяемый публичный профиль пользователя. Источник истины — users в PostgreSQL. На каждом защищённом запросе сначала проверяется сессия в PostgreSQL. Затем берётся профиль из Redis (ключ profile:v1:UUID), при промахе — из users с SETEX на 60 секунд. Кэш не хранит password_hash, Bearer-токен или право доступа к чату. + +При flush/restart Redis профили исчезнут, но действующие сессии и все сообщения останутся. Следующие запросы заново заполнят кэш. TTL кэша 60 секунд и TTL сессии 3600 секунд — разные вещи. Logout сразу удаляет сессию в PostgreSQL; сохранённый профиль в Redis не позволяет войти повторно. Профили в обязательном API не меняются. Если добавить редактирование имени, понадобится инвалидация ключа при изменении; прямое ручное изменение БД может показывать старое имя до TTL. + +Redis не критичен для ready: при отказе читаем PostgreSQL. Ошибка БД даёт 503: нельзя принять кэш за действительную сессию. Для Redis заданы таймауты 0,2 с и отключены retries, дополнительно общий бюджет операции 0,25 с (включая DNS), два фоновых worker и circuit breaker 2 с. Поэтому отключённый кэш не занимает все HTTP-потоки надолго. Фоновый результат не влияет на аутентификацию. + +## Что исследовано на 5 + +Откройте RESEARCH.md и evidence/query-study.json. В отдельной БД 120 000 сообщений: один чат 100 000, второй 19 000, сто чатов по 10. Сравниваются B-tree (created_at,id) и (chat_id,created_at,id) при одинаковом SQL. В первом варианте PostgreSQL может читать/фильтровать много чужих сообщений или делать seq scan и sort. Во втором сначала выбирается нужный chat_id, затем упорядоченный диапазон. EXPLAIN ANALYZE показывает фактическое время/строки, BUFFERS — работу с буферами, shared hit не равен физическому чтению с диска. + +Более широкий индекс занимает место и обслуживается при INSERT. Нельзя обещать, что он ускоряет любой запрос или не имеет цены записи: сравните реальные результаты трёх раундов. Измерены SQL roundtrip и вставка 5000 строк, не максимальные HTTP RPS. Вставка затем откатывается, чтобы каждый вариант начинал с одинакового объёма; COMMIT в её время не входит. + +Backup делается pg_dump -Fc, восстанавливается pg_restore в отдельный PostgreSQL и новый volume. Сравниваются количества строк, выбранные сообщения и SHA-256 всех 120 000 сообщений в порядке UUID. Это сильнее проверки «контейнер запустился». Но оба volume на одном Docker-host: пожар/потеря диска затронет оба. Без WAL archiving backup не восстанавливает более поздние записи; RPO зависит от интервала между backup. Измеренное время включает старт нового контейнера, но не заменяет production RTO. + +## Как показать работу + +1. `docker compose ps` — три сервиса healthy. +2. `make test` — создаёт пользователей, чат, сообщения, проверяет историю и запрет чужого доступа, logout. +3. `make test-persistence ACTION_SCRIPT=scripts/restart.sh` — создаёт новые данные и сохраняет токен в памяти теста, перезапускает API, PostgreSQL и Redis, читает старые данные тем же токеном. +4. `python3 student-tests/security.py` — негативные сценарии и гонка username. +5. `python3 student-tests/level4.py` — Redis hit/TTL, отказ кэша, logout при отказе и rollback после искусственной ошибки INSERT участника. +6. `python3 student-tests/infrastructure.py` — подробный повтор persistence, сроки запусков контейнеров/БД, повтор миграций, короткий TTL и отказ БД. Требует Docker, свободного порта 8081 и отсутствия контейнера lab2-expiry. Останавливает БД только этого учебного Compose-проекта. + +7. `python3 student-tests/research.py` — полный индексный эксперимент, backup/restore и сверка в новом хранилище. Выполнять после функциональных тестов, не одновременно с рестартом/пересборкой API. + +## Попробуйте ответить сами + +Почему два одновременных INSERT с одним username не создают двух пользователей? Почему возврат HTTP 201 выполняется после выхода из транзакции? Почему остановка PostgreSQL даёт 503, а не «пользователя без проверки»? Почему Basic нельзя использовать вместо Bearer на /users/me? Почему `down -v` ломает сохранность, а обычный `down` — нет? Где проходит граница транзакции создания чата? Найдите ответы в коде, не только в этом файле. diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..4d514805 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,14 @@ +# syntax=docker/dockerfile:1 +FROM python:3.12.12-slim-bookworm +WORKDIR /app +COPY requirements.txt . +RUN --mount=type=secret,id=proxy_ca \ + if [ -f /run/secrets/proxy_ca ]; then export PIP_CERT=/run/secrets/proxy_ca; fi; \ + pip install --no-cache-dir -r requirements.txt +COPY src ./src +COPY migrations ./migrations +COPY contracts ./contracts +RUN chmod -R a+rX /app && useradd --uid 10001 --create-home app +USER app +EXPOSE 8080 +CMD ["sh", "-c", "python src/migrate.py && exec gunicorn --chdir src --bind 0.0.0.0:8080 --workers 1 --threads 4 --timeout 30 --access-logfile - app:app"] diff --git a/HOW_TO_SUBMIT.md b/HOW_TO_SUBMIT.md new file mode 100644 index 00000000..c472628f --- /dev/null +++ b/HOW_TO_SUBMIT.md @@ -0,0 +1,168 @@ +# Как запустить и сдать лабораторную + +Это решение с целевой оценкой 5: все требования уровней 3–4 и исследовательский трек 2. Окончательную оценку ставит преподаватель после проверки и защиты. Сначала прочитайте REPORT.md и DEFENSE.md. Не сдавайте решение, которое не можете объяснить. Возможности вашей lab1 сравнены, собственные тесты адаптированы к новой авторизации. В LAB1_TRANSITION.md описано, что сохранено и изменено. + +## 1. Аккаунт и своя копия на Gitea + +1. Откройте https://gitea.privcloud.tech в браузере. +2. Нажмите «Регистрация» / Register. Если этой кнопки нет, спросите преподавателя, как получить аккаунт: самостоятельно включить регистрацию нельзя. +3. Введите свой логин, почту и придумайте пароль. Пароль и коды подтверждения никому не отправляйте, включая чат с ИИ. Если пришло письмо, подтвердите почту. +4. Войдите. Откройте https://gitea.privcloud.tech/mtusi2026/mtusi2026lab2 . +5. Нажмите «Fork» / «Создать ответвление» вверху страницы. Владельцем выберите свой аккаунт. Не создавайте вместо fork пустой независимый репозиторий: тогда оформить запрос на слияние труднее. +6. В своей копии нажмите «Код» / Code и скопируйте HTTPS-адрес. Он будет вида `https://gitea.privcloud.tech/ВАШ_ЛОГИН/mtusi2026lab2.git`. + +Названия кнопок зависят от языка и версии Gitea. Сюда загружен ZIP, поэтому в нём нет истории Git и нет связи с вашим аккаунтом. Историю нужно взять из fork. + +## 2. Программы на компьютере + +Понадобятся Git, Python 3.9+ для публичных тестов и Docker с Compose v2. На Windows установите Git for Windows, Python и Docker Desktop с Linux containers/WSL2. После установки откройте Docker Desktop и дождитесь запуска движка. В установщике Python включите добавление Python в PATH. + +Дальнейшие команды на Windows выполняйте в Git Bash (пункт «Git Bash Here» в папке). На Linux/macOS — в терминале. Для Windows, если `python3` не найден, заменяйте его на `python`; для Makefile используйте `make test PYTHON=python` либо приведённую ниже команду без make. На Linux требуется доступ пользователя к Docker согласно инструкции вашей ОС; не меняйте права сокета на 777. + +Если у вас **Mac**, установите Docker Desktop для своего процессора (Apple Silicon для M1/M2/M3/M4, Intel для старых Intel Mac) и запустите его из «Программы». Откройте приложение «Терминал». Проверьте `python3 --version` и `git --version`; при предложении macOS установить Command Line Tools согласитесь. Основные команды ниже подходят для терминала macOS. Python и Git при необходимости установите из официальных дистрибутивов. Если make недоступен, для функционального run_all всё же нужен make (обычно входит в Command Line Tools); сначала завершите установку инструментов. + +Проверьте: + +```sh +git --version +python3 --version +docker --version +docker compose version +docker info +``` + +Если `docker info` пишет, что не может подключиться к daemon, сначала запустите Docker Desktop. Не переходите к тестам с неработающим Docker. + +## 3. Ветка и файлы + +Откройте терминал в папке, где хотите хранить работу: + +```sh +git clone https://gitea.privcloud.tech/ВАШ_ЛОГИН/mtusi2026lab2.git +cd mtusi2026lab2 +git switch -c solution/bvi2302-karpova +``` + +Ветка уже названа для вашей группы и фамилии. Для clone замените только ВАШ_ЛОГИН на логин вашего аккаунта Gitea. + +Распакуйте архив решения В ДРУГУЮ папку. Скопируйте из него файлы и папки внутрь только что клонированного репозитория. Вложенной папки `mtusi2026lab2/mtusi2026lab2` получиться не должно: `compose.yaml`, `REPORT.md` и `Makefile` должны лежать рядом. + +Никогда не копируйте чужую папку `.git`, `.env`, `secrets`, `.venv` или данные БД. В выданном архиве решения их нет. Исходный README преподавателя, contracts и публичные tests сохранены. ФИО и группа уже внесены: Карпова Надежда Сергеевна, БВИ2302. После создания запроса останется вписать ссылку на него в REPORT.md. Помощь ИИ указана, ваша lab1 учтена. + +## 4. Запуск + +Все команды выполняются из папки с `compose.yaml`: + +```sh +python3 scripts/init-local.py +docker compose config --quiet +docker compose up -d --build --wait +``` + +Первая команда создаёт случайные локальные учебные пароли в `secrets/`; она не печатает их и не меняет уже существующие. Эти файлы не отправляются в Git. При обычном запуске `.env` не обязателен: TTL по умолчанию 3600 секунд. + +На первом запуске Docker скачает образы и зависимости. Дождитесь завершения команды. Проверьте: + +```sh +docker compose ps +curl http://localhost:8080/health/ready +``` + +Ожидается `{"status":"ok"}`. Это REST API, отдельного красивого сайта/интерфейса у него нет — по заданию он не нужен. + +Если порт 8080 занят, остановите своё приложение, которое его использует, либо измените только левый порт в `127.0.0.1:8080:8080` и передавайте тестам новый BASE_URL. Если контейнер unhealthy: + +```sh +docker compose logs --tail 80 api db +``` + +Не публикуйте полный лог без проверки на секреты. Если ошибка `password authentication failed` после самостоятельной замены secrets, в старом volume остался прежний пароль. Верните исходные локальные секреты. Не удаляйте volume с нужными данными. + +## 5. Проверки и доказательства + +В решении уже приложены реальные результаты проверок облачного стенда. Перед сдачей повторите проверки у себя; это поможет на защите. Текстовые результаты подходят по заданию, скриншоты необязательны. + +```sh +python3 scripts/capture.py evidence/check-local.txt -- python3 scripts/check_contract.py +python3 scripts/capture.py evidence/smoke-local.txt -- python3 tests/smoke.py +python3 scripts/capture.py evidence/security-local.txt -- python3 student-tests/security.py +``` + +Сохранность данных и прежней сессии: + +```sh +chmod +x scripts/restart.sh +docker compose ps +python3 scripts/capture.py evidence/persistence-local.txt -- python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh +docker compose ps +``` + +На Windows для persistence рекомендуется WSL2 с Git и Python внутри WSL: Windows Python может не запустить shell-script hook. Откройте папку через терминал WSL и повторите команды там. + +Если установлен make, эквивалентные обязательные команды: `make check`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`. Скрипт перезапускает API, PostgreSQL и Redis; не удаляет volume. + +При скриншотах покажите команду, PASS и состояния контейнеров, не раскрывайте пароли/токены. Сохраните небольшие изображения в `evidence/` и добавьте ссылки в REPORT.md. Не заменяйте проваленный результат словом PASS. + +### Полная проверка на 5 + +После запуска трёх healthy-сервисов выполните ПОСЛЕДОВАТЕЛЬНО, не одновременно: + +```sh +python3 scripts/capture.py evidence/grade5-functional-local.txt -- python3 student-tests/run_all.py +python3 scripts/capture.py evidence/grade5-study-local.txt -- python3 student-tests/research.py +``` + +Первая команда включает публичные и собственные проверки, перенесённые тесты lab1, Redis/БД-отказы, rollback и полный restart. Она временно останавливает только сервисы этого учебного проекта. Не запускайте её против чужой или production БД. Требуются свободный порт 8081 и отсутствие контейнера lab2-expiry. + +Вторая создаёт отдельную исследовательскую БД с 120 000 синтетических сообщений, сравнивает индексы, измеряет записи, делает backup и восстановление в НОВЫЙ PostgreSQL-контейнер и НОВЫЙ volume. Нужны свободные ресурсы Docker (ориентировочно 1–2 ГБ дополнительного диска). Скрипт использует образ PostgreSQL из задания и локальный secrets/db_password, секреты не печатает. Рабочую messenger не удаляет. Не останавливайте/пересобирайте API и БД до завершения эксперимента. + +Ожидайте PASS обоих запусков. Исследовательский скрипт обновляет evidence/query-study.json реальными измерениями вашего компьютера. Таблица в RESEARCH.md описывает приложенный облачный прогон — если заменяете JSON своими данными, обновите и таблицу либо сохраните собственный JSON отдельно перед повтором. Не называйте облачные цифры измерениями вашего ноутбука. + +После исследования временный recovery-контейнер удаляется, исходная исследовательская БД и новый volume остаются для осмотра. Их случайные имена выводятся/пишутся в evidence/query-study.json. Новый запуск использует новые имена. Для уборки удаляйте только перечисленные исследовательские объекты, когда они больше не нужны; основной postgres_data не трогайте. Обычный `docker compose down -v` не удаляет отдельный исследовательский volume. + +## 6. Отправка в свой fork + +```sh +git status --short +git diff -- README.md contracts tests +``` + +Последняя команда должна ничего не вывести: материалы преподавателя не менялись. Проверьте, что среди добавляемых файлов нет `.env`, `secrets/`, токенов и дампов. Затем: + +```sh +git add src migrations student-tests scripts/init-local.py scripts/capture.py scripts/restart.sh Dockerfile compose.yaml requirements.txt REPORT.md HOW_TO_SUBMIT.md DEFENSE.md MR_DESCRIPTION.md LAB1_TRANSITION.md RESEARCH.md evidence +git diff --cached --stat +git diff --cached +``` + +Просмотрите изменения. В отчёте должны быть ваши ФИО, группа, результаты, использование ИИ. Если всё правильно: + +```sh +git commit -m "Реализовать lab2: PostgreSQL и постоянные Bearer-сессии" +git push -u origin solution/bvi2302-karpova +``` + +Если Git просит представиться, один раз в этом репозитории выполните `git config user.name "Ваше имя"` и `git config user.email "Ваша почта"`, затем повторите commit. Если Gitea требует токен вместо пароля, создайте его в настройках своего аккаунта по инструкции Gitea и используйте только в окне авторизации Git/менеджере учётных данных. Не вставляйте токен в URL, код, отчёт или чат. + +## 7. Запрос на слияние (PR / merge request) + +1. Откройте свой fork в браузере. +2. Нажмите предложение создать Pull Request после push либо вкладку «Запросы на слияние» → «Новый запрос». +3. Базовый репозиторий: `mtusi2026/mtusi2026lab2`, базовая ветка: исходная ветка преподавателя (в скачанном архиве она названа master; проверьте в интерфейсе). +4. Репозиторий-источник: ваш fork; ветка-источник: `solution/…`. +5. Посмотрите сравнение: должны быть исходники, инфраструктура, ваши тесты, отчёт, RESEARCH.md и evidence. Контракт/публичные тесты не должны изменяться. +6. Заголовок: `ЛР 2 — БВИ2302 — Карпова — на 5`. +7. В описание вставьте MR_DESCRIPTION.md, добавив фактические результаты проверок на своём компьютере. Не отмечайте непроверенные пункты. +8. Нажмите «Создать запрос». **Не нажимайте Merge/«Слить» самостоятельно**: запрос проверяет преподаватель. +9. Скопируйте ссылку на запрос в REPORT.md, сделайте ещё commit и push в ту же ветку. +10. При замечаниях меняйте эту же ветку и делайте commit/push: запрос обновится. Новую заявку на каждую правку создавать не нужно. + +Создание запроса означает готовность сдавать. Сначала добейтесь проходящих тестов и разберитесь в коде. + +## Остановка + +```sh +docker compose down +``` + +Данные остаются в именованном volume. Следующий `docker compose up -d --wait` их восстановит. Команда `docker compose down -v` **намеренно удаляет все данные рабочего PostgreSQL** (отдельные исследовательские volumes остаются); не используйте её во время проверки сохранности и не запускайте, если данные нужны. diff --git a/LAB1_TRANSITION.md b/LAB1_TRANSITION.md new file mode 100644 index 00000000..07142013 --- /dev/null +++ b/LAB1_TRANSITION.md @@ -0,0 +1,26 @@ +# Переход собственной lab1 → lab2 + +Автор: **Карпова Надежда Сергеевна, БВИ2302**. Группа взята из актуального сообщения автора; в старом REPORT.md архива была запись БВТ2302. + +Изучен предоставленный lab1_karpova.zip: main.py на FastAPI/Pydantic, requirements.txt, Dockerfile, REPORT.md, собственные tests/own_tests.py, tests/concurrency.py, benchmark_track1.py и материалы задания. Старые .git/.env/venv/кэши/скриншоты с персональными данными не переносятся в lab2. Предыдущие измерения не используются как доказательства новой лабораторной. + +| Возможность lab1 | Решение lab2 | Проверка | +| --- | --- | --- | +| Регистрация username/display_name, UNIQUE | таблица users, UNIQUE, Argon2id password | public smoke, security.py | +| Выбор пользователя X-User-Id | объявленный переход: password при регистрации, Basic login, Bearer | public smoke; X-User-Id не даёт доступа | +| Чаты с явными участниками | chats + members, одна SQL-транзакция | public smoke, level4.py rollback | +| Чужой чат скрывается 404 | проверка members в PostgreSQL | public smoke, адаптированный lab1_own_tests.py | +| Сообщения и автор из запроса идентификации | sender_id из действительной сессии, FK к members | public smoke, lab1_concurrency.py | +| Unicode, строгие поля, malformed JSON 400 | jsonschema по неизменённому контракту lab2 | security.py, lab1_own_tests.py | +| Cursor по времени/UUID и scope | keyset SQL + messages_history B-tree | public smoke, lab1_own_tests.py, query-study.json | +| RLock и словари одного процесса | транзакции, ограничения, общий PostgreSQL | гонка username, 100 сообщений/10 клиентов | +| In-memory sorted_messages_cache | индекс PostgreSQL, история без Redis-кэша | EXPLAIN на 120000 сообщений | +| Health, request_id, общий JSON ошибок | Flask hooks/handlers, live/ready | public smoke, отказы БД/Redis | +| Non-root Docker, graceful stop | UID 10001, Gunicorn, Compose healthchecks | Docker сборка/запуск; полный restart | +| Потеря состояния после рестарта | объявленное улучшение lab2: данные и сессии сохраняются | persistence с рестартом трёх сервисов | + +HTTP-обработчики main.py архитектурно переработаны: FastAPI/Pydantic → Flask/jsonschema, in-memory state → PostgreSQL. Старый main.py не копируется как второй конкурирующий сервер. Язык Python и обязательное поведение сохранены, внешние различия — предусмотренная курсом новая аутентификация и сохранность. + +Два собственных сценария lab1 перенесены в student-tests/lab1_own_tests.py и student-tests/lab1_concurrency.py с добавлением password, Basic login и Bearer. Публичные tests/ и contracts/ текущей lab2 не заменены старыми версиями. Оригинальные assertions на неверный JSON, дубликат username, ACL, пробельный текст, обход страниц, ошибочный scope cursor, 100 успешных записей и 100 уникальных ID сохранены. Текущий реальный вывод — evidence/grade5-functional.txt. + +Помощь ИИ при адаптации и новой реализации раскрыта в REPORT.md; это не отменяет необходимости понимать код и уметь изменить его на защите. diff --git a/MR_DESCRIPTION.md b/MR_DESCRIPTION.md new file mode 100644 index 00000000..deda8d3a --- /dev/null +++ b/MR_DESCRIPTION.md @@ -0,0 +1,25 @@ +## Лабораторная 2 + +Автор / группа: **Карпова Надежда Сергеевна, БВТ2302** +Целевая оценка: **5** +Трек: **2 — План запроса и восстановление** + +Реализован REST API с PostgreSQL, версионируемыми миграциями, параметризованными SQL, ограниченным пулом/таймаутами, Argon2id и постоянными Bearer-сессиями с expiry/logout. Redis используется как TTL-кэш неизменяемых публичных профилей; сессии и ACL всегда проверяются в PostgreSQL. Отказ кэша допускает ограниченный fallback, отказ БД даёт 503. Compose запускает три сервиса. README задания, контракт и публичные тесты сохранены. + +Собственная lab1 получена из lab1_karpova.zip и сопоставлена с текущим решением. Сохранены обязательные возможности, own_tests и concurrency адаптированы к password/Basic/Bearer. Подробно: LAB1_TRANSITION.md. Обработчики архитектурно переписаны при замене in-memory состояния на SQL; прежние исследовательские цифры не использованы для lab2. + +Трек 2: 120000 синтетических сообщений с распределением 100000 + 19000 + 100×10, сравнение двух индексов в трёх раундах, реальные EXPLAIN (ANALYZE, BUFFERS), измерение стоимости записи. Настоящий pg_dump восстановлен в отдельный PostgreSQL-контейнер с новым volume; проверены количества строк, выбранные сообщения и SHA-256 всей истории. Методика, результаты и ограничения: RESEARCH.md; raw evidence: evidence/query-study.json. + +Запуск: `python3 scripts/init-local.py`, затем `docker compose up -d --build --wait`. +Проверки последовательно: `python3 student-tests/run_all.py`, затем `python3 student-tests/research.py`. +Отчёт: REPORT.md. Пошаговая инструкция: HOW_TO_SUBMIT.md. Облачные результаты: evidence/grade5-functional.txt и evidence/grade5-study.txt. Перед сдачей повторить на собственном стенде и добавить реальные результаты/ссылку на PR. + +Помощь: при подготовке кода, тестов, инфраструктуры, экспериментов и документации использован OpenAI Codex; использованы skeleton преподавателя и библиотеки из requirements.txt. Ограничения: один Docker-host, локальный HTTP, нет PITR/off-site backup/HA; сравнение индексов не является обещанием промышленной производительности. + +Перед открытием PR автору проверить: + +- [ ] Понимаю реализацию и могу объяснить измерения и ограничения. +- [ ] Повторила make check, make test, persistence и собственные проверки; приложен реальный вывод. +- [ ] Проверила соответствие своей lab1 и переходов COURSE.md. +- [ ] Нет секретов, .env, tokens, dumps и volumes в Git. +- [ ] REPORT.md соответствует сдаваемому commit; ссылка на PR будет добавлена после создания. diff --git a/REPORT.md b/REPORT.md index e42f2b05..f51ecdce 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,135 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: **Карпова Надежда Сергеевна, БВТ2302**. +- Целевая оценка: **5**, трек 2 «План запроса и восстановление» (уровни 3 и 4 включены). +- Commit/PR: **ВПИСАТЬ после публикации в собственный fork Gitea**. Текущая поставка — ZIP, без Git-истории. +- Источники: README.md, COURSE.md, contracts/openapi.json, contracts/README.md, tests/README.md и остальные Markdown skeleton преподавателя; документация PostgreSQL, Flask, psycopg, Argon2-cffi, Docker Compose. Использованы Python, Flask, Gunicorn, psycopg, argon2-cffi, jsonschema, redis-py. +- Помощь ИИ: реализация, инфраструктура, дополнительные тесты, выполнение облачных проверок и текст отчёта подготовлены с помощью OpenAI Codex. Студент должен самостоятельно проверить решение и понимать код перед защитой. +- Собственная lab1 получена в архиве lab1_karpova.zip. Проверены main.py, REPORT.md, собственные тесты и структура. Сохранены обязательные возможности: пользователи, чаты, участники, сообщения, ACL, Unicode, keyset pagination, общий формат ошибок, health, non-root. HTTP-обработчики переписаны с FastAPI на Flask при замене in-memory словарей на SQL; это архитектурная переработка собственной работы, а не заявление о прямом переносе неизменённого main.py. Собственные own_tests.py и concurrency.py адаптированы в student-tests/lab1_*.py: регистрация с password и Basic → Bearer. Публичные tests/ и contracts/ взяты только из skeleton lab2. Старое исследование lab1 и его цифры не выдаются за результаты lab2. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker Engine/Compose v2, Python 3.9+ и Git; для make-команд также GNU make. На Windows restart hook следует выполнять из WSL2. Полная пошаговая инструкция, включая установку инструментов, fork и PR: [HOW_TO_SUBMIT.md](HOW_TO_SUBMIT.md). -## Архитектура и решения +Все команды — из корня репозитория: -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```sh +python3 scripts/init-local.py +docker compose config --quiet +docker compose up -d --build --wait +make check +make test +chmod +x scripts/restart.sh +make test-persistence ACTION_SCRIPT=scripts/restart.sh +python3 student-tests/security.py +python3 student-tests/infrastructure.py +# Все функциональные проверки последовательно (включая перечисленные): +python3 student-tests/run_all.py +# Исследование 5, отдельные синтетические БД и новый volume: +python3 student-tests/research.py +``` + +`init-local.py` создаёт локальные случайные credentials в ignored secrets/; повтор не меняет их. `.env` не обязателен, SESSION_TTL_SECONDS по умолчанию 3600. Миграции автоматически выполняются перед стартом Gunicorn; повтор безопасен. Готовность — GET /health/ready, ответ 200 с status=ok. API доступен только на loopback:8080. Для локальной проверки — синтетические данные; удалённый HTTP с реальными паролями не предназначен для использования. + +Пример отдельной проверки TTL: инфраструктурный тест поднимает второй API на 8081 с SESSION_TTL_SECONDS=2, проверяет 200 до и 401 после истечения и удаляет только свой временный контейнер lab2-expiry. Обычная сессия основного API сохраняет TTL=3600. + +Остановка с сохранением данных: `docker compose down`. Повтор: `docker compose up -d --wait`. **Разрушительный сброс учебных данных**: `docker compose down -v`; применять только намеренно, никогда не в persistence-сценарии. + +### Образы, сервисы и настройки + +| Роль | Service / версия | Готовность | Постоянные данные | Доступ / credentials | +| --- | --- | --- | --- | --- | +| API | api; Python 3.12.12-slim-bookworm; Flask 3.1.2; Gunicorn 23.0.0 | /health/ready, запрос к PostgreSQL | собственных нет | 127.0.0.1:8080; DATABASE_URL_FILE — Compose secret | +| Redis | cache; redis:7.4.6-bookworm; redis-py 6.4.0 | redis-cli ping, необязателен для /ready | ephemeral cache; maxmemory 64mb, allkeys-lru, persistence выключен | только сеть Compose; нет внешнего опубликованного порта | +| PostgreSQL | db; postgres:17.6-bookworm | pg_isready; функциональные тесты API | postgres_data:/var/lib/postgresql/data | только сеть Compose; POSTGRES_PASSWORD_FILE — Compose secret | + +Версии прямых Python-зависимостей закреплены в requirements.txt. Транзитивные зависимости не зафиксированы отдельным lockfile. Общая сеть — автоматически создаваемая Compose default bridge. Redis используется только для кэша неизменяемых публичных профилей; сессии и права доступа всегда проверяются в PostgreSQL. + +Соответствие .env.example: SESSION_TTL_SECONDS и DATABASE_URL_FILE используются; фактические адрес и порт API заданы Gunicorn в Dockerfile (0.0.0.0:8080 внутри контейнера). APP_HOST/APP_PORT/APP_ENV не читаются; SESSION_STORE фактически всегда postgres; CACHE_URL_FILE поддерживается при явном задании, иначе используется CACHE_URL=redis://cache:6379/0 из Compose. Секретные значения в .env не требуются, используется secrets/. Исходный .env.example преподавателя сохранён без изменений. + +В облачной среде сборка выполнялась с публичным CA bundle, переданным через BuildKit secret (в образ не копируется): + +```sh +docker build --secret id=proxy_ca,src=/etc/ssl/certs/ca-certificates.crt -t mtusi2026lab2-api . +docker compose up -d --no-build --wait +``` + +Обычному компьютеру без учебного proxy достаточно стандартного `docker compose up -d --build --wait`. + +## Архитектура, схема и транзакции + +Клиент → Gunicorn/Flask → PostgreSQL. PostgreSQL — единственный источник истины для пользователей, чатов, членства, сообщений и сессий. Redis — восстанавливаемый cache-aside публичного профиля пользователя. Авторизация не зависит от содержимого кэша. Пул ограничен 8 соединениями, ожидание пула 3 с, connect_timeout 3 с, statement_timeout 3 с, lock_timeout 2 с. Один worker с четырьмя threads, без preload. Параметризованные SQL-запросы, пользовательские строки не интерполируются в SQL. + +Схема и ограничения описаны в [migrations/001_initial.sql](migrations/001_initial.sql): PK UUID; UNIQUE username; FK членства к chats/users; составной FK сообщения к членству автора; CHECK длины и username. Индексы: members(user_id,chat_id), messages(chat_id,created_at,id), sessions(expires_at); PK/UNIQUE также создают индексы. Индекс истории соответствует фильтру chat_id, порядку и условию следующей страницы. + +Создание чата и всех участников — одна транзакция в create_chat. Проверка известных пользователей выполняется до вставки; ошибка внутри блока приводит к ROLLBACK всей операции. Регистрация и отправка сообщения фиксируются до возврата 201. Login фиксирует сессию до выдачи токена, logout удаляет её транзакционно. Миграции версионируются в schema_migrations и сериализуются advisory transaction lock; одна версия применяется один раз. + +Пароли: библиотечный Argon2id с солью, memory_cost=65536 KiB, time_cost=3, parallelism=2. Пароль и hash не входят в публичный User. Сессии: opaque token из 32 случайных байт, в PostgreSQL — SHA-256 токена и абсолютное expires_at. SHA-256 не используется для паролей. Logout удаляет запись. Истечение проверяется на каждом запросе по clock_timestamp PostgreSQL; рестарт срок не продлевает. Истёкшие строки пока не очищаются автоматически, но авторизовать пользователя не могут. + +Basic принимается только при входе, Bearer — на защищённых endpoint. X-User-Id игнорируется. При чужом/несуществующем чате ответ одинаковый 404; отсутствие сессии — 401 с соответствующим WWW-Authenticate. Все ответы имеют X-Request-Id; ошибки — общий JSON без SQL/stack trace. + +История и список чатов используют keyset по (created_at,id), limit+1 определяет наличие продолжения. Cursor содержит scope запроса и отклоняется для другого чата; доступ проверяется независимо от cursor. Cursor — base64 JSON, без шифрования и подписи, не является credential. Для неизменной истории нет повторов. Между страницами нет snapshot; конкурентная транзакция с более ранним created_at может стать видимой после уже прочитанной страницы. Read-after-write подтверждённой записи обеспечивается чтением PostgreSQL без кэша истории, однако гарантии не распространяются на обход всех конкурентных записей. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +Проверки выполнены 5 ноября 2026 по Москве (UTC-метки в приложенных файлах — 4 ноября). Исходная поставка — ZIP преподавателя, commit неизвестен; нельзя выдавать его за конкретный upstream commit. Контракт, README задания и публичные тесты сверены побайтово с загруженным ZIP. Реальный вывод с exit code сохранён, токены/пароли не печатались. + +| Критерий | Команда / сценарий | Наблюдение | Доказательство | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Воспроизводимый Compose-запуск | docker compose up -d --build --wait | сборка и оба сервиса healthy; облачный прогон использовал валидный кэш зависимости после CA-сборки | [build.txt](evidence/build.txt) | +| Полная валидация контракта | make validate PYTHON=/tmp/lab2-validation/bin/python | PASS OpenAPI 3.1 и JSON Schema | [openapi.txt](evidence/openapi.txt) | +| Структура и Python-синтаксис | make check | PASS, отдельно от проверки API | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Обязательный API, Unicode, доступ, история, logout | make test | PASS сквозного сценария lab2 | [grade5-functional.txt](evidence/grade5-functional.txt) | +| PostgreSQL вместо SQLite | compose.yaml; реальные контейнеры; pg_postmaster_start_time | PostgreSQL 17.6, API использует его | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Данные и старая сессия после полного рестарта | make test-persistence ACTION_SCRIPT=scripts/restart.sh | PASS, токен сохранён только в памяти теста | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Hook реально перезапускает API, PostgreSQL и Redis | docker inspect StartedAt и pg_postmaster_start_time до/после | метки запуска всех трёх контейнеров и postmaster изменились; volume не удалялся | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Повторные миграции | два запуска src/migrate.py после рестарта | Already applied; количества users/chats/messages/sessions/migrations не изменились | [grade5-functional.txt](evidence/grade5-functional.txt) | +| PK/FK/UNIQUE и атомарное создание чата | миграция; несуществующий участник; сравнение списка до/после; гонка username | нет частичного чата; 1×201 и 3×409 при гонке | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Password KDF и безопасные сессии | исходники register/login/authenticate; public smoke | Argon2id, случайный токен; неправильный пароль 401, Basic/X-User-Id не дают бизнес-доступ | [app.py](src/app.py), [grade5-functional.txt](evidence/grade5-functional.txt) | +| Абсолютный expiry и отзыв | student-tests/expiry.py при TTL=2; public logout | 200 до expiry, 401 через 3 с; 401 после logout | [grade5-functional.txt](evidence/grade5-functional.txt), [grade5-functional.txt](evidence/grade5-functional.txt) | +| Валидация и cursor | student-tests/security.py | PASS invalid JSON/fields/types/blank/limit; чужой cursor 400 | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Поведение при отказе БД | stop db → запросы → start db | live 200; ready и защищённый запрос 503; после восстановления прежняя сессия работает | [grade5-functional.txt](evidence/grade5-functional.txt) | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +### Дополнительные критерии 4 и трек 5 -## Эксперименты и отказы +| Критерий | Проверка | Доказательство | +| --- | --- | --- | +| Реальное использование Redis, TTL и восстановление | профиль в Redis, TTL, рост hits, stop/start cache | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Параметризованные запросы, bounded pool и timeout | параметры execute, ConnectionPool, Redis budget/circuit breaker | [app.py](src/app.py), [grade5-functional.txt](evidence/grade5-functional.txt) | +| Гонка username и настоящий ROLLBACK | 4 регистрации; scoped trigger ломает INSERT участника после INSERT чата | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Индекс/план на ≥10000 сообщений | EXPLAIN ANALYZE BUFFERS на 120000; keyset LIMIT 51 | [query-study.json](evidence/query-study.json) | +| Expiry, logout, wrong password, Redis/БД outage | полный функциональный прогон | [grade5-functional.txt](evidence/grade5-functional.txt) | +| Трек 2: ≥100000, skew, ≥2 индекса и цена записи | 120000, 102 чата, 3 раунда; 5000 INSERT/вариант | [RESEARCH.md](RESEARCH.md), [query-study.json](evidence/query-study.json) | +| Backup → новое хранилище → сверка | pg_dump/pg_restore, отдельный PostgreSQL+volume; counts, samples, full SHA256 | [grade5-study.txt](evidence/grade5-study.txt) | -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +## Уровень 4: Redis, ограничения и отказ -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +На каждом защищённом запросе SELECT sessions в PostgreSQL проверяет token_hash и абсолютный expires_at. Только затем по user_id читается ключ `profile:v1:` в Redis. Значение — публичный User, без password_hash и сессии. На cache miss профиль читается из users и пишется SETEX на **60 секунд**. Это экономит чтение users и сериализацию стабильного профиля, но не SELECT сессии: кэш не является самостоятельным доказательством личности. -## Ограничения и следующие шаги +В обязательном API профили не редактируются и не удаляются, поэтому они неизменяемы; ручное изменение users вне API потребует DEL соответствующего profile key либо ожидания TTL ≤60 с. При появлении endpoint изменения профиля понадобится транзакционно согласованная инвалидация. История/списки чатов не кэшируются, подтверждённая запись сразу читается из PostgreSQL. Logout и expiry проверяются даже при cache hit. Redis persistence намеренно выключен: потеря кэша допустима, сессии находятся в PostgreSQL. После рестарта кэш заполняется заново. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Redis: connect/read timeout 0,2 с, max_connections=8, автоматические повторы отключены (`Retry(NoBackoff(),0)`). Поскольку DNS может ждать дольше socket timeout, полный cache call ограничен ожиданием 0,25 с; фоновых операций не более двух, без очереди накопления; после ошибки circuit breaker пропускает кэш 2 с. Авторизация выполняется до этих операций в PostgreSQL. При RedisError API читает PostgreSQL; Redis не критичен для ready. При отказе PostgreSQL запрос не получает доверенную личность из кэша: возвращает 503. Пул PostgreSQL и SQL-параметризация описаны выше. + +[grade5-functional.txt](evidence/grade5-functional.txt) содержит реальный последовательный прогон: public smoke; строгая валидация и гонка username (один 201, три 409); перенесённые проверки lab1; 100 записей от 10 клиентов; проверка содержимого профиля, TTL и Redis hits; остановка Redis с ограниченным fallback и проверкой 401 для отсутствующих/невалидных/отозванных токенов; восстановление кэша; искусственная ошибка INSERT участника после INSERT чата с доказанным ROLLBACK; полный рестарт API/БД/Redis с прежней сессией; повтор миграций; expiry=2; отказ/восстановление PostgreSQL. Тестовый trigger для ошибки создаётся только на уникальном синтетическом title и удаляется в finally. Код API не содержит тестового обхода авторизации или rollback. + +## Уровень 5: трек 2 «План запроса и восстановление» + +Полная методика, фактические таблицы измерений и выводы: [RESEARCH.md](RESEARCH.md). Машиночитаемые результаты, все отдельные замеры и EXPLAIN (ANALYZE, BUFFERS): [query-study.json](evidence/query-study.json). Вывод запуска и backup/restore: [grade5-study.txt](evidence/grade5-study.txt). + +Гипотеза: для истории конкретного чата индекс `(chat_id,created_at,id)` снижает объём чтения по сравнению с `(created_at,id)` особенно для редких чатов в неравномерном наборе. Более широкий индекс требует больше места и может менять стоимость записи; измерение должно показать обе стороны. + +Исследование использует отдельную БД `lab2_study_<случайный суффикс>`, созданную с нуля теми же миграциями; рабочая messenger не меняется. Всего **120 000 сообщений**, распределение **100 000 + 19 000 + 100×10** по 102 чатам, разный размер синтетического текста. Сравниваются два реальных B-tree индекса при одинаковом SQL и наборе данных. Три раунда с чередованием порядка вариантов, три запроса, 3 прогрева и 20 измеряемых чтений; реальные вставки 5000 сообщений с FK/индексами и последующим rollback для равного объёма всех вариантов. VACUUM ANALYZE между вариантами. Измеряется SQL roundtrip внутри Docker network, не HTTP RPS и не максимальная производительность. В планах производственного индекса проверяются фактические строки, buffers и отсутствие сканирования всей истории на страницу. + +После исследования выбирается производственный индекс. Создаётся настоящий `pg_dump -Fc`. Восстановление выполняется **в отдельный PostgreSQL-контейнер с новым именованным volume**, а не поверх рабочей БД. Сравниваются количества строк всех таблиц, три выбранных сообщения и SHA-256 упорядоченного полного содержимого всех 120 000 сообщений. Backup удаляется после проверки и в Git не попадает. Исследовательская исходная БД и восстановленный volume оставлены для инспекции; временный recovery-контейнер остановлен и удалён. Повтор исследования создаёт новые уникальные объекты, старые не перезаписывает. + +## Ограничения + +Это учебный стенд, окончательную оценку выставляет преподаватель на проверке и защите. Один API, одна рабочая БД и Redis на одном Docker-host не защищают от потери host/диска. /live проверяет процесс, /ready — PostgreSQL; отказ кэша допускает работу, отказ БД ограничивает API до 503. HTTP — только локальные синтетические данные. + +Backup — согласованный логический snapshot. Проверка проводилась без конкурентных записей в исследовательскую БД; это не PITR, не непрерывная репликация и не измерение production RTO. После snapshot новые COMMIT в dump не попадут: без WAL archiving потенциальная потеря ограничена временем от snapshot до аварии, то есть интервалом между backup. Новый volume расположен на том же физическом Docker-host и не является off-site копией. Время восстановления отдельно включает bootstrap нового контейнера, передача/pg_restore; сверка считается отдельно. Работающие токены в backup исследования не создавались: после полного рестарта сохранность настоящей сессии проверена отдельным persistence-тестом. + +fsync=on и synchronous_commit=on проверены, гарантии зависят от реального хранилища. PostgreSQL-роль учебного стенда имеет права владельца/создания БД для эксперимента; минимальные production-привилегии не настроены. Нет rate limiting входа, HTTPS, автоматической уборки истёкших сессий и возможностей lab3–7. Кэш не защищён отдельной Redis ACL внутри приватной сети учебного стенда. Публичные и собственные тесты не являются доказательством отсутствия всех ошибок. + +Нагрузочные RPS/percentiles приложения не заявлены. Измерения индексов ограничены этим распределением, warm-cache режимом, тремя раундами и ресурсами облачного хоста; цифры нельзя переносить на другой компьютер без повтора. Аппаратные сведения и версии: [environment.txt](evidence/environment.txt). Контейнерам не задавались отдельные CPU/RAM-лимиты; ресурсы разделяются с остальной задачей. + +Перед сдачей повторить проверки на своём компьютере и добавить ссылку на PR. ФИО/группа внесены по сообщению автора: Карпова Надежда Сергеевна, **БВИ2302** (в старом отчёте lab1 была другая запись группы, она не копировалась). diff --git a/RESEARCH.md b/RESEARCH.md new file mode 100644 index 00000000..f079c273 --- /dev/null +++ b/RESEARCH.md @@ -0,0 +1,102 @@ +# Исследование: план запроса и восстановление + +**Карпова Надежда Сергеевна, БВИ2302. Лабораторная 2, цель — 5, трек 2.** + +## Гипотеза и воспроизводимость + +Для истории конкретного чата B-tree `(chat_id,created_at,id)` должен читать меньше чужих строк, чем `(created_at,id)`, особенно при сильно разных размерах чатов. Цена — более широкий индекс и обслуживание при записи. Гипотеза проверяет чтение, отдельно измеряется цена записи; улучшение любого возможного workload не обещается. + +Команды из корня после `python3 scripts/init-local.py` и `docker compose up -d --build --wait`: + +```sh +python3 scripts/capture.py evidence/grade5-functional-local.txt -- python3 student-tests/run_all.py +python3 scripts/capture.py evidence/grade5-study-local.txt -- python3 student-tests/research.py +``` + +Запускать последовательно. Исследование создаёт отдельные БД/volume со случайными именами; рабочие данные messenger не удаляет и индексы рабочей БД не меняет. Для нового опыта сохраняйте предыдущий query-study.json отдельно: скрипт пишет текущий результат в этот файл. Все данные синтетические; пароли/токены не печатаются. + +Исходный код эксперимента: [research.py](student-tests/research.py), [research_worker.py](student-tests/research_worker.py). Фактический stdout: [grade5-study.txt](evidence/grade5-study.txt). Полный JSON с 360 отдельными измеряемыми чтениями, планами и backup fingerprints: [query-study.json](evidence/query-study.json). Ресурсы и версии: [environment.txt](evidence/environment.txt). + +## Набор данных и методика + +- PostgreSQL 17.6, схемы/PK/FK/CHECK из migrations/001_initial.sql; одна исследовательская учётная запись без рабочего password hash и сессий. +- 102 чата, **120000 сообщений**: один 100000, один 19000, остальные 100 чатов по 10. Длина текста меняется: синтетический префикс и 64..575 символов наполнения. Время детерминированно увеличивается на 1 мкс, UUID детерминированны из синтетических меток. Это не равномерный production traffic. +- Два варианта индекса: `messages_global(created_at,id)` и производственный `messages_history(chat_id,created_at,id)`. Остальные PK/FK-индексы одинаковы. Не применяются enable_seqscan=off и другие принуждения планировщика. +- Три раунда; порядок global→chat_first, chat_first→global, global→chat_first. Для каждого — пересоздание индекса и ANALYZE. Три профиля запросов, 3 прогрева и 20 измеряемых SELECT на профиль. Чтения последовательные, concurrency=1. В таблице ниже — медиана трёх медиан по 20 запросам. Raw_ms и p95 каждого раунда сохранены, p95 при таком числе запросов имеет низкую статистическую устойчивость. +- Измерение perf_counter вокруг execute+fetchall внутри API-контейнера по Docker network: включает SQL roundtrip и получение результата, не включает HTTP, authentication и Argon2id. EXPLAIN ANALYZE выполняется отдельно после измеряемых чтений, его Execution Time может отличаться от roundtrip. +- Стоимость записи: настоящий INSERT 5000 строк с FK/PK и текущим вторичным индексом, затем ROLLBACK, чтобы не менять базовые 120000 сообщений. Время включает SQL/FK/индексную работу, **не включает COMMIT/fsync подтверждения клиенту**. Между вариантами VACUUM ANALYZE удаляет dead tuples. Это сравнение стоимости statement, не полного end-to-end write latency. +- Замеры warm-cache: Shared Read Blocks в показанных планах равны 0. Планировщик может использовать parallel scan; доступные CPU/RAM разделяются с облачной задачей. Отдельных лимитов на контейнеры не задавали. + +Измеряемый SQL совпадает с ключевой частью GET истории API: + +```sql +SELECT * FROM messages +WHERE chat_id = $1 + AND (created_at,id) > ($2,$3) +ORDER BY created_at,id +LIMIT 51; +``` + +API получает limit+1, чтобы определить next_cursor. Индекс сначала ограничивает конкретный chat_id, затем диапазон keyset, OFFSET не применяется. В API до SQL истории отдельно проверяются сессия и членство. + +## Фактические результаты чтения + +Дата: 5 ноября 2026 по Москве; UTC-метка полного исследования: `2026-11-04T22:04:18.889913+00:00`. + +| Профиль | (created_at,id), мс | (chat_id,created_at,id), мс | Отношение времени global/chat_first | +| --- | ---: | ---: | ---: | +| Большой чат, продолжение после 50000 | 0.322 | 0.335 | 0.96× | +| Чат 19000, первая страница | 22.437 | 0.276 | 81.28× | +| Чат 10, первая страница | 27.168 | 0.142 | 191.74× | + +Для большого чата продолжение и так попадает в плотный диапазон глобального индекса: преимущества выбранного индекса в этих измерениях нет, небольшая разница сопоставима с разбросом. Для среднего и редкого чата гипотеза подтверждена в данном warm-cache наборе: значительно меньше прочитанных/отфильтрованных чужих строк. Полученные отношения нельзя называть ускорением всего API или переносить на другие распределения. + +### Почему изменился план + +В первом раунде global для среднего чата выполняет Index Scan messages_global с фильтром chat_id, отбрасывает **100000** чужих строк и использует **8359 shared hit blocks**, чтобы вернуть 51 строку. Производственный messages_history возвращает 51 строку при **6 shared hit blocks**, chat_id входит в Index Cond. + +Для редкого чата global выбирает Gather Merge → Sort → parallel Seq Scan: фактически просматривает всю таблицу, Shared Hit Blocks верхнего узла **6360**. Внутри parallel plan Actual Rows/Rows Removed by Filter приведены в среднем за loop и округлены — их нельзя бездумно складывать как точный общий счётчик. messages_history выбирает Index Scan, возвращает все 10 строк при **13 shared hit blocks**. Полного scan истории в выбранном варианте на этих страницах нет. + +Большой чат: оба варианта читают только 51 строку по индексу, соответственно 7 и 8 shared hit blocks первого раунда. Это объясняет отсутствие выигрыша для этого профиля. Shared hits — логические обращения к буферам PostgreSQL, а не количество физических дисковых операций. Полные деревья всех раундов доступны в JSON. + +## Цена записи и размер индекса + +| Вариант | INSERT 5000, мс по трём раундам | Медиана, мс | Размер индекса первого раунда, байт | +| --- | --- | ---: | ---: | +| global | 68.552, 62.403, 91.077 | 68.552 | 5087232 | +| chat_first | 70.005, 65.643, 78.178 | 70.005 | 7618560 | + +Производственный индекс шире примерно на 50% в этом прогоне. Медианная стоимость INSERT немного выше, но диапазоны трёх наблюдений перекрываются: **доказать статистически устойчивое замедление записи по этим трём точкам нельзя**. Утверждение «чтение улучшилось бесплатно» также неверно: ширина и место индекса реально увеличились. Index build_ms каждого раунда сохранён в JSON, но сборка индекса не является обычной ценой одного сообщения. + +## Настоящий backup и восстановление в новое хранилище + +1. После сравнения восстановлен production index messages_history в исследовательской БД. Создан `pg_dump -Fc` этой БД. +2. Создан **новый именованный volume**, запущен отдельный `postgres:17.6-bookworm` с отдельной БД; доступ только через внутреннюю Docker network. Исходная рабочая БД не заменялась. +3. Сохранённый dump передан pg_restore через pipe. Проверены exit status и pg_dump/pg_restore; бинарные bytes не выводились в логи. +4. После восстановления проверены количества всех таблиц, три выбранных сообщения (начало, граница большого чата, последнее) и SHA-256 сериализованного полного содержимого **всех 120000 сообщений**, отсортированных по UUID. Это проверяет реальные данные, а не только число строк или открытый порт. +5. Dump удалён после проверки, recovery-контейнер остановлен/удалён. Новый volume сохранён для осмотра, имя зафиксировано в JSON. Ни dump, ни credential-файлы в архив решения не включены. + +| Показатель | Фактическое значение | +| --- | --- | +| pg_dump | 0.679 с | +| Bootstrap нового PostgreSQL + передача + pg_restore | 6.288 с | +| Полная сверка после восстановления | 2.288 с | +| Размер backup | 4100912 байт | +| Counts source = restored | users=1, chats=102, members=102, messages=120000, sessions=0, schema_migrations=1 | +| Сверка трёх выбранных сообщений | полное совпадение всех полей | +| SHA-256 всех сообщений (одинаковый source/restored) | `fcc7a69c6f3fe35cabe5eab0645a7ace6774fca5a120541a4ccb92edbb58d9b8` | +| Новый volume | `lab2-recovery-d495852d11-data` | + +## Границы результата и потери данных + +Backup — согласованный логический snapshot pg_dump; в эксперименте после заполнения не было конкурентных писателей. Данные на момент snapshot восстановлены без обнаруженной потери и без повторного seed. После snapshot новые COMMIT автоматически в dump не добавляются. Без WAL archiving/PITR потенциальный RPO — интервал от последнего backup до аварии; для нового backup нужен новый запуск, а не обещание «потери всегда нулевые». + +Время около шести секунд — bootstrap и restore маленького сжатого синтетического набора на этом же Docker-host. Сверка заняла дополнительное время. Это не SLA и не production RTO: не учитываются обнаружение аварии, сеть удалённого backup, оператор, существенно больший объём или восстановление всего host. Новый volume логически отдельный, но физический host тот же: off-site защиту такое размещение не даёт. + +Три раунда не дают строгого доверительного интервала. Очередность вариантов частично чередуется, кэш не сбрасывается и распределение времени намеренно кластеризует большие чаты. Это усиливает эффект глобального индекса для поздних/малых чатов; при равномерно перемешанных данных цифры изменятся. Исследование подтверждает выбор индекса для выбранной модели, а не универсальный рекорд. + +Отдельно от backup-исследования сохранность действующих сессий и подтверждённых сообщений после рестарта API, PostgreSQL и Redis проверена публичным persistence-сценарием в [grade5-functional.txt](evidence/grade5-functional.txt). В самом исследовательском dump сессий нет. + +## Вывод + +Для истории конкретного чата выбран `(chat_id,created_at,id)`: он убирает чтение чужой истории в исследованных страницах и резко сокращает работу для маленьких/средних чатов. Для плотного большого чата преимущества не обнаружено; индекс занимает больше места, цена записи требует дальнейших повторов. Восстановление в новый PostgreSQL и новый volume подтверждено сверкой всех 120000 сообщений, но границы backup snapshot и общий физический host остаются ограничениями. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..94304d9a --- /dev/null +++ b/compose.yaml @@ -0,0 +1,49 @@ +services: + db: + image: postgres:17.6-bookworm + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/db_password + secrets: + - db_password + volumes: + - postgres_data:/var/lib/postgresql/data + healthcheck: + test: [CMD-SHELL, 'pg_isready -U messenger -d messenger'] + interval: 2s + timeout: 3s + retries: 30 + cache: + image: redis:7.4.6-bookworm + command: [redis-server, --save, "", --appendonly, "no", --maxmemory, 64mb, --maxmemory-policy, allkeys-lru] + healthcheck: + test: [CMD, redis-cli, ping] + interval: 2s + timeout: 3s + retries: 30 + api: + build: . + environment: + CACHE_URL: redis://cache:6379/0 + DATABASE_URL_FILE: /run/secrets/database_url + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + secrets: + - database_url + ports: + - '127.0.0.1:8080:8080' + depends_on: + db: + condition: service_healthy + healthcheck: + test: [CMD, python, -c, 'import urllib.request; urllib.request.urlopen("http://127.0.0.1:8080/health/ready", timeout=3)'] + interval: 2s + timeout: 4s + retries: 30 +secrets: + db_password: + file: ./secrets/db_password + database_url: + file: ./secrets/database_url +volumes: + postgres_data: diff --git a/evidence/README.md b/evidence/README.md index 8df70015..ecf9ebed 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -3,3 +3,18 @@ Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. + +## Результаты решения Карповой Н. С., БВИ2302 — на 5 + +Это реальные обезличенные результаты облачного стенда, дата по Москве — 5 ноября 2026. UTC-метки в файлах — 4 ноября. Поставка из ZIP, upstream commit неизвестен; точные исходники фиксирует source-sha256.txt. + +- [grade5-functional.txt](grade5-functional.txt): проверки уровней 3–4, перенесённые own/concurrency lab1, cache TTL/hits/outage, rollback, restart всех трёх сервисов, expiry и отказ/восстановление БД. +- [grade5-study.txt](grade5-study.txt): исследование 120000 сообщений, два индекса и реальный backup/restore в новый PostgreSQL с новым volume. +- [query-study.json](query-study.json): все замеры, EXPLAIN (ANALYZE, BUFFERS), стоимость записи, fingerprints и времена восстановления. +- [environment.txt](environment.txt): ресурсы, версии, fsync/synchronous_commit и контейнеры. +- [build.txt](build.txt): финальная Compose-сборка и готовность сервисов. +- [openapi.txt](openapi.txt): полная валидация OpenAPI/JSON Schema. +- [skeleton-integrity.txt](skeleton-integrity.txt): сверка с ZIP преподавателя. +- [source-sha256.txt](source-sha256.txt): контрольные суммы поставляемого кода. + +Методика, агрегаты, ограничения и объяснение результатов: [RESEARCH.md](../RESEARCH.md); соответствие критериям: [REPORT.md](../REPORT.md). Скриншоты не подделывались: по заданию допускаются текстовые доказательства команд и наблюдений. diff --git a/evidence/build.txt b/evidence/build.txt new file mode 100644 index 00000000..a76ad2f8 --- /dev/null +++ b/evidence/build.txt @@ -0,0 +1,76 @@ +UTC: 2026-11-04T22:04:55.006926+00:00 +Command: docker compose up -d --build --wait +#1 [internal] load local bake definitions +#1 reading from stdin 699B done +#1 DONE 0.0s + +#2 [internal] load build definition from Dockerfile +#2 transferring dockerfile: 626B done +#2 DONE 0.0s + +#3 resolve image config for docker-image://docker.io/docker/dockerfile:1 +#3 DONE 0.2s + +#4 docker-image://docker.io/docker/dockerfile:1@sha256:4edf897a3ffa55b89f906fc8cc78afdb3f1834cc9c7083565e611a8a7d5fe99e +#4 CACHED + +#5 [internal] load metadata for docker.io/library/python:3.12.12-slim-bookworm +#5 DONE 0.2s + +#6 [internal] load .dockerignore +#6 transferring context: 196B done +#6 DONE 0.0s + +#7 [stage-0 1/8] FROM docker.io/library/python:3.12.12-slim-bookworm@sha256:593bd06efe90efa80dc4eee3948be7c0fde4134606dd40d8dd8dbcade98e669c +#7 DONE 0.0s + +#8 [internal] load build context +#8 transferring context: 404B done +#8 DONE 0.0s + +#9 [stage-0 4/8] RUN --mount=type=secret,id=proxy_ca if [ -f /run/secrets/proxy_ca ]; then export PIP_CERT=/run/secrets/proxy_ca; fi; pip install --no-cache-dir -r requirements.txt +#9 CACHED + +#10 [stage-0 5/8] COPY src ./src +#10 CACHED + +#11 [stage-0 6/8] COPY migrations ./migrations +#11 CACHED + +#12 [stage-0 2/8] WORKDIR /app +#12 CACHED + +#13 [stage-0 3/8] COPY requirements.txt . +#13 CACHED + +#14 [stage-0 7/8] COPY contracts ./contracts +#14 CACHED + +#15 [stage-0 8/8] RUN chmod -R a+rX /app && useradd --uid 10001 --create-home app +#15 CACHED + +#16 exporting to image +#16 exporting layers done +#16 writing image sha256:30613bcdeff20685a51df3a0bdd45e560991ac73bbb33e933e434489b482f6c0 done +#16 naming to docker.io/library/mtusi2026lab2-api done +#16 DONE 0.0s + +#17 resolving provenance for metadata file +#17 DONE 0.0s + mtusi2026lab2-api Built + Container mtusi2026lab2-db-1 Running + Container mtusi2026lab2-api-1 Recreate + Container mtusi2026lab2-cache-1 Running + Container mtusi2026lab2-api-1 Recreated + Container mtusi2026lab2-db-1 Waiting + Container mtusi2026lab2-db-1 Healthy + Container mtusi2026lab2-api-1 Starting + Container mtusi2026lab2-api-1 Started + Container mtusi2026lab2-db-1 Waiting + Container mtusi2026lab2-cache-1 Waiting + Container mtusi2026lab2-api-1 Waiting + Container mtusi2026lab2-cache-1 Healthy + Container mtusi2026lab2-db-1 Healthy + Container mtusi2026lab2-api-1 Healthy + +Exit code: 0 diff --git a/evidence/check-local.txt b/evidence/check-local.txt new file mode 100644 index 00000000..7ef3f4a5 --- /dev/null +++ b/evidence/check-local.txt @@ -0,0 +1,5 @@ +UTC: 2026-11-04T22:38:59.847637+00:00 +Command: python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +Exit code: 0 diff --git a/evidence/environment.txt b/evidence/environment.txt new file mode 100644 index 00000000..8b069b0d --- /dev/null +++ b/evidence/environment.txt @@ -0,0 +1,25 @@ +UTC: 2026-11-04T22:06:31.893524+00:00 +Client date: 2026-11-05 Europe/Moscow +Kernel: Linux-6.18.57-x86_64-with-glibc2.41 +CPU logical cores visible: 5 +/sys/fs/cgroup/memory.max: 34359738368 +/sys/fs/cgroup/cpu.max: 400000 100000 +Command: docker version --format client={{.Client.Version}} server={{.Server.Version}} +client=29.9.2 server=29.9.2 +Command: docker compose version +Docker Compose version v2.40.3 +Command: docker compose exec -T db psql -U messenger -d messenger -Atc select version(); show fsync; show synchronous_commit; +PostgreSQL 17.6 (Debian 17.6-2.pgdg12+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 12.2.0-14+deb12u1) 12.2.0, 64-bit +on +on +Command: docker compose exec -T cache redis-cli INFO server +redis_version:7.4.6 +redis_mode:standalone +arch_bits:64 +Command: docker compose exec -T api id +uid=10001(app) gid=10001(app) groups=10001(app) +Command: docker compose ps +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +mtusi2026lab2-api-1 mtusi2026lab2-api "sh -c 'python src/m…" api About a minute ago Up About a minute (healthy) 127.0.0.1:8080->8080/tcp +mtusi2026lab2-cache-1 redis:7.4.6-bookworm "docker-entrypoint.s…" cache 9 minutes ago Up 2 minutes (healthy) 6379/tcp +mtusi2026lab2-db-1 postgres:17.6-bookworm "docker-entrypoint.s…" db 20 minutes ago Up 2 minutes (healthy) 5432/tcp diff --git a/evidence/grade5-functional-local.txt b/evidence/grade5-functional-local.txt new file mode 100644 index 00000000..2a2d8932 --- /dev/null +++ b/evidence/grade5-functional-local.txt @@ -0,0 +1,54 @@ +UTC: 2026-11-04T22:39:51.907732+00:00 +Command: python3 student-tests/run_all.py +RUN: make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +RUN: make test +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. +RUN: /Library/Developer/CommandLineTools/usr/bin/python3 student-tests/security.py +PASS: malformed JSON, strict fields/types, whitespace, limits, cursor resource binding, invalid chat atomicity, concurrent username uniqueness +RUN: /Library/Developer/CommandLineTools/usr/bin/python3 student-tests/lab1_own_tests.py +PASS: own negative, access-control and multi-page tests +RUN: /Library/Developer/CommandLineTools/usr/bin/python3 student-tests/lab1_concurrency.py +PASS: 10 concurrent clients -> 100 successful messages -> 100 unique messages +RUN: /Library/Developer/CommandLineTools/usr/bin/python3 student-tests/level4.py +PASS: actual cached public profile, TTL <=60 seconds, at least 3 Redis cache hits + Container mtusi2026lab2-cache-1 Stopping + Container mtusi2026lab2-cache-1 Stopped +Cache outage diagnostic: profile_matches=True elapsed_seconds=0.204 +PASS: Redis down: PostgreSQL fallback 0.204s, ready=200, invalid/absent/revoked sessions=401 + Container mtusi2026lab2-cache-1 Starting + Container mtusi2026lab2-cache-1 Started +PASS: ephemeral Redis restart: cache is rebuilt; no session source of truth lost +PASS: injected failure AFTER chat INSERT: HTTP 503, transaction rolled back chat and members +PASS: same API remains usable after rollback +RUN: /Library/Developer/CommandLineTools/usr/bin/python3 student-tests/infrastructure.py +Before full restart: +api 28fbeae97d23eca5e256d399d79848f1d981bc78294f72a7539a3958c38b420a 2026-11-04T22:39:09.243190426Z 0 +db dbee5490f591813b35c71f4b10be9450f26196ffaa97272b9d51c9e54cbba55c 2026-11-04T22:39:08.499371509Z 0 +cache 7f2b559ca9eb198a44bbdd00a2e91c1d6f0b2e41a861c47570606082fa0e68d2 2026-11-04T22:39:37.450518717Z 0 +DB postmaster: 2026-11-04 22:39:08.553299+00 +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +After full restart: +api 28fbeae97d23eca5e256d399d79848f1d981bc78294f72a7539a3958c38b420a 2026-11-04T22:39:42.159768302Z 0 +db dbee5490f591813b35c71f4b10be9450f26196ffaa97272b9d51c9e54cbba55c 2026-11-04T22:39:41.091549593Z 0 +cache 7f2b559ca9eb198a44bbdd00a2e91c1d6f0b2e41a861c47570606082fa0e68d2 2026-11-04T22:39:41.155934302Z 0 +DB postmaster: 2026-11-04 22:39:41.187536+00 +Already applied 001_initial.sql +Already applied 001_initial.sql +PASS: two migration reruns; users/chats/messages/sessions/migrations counts unchanged: 36|13|113|31|1 + Container lab2-expiry Creating + Container lab2-expiry Created +PASS: a real short-lived session authenticates before expiry and returns 401 after expiry + Container mtusi2026lab2-db-1 Stopping + Container mtusi2026lab2-db-1 Stopped +PASS: DB down: live=200, ready=503, authenticated request=503; no anonymous fallback + Container mtusi2026lab2-db-1 Starting + Container mtusi2026lab2-db-1 Started +PASS: DB recovered; same session works +PASS: all required functional checks completed + +Exit code: 0 diff --git a/evidence/grade5-functional.txt b/evidence/grade5-functional.txt new file mode 100644 index 00000000..8ad2bef1 --- /dev/null +++ b/evidence/grade5-functional.txt @@ -0,0 +1,52 @@ +UTC: 2026-11-04T22:03:47.272430+00:00 +Command: python3 student-tests/run_all.py +RUN: make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +RUN: make test +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. +RUN: /opt/codex/runtimes/codex-primary-runtime/dependencies/python/bin/python3 student-tests/security.py +PASS: malformed JSON, strict fields/types, whitespace, limits, cursor resource binding, invalid chat atomicity, concurrent username uniqueness +RUN: /opt/codex/runtimes/codex-primary-runtime/dependencies/python/bin/python3 student-tests/lab1_own_tests.py +PASS: own negative, access-control and multi-page tests +RUN: /opt/codex/runtimes/codex-primary-runtime/dependencies/python/bin/python3 student-tests/lab1_concurrency.py +PASS: 10 concurrent clients -> 100 successful messages -> 100 unique messages +RUN: /opt/codex/runtimes/codex-primary-runtime/dependencies/python/bin/python3 student-tests/level4.py +PASS: actual cached public profile, TTL <=60 seconds, at least 3 Redis cache hits + Container mtusi2026lab2-cache-1 Stopping + Container mtusi2026lab2-cache-1 Stopped +Cache outage diagnostic: profile_matches=True elapsed_seconds=0.007 +PASS: Redis down: PostgreSQL fallback 0.007s, ready=200, invalid/absent/revoked sessions=401 + Container mtusi2026lab2-cache-1 Starting + Container mtusi2026lab2-cache-1 Started +PASS: ephemeral Redis restart: cache is rebuilt; no session source of truth lost +PASS: injected failure AFTER chat INSERT: HTTP 503, transaction rolled back chat and members +PASS: same API remains usable after rollback +RUN: /opt/codex/runtimes/codex-primary-runtime/dependencies/python/bin/python3 student-tests/infrastructure.py +Before full restart: +api 9ae2e8de18d5a000eb0bef30af317c67e92bc0ee1db5455e646a29262aec9e1a 2026-11-04T22:01:53.486440398Z 0 +db 9714c57601ade4f1458923203e668eee6ae1f45cf97382a1fc669f564da39317 2026-11-04T21:48:09.56075614Z 0 +cache 438fe5a917be32774249ad31467c43ec1309c28a6fd7e9c50955384fcee3838b 2026-11-04T22:03:30.50288512Z 0 +DB postmaster: 2026-11-04 21:48:09.71223+00 +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +After full restart: +api 9ae2e8de18d5a000eb0bef30af317c67e92bc0ee1db5455e646a29262aec9e1a 2026-11-04T22:03:37.04495913Z 0 +db 9714c57601ade4f1458923203e668eee6ae1f45cf97382a1fc669f564da39317 2026-11-04T22:03:36.308873498Z 0 +cache 438fe5a917be32774249ad31467c43ec1309c28a6fd7e9c50955384fcee3838b 2026-11-04T22:03:36.096145205Z 0 +DB postmaster: 2026-11-04 22:03:36.469068+00 +Already applied 001_initial.sql +Already applied 001_initial.sql +PASS: two migration reruns; users/chats/messages/sessions/migrations counts unchanged: 83|27|327|74|1 +PASS: a real short-lived session authenticates before expiry and returns 401 after expiry + Container mtusi2026lab2-db-1 Stopping + Container mtusi2026lab2-db-1 Stopped +PASS: DB down: live=200, ready=503, authenticated request=503; no anonymous fallback + Container mtusi2026lab2-db-1 Starting + Container mtusi2026lab2-db-1 Started +PASS: DB recovered; same session works +PASS: all required functional checks completed + +Exit code: 0 diff --git a/evidence/grade5-study-local.txt b/evidence/grade5-study-local.txt new file mode 100644 index 00000000..13199334 --- /dev/null +++ b/evidence/grade5-study-local.txt @@ -0,0 +1,18 @@ +UTC: 2026-11-04T22:40:12.450298+00:00 +Command: python3 student-tests/research.py +Fresh isolated databases: lab2_study_73b956d721 lab2_study_73b956d721_restored +Seeded 120000 synthetic messages: 100000 + 19000 + 100*10 +PASS: 2 indexes, 3 rounds, 3 query profiles, 20 measured reads/profile, real 5000-row writes with rollback +PASS: pg_dump -> NEW PostgreSQL container + NEW volume -> table counts + ALL 120000 messages SHA256 + selected messages match +Backup 0.319s; restore 1.750s; verification 0.930s; dump 4100901 bytes +global 5000-row insert ms: [24.202, 23.839, 23.957] +global hot-middle median ms per round: [0.116, 0.111, 0.112] +global medium-first median ms per round: [5.131, 4.756, 4.722] +global tiny-first median ms per round: [5.662, 5.719, 5.748] +chat_first 5000-row insert ms: [24.617, 24.58, 24.879] +chat_first hot-middle median ms per round: [0.111, 0.115, 0.117] +chat_first medium-first median ms per round: [0.111, 0.111, 0.117] +chat_first tiny-first median ms per round: [0.063, 0.062, 0.06] +Research source database and recovered volume retained for inspection; recovery process stopped; no dump/credentials included in evidence. + +Exit code: 0 diff --git a/evidence/grade5-study.txt b/evidence/grade5-study.txt new file mode 100644 index 00000000..5a65b39a --- /dev/null +++ b/evidence/grade5-study.txt @@ -0,0 +1,18 @@ +UTC: 2026-11-04T22:04:19.320899+00:00 +Command: python3 student-tests/research.py +Fresh isolated databases: lab2_study_d495852d11 lab2_study_d495852d11_restored +Seeded 120000 synthetic messages: 100000 + 19000 + 100*10 +PASS: 2 indexes, 3 rounds, 3 query profiles, 20 measured reads/profile, real 5000-row writes with rollback +PASS: pg_dump -> NEW PostgreSQL container + NEW volume -> table counts + ALL 120000 messages SHA256 + selected messages match +Backup 0.679s; restore 6.288s; verification 2.288s; dump 4100912 bytes +global 5000-row insert ms: [68.552, 62.403, 91.077] +global hot-middle median ms per round: [0.322, 0.292, 0.504] +global medium-first median ms per round: [22.437, 22.073, 23.842] +global tiny-first median ms per round: [26.97, 27.168, 27.924] +chat_first 5000-row insert ms: [70.005, 65.643, 78.178] +chat_first hot-middle median ms per round: [0.445, 0.335, 0.303] +chat_first medium-first median ms per round: [0.249, 0.276, 0.282] +chat_first tiny-first median ms per round: [0.123, 0.147, 0.142] +Research source database and recovered volume retained for inspection; recovery process stopped; no dump/credentials included in evidence. + +Exit code: 0 diff --git a/evidence/lab1-provenance.txt b/evidence/lab1-provenance.txt new file mode 100644 index 00000000..51aabf1e --- /dev/null +++ b/evidence/lab1-provenance.txt @@ -0,0 +1,13 @@ +User-provided lab1 archive SHA256: 956c17391860b6b432173ba2763ff7204d4b03c7a44e0422919b70b994377c1f +Source identity supplied by user: Карпова Надежда Сергеевна, БВИ2302 +Original source files (not copied over lab2 contracts/public tests): +eb41f004c3bbd1e4ae33f97b66369c280957648f8d7aa5d63557f6ec0d522deb lab1/main.py +10e085dbfb4e67b58418a5cb2a12ed6ad06c7c76c99543b63028711ffa6eb8fa lab1/REPORT.md +213debb6d7bd76a5ed7043e6ab8e29af4415a7db3ef3dd39b47917736ce8551b lab1/tests/own_tests.py +0fd715e787877d20ceb4119424d123855076be12d199b2163050f05cba600101 lab1/tests/concurrency.py +d2c40189937c3a965593b95a38e98037122c1a3b9213a41eb07fd5f6efafac4a lab1/tests/benchmark_track1.py +Adapted test files: +2503ff8f91d802dd29a83f94ff247cf0978b8b7fa9ea1dd7a6885771404b5ca4 student-tests/lab1_own_tests.py +10e46adcffd8b97aa80aa41670d8e78f016735fb5ad59f9c5346ffa9fc57d792 student-tests/lab1_concurrency.py +Changes to tests: add password to synthetic registrations, Basic login, Bearer headers; original assertions retained. +Application handlers rewritten for PostgreSQL/Redis/Flask; do not claim original main.py was copied unchanged. diff --git a/evidence/openapi.txt b/evidence/openapi.txt new file mode 100644 index 00000000..1359d114 --- /dev/null +++ b/evidence/openapi.txt @@ -0,0 +1,6 @@ +UTC: 2026-11-04T21:50:01.263099+00:00 +Command: make validate PYTHON=/tmp/lab2-validation/bin/python +/tmp/lab2-validation/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. + +Exit code: 0 diff --git a/evidence/persistence-local.txt b/evidence/persistence-local.txt new file mode 100644 index 00000000..6ac60799 --- /dev/null +++ b/evidence/persistence-local.txt @@ -0,0 +1,6 @@ +UTC: 2026-11-04T22:39:09.887252+00:00 +Command: python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +Exit code: 0 diff --git a/evidence/query-study.json b/evidence/query-study.json new file mode 100644 index 00000000..050b418c --- /dev/null +++ b/evidence/query-study.json @@ -0,0 +1,2246 @@ +{ + "messages": 120000, + "warmup": 3, + "measured_reads": 20, + "rounds": 3, + "write_batch": 5000, + "results": [ + { + "round": 1, + "variant": "global", + "definition": "CREATE INDEX messages_global ON messages(created_at,id)", + "index_build_ms": 19.939625000006345, + "queries": [ + { + "scenario": "hot-middle", + "rows": 51, + "median_ms": 0.11585400000058144, + "p95_ms": 0.14962500000592627, + "raw_ms": [ + 0.12025000000903674, + 0.13220799999658084, + 0.15479099999993196, + 0.11558299999592236, + 0.14962500000592627, + 0.12562500000967702, + 0.11699999998882049, + 0.12375000000020009, + 0.12158300000919553, + 0.11337500001218359, + 0.11708299999213523, + 0.11370799998644543, + 0.11612500000524051, + 0.1064159999941694, + 0.10891700000570381, + 0.10366600000111248, + 0.10516700001517165, + 0.10937499999386091, + 0.10737499999891043, + 0.10837499999638567 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 14.4, + "Plan Rows": 51, + "Plan Width": 394, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 7, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_global", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 15943.21, + "Plan Rows": 58132, + "Plan Width": 394, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "(ROW(created_at, id) > ROW('2026-01-01 00:00:00.05+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))", + "Rows Removed by Index Recheck": 0, + "Filter": "(chat_id = 'f316dbbe-85f1-4587-454d-bfe607cf01de'::uuid)", + "Rows Removed by Filter": 0, + "Shared Hit Blocks": 7, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.009 + } + }, + { + "scenario": "medium-first", + "rows": 51, + "median_ms": 5.131312499997875, + "p95_ms": 7.200249999982589, + "raw_ms": [ + 5.096750000006978, + 4.809082999997827, + 4.7137499999792, + 4.811332999992146, + 4.943832999998676, + 4.914417000009053, + 4.809375000007776, + 4.826583999999912, + 5.341000000015583, + 5.05379099999459, + 7.151082999996561, + 8.643415999983972, + 6.783291000004965, + 5.724332999989201, + 7.200249999982589, + 6.887499999976399, + 6.2023749999866595, + 5.593625000017255, + 5.042666999997891, + 5.165874999988773 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 51.9, + "Plan Rows": 51, + "Plan Width": 394, + "Actual Startup Time": 5.437, + "Actual Total Time": 5.441, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 8359, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_global", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 19428.99, + "Plan Rows": 19248, + "Plan Width": 394, + "Actual Startup Time": 5.436, + "Actual Total Time": 5.439, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "(ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))", + "Rows Removed by Index Recheck": 0, + "Filter": "(chat_id = '060a8703-6b43-c8ec-2d06-19c37cea7cc6'::uuid)", + "Rows Removed by Filter": 100000, + "Shared Hit Blocks": 8359, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 4, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.017, + "Triggers": [], + "Execution Time": 5.446 + } + }, + { + "scenario": "tiny-first", + "rows": 10, + "median_ms": 5.662437499992734, + "p95_ms": 6.778332999999748, + "raw_ms": [ + 3.719832999991013, + 3.870124999991731, + 3.986207999986391, + 4.274541999990333, + 3.810874999999214, + 3.7367920000122012, + 3.876333000022214, + 3.7302089999968757, + 7.256957999999258, + 6.778332999999748, + 6.408291999974836, + 6.0516249999977845, + 5.734916999983852, + 5.800957999980483, + 5.6901250000009895, + 5.695874999986472, + 5.738459000014018, + 5.628500000000258, + 6.0442919999843525, + 5.634749999984479 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 8205.06, + "Total Cost": 8206.0, + "Plan Rows": 8, + "Plan Width": 394, + "Actual Startup Time": 2.693, + "Actual Total Time": 3.728, + "Actual Rows": 10, + "Actual Loops": 1, + "Shared Hit Blocks": 6360, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Gather Merge", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 8205.06, + "Total Cost": 8206.0, + "Plan Rows": 8, + "Plan Width": 394, + "Actual Startup Time": 2.693, + "Actual Total Time": 3.727, + "Actual Rows": 10, + "Actual Loops": 1, + "Workers Planned": 2, + "Workers Launched": 2, + "Shared Hit Blocks": 6360, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Sort", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 7205.04, + "Total Cost": 7205.05, + "Plan Rows": 4, + "Plan Width": 394, + "Actual Startup Time": 1.873, + "Actual Total Time": 1.873, + "Actual Rows": 3, + "Actual Loops": 3, + "Sort Key": [ + "created_at", + "id" + ], + "Sort Method": "quicksort", + "Sort Space Used": 28, + "Sort Space Type": "Memory", + "Shared Hit Blocks": 6360, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Workers": [ + { + "Worker Number": 0, + "Sort Method": "quicksort", + "Sort Space Used": 26, + "Sort Space Type": "Memory" + }, + { + "Worker Number": 1, + "Sort Method": "quicksort", + "Sort Space Used": 26, + "Sort Space Type": "Memory" + } + ], + "Plans": [ + { + "Node Type": "Seq Scan", + "Parent Relationship": "Outer", + "Parallel Aware": true, + "Async Capable": false, + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.0, + "Total Cost": 7205.0, + "Plan Rows": 4, + "Plan Width": 394, + "Actual Startup Time": 1.848, + "Actual Total Time": 1.863, + "Actual Rows": 3, + "Actual Loops": 3, + "Filter": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Filter": 39997, + "Shared Hit Blocks": 6330, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Workers": [] + } + ] + } + ] + } + ] + }, + "Planning": { + "Shared Hit Blocks": 4, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.03, + "Triggers": [], + "Execution Time": 3.733 + } + } + ], + "insert_5000_ms": 24.202291999984027, + "index_bytes": 5087232 + }, + { + "round": 1, + "variant": "chat_first", + "definition": "CREATE INDEX messages_history ON messages(chat_id,created_at,id)", + "index_build_ms": 31.96337500000368, + "queries": [ + { + "scenario": "hot-middle", + "rows": 51, + "median_ms": 0.11131199998715147, + "p95_ms": 0.15070799997829454, + "raw_ms": [ + 0.11629200000129458, + 0.12816699998552394, + 0.15070799997829454, + 0.10850000001028093, + 0.10866599998848869, + 0.12441699999499178, + 0.1790000000028158, + 0.13920800000732925, + 0.11570799998139591, + 0.10987499999259853, + 0.10962499999322972, + 0.1082089999897562, + 0.10720899999228095, + 0.10720899999228095, + 0.11337499998376188, + 0.1019169999949554, + 0.10995799999591327, + 0.12283299997761787, + 0.11266599997838966, + 0.10795800000096278 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 24.95, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 8, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 28100.77, + "Plan Rows": 58407, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "((chat_id = 'f316dbbe-85f1-4587-454d-bfe607cf01de'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.05+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 8, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.008, + "Triggers": [], + "Execution Time": 0.01 + } + }, + { + "scenario": "medium-first", + "rows": 51, + "median_ms": 0.11112499998944259, + "p95_ms": 0.11591699998803051, + "raw_ms": [ + 0.11216699999749835, + 0.1079999999831216, + 0.10612500000206637, + 0.11512500000776527, + 0.11324999999828833, + 0.11124999997491614, + 0.11179200001265599, + 0.11037500001975786, + 0.12250000000335604, + 0.11591699998803051, + 0.11258300000349664, + 0.11166699999876073, + 0.11100000000396903, + 0.11099999997554733, + 0.10654199999748926, + 0.10879199999180855, + 0.11066600001186089, + 0.11366699999371122, + 0.10970799999654446, + 0.10616699998422519 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 69.57, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 0.003, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 6, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 26161.2, + "Plan Rows": 19294, + "Plan Width": 395, + "Actual Startup Time": 0.003, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "((chat_id = '060a8703-6b43-c8ec-2d06-19c37cea7cc6'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 6, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.009 + } + }, + { + "scenario": "tiny-first", + "rows": 10, + "median_ms": 0.06262549999291878, + "p95_ms": 0.0644590000149492, + "raw_ms": [ + 0.06662499998810745, + 0.0637920000201575, + 0.06337499999631291, + 0.06279099997641424, + 0.06287499999757529, + 0.062374999998837666, + 0.0644590000149492, + 0.06254100000546714, + 0.06295900001873633, + 0.06266699998036529, + 0.06258299998762595, + 0.06229199999552293, + 0.06258400000547226, + 0.062374999998837666, + 0.062499999984311216, + 0.06233299998825714, + 0.062374999998837666, + 0.06279199999426055, + 0.06337499999631291, + 0.06179199999678531 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 47.54, + "Total Cost": 47.57, + "Plan Rows": 11, + "Plan Width": 395, + "Actual Startup Time": 0.004, + "Actual Total Time": 0.005, + "Actual Rows": 10, + "Actual Loops": 1, + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Sort", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 47.54, + "Total Cost": 47.57, + "Plan Rows": 11, + "Plan Width": 395, + "Actual Startup Time": 0.004, + "Actual Total Time": 0.004, + "Actual Rows": 10, + "Actual Loops": 1, + "Sort Key": [ + "created_at", + "id" + ], + "Sort Method": "quicksort", + "Sort Space Used": 31, + "Sort Space Type": "Memory", + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Bitmap Heap Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 4.53, + "Total Cost": 47.35, + "Plan Rows": 11, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.003, + "Actual Rows": 10, + "Actual Loops": 1, + "Recheck Cond": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Exact Heap Blocks": 10, + "Lossy Heap Blocks": 0, + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Bitmap Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Index Name": "messages_history", + "Startup Cost": 0.0, + "Total Cost": 4.53, + "Plan Rows": 11, + "Plan Width": 0, + "Actual Startup Time": 0.001, + "Actual Total Time": 0.001, + "Actual Rows": 10, + "Actual Loops": 1, + "Index Cond": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Shared Hit Blocks": 3, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + } + ] + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.007 + } + } + ], + "insert_5000_ms": 24.6168339999997, + "index_bytes": 7618560 + }, + { + "round": 2, + "variant": "chat_first", + "definition": "CREATE INDEX messages_history ON messages(chat_id,created_at,id)", + "index_build_ms": 27.856374999998934, + "queries": [ + { + "scenario": "hot-middle", + "rows": 51, + "median_ms": 0.11539549998929033, + "p95_ms": 0.1479169999925034, + "raw_ms": [ + 0.11529099998597303, + 0.13433399999485118, + 0.16337499999963256, + 0.12470800001551652, + 0.11320799998770781, + 0.10891600001627921, + 0.10920900001565315, + 0.11704100000997641, + 0.10887499999512329, + 0.11445799998455186, + 0.1479169999925034, + 0.1341249999882166, + 0.12620800001172938, + 0.1145000000235541, + 0.12300000000209366, + 0.11120899998218192, + 0.11391600000365543, + 0.11549999999260763, + 0.12912500000084037, + 0.1104590000124972 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 24.91, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.008, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 8, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 28053.33, + "Plan Rows": 58410, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.006, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "((chat_id = 'f316dbbe-85f1-4587-454d-bfe607cf01de'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.05+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 8, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.01, + "Triggers": [], + "Execution Time": 0.011 + } + }, + { + "scenario": "medium-first", + "rows": 51, + "median_ms": 0.1114794999921287, + "p95_ms": 0.12112500002103843, + "raw_ms": [ + 0.11266699999623597, + 0.11349999999765714, + 0.11750000001597982, + 0.11179199998423428, + 0.1116249999881802, + 0.11133399999607718, + 0.11100000000396903, + 0.11116700000002311, + 0.1102499999774409, + 0.11087499999007377, + 0.11545800001044881, + 0.12112500002103843, + 0.12162499999135434, + 0.11112499998944259, + 0.11008299998138682, + 0.11029199998802142, + 0.11108299997886206, + 0.11870800000224335, + 0.11904099997650519, + 0.11020899998470668 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 70.47, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 0.003, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 6, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 26095.12, + "Plan Rows": 18998, + "Plan Width": 395, + "Actual Startup Time": 0.003, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "((chat_id = '060a8703-6b43-c8ec-2d06-19c37cea7cc6'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 6, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.009 + } + }, + { + "scenario": "tiny-first", + "rows": 10, + "median_ms": 0.062374999998837666, + "p95_ms": 0.07570900001496739, + "raw_ms": [ + 0.06962500000895488, + 0.06500000000642103, + 0.06366600001683764, + 0.062374999998837666, + 0.061875000000100044, + 0.06229200002394464, + 0.06316700000752462, + 0.06179100000736071, + 0.06599999997547457, + 0.062374999998837666, + 0.07024999999316606, + 0.1158750000058717, + 0.07570900001496739, + 0.06250000001273293, + 0.06029200000057244, + 0.06012500000451837, + 0.05954200000246601, + 0.059583999984624825, + 0.0595409999846197, + 0.05924999999251668 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 44.03, + "Plan Rows": 10, + "Plan Width": 395, + "Actual Startup Time": 0.001, + "Actual Total Time": 0.003, + "Actual Rows": 10, + "Actual Loops": 1, + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 44.03, + "Plan Rows": 10, + "Plan Width": 395, + "Actual Startup Time": 0.001, + "Actual Total Time": 0.002, + "Actual Rows": 10, + "Actual Loops": 1, + "Index Cond": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.004 + } + } + ], + "insert_5000_ms": 24.579541000008476, + "index_bytes": 7618560 + }, + { + "round": 2, + "variant": "global", + "definition": "CREATE INDEX messages_global ON messages(created_at,id)", + "index_build_ms": 20.559500000018716, + "queries": [ + { + "scenario": "hot-middle", + "rows": 51, + "median_ms": 0.11108349998778522, + "p95_ms": 0.15091699998492913, + "raw_ms": [ + 0.1314579999984744, + 0.12300000000209366, + 0.15091699998492913, + 0.11058299998012444, + 0.11158399999544599, + 0.10995899998533787, + 0.11016700000254787, + 0.129624999999578, + 0.11966700000698438, + 0.108667000006335, + 0.1077500000121745, + 0.1091249999944921, + 0.10879100000238395, + 0.10904200001959907, + 0.10725000001343687, + 0.1082080000003316, + 0.12204200001519894, + 0.15733300000420058, + 0.12799999998946987, + 0.12120799999593146 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 14.43, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 7, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_global", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 16107.42, + "Plan Rows": 58611, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "(ROW(created_at, id) > ROW('2026-01-01 00:00:00.05+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))", + "Rows Removed by Index Recheck": 0, + "Filter": "(chat_id = 'f316dbbe-85f1-4587-454d-bfe607cf01de'::uuid)", + "Rows Removed by Filter": 0, + "Shared Hit Blocks": 7, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.009, + "Triggers": [], + "Execution Time": 0.01 + } + }, + { + "scenario": "medium-first", + "rows": 51, + "median_ms": 4.756061999998451, + "p95_ms": 5.617499999999609, + "raw_ms": [ + 4.789166000023215, + 4.751083000002154, + 4.761040999994748, + 5.268583999992416, + 4.699332999990702, + 4.651417000019364, + 4.644708999990144, + 4.701791999991656, + 4.811291000009987, + 4.796833000000333, + 4.749291000024414, + 4.844958000006727, + 5.035416999987774, + 4.6884170000112135, + 4.729958000012857, + 4.680250000006936, + 4.630167000016172, + 5.617499999999609, + 5.76812500000301, + 5.280708000015011 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 52.74, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 5.041, + "Actual Total Time": 5.047, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 8359, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_global", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 19568.03, + "Plan Rows": 19072, + "Plan Width": 395, + "Actual Startup Time": 5.041, + "Actual Total Time": 5.045, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "(ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))", + "Rows Removed by Index Recheck": 0, + "Filter": "(chat_id = '060a8703-6b43-c8ec-2d06-19c37cea7cc6'::uuid)", + "Rows Removed by Filter": 100000, + "Shared Hit Blocks": 8359, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 4, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.018, + "Triggers": [], + "Execution Time": 5.051 + } + }, + { + "scenario": "tiny-first", + "rows": 10, + "median_ms": 5.718500000000404, + "p95_ms": 6.6727089999858435, + "raw_ms": [ + 4.06704200000263, + 4.093957999998565, + 4.138374999996586, + 4.055666999988716, + 4.021166999990555, + 4.03537500000084, + 4.136291000008896, + 4.063333999994256, + 7.17987500001982, + 6.6727089999858435, + 6.107124999999769, + 5.8875000000000455, + 5.727124999992839, + 5.748791000002029, + 6.00845800002503, + 5.770959000017228, + 5.632166999987476, + 5.709875000007969, + 5.902958000007175, + 6.06904200000713 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 8265.08, + "Total Cost": 8266.25, + "Plan Rows": 10, + "Plan Width": 395, + "Actual Startup Time": 3.049, + "Actual Total Time": 4.111, + "Actual Rows": 10, + "Actual Loops": 1, + "Shared Hit Blocks": 6420, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Gather Merge", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 8265.08, + "Total Cost": 8266.25, + "Plan Rows": 10, + "Plan Width": 395, + "Actual Startup Time": 3.049, + "Actual Total Time": 4.11, + "Actual Rows": 10, + "Actual Loops": 1, + "Workers Planned": 2, + "Workers Launched": 2, + "Shared Hit Blocks": 6420, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Sort", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 7265.06, + "Total Cost": 7265.07, + "Plan Rows": 5, + "Plan Width": 395, + "Actual Startup Time": 2.21, + "Actual Total Time": 2.21, + "Actual Rows": 3, + "Actual Loops": 3, + "Sort Key": [ + "created_at", + "id" + ], + "Sort Method": "quicksort", + "Sort Space Used": 28, + "Sort Space Type": "Memory", + "Shared Hit Blocks": 6420, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Workers": [ + { + "Worker Number": 0, + "Sort Method": "quicksort", + "Sort Space Used": 27, + "Sort Space Type": "Memory" + }, + { + "Worker Number": 1, + "Sort Method": "quicksort", + "Sort Space Used": 25, + "Sort Space Type": "Memory" + } + ], + "Plans": [ + { + "Node Type": "Seq Scan", + "Parent Relationship": "Outer", + "Parallel Aware": true, + "Async Capable": false, + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.0, + "Total Cost": 7265.0, + "Plan Rows": 5, + "Plan Width": 395, + "Actual Startup Time": 2.182, + "Actual Total Time": 2.198, + "Actual Rows": 3, + "Actual Loops": 3, + "Filter": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Filter": 39997, + "Shared Hit Blocks": 6390, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Workers": [] + } + ] + } + ] + } + ] + }, + "Planning": { + "Shared Hit Blocks": 4, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.028, + "Triggers": [], + "Execution Time": 4.116 + } + } + ], + "insert_5000_ms": 23.839417000004914, + "index_bytes": 5087232 + }, + { + "round": 3, + "variant": "global", + "definition": "CREATE INDEX messages_global ON messages(created_at,id)", + "index_build_ms": 15.723166999976002, + "queries": [ + { + "scenario": "hot-middle", + "rows": 51, + "median_ms": 0.11222950000444598, + "p95_ms": 0.1303330000155256, + "raw_ms": [ + 0.12162499999135434, + 0.1303330000155256, + 0.15454200001840945, + 0.11466699999118646, + 0.11262500001407716, + 0.11166699999876073, + 0.1271659999986241, + 0.11920800000098097, + 0.11229200001139361, + 0.11216699999749835, + 0.11012500002038905, + 0.11020799999528208, + 0.11733300001992575, + 0.10975000000712498, + 0.11016700000254787, + 0.11645800000792406, + 0.10937500002228262, + 0.10970799999654446, + 0.10950000000775617, + 0.10925000000838736 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 14.46, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 7, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_global", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 16065.23, + "Plan Rows": 58354, + "Plan Width": 395, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "(ROW(created_at, id) > ROW('2026-01-01 00:00:00.05+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))", + "Rows Removed by Index Recheck": 0, + "Filter": "(chat_id = 'f316dbbe-85f1-4587-454d-bfe607cf01de'::uuid)", + "Rows Removed by Filter": 0, + "Shared Hit Blocks": 7, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.009 + } + }, + { + "scenario": "medium-first", + "rows": 51, + "median_ms": 4.721770999992714, + "p95_ms": 5.025249999988546, + "raw_ms": [ + 4.993624999997337, + 4.892083000015646, + 4.74429199999804, + 4.717249999998785, + 4.715833999995311, + 4.652040999985729, + 4.726291999986643, + 4.6801249999930405, + 4.771041999987347, + 4.676249999988613, + 4.951374999990321, + 5.075583999996525, + 4.868125000001555, + 4.701250000010759, + 4.6724579999875, + 5.025249999988546, + 4.641665999997713, + 4.856999999987011, + 4.64454199999409, + 4.631125000003067 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 54.1, + "Plan Rows": 51, + "Plan Width": 395, + "Actual Startup Time": 5.321, + "Actual Total Time": 5.326, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 8359, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_global", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 19567.81, + "Plan Rows": 18588, + "Plan Width": 395, + "Actual Startup Time": 5.321, + "Actual Total Time": 5.323, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "(ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))", + "Rows Removed by Index Recheck": 0, + "Filter": "(chat_id = '060a8703-6b43-c8ec-2d06-19c37cea7cc6'::uuid)", + "Rows Removed by Filter": 100000, + "Shared Hit Blocks": 8359, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 4, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.012, + "Triggers": [], + "Execution Time": 5.329 + } + }, + { + "scenario": "tiny-first", + "rows": 10, + "median_ms": 5.748104500000295, + "p95_ms": 6.240958000006458, + "raw_ms": [ + 3.8787500000125874, + 4.155792000005931, + 3.8188329999968573, + 3.958209000018087, + 3.8624999999967713, + 4.073792000014009, + 4.160167000009096, + 4.176916999995228, + 6.89495899999315, + 6.0927500000218515, + 6.240958000006458, + 5.886250000003201, + 5.834915999997747, + 5.734042000000272, + 5.803541999995332, + 5.783083000011402, + 5.7749170000249705, + 5.75937499999668, + 5.8940410000047905, + 5.73683400000391 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 8265.08, + "Total Cost": 8266.25, + "Plan Rows": 10, + "Plan Width": 395, + "Actual Startup Time": 2.905, + "Actual Total Time": 3.932, + "Actual Rows": 10, + "Actual Loops": 1, + "Shared Hit Blocks": 6420, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Gather Merge", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 8265.08, + "Total Cost": 8266.25, + "Plan Rows": 10, + "Plan Width": 395, + "Actual Startup Time": 2.904, + "Actual Total Time": 3.931, + "Actual Rows": 10, + "Actual Loops": 1, + "Workers Planned": 2, + "Workers Launched": 2, + "Shared Hit Blocks": 6420, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Sort", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 7265.06, + "Total Cost": 7265.07, + "Plan Rows": 5, + "Plan Width": 395, + "Actual Startup Time": 2.048, + "Actual Total Time": 2.048, + "Actual Rows": 3, + "Actual Loops": 3, + "Sort Key": [ + "created_at", + "id" + ], + "Sort Method": "quicksort", + "Sort Space Used": 28, + "Sort Space Type": "Memory", + "Shared Hit Blocks": 6420, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Workers": [ + { + "Worker Number": 0, + "Sort Method": "quicksort", + "Sort Space Used": 26, + "Sort Space Type": "Memory" + }, + { + "Worker Number": 1, + "Sort Method": "quicksort", + "Sort Space Used": 26, + "Sort Space Type": "Memory" + } + ], + "Plans": [ + { + "Node Type": "Seq Scan", + "Parent Relationship": "Outer", + "Parallel Aware": true, + "Async Capable": false, + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.0, + "Total Cost": 7265.0, + "Plan Rows": 5, + "Plan Width": 395, + "Actual Startup Time": 2.015, + "Actual Total Time": 2.038, + "Actual Rows": 3, + "Actual Loops": 3, + "Filter": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Filter": 39997, + "Shared Hit Blocks": 6390, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Workers": [] + } + ] + } + ] + } + ] + }, + "Planning": { + "Shared Hit Blocks": 4, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.03, + "Triggers": [], + "Execution Time": 3.938 + } + } + ], + "insert_5000_ms": 23.95654200000763, + "index_bytes": 5087232 + }, + { + "round": 3, + "variant": "chat_first", + "definition": "CREATE INDEX messages_history ON messages(chat_id,created_at,id)", + "index_build_ms": 31.026790999987952, + "queries": [ + { + "scenario": "hot-middle", + "rows": 51, + "median_ms": 0.11708350001526924, + "p95_ms": 0.16016600000057224, + "raw_ms": [ + 0.14262499999517786, + 0.17820900001197515, + 0.16016600000057224, + 0.11416699999244884, + 0.11895899999103676, + 0.11800000001471744, + 0.11708300002055694, + 0.12433300000225245, + 0.11620800000855525, + 0.11016599998470156, + 0.11604200000192577, + 0.11725000001661101, + 0.11629200000129458, + 0.11845800000287454, + 0.10962499999322972, + 0.12208300000793315, + 0.11708400000998154, + 0.10916700000507262, + 0.10875000000964974, + 0.11020799999528208 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 24.89, + "Plan Rows": 51, + "Plan Width": 394, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 8, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 28071.93, + "Plan Rows": 58503, + "Plan Width": 394, + "Actual Startup Time": 0.002, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "((chat_id = 'f316dbbe-85f1-4587-454d-bfe607cf01de'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.05+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 8, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.008, + "Triggers": [], + "Execution Time": 0.01 + } + }, + { + "scenario": "medium-first", + "rows": 51, + "median_ms": 0.1172499999881893, + "p95_ms": 0.1262499999938882, + "raw_ms": [ + 0.11233299997570612, + 0.11354200000823766, + 0.11179099999480968, + 0.11870899999166795, + 0.11912499999766624, + 0.1172499999881893, + 0.12212499999009196, + 0.1262499999938882, + 0.11879199999498269, + 0.11766699998361219, + 0.1107079999940197, + 0.10758299998769871, + 0.119958999988512, + 0.11883300001613861, + 0.11233300000412783, + 0.13425000000211185, + 0.1172499999881893, + 0.11100000000396903, + 0.11104200001454956, + 0.11050000000523141 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 70.3, + "Plan Rows": 51, + "Plan Width": 394, + "Actual Startup Time": 0.003, + "Actual Total Time": 0.007, + "Actual Rows": 51, + "Actual Loops": 1, + "Shared Hit Blocks": 6, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 26110.13, + "Plan Rows": 19054, + "Plan Width": 394, + "Actual Startup Time": 0.003, + "Actual Total Time": 0.005, + "Actual Rows": 51, + "Actual Loops": 1, + "Index Cond": "((chat_id = '060a8703-6b43-c8ec-2d06-19c37cea7cc6'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 6, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.009, + "Triggers": [], + "Execution Time": 0.009 + } + }, + { + "scenario": "tiny-first", + "rows": 10, + "median_ms": 0.06033350000222981, + "p95_ms": 0.06625000000326509, + "raw_ms": [ + 0.06291600001873121, + 0.06625000000326509, + 0.06020800000783311, + 0.06587499999000102, + 0.0705839999852742, + 0.06029200000057244, + 0.060416999986045994, + 0.060040999983357324, + 0.06004200000120363, + 0.060415999996621395, + 0.06083400000989059, + 0.05991699998730837, + 0.059332999995831415, + 0.059708000009095485, + 0.06191700001068057, + 0.05991700001573008, + 0.05962500000578075, + 0.06241599999157188, + 0.05895800001098905, + 0.06037500000388718 + ], + "explain": { + "Plan": { + "Node Type": "Limit", + "Parallel Aware": false, + "Async Capable": false, + "Startup Cost": 0.42, + "Total Cost": 48.01, + "Plan Rows": 11, + "Plan Width": 394, + "Actual Startup Time": 0.001, + "Actual Total Time": 0.003, + "Actual Rows": 10, + "Actual Loops": 1, + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0, + "Plans": [ + { + "Node Type": "Index Scan", + "Parent Relationship": "Outer", + "Parallel Aware": false, + "Async Capable": false, + "Scan Direction": "Forward", + "Index Name": "messages_history", + "Relation Name": "messages", + "Alias": "messages", + "Startup Cost": 0.42, + "Total Cost": 48.01, + "Plan Rows": 11, + "Plan Width": 394, + "Actual Startup Time": 0.001, + "Actual Total Time": 0.002, + "Actual Rows": 10, + "Actual Loops": 1, + "Index Cond": "((chat_id = 'b975b2da-d902-87af-0c9a-507e78a7207d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))", + "Rows Removed by Index Recheck": 0, + "Shared Hit Blocks": 13, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + } + ] + }, + "Planning": { + "Shared Hit Blocks": 0, + "Shared Read Blocks": 0, + "Shared Dirtied Blocks": 0, + "Shared Written Blocks": 0, + "Local Hit Blocks": 0, + "Local Read Blocks": 0, + "Local Dirtied Blocks": 0, + "Local Written Blocks": 0, + "Temp Read Blocks": 0, + "Temp Written Blocks": 0 + }, + "Planning Time": 0.007, + "Triggers": [], + "Execution Time": 0.004 + } + } + ], + "insert_5000_ms": 24.8786250000137, + "index_bytes": 7618560 + } + ], + "query": "SELECT * FROM messages WHERE chat_id=%s AND (created_at,id)>(%s,%s) ORDER BY created_at,id LIMIT 51", + "backup_restore": { + "backup_s": 0.3191805409999997, + "fresh_container_bootstrap_and_restore_s": 1.7497035829999996, + "verification_s": 0.9298119170000003, + "dump_bytes": 4100901, + "expected": { + "counts": { + "users": 1, + "chats": 102, + "members": 102, + "messages": 120000, + "sessions": 0, + "schema_migrations": 1 + }, + "messages_sha256": "fcc7a69c6f3fe35cabe5eab0645a7ace6774fca5a120541a4ccb92edbb58d9b8", + "samples": [ + { + "id": "1967c72e-0f99-6e94-49df-d95443a6e048", + "chat_id": "b975b2da-d902-87af-0c9a-507e78a7207d", + "sender_id": "55898af9-a840-7b34-688e-1debc76c4318", + "text": "synthetic-120000-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", + "created_at": "2026-01-01 00:00:00.120000+00:00" + }, + { + "id": "3d6b824f-d8c1-520e-9a04-7d21fee6fb1f", + "chat_id": "f316dbbe-85f1-4587-454d-bfe607cf01de", + "sender_id": "55898af9-a840-7b34-688e-1debc76c4318", + "text": "synthetic-1-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", + "created_at": "2026-01-01 00:00:00.000001+00:00" + }, + { + "id": "c7ce0cb5-7145-84f8-1353-48e6f6de9210", + "chat_id": "f316dbbe-85f1-4587-454d-bfe607cf01de", + "sender_id": "55898af9-a840-7b34-688e-1debc76c4318", + "text": "synthetic-100000-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", + "created_at": "2026-01-01 00:00:00.100000+00:00" + } + ] + }, + "restored": { + "counts": { + "users": 1, + "chats": 102, + "members": 102, + "messages": 120000, + "sessions": 0, + "schema_migrations": 1 + }, + "messages_sha256": "fcc7a69c6f3fe35cabe5eab0645a7ace6774fca5a120541a4ccb92edbb58d9b8", + "samples": [ + { + "id": "1967c72e-0f99-6e94-49df-d95443a6e048", + "chat_id": "b975b2da-d902-87af-0c9a-507e78a7207d", + "sender_id": "55898af9-a840-7b34-688e-1debc76c4318", + "text": "synthetic-120000-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", + "created_at": "2026-01-01 00:00:00.120000+00:00" + }, + { + "id": "3d6b824f-d8c1-520e-9a04-7d21fee6fb1f", + "chat_id": "f316dbbe-85f1-4587-454d-bfe607cf01de", + "sender_id": "55898af9-a840-7b34-688e-1debc76c4318", + "text": "synthetic-1-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", + "created_at": "2026-01-01 00:00:00.000001+00:00" + }, + { + "id": "c7ce0cb5-7145-84f8-1353-48e6f6de9210", + "chat_id": "f316dbbe-85f1-4587-454d-bfe607cf01de", + "sender_id": "55898af9-a840-7b34-688e-1debc76c4318", + "text": "synthetic-100000-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", + "created_at": "2026-01-01 00:00:00.100000+00:00" + } + ] + }, + "identical": true, + "source_database": "lab2_study_73b956d721", + "restored_database": "lab2_study_73b956d721_restored", + "new_volume": "lab2-recovery-73b956d721-data", + "recovery_container": "lab2-recovery-73b956d721", + "limitation": "logical snapshot; no PITR or concurrent writes; separate PostgreSQL instance and fresh named volume on the same physical Docker host" + }, + "utc": "2026-11-04T22:40:12.276392+00:00" +} diff --git a/evidence/security-local.txt b/evidence/security-local.txt new file mode 100644 index 00000000..a2b8f163 --- /dev/null +++ b/evidence/security-local.txt @@ -0,0 +1,5 @@ +UTC: 2026-11-04T22:39:00.863381+00:00 +Command: python3 student-tests/security.py +PASS: malformed JSON, strict fields/types, whitespace, limits, cursor resource binding, invalid chat atomicity, concurrent username uniqueness + +Exit code: 0 diff --git a/evidence/skeleton-integrity.txt b/evidence/skeleton-integrity.txt new file mode 100644 index 00000000..fb53540e --- /dev/null +++ b/evidence/skeleton-integrity.txt @@ -0,0 +1,31 @@ +Original teacher ZIP SHA256: 8a5f58dfc8b2a176e84aa13e2a54d0d27e3d6f8f8d78bd3bd83755912e1b492d +Changed original files: REPORT.md (filled report), evidence/README.md (appended evidence index). +All other original files are byte-for-byte unchanged: +.dockerignore +.env.example +.github/pull_request_template.md +.github/workflows/contracts.yml +.gitignore +CONTRIBUTING.md +COURSE.md +Dockerfile.example +MAINTAINERS.md +Makefile +README.md +compose.example.yaml +contracts/README.md +contracts/examples.json +contracts/infrastructure.json +contracts/openapi.json +examples/requests.http +infra/README.md +lab.json +requirements-dev.txt +scripts/check_contract.py +scripts/restart.example.sh +scripts/validate_openapi.py +tests/README.md +tests/client.py +tests/load.py +tests/resilience.py +tests/smoke.py diff --git a/evidence/smoke-local.txt b/evidence/smoke-local.txt new file mode 100644 index 00000000..034bf724 --- /dev/null +++ b/evidence/smoke-local.txt @@ -0,0 +1,5 @@ +UTC: 2026-11-04T22:39:00.388888+00:00 +Command: python3 tests/smoke.py +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. + +Exit code: 0 diff --git a/evidence/source-sha256.txt b/evidence/source-sha256.txt new file mode 100644 index 00000000..eec7dd77 --- /dev/null +++ b/evidence/source-sha256.txt @@ -0,0 +1,21 @@ +961a72eea39d30fde2f04441337703cdbfb7f0c2011b1d7e6cc4c7f687ca6891 Dockerfile +0d7e46e04e877cbac7d19e25de18d7e1f1f03584a821b30e9e8fa070f90fc0e3 compose.yaml +67bbcdf029a6b100b6385e2f35a31b4ee7db42d763a1c0dc71d4da58bdbe250a migrations/001_initial.sql +fc8f9d5866863123e6ab7aa42b92d59752b23b995c1157bf67d67d4597f7715f requirements.txt +fc0d9a9330b62d6182c302a16c07e9ea26dee1c3cbbaab8be09ce0943fe3e040 scripts/capture.py +7c4402c2a6ab80d3b4676e1866d6ecc87b6daea14c080bcb9be9a7e8b959d671 scripts/check_contract.py +3a812bcb0e481c83fb059844556968ad1af5d45c67d43c2cbae51f9ba421b1e7 scripts/init-local.py +0328246ba75defbced992104e986fde973f63e3830d83251eced5953263e944b scripts/restart.example.sh +4f5f7aafbdef689a1b804dfb21f072e40010b126dc7dfe6dce8b8d99642e2c88 scripts/restart.sh +4e981acbfc10dac58817bf922d5896e996798551fedc1b2385130e1cddb13d54 scripts/validate_openapi.py +36636d23ef3167a8e73b455f6127c89e87ae846031b380c3f8ab8a957f3f1468 src/app.py +62b0cf236fd5633b640c92d5f587bf5621990ea3d3b55a9c8cacc13a353f1f88 src/migrate.py +a4e10d1ea8d7c9ccdf9483d89ac7be7f4822530bf5569227821ff88099efc973 student-tests/expiry.py +127fe75d0d835c37a1adb55eaccfd455e831fefd09e70f78072fc7f7c7e30ec1 student-tests/infrastructure.py +10e46adcffd8b97aa80aa41670d8e78f016735fb5ad59f9c5346ffa9fc57d792 student-tests/lab1_concurrency.py +2503ff8f91d802dd29a83f94ff247cf0978b8b7fa9ea1dd7a6885771404b5ca4 student-tests/lab1_own_tests.py +ff018b991dfb699575faccafcf26ca1c79279dbb721bdb1cbf5c6238c446e674 student-tests/level4.py +7632d25b51ad2be9f7d05f59b8479f1e44c75c2952b5cee2be66ca322ffc4c68 student-tests/research.py +a535c111539b8edde88345622067e316fdf26f282a8b5cbf87e7005d127e4a09 student-tests/research_worker.py +2d3123ed5b459deaa888ad86bf0acbaa4df53307d29585340ee4572fb085ca4e student-tests/run_all.py +c358a5e3c8fbf74e2485ce22f4e17564c84eb7402a5204c4d9029b3c88bf173d student-tests/security.py diff --git a/migrations/001_initial.sql b/migrations/001_initial.sql new file mode 100644 index 00000000..7731a224 --- /dev/null +++ b/migrations/001_initial.sql @@ -0,0 +1,26 @@ +CREATE TABLE users ( + id uuid PRIMARY KEY, username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'), + display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100), + password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); +CREATE TABLE chats ( + id uuid PRIMARY KEY, title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100), + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); +CREATE TABLE members ( + chat_id uuid NOT NULL REFERENCES chats(id), user_id uuid NOT NULL REFERENCES users(id), + PRIMARY KEY(chat_id,user_id) +); +CREATE INDEX members_user_chat ON members(user_id,chat_id); +CREATE TABLE messages ( + id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), + sender_id uuid NOT NULL, text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000), + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + FOREIGN KEY(chat_id,sender_id) REFERENCES members(chat_id,user_id) +); +CREATE INDEX messages_history ON messages(chat_id,created_at,id); +CREATE TABLE sessions ( + token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users(id), + expires_at timestamptz NOT NULL +); +CREATE INDEX sessions_expiry ON sessions(expires_at); diff --git a/requirements.txt b/requirements.txt new file mode 100644 index 00000000..f1447668 --- /dev/null +++ b/requirements.txt @@ -0,0 +1,6 @@ +Flask==3.1.2 +gunicorn==23.0.0 +psycopg[binary,pool]==3.2.10 +argon2-cffi==25.1.0 +jsonschema==4.25.1 +redis==6.4.0 diff --git a/scripts/capture.py b/scripts/capture.py new file mode 100644 index 00000000..c6299f9b --- /dev/null +++ b/scripts/capture.py @@ -0,0 +1,11 @@ +"""Save real command output, preserving the exit code. Do not use with secret-printing commands.""" +import datetime,subprocess,sys +from pathlib import Path +if len(sys.argv)<4 or sys.argv[2]!='--': + raise SystemExit('Usage: python3 scripts/capture.py evidence/name.txt -- command args...') +command=sys.argv[3:] +p=subprocess.run(command,stdout=subprocess.PIPE,stderr=subprocess.STDOUT,text=True) +text='UTC: '+datetime.datetime.now(datetime.timezone.utc).isoformat()+'\nCommand: '+' '.join(command)+'\n'+p.stdout+'\nExit code: '+str(p.returncode)+'\n' +Path(sys.argv[1]).write_text(text) +print(text,end='') +raise SystemExit(p.returncode) diff --git a/scripts/init-local.py b/scripts/init-local.py new file mode 100644 index 00000000..c23aa5c5 --- /dev/null +++ b/scripts/init-local.py @@ -0,0 +1,16 @@ +"""Create local synthetic credentials without printing or replacing existing ones.""" +import secrets +from pathlib import Path +root=Path(__file__).resolve().parents[1] +folder=root/'secrets' +folder.mkdir(mode=0o700,exist_ok=True) +p=folder/'db_password'; d=folder/'database_url' +if p.exists()!=d.exists(): + raise SystemExit('Incomplete secrets: restore the missing file; existing credentials were not changed') +if not p.exists(): + password=secrets.token_hex(32) + # Docker secret source directory is private; files must be readable by container UIDs. + p.write_text(password+'\n') + d.write_text('postgresql://messenger:'+password+'@db:5432/messenger\n') + p.chmod(0o644); d.chmod(0o644) +print('Local secret files ready (values hidden). Do not commit secrets/.') diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..5c1b1a23 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,5 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +# Restart all three services and retain the named PostgreSQL volume. +docker compose restart db cache api diff --git a/src/app.py b/src/app.py new file mode 100644 index 00000000..f7a0eced --- /dev/null +++ b/src/app.py @@ -0,0 +1,342 @@ +"""Lab2 API. PostgreSQL is the sole source of truth, including sessions.""" +import base64 +import hashlib +import json +import os +import re +import secrets +import uuid +import threading +import time +from concurrent.futures import ThreadPoolExecutor, TimeoutError as FutureTimeout +from datetime import datetime, timezone +from pathlib import Path + +from argon2 import PasswordHasher +from argon2.exceptions import VerificationError, InvalidHashError +from flask import Flask, g, jsonify, request +from jsonschema import Draft202012Validator, FormatChecker, ValidationError +from psycopg import Error as DatabaseError +from psycopg.errors import UniqueViolation +from psycopg.rows import dict_row +from psycopg_pool import ConnectionPool, PoolTimeout +from redis import Redis +from redis.exceptions import RedisError +from redis.retry import Retry +from redis.backoff import NoBackoff +from werkzeug.exceptions import HTTPException + +ROOT = Path(__file__).resolve().parents[1] +app = Flask(__name__) +app.config['MAX_CONTENT_LENGTH'] = 65536 +passwords = PasswordHasher(time_cost=3, memory_cost=65536, parallelism=2) +dummy_hash = passwords.hash(secrets.token_urlsafe(32)) +ttl = int(os.environ.get('SESSION_TTL_SECONDS', '3600')) +if ttl < 1: + raise ValueError('SESSION_TTL_SECONDS must be positive') +dsn = Path(os.environ['DATABASE_URL_FILE']).read_text().strip() if os.environ.get('DATABASE_URL_FILE') else os.environ['DATABASE_URL'] +pool = ConnectionPool(dsn, min_size=1, max_size=8, timeout=3, + kwargs={'row_factory': dict_row, 'connect_timeout': 3, + 'options': '-c statement_timeout=3000 -c lock_timeout=2000'}) +# Cache only immutable public profiles, never sessions or authorization decisions. +cache_url = Path(os.environ['CACHE_URL_FILE']).read_text().strip() if os.environ.get('CACHE_URL_FILE') else os.environ.get('CACHE_URL', 'redis://cache:6379/0') +cache = Redis.from_url(cache_url, socket_connect_timeout=0.2, socket_timeout=0.2, + max_connections=8, decode_responses=True, + retry=Retry(NoBackoff(), 0), retry_on_timeout=False) +PROFILE_CACHE_TTL = 60 +# Socket timeouts do not bound DNS resolution. Limit the complete optional-cache +# operation, bound outstanding work and skip calls briefly after a failure. +cache_workers = ThreadPoolExecutor(max_workers=2, thread_name_prefix='profile-cache') +cache_slots = threading.BoundedSemaphore(2) +cache_breaker_lock = threading.Lock() +cache_retry_after = 0.0 + + +def cache_call(method, *args): + global cache_retry_after + with cache_breaker_lock: + if time.monotonic() < cache_retry_after: + raise RedisError('Optional cache circuit open') + if not cache_slots.acquire(blocking=False): + raise RedisError('Optional cache busy') + try: + future = cache_workers.submit(getattr(cache, method), *args) + except Exception: + cache_slots.release() + raise + future.add_done_callback(lambda _: cache_slots.release()) + try: + return future.result(timeout=0.25) + except (RedisError, FutureTimeout): + with cache_breaker_lock: + cache_retry_after = time.monotonic() + 2 + raise RedisError('Optional cache unavailable') from None + + +schemas = json.loads((ROOT/'contracts/openapi.json').read_text())['components']['schemas'] + + +class APIError(Exception): + def __init__(self, status, code, message): + self.status, self.code, self.message = status, code, message + + +def invalid(message='Invalid request'): + raise APIError(400, 'invalid_request', message) + + +def unauthorized(): + raise APIError(401, 'unauthorized', 'Authentication required') + + +@app.before_request +def request_id(): + g.request_id = uuid.uuid4().hex + + +@app.after_request +def headers(response): + response.headers['X-Request-Id'] = g.request_id + response.headers['Cache-Control'] = 'no-store' + if response.status_code == 401: + response.headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"' + if request.path == '/api/v1/auth/sessions' else 'Bearer realm="messenger"') + return response + + +@app.errorhandler(Exception) +def error(exc): + if isinstance(exc, APIError): + status, code, message = exc.status, exc.code, exc.message + elif isinstance(exc, UniqueViolation): + status, code, message = 409, 'conflict', 'Username already registered' + elif isinstance(exc, (DatabaseError, PoolTimeout)): + status, code, message = 503, 'unavailable', 'Storage temporarily unavailable' + elif isinstance(exc, HTTPException): + status = exc.code + code = {400:'invalid_request',404:'not_found',405:'not_found',413:'payload_too_large',415:'unsupported_media_type'}.get(status,'invalid_request') + message = 'Request rejected' + else: + app.logger.error('Unhandled exception class=%s request_id=%s', type(exc).__name__, g.request_id) + status, code, message = 500, 'internal_error', 'Internal error' + return jsonify(error={'code':code,'message':message,'request_id':g.request_id}), status + + +def wire(row): + return {k: (str(v) if isinstance(v, uuid.UUID) else + v.astimezone(timezone.utc).isoformat().replace('+00:00','Z') if isinstance(v,datetime) else v) + for k,v in row.items()} + + +def body(schema): + if not request.is_json: + raise APIError(415,'unsupported_media_type','Expected application/json') + data = request.get_json() + try: + Draft202012Validator(schemas[schema], format_checker=FormatChecker()).validate(data) + except ValidationError: + invalid() + for value in data.values(): + if isinstance(value,str) and not value.strip(): + invalid('Blank strings are not allowed') + return data + + +def uid(value): + try: + return str(uuid.UUID(value)) + except (ValueError,TypeError,AttributeError): + invalid('Invalid UUID') + + +def token_digest(token): + return hashlib.sha256(token.encode()).hexdigest() + + +def authenticate(conn): + auth = request.headers.get('Authorization','').split() + if len(auth)!=2 or auth[0].lower()!='bearer' or len(auth[1])>256: + unauthorized() + g.token_hash = token_digest(auth[1]) + session = conn.execute('SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at>clock_timestamp()', (g.token_hash,)).fetchone() + if session is None: + unauthorized() + user_id = str(session['user_id']) + key = 'profile:v1:' + user_id + try: + encoded = cache_call('get', key) + if encoded: + profile = json.loads(encoded) + Draft202012Validator(schemas['User'], format_checker=FormatChecker()).validate(profile) + if profile['id'] == user_id: + return profile + except (RedisError, ValueError, ValidationError): + pass # PostgreSQL remains authoritative and is never bypassed for sessions. + row = conn.execute('SELECT id,username,display_name,created_at FROM users WHERE id=%s', (user_id,)).fetchone() + if row is None: + unauthorized() + profile = wire(row) + try: + cache_call('setex', key, PROFILE_CACHE_TTL, json.dumps(profile)) + except RedisError: + pass + return profile + + +def chat(conn, chat_id, user_id): + row = conn.execute('SELECT c.* FROM chats c JOIN members m ON m.chat_id=c.id WHERE c.id=%s AND m.user_id=%s',(chat_id,user_id)).fetchone() + if row is None: + raise APIError(404,'not_found','Object not found') + result = wire(row) + result['member_ids'] = [str(x['user_id']) for x in conn.execute('SELECT user_id FROM members WHERE chat_id=%s ORDER BY user_id',(chat_id,))] + return result + + +def page_args(scope): + if set(request.args)-{'limit','cursor'} or any(len(request.args.getlist(k))!=1 for k in request.args): + invalid() + value = request.args.get('limit','50') + if not re.fullmatch(r'[0-9]{1,3}',value) or not 1<=int(value)<=100: + invalid('Invalid limit') + after = None + if 'cursor' in request.args: + try: + encoded=request.args['cursor'] + if len(encoded)>1024: invalid() + cursor=json.loads(base64.b64decode(encoded,altchars=b'-_',validate=True)) + if len(cursor)!=3 or cursor[0]!=scope: invalid() + stamp=datetime.fromisoformat(cursor[1].replace('Z','+00:00')) + if stamp.tzinfo is None: invalid() + after=(stamp,uid(cursor[2])) + except (ValueError,TypeError,KeyError,IndexError): + invalid('Invalid cursor') + return int(value), after + + +def page(rows,limit,scope): + items=rows[:limit] + cursor=None + if len(rows)>limit: + last=items[-1] + cursor=base64.urlsafe_b64encode(json.dumps([scope,last['created_at'],last['id']]).encode()).decode() + return jsonify(items=items,next_cursor=cursor) + + +@app.get('/health/live') +def live(): + return jsonify(status='ok') + + +@app.get('/health/ready') +def ready(): + with pool.connection() as conn: + conn.execute('SELECT 1 FROM schema_migrations LIMIT 1') + return jsonify(status='ok') + + +@app.post('/api/v1/users') +def register(): + data=body('CreateUser') + hashed=passwords.hash(data['password']) + with pool.connection() as conn: + row=conn.execute('INSERT INTO users(id,username,display_name,password_hash) VALUES(%s,%s,%s,%s) RETURNING id,username,display_name,created_at', + (uuid.uuid4(),data['username'],data['display_name'],hashed)).fetchone() + return jsonify(wire(row)),201 + + +@app.post('/api/v1/auth/sessions') +def login(): + if request.get_data(): invalid('Login has no request body') + auth=request.headers.get('Authorization','').split() + try: + if len(auth)!=2 or auth[0].lower()!='basic': unauthorized() + username,password=base64.b64decode(auth[1],validate=True).decode('utf-8').split(':',1) + except (ValueError,UnicodeError): + unauthorized() + with pool.connection() as conn: + row=conn.execute('SELECT * FROM users WHERE username=%s',(username,)).fetchone() + try: + valid=passwords.verify(row['password_hash'] if row else dummy_hash,password) + except (VerificationError,InvalidHashError): + valid=False + if not valid or row is None: unauthorized() + token=secrets.token_urlsafe(32) + session=conn.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES(%s,%s,clock_timestamp()+(%s * interval '1 second')) RETURNING expires_at",(token_digest(token),row['id'],ttl)).fetchone() + user=wire({k:v for k,v in row.items() if k!='password_hash'}) + return jsonify(token=token,token_type='Bearer',expires_at=wire(session)['expires_at'],user=user),201 + + +@app.delete('/api/v1/auth/sessions/current') +def logout(): + with pool.connection() as conn: + authenticate(conn) + conn.execute('DELETE FROM sessions WHERE token_hash=%s',(g.token_hash,)) + return '',204 + + +@app.get('/api/v1/users/me') +def me(): + with pool.connection() as conn: + result=wire(authenticate(conn)) + return jsonify(result) + + +@app.post('/api/v1/chats') +def create_chat(): + with pool.connection() as conn: + actor=authenticate(conn) + data=body('CreateChat') + ids=[uid(x) for x in data['member_ids']] + if len(set(ids))!=len(ids) or str(actor['id']) not in ids: invalid() + known=conn.execute('SELECT id FROM users WHERE id=ANY(%s::uuid[])',(ids,)).fetchall() + if len(known)!=len(ids): invalid('Unknown member') + chat_id=uuid.uuid4() + conn.execute('INSERT INTO chats(id,title) VALUES(%s,%s)',(chat_id,data['title'])) + for member in ids: + conn.execute('INSERT INTO members(chat_id,user_id) VALUES(%s,%s)',(chat_id,member)) + result=chat(conn,chat_id,actor['id']) + return jsonify(result),201 + + +@app.get('/api/v1/chats') +def chats(): + with pool.connection() as conn: + actor=authenticate(conn) + scope='chats:'+str(actor['id']) + limit,after=page_args(scope) + sql='SELECT c.* FROM chats c JOIN members m ON m.chat_id=c.id WHERE m.user_id=%s' + args=[actor['id']] + if after: + sql+=' AND (c.created_at,c.id)>(%s,%s)'; args.extend(after) + sql+=' ORDER BY c.created_at,c.id LIMIT %s'; args.append(limit+1) + rows=[chat(conn,x['id'],actor['id']) for x in conn.execute(sql,args).fetchall()] + return page(rows,limit,scope) + + +@app.get('/api/v1/chats/') +def get_chat(chat_id): + with pool.connection() as conn: + actor=authenticate(conn) + result=chat(conn,uid(chat_id),actor['id']) + return jsonify(result) + + +@app.route('/api/v1/chats//messages',methods=['GET','POST']) +def messages(chat_id): + with pool.connection() as conn: + actor=authenticate(conn) + chat_id=uid(chat_id) + chat(conn,chat_id,actor['id']) + if request.method=='POST': + data=body('CreateMessage') + row=conn.execute('INSERT INTO messages(id,chat_id,sender_id,text) VALUES(%s,%s,%s,%s) RETURNING *',(uuid.uuid4(),chat_id,actor['id'],data['text'])).fetchone() + result=wire(row) + else: + scope='messages:'+chat_id + limit,after=page_args(scope) + sql='SELECT * FROM messages WHERE chat_id=%s'; args=[chat_id] + if after: + sql+=' AND (created_at,id)>(%s,%s)'; args.extend(after) + sql+=' ORDER BY created_at,id LIMIT %s'; args.append(limit+1) + rows=[wire(x) for x in conn.execute(sql,args).fetchall()] + return (jsonify(result),201) if request.method=='POST' else page(rows,limit,scope) diff --git a/src/migrate.py b/src/migrate.py new file mode 100644 index 00000000..8771ebbc --- /dev/null +++ b/src/migrate.py @@ -0,0 +1,15 @@ +"""Transactional, serialized, versioned migrations. Safe to run repeatedly.""" +from pathlib import Path +from app import pool, ROOT + +with pool.connection() as conn: + conn.execute('SELECT pg_advisory_xact_lock(2026002)') + conn.execute('CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT clock_timestamp())') + for path in sorted((ROOT/'migrations').glob('*.sql')): + if not conn.execute('SELECT 1 FROM schema_migrations WHERE version=%s',(path.name,)).fetchone(): + conn.execute(path.read_text()) + conn.execute('INSERT INTO schema_migrations(version) VALUES(%s)',(path.name,)) + print('Applied',path.name) + else: + print('Already applied',path.name) +pool.close() diff --git a/student-tests/expiry.py b/student-tests/expiry.py new file mode 100644 index 00000000..aa8ec950 --- /dev/null +++ b/student-tests/expiry.py @@ -0,0 +1,14 @@ +"""Run against a separate API with SESSION_TTL_SECONDS=2.""" +import sys,time +from pathlib import Path +sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests')) +from client import Client,run + +def main(): + c=Client('http://localhost:8081') + a=c.user('expiry') + c.call('GET','/api/v1/users/me',actor=a,schema='User') + time.sleep(3) + c.call('GET','/api/v1/users/me',401,actor=a) + print('PASS: a real short-lived session authenticates before expiry and returns 401 after expiry') +if __name__=='__main__': run(main) diff --git a/student-tests/infrastructure.py b/student-tests/infrastructure.py new file mode 100644 index 00000000..1f88e671 --- /dev/null +++ b/student-tests/infrastructure.py @@ -0,0 +1,58 @@ +"""Real Docker restart evidence plus repeated migrations, expiry, DB failure.""" +import json,subprocess,sys,time,urllib.request,urllib.error +from pathlib import Path +sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests')) +from client import Client,check,run +ROOT=Path(__file__).resolve().parents[1] + +def command(*args): + return subprocess.check_output(args,cwd=ROOT,text=True).strip() + +def snapshot(): + for service in ('api','db','cache'): + container=command('docker','compose','ps','-q',service) + value=command('docker','inspect','--format','{{.Id}} {{.State.StartedAt}} {{.RestartCount}}',container) + print(service,value,flush=True) + print('DB postmaster:',command('docker','compose','exec','-T','db','psql','-U','messenger','-d','messenger','-Atc','select pg_postmaster_start_time()'),flush=True) + +def wait_ready(url): + for _ in range(90): + try: + if urllib.request.urlopen(url,timeout=2).status==200: return + except (OSError,urllib.error.URLError): pass + time.sleep(1) + raise AssertionError('Readiness timeout') + +def main(): + print('Before full restart:',flush=True); snapshot() + subprocess.run(['make','test-persistence','ACTION_SCRIPT=scripts/restart.sh'],cwd=ROOT,check=True) + print('After full restart:',flush=True); snapshot() + sql='select (select count(*) from users),(select count(*) from chats),(select count(*) from messages),(select count(*) from sessions),(select count(*) from schema_migrations)' + def counts(): return command('docker','compose','exec','-T','db','psql','-U','messenger','-d','messenger','-Atc',sql) + before=counts() + for _ in range(2): + print(command('docker','compose','exec','-T','api','python','src/migrate.py'),flush=True) + check(before==counts(),'Migration rerun changed counts') + print('PASS: two migration reruns; users/chats/messages/sessions/migrations counts unchanged:',before,flush=True) + # Separate short-TTL process, same database, isolated port; no change to normal API TTL. + subprocess.run(['docker','compose','run','-d','--no-deps','--name','lab2-expiry','-e','SESSION_TTL_SECONDS=2','-p','127.0.0.1:8081:8080','api'],cwd=ROOT,check=True,stdout=subprocess.DEVNULL) + try: + wait_ready('http://localhost:8081/health/ready') + subprocess.run([sys.executable,'student-tests/expiry.py'],cwd=ROOT,check=True) + finally: + subprocess.run(['docker','rm','-f','lab2-expiry'],check=True,stdout=subprocess.DEVNULL) + c=Client(timeout=10) + actor=c.user('db_failure') + subprocess.run(['docker','compose','stop','db'],cwd=ROOT,check=True) + try: + c.call('GET','/health/live',schema='Health') + c.call('GET','/health/ready',503) + c.call('GET','/api/v1/users/me',503,actor=actor) + print('PASS: DB down: live=200, ready=503, authenticated request=503; no anonymous fallback',flush=True) + finally: + subprocess.run(['docker','compose','start','db'],cwd=ROOT,check=True) + wait_ready('http://localhost:8080/health/ready') + c.call('GET','/api/v1/users/me',actor=actor,schema='User') + print('PASS: DB recovered; same session works',flush=True) + +if __name__=='__main__': run(main) diff --git a/student-tests/lab1_concurrency.py b/student-tests/lab1_concurrency.py new file mode 100644 index 00000000..5f2956f5 --- /dev/null +++ b/student-tests/lab1_concurrency.py @@ -0,0 +1,93 @@ +"""Adapted from Karpova lab1 archive: password + Basic/Bearer transition only.""" +"""100 concurrent message writes from 10 client identities.""" +import base64 +import json +import os +import uuid +from concurrent.futures import ThreadPoolExecutor, as_completed +from urllib.error import HTTPError +from urllib.parse import quote +from urllib.request import Request, urlopen + +BASE_URL = os.environ.get("BASE_URL", "http://localhost:8080").rstrip("/") + + +def call(method, path, *, body=None, actor=None): + headers = {"Accept": "application/json", "Content-Type": "application/json"} + if actor: + headers["Authorization"] = "Bearer " + actor["token"] + raw = json.dumps(body, ensure_ascii=False).encode("utf-8") if body is not None else None + request = Request(BASE_URL + path, data=raw, headers=headers, method=method) + try: + response = urlopen(request, timeout=10) + status = response.status + data = response.read() + except HTTPError as error: + status = error.code + data = error.read() + payload = json.loads(data) if data else None + return status, payload + + +def create_user(label): + status, payload = call( + "POST", + "/api/v1/users", + body={ + "username": "c_" + label + "_" + uuid.uuid4().hex[:8], + "display_name": "Client " + label, "password": "Synthetic-lab1-port-123", + }, + ) + assert status == 201, (status, payload) + basic = base64.b64encode((payload['username']+':Synthetic-lab1-port-123').encode()).decode() + req = Request(BASE_URL+'/api/v1/auth/sessions', method='POST', headers={'Authorization':'Basic '+basic}) + with urlopen(req, timeout=10) as response: + payload['token'] = json.load(response)['token'] + return payload + + +def main(): + clients = [create_user(str(i)) for i in range(10)] + status, chat = call( + "POST", + "/api/v1/chats", + actor=clients[0], + body={"title": "Concurrent test", "member_ids": [x["id"] for x in clients]}, + ) + assert status == 201, (status, chat) + + def send(client_index): + actor = clients[client_index] + status, payload = call( + "POST", + f"/api/v1/chats/{chat['id']}/messages", + actor=actor, + body={"text": f"concurrent-client-{client_index}-message-{uuid.uuid4().hex}"}, + ) + return status, payload + + results = [] + with ThreadPoolExecutor(max_workers=10) as pool: + futures = [pool.submit(send, i % 10) for i in range(100)] + for future in as_completed(futures): + results.append(future.result()) + + statuses = [status for status, _ in results] + assert all(status == 201 for status in statuses), f"unexpected statuses: {statuses}" + + status, page = call( + "GET", + f"/api/v1/chats/{chat['id']}/messages?limit=100", + actor=clients[0], + ) + assert status == 200, (status, page) + ids = [item["id"] for item in page["items"]] + assert len(ids) == 100, f"expected 100 messages, got {len(ids)}" + assert len(set(ids)) == 100, "message IDs are not unique" + assert page["next_cursor"] is None, "100 messages should fit one page" + + print("PASS: 10 concurrent clients -> 100 successful messages -> 100 unique messages") + + +if __name__ == "__main__": + main() diff --git a/student-tests/lab1_own_tests.py b/student-tests/lab1_own_tests.py new file mode 100644 index 00000000..398a5050 --- /dev/null +++ b/student-tests/lab1_own_tests.py @@ -0,0 +1,164 @@ +"""Adapted from Karpova lab1 archive: password + Basic/Bearer transition only.""" +"""Student tests for MTUSI Lab1 level 4 requirements.""" +import base64 +import json +import os +import uuid +from urllib.error import HTTPError +from urllib.parse import quote +from urllib.request import Request, urlopen + +BASE_URL = os.environ.get("BASE_URL", "http://localhost:8080").rstrip("/") + + +def call(method, path, *, body=None, actor=None, raw=None, content_type=None): + headers = {"Accept": "application/json"} + if actor: + headers["Authorization"] = "Bearer " + actor["token"] + if body is not None: + raw = json.dumps(body, ensure_ascii=False).encode("utf-8") + content_type = "application/json" + if content_type: + headers["Content-Type"] = content_type + req = Request(BASE_URL + path, data=raw, headers=headers, method=method) + try: + response = urlopen(req, timeout=5) + status = response.status + data = response.read() + headers = response.headers + except HTTPError as error: + status = error.code + data = error.read() + headers = error.headers + payload = None + if headers.get_content_type() == "application/json" and data: + payload = json.loads(data) + return status, headers, payload + + +def expect(status, actual, label): + assert actual == status, f"{label}: expected {status}, got {actual}" + + +def create_user(label, username=None): + username = username or ("t_" + label + "_" + uuid.uuid4().hex[:10]) + status, headers, payload = call( + "POST", + "/api/v1/users", + body={"username": username, "display_name": "Тест " + label, "password": "Synthetic-lab1-port-123"}, + ) + expect(201, status, "create user") + basic = base64.b64encode((payload['username']+':Synthetic-lab1-port-123').encode()).decode() + req = Request(BASE_URL+'/api/v1/auth/sessions', method='POST', headers={'Authorization':'Basic '+basic}) + with urlopen(req, timeout=10) as response: + payload['token'] = json.load(response)['token'] + return payload + + +def main(): + # 1) malformed JSON must be 400, not FastAPI's default 422. + status, headers, payload = call( + "POST", + "/api/v1/users", + raw=b'{"username":', + content_type="application/json", + ) + expect(400, status, "malformed JSON") + assert payload["error"]["code"] == "invalid_request" + assert headers.get("X-Request-Id") == payload["error"]["request_id"] + + # 2) Duplicate username must be 409. + username = "dup_" + uuid.uuid4().hex[:8] + create_user("one", username=username) + status, _, payload = call( + "POST", + "/api/v1/users", + body={"username": username, "display_name": "Дубликат", "password": "Synthetic-lab1-port-123"}, + ) + expect(409, status, "duplicate username") + assert payload["error"]["code"] == "conflict" + + alice = create_user("alice") + bob = create_user("bob") + eve = create_user("eve") + + # 3) Create a private chat for Alice + Bob. Eve must not see it. + status, _, chat = call( + "POST", + "/api/v1/chats", + actor=alice, + body={"title": "Private test", "member_ids": [alice["id"], bob["id"]]}, + ) + expect(201, status, "create chat") + + status, _, _ = call("GET", f"/api/v1/chats/{chat['id']}", actor=eve) + expect(404, status, "outsider chat access") + + # 4) Blank message must be 400. + status, _, payload = call( + "POST", + f"/api/v1/chats/{chat['id']}/messages", + actor=alice, + body={"text": " "}, + ) + expect(400, status, "blank message") + assert payload["error"]["code"] == "invalid_request" + + # 5) Send 3 messages and walk multiple pages using cursor. + message_ids = [] + for i in range(3): + status, _, message = call( + "POST", + f"/api/v1/chats/{chat['id']}/messages", + actor=alice if i % 2 == 0 else bob, + body={"text": f"page-{i} Привет 👋"}, + ) + expect(201, status, "create message") + message_ids.append(message["id"]) + + seen = [] + cursor = None + while True: + path = f"/api/v1/chats/{chat['id']}/messages?limit=1" + if cursor: + path += "&cursor=" + quote(cursor, safe="") + status, _, payload = call("GET", path, actor=bob) + expect(200, status, "message page") + seen.extend(x["id"] for x in payload["items"]) + cursor = payload["next_cursor"] + if cursor is None: + break + + assert len(seen) == 3, f"pagination returned {len(seen)} messages" + assert len(set(seen)) == 3, "pagination duplicated a message" + assert set(seen) == set(message_ids), "pagination lost a message" + + # A messages cursor from another resource is invalid. + status, _, payload = call("GET", "/api/v1/chats?limit=1", actor=bob) + expect(200, status, "chat list") + bad_cursor = payload["next_cursor"] + if bad_cursor is None: + # Create enough chats to get a cursor. + for i in range(2): + call( + "POST", + "/api/v1/chats", + actor=bob, + body={"title": f"Extra {i}", "member_ids": [bob["id"]]}, + ) + status, _, payload = call("GET", "/api/v1/chats?limit=1", actor=bob) + expect(200, status, "chat list second try") + bad_cursor = payload["next_cursor"] + status, _, err = call( + "GET", + f"/api/v1/chats/{chat['id']}/messages?limit=1&cursor={quote(bad_cursor, safe='')}", + actor=bob, + ) + expect(400, status, "cursor from another resource") + assert err["error"]["code"] == "invalid_request" + + print("PASS: own negative, access-control and multi-page tests") + + +if __name__ == "__main__": + main() diff --git a/student-tests/level4.py b/student-tests/level4.py new file mode 100644 index 00000000..a5c81f71 --- /dev/null +++ b/student-tests/level4.py @@ -0,0 +1,73 @@ +"""Exercise Redis cache, safe fallback and real post-insert transactional rollback.""" +import json,subprocess,sys,time,uuid +from pathlib import Path +sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests')) +from client import Client,check,run +ROOT=Path(__file__).resolve().parents[1] + +def cmd(*args): + return subprocess.check_output(args,cwd=ROOT,text=True).strip() + +def sql(statement): + return cmd('docker','compose','exec','-T','db','psql','-v','ON_ERROR_STOP=1','-U','messenger','-d','messenger','-Atc',statement) + +def redis(*args): + return cmd('docker','compose','exec','-T','cache','redis-cli','--raw',*args) + +def main(): + c=Client(timeout=10); actor=c.user('cache') + key='profile:v1:'+actor['id'] + c.call('GET','/api/v1/users/me',actor=actor,schema='User') + cached=json.loads(redis('GET',key)) + check(cached==actor['user'],'profile not actually cached') + remaining=int(redis('TTL',key)); check(0=before+3,'API did not read Redis') + print('PASS: actual cached public profile, TTL <=60 seconds, at least 3 Redis cache hits',flush=True) + subprocess.run(['docker','compose','stop','cache'],cwd=ROOT,check=True) + try: + start=time.monotonic() + result=c.call('GET','/api/v1/users/me',actor=actor,schema='User')['json'] + elapsed=time.monotonic()-start + print('Cache outage diagnostic: profile_matches=%s elapsed_seconds=%.3f'%(result==actor['user'],elapsed),flush=True) + check(result==actor['user'] and elapsed<3,'cache fallback incorrect or unbounded') + c.call('GET','/api/v1/users/me',401) + c.call('GET','/api/v1/users/me',401,headers={'Authorization':'Bearer random-invalid-token'}) + c.call('GET','/health/ready',schema='Health') + c.call('DELETE','/api/v1/auth/sessions/current',204,actor=actor) + c.call('GET','/api/v1/users/me',401,actor=actor) + print('PASS: Redis down: PostgreSQL fallback %.3fs, ready=200, invalid/absent/revoked sessions=401'%elapsed,flush=True) + finally: + subprocess.run(['docker','compose','start','cache'],cwd=ROOT,check=True) + for _ in range(30): + try: + if redis('PING')=='PONG': break + except subprocess.CalledProcessError: pass + time.sleep(1) + check(redis('EXISTS',key)=='0','cache unexpectedly persisted test key') + actor=c.user('cache_recovery') + for _ in range(5): + c.call('GET','/api/v1/users/me',actor=actor,schema='User') + if redis('EXISTS','profile:v1:'+actor['id'])=='1': break + time.sleep(1) + check(redis('EXISTS','profile:v1:'+actor['id'])=='1','cache did not recover') + print('PASS: ephemeral Redis restart: cache is rebuilt; no session source of truth lost',flush=True) + # Inject a scoped storage failure on member INSERT, after the chat INSERT. + title='rollback_'+uuid.uuid4().hex + function='lab2_test_'+uuid.uuid4().hex + trigger=function+'_trigger' + sql("CREATE FUNCTION "+function+"() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN IF EXISTS (SELECT 1 FROM chats WHERE id=NEW.chat_id AND title='"+title+"') THEN RAISE EXCEPTION 'synthetic member insert failure' USING ERRCODE='23514'; END IF; RETURN NEW; END $$; CREATE TRIGGER "+trigger+" BEFORE INSERT ON members FOR EACH ROW EXECUTE FUNCTION "+function+"();") + try: + c.call('POST','/api/v1/chats',503,actor=actor,body={'title':title,'member_ids':[actor['id']]}) + check(sql("SELECT count(*) FROM chats WHERE title='"+title+"'")=='0','partial chat survived failed member INSERT') + check(sql('SELECT count(*) FROM members m LEFT JOIN chats c ON c.id=m.chat_id WHERE c.id IS NULL')=='0','orphan membership') + print('PASS: injected failure AFTER chat INSERT: HTTP 503, transaction rolled back chat and members',flush=True) + finally: + sql('DROP TRIGGER '+trigger+' ON members; DROP FUNCTION '+function+'();') + c.call('POST','/api/v1/chats',201,actor=actor,body={'title':'after rollback','member_ids':[actor['id']]},schema='Chat') + print('PASS: same API remains usable after rollback',flush=True) + +if __name__=='__main__': run(main) diff --git a/student-tests/research.py b/student-tests/research.py new file mode 100644 index 00000000..cdc39adc --- /dev/null +++ b/student-tests/research.py @@ -0,0 +1,75 @@ +"""Track 2: isolated 120k-row study, actual pg_dump/restore and content verification.""" +import datetime,json,subprocess,time,uuid +from pathlib import Path +ROOT=Path(__file__).resolve().parents[1] + +def worker(mode,database,host=None): + r=subprocess.run(['docker','compose','exec','-T','api','python','-',mode,database]+([host] if host else []),cwd=ROOT,input=(ROOT/'student-tests/research_worker.py').read_text(),stdout=subprocess.PIPE,text=True,check=True) + return json.loads(r.stdout) + +def main(): + suffix=uuid.uuid4().hex[:10]; source='lab2_study_'+suffix; restored=source+'_restored' + print('Fresh isolated databases:',source,restored,flush=True) + prepared=worker('prepare',source) + print('Seeded',prepared['messages'],'synthetic messages:',prepared['distribution'],flush=True) + result=worker('benchmark',source) + dump='/tmp/'+source+'.dump' + recovery='lab2-recovery-'+suffix; volume=recovery+'-data' + container=subprocess.check_output(['docker','compose','ps','-q','api'],cwd=ROOT,text=True).strip() + network=next(iter(json.loads(subprocess.check_output(['docker','inspect','--format','{{json .NetworkSettings.Networks}}',container],text=True)))) + subprocess.run(['docker','volume','create',volume],check=True,stdout=subprocess.DEVNULL) + started=False + def db(*args): + subprocess.run(['docker','compose','exec','-T','db',*args],cwd=ROOT,check=True) + try: + start=time.perf_counter();db('pg_dump','-U','messenger','-d',source,'-Fc','-f',dump); backup_s=time.perf_counter()-start + start=time.perf_counter() + subprocess.run(['docker','run','-d','--name',recovery,'--network',network, + '-e','POSTGRES_DB='+restored,'-e','POSTGRES_USER=messenger', + '-e','POSTGRES_PASSWORD_FILE=/run/secrets/db_password', + '--mount','type=bind,src='+str(ROOT/'secrets/db_password')+',dst=/run/secrets/db_password,readonly', + '--mount','type=volume,src='+volume+',dst=/var/lib/postgresql/data', + 'postgres:17.6-bookworm'],check=True,stdout=subprocess.DEVNULL) + started=True + for _ in range(60): + probe=subprocess.run(['docker','exec',recovery,'pg_isready','-U','messenger','-d',restored],stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL) + if probe.returncode==0: + break + time.sleep(1) + # Wait until final server accepts TCP inside the default network. + for _ in range(60): + probe=subprocess.run(['docker','exec',recovery,'pg_isready','-h','127.0.0.1','-U','messenger','-d',restored],stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL) + if probe.returncode==0: break + time.sleep(1) + else: raise RuntimeError('Restoration server did not become ready') + producer=subprocess.Popen(['docker','compose','exec','-T','db','cat',dump],cwd=ROOT,stdout=subprocess.PIPE) + try: + consumer=subprocess.run(['docker','exec','-i',recovery,'pg_restore','-U','messenger','-d',restored,'--exit-on-error','--no-owner'],stdin=producer.stdout) + producer.stdout.close() + code=producer.wait() + if code or consumer.returncode: raise RuntimeError('Backup stream or restore failed') + finally: + if producer.poll() is None: producer.kill();producer.wait() + restore_s=time.perf_counter()-start + start=time.perf_counter();actual=worker('verify',restored,recovery);verify_s=time.perf_counter()-start + expected=result.pop('fingerprint') + if actual!=expected: raise AssertionError('Restored counts, full message digest or samples differ') + size=int(subprocess.check_output(['docker','compose','exec','-T','db','stat','-c','%s',dump],cwd=ROOT,text=True)) + result['backup_restore']={'backup_s':backup_s,'fresh_container_bootstrap_and_restore_s':restore_s,'verification_s':verify_s,'dump_bytes':size,'expected':expected,'restored':actual,'identical':True,'source_database':source,'restored_database':restored,'new_volume':volume,'recovery_container':recovery,'limitation':'logical snapshot; no PITR or concurrent writes; separate PostgreSQL instance and fresh named volume on the same physical Docker host'} + result['utc']=datetime.datetime.now(datetime.timezone.utc).isoformat() + (ROOT/'evidence/query-study.json').write_text(json.dumps(result,indent=2,ensure_ascii=False)+'\n') + print('PASS: 2 indexes, 3 rounds, 3 query profiles, 20 measured reads/profile, real 5000-row writes with rollback',flush=True) + print('PASS: pg_dump -> NEW PostgreSQL container + NEW volume -> table counts + ALL 120000 messages SHA256 + selected messages match',flush=True) + print('Backup %.3fs; restore %.3fs; verification %.3fs; dump %d bytes'%(backup_s,restore_s,verify_s,size),flush=True) + for variant in ['global','chat_first']: + rows=[r for r in result['results'] if r['variant']==variant] + print(variant,'5000-row insert ms:',[round(r['insert_5000_ms'],3) for r in rows],flush=True) + for scenario in ['hot-middle','medium-first','tiny-first']: + print(variant,scenario,'median ms per round:',[round(q['median_ms'],3) for r in rows for q in r['queries'] if q['scenario']==scenario],flush=True) + finally: + # Only objects created by this run; main messenger database and named volume are never removed. + db('rm','-f',dump) + if started: subprocess.run(['docker','rm','-f',recovery],check=True,stdout=subprocess.DEVNULL) + print('Research source database and recovered volume retained for inspection; recovery process stopped; no dump/credentials included in evidence.',flush=True) + +if __name__=='__main__': main() diff --git a/student-tests/research_worker.py b/student-tests/research_worker.py new file mode 100644 index 00000000..39433949 --- /dev/null +++ b/student-tests/research_worker.py @@ -0,0 +1,85 @@ +"""Executed inside API container by research.py, only in fresh research databases.""" +import hashlib,json,os,statistics,sys,time,uuid +from pathlib import Path +import psycopg +from psycopg.conninfo import make_conninfo +from psycopg.rows import dict_row + +mode,dbname=sys.argv[1:3] +if not dbname.startswith('lab2_study_') or not dbname.replace('_','').isalnum(): + raise ValueError('Expected isolated study database name') +base=Path(os.environ['DATABASE_URL_FILE']).read_text().strip() +dsn=make_conninfo(base,dbname=dbname, **({"host":sys.argv[3]} if len(sys.argv)>3 else {})) + +def fingerprint(conn): + counts={t:conn.execute('SELECT count(*) AS n FROM '+t).fetchone()['n'] for t in ['users','chats','members','messages','sessions','schema_migrations']} + digest=hashlib.sha256() + with conn.cursor(name='verify_messages') as cur: + cur.execute('SELECT id,chat_id,sender_id,text,created_at FROM messages ORDER BY id') + for row in cur: + digest.update(json.dumps(row,sort_keys=True,default=str,ensure_ascii=False).encode()+b'\n') + samples=conn.execute("SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE id IN (md5('message-1')::uuid,md5('message-100000')::uuid,md5('message-120000')::uuid) ORDER BY id").fetchall() + return {'counts':counts,'messages_sha256':digest.hexdigest(),'samples':samples} + +if mode=='prepare': + with psycopg.connect(base,autocommit=True) as admin: + from psycopg import sql + admin.execute(sql.SQL('CREATE DATABASE {}').format(sql.Identifier(dbname))) + with psycopg.connect(dsn,row_factory=dict_row) as conn: + conn.execute('CREATE TABLE schema_migrations(version text PRIMARY KEY,applied_at timestamptz NOT NULL DEFAULT clock_timestamp())') + for path in sorted(Path('/app/migrations').glob('*.sql')): + conn.execute(path.read_text());conn.execute('INSERT INTO schema_migrations(version) VALUES(%s)',(path.name,)) + conn.execute("INSERT INTO users(id,username,display_name,password_hash) VALUES(md5('research-user')::uuid,'research_user','Synthetic benchmark user','not-a-login-account')") + conn.execute("INSERT INTO chats(id,title) SELECT md5('chat-'||n)::uuid,'Synthetic chat '||n FROM generate_series(0,101) n") + conn.execute("INSERT INTO members(chat_id,user_id) SELECT id,md5('research-user')::uuid FROM chats") + conn.execute("""INSERT INTO messages(id,chat_id,sender_id,text,created_at) + SELECT md5('message-'||n)::uuid, + md5('chat-'||(CASE WHEN n<=100000 THEN 0 WHEN n<=119000 THEN 1 ELSE 2+(n-119001)%100 END))::uuid, + md5('research-user')::uuid,'synthetic-'||n||'-'||repeat('x',64+n%512), + timestamptz '2026-01-01 00:00:00+00'+ n * interval '1 microsecond' + FROM generate_series(1,120000) n""") + conn.execute('ANALYZE messages') + print(json.dumps({'created':dbname,'messages':120000,'distribution':'100000 + 19000 + 100*10','synthetic_only':True})) +elif mode=='benchmark': + query='SELECT * FROM messages WHERE chat_id=%s AND (created_at,id)>(%s,%s) ORDER BY created_at,id LIMIT 51' + specs=[('hot-middle',0,'2026-01-01T00:00:00.050000Z'),('medium-first',1,'2026-01-01T00:00:00Z'),('tiny-first',101,'2026-01-01T00:00:00Z')] + output={'messages':120000,'warmup':3,'measured_reads':20,'rounds':3,'write_batch':5000,'results':[],'query':query} + with psycopg.connect(dsn,row_factory=dict_row) as conn: + for round_no in range(3): + # Alternate order to reduce systematic warmup/order bias. + variants=['global','chat_first'] if round_no%2==0 else ['chat_first','global'] + for variant in variants: + conn.execute('DROP INDEX IF EXISTS messages_history');conn.execute('DROP INDEX IF EXISTS messages_global') + definition=('CREATE INDEX messages_history ON messages(chat_id,created_at,id)' if variant=='chat_first' else 'CREATE INDEX messages_global ON messages(created_at,id)') + start=time.perf_counter();conn.execute(definition);conn.commit();build_ms=(time.perf_counter()-start)*1000 + conn.execute('ANALYZE messages');conn.commit() + record={'round':round_no+1,'variant':variant,'definition':definition,'index_build_ms':build_ms,'queries':[]} + for name,chat_no,stamp in specs: + args=(str(uuid.UUID(hashlib.md5(('chat-'+str(chat_no)).encode()).hexdigest())),stamp,str(uuid.UUID(int=0))) + for _ in range(3):conn.execute(query,args).fetchall() + times=[] + for _ in range(20): + start=time.perf_counter();rows=conn.execute(query,args).fetchall();times.append((time.perf_counter()-start)*1000) + plan=conn.execute('EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) '+query,args).fetchone()['QUERY PLAN'][0] + record['queries'].append({'scenario':name,'rows':len(rows),'median_ms':statistics.median(times),'p95_ms':sorted(times)[18],'raw_ms':times,'explain':plan}) + conn.commit() + # Real inserts, full constraints/index maintenance, then rollback to keep all variants at 120k rows. + start=time.perf_counter() + conn.execute("""INSERT INTO messages(id,chat_id,sender_id,text,created_at) + SELECT md5('write-cost-'||n)::uuid,md5('chat-0')::uuid,md5('research-user')::uuid, + 'synthetic-write-'||n,timestamptz '2026-01-02 00:00:00+00'+n*interval '1 microsecond' + FROM generate_series(1,5000) n""") + record['insert_5000_ms']=(time.perf_counter()-start)*1000 + conn.rollback() + # Clean up dead tuples from rollback, without changing measured data volume. + with psycopg.connect(dsn,autocommit=True) as vacuum: vacuum.execute('VACUUM ANALYZE messages') + record['index_bytes']=conn.execute("SELECT pg_relation_size(%s) AS bytes",('messages_history' if variant=='chat_first' else 'messages_global',)).fetchone()['bytes'] + conn.commit();output['results'].append(record) + conn.execute('DROP INDEX IF EXISTS messages_global');conn.execute('DROP INDEX IF EXISTS messages_history') + conn.execute('CREATE INDEX messages_history ON messages(chat_id,created_at,id)');conn.commit() + output['fingerprint']=fingerprint(conn) + print(json.dumps(output,default=str,ensure_ascii=False)) +elif mode=='verify': + with psycopg.connect(dsn,row_factory=dict_row) as conn: + print(json.dumps(fingerprint(conn),default=str,ensure_ascii=False)) +else: raise ValueError('Unknown study mode') diff --git a/student-tests/run_all.py b/student-tests/run_all.py new file mode 100644 index 00000000..f87b9fd0 --- /dev/null +++ b/student-tests/run_all.py @@ -0,0 +1,16 @@ +"""Sequential required functional checks; failures preserve nonzero status.""" +import subprocess,sys +from pathlib import Path +root=Path(__file__).resolve().parents[1] +commands=[ + ['make','check'],['make','test'], + [sys.executable,'student-tests/security.py'], + [sys.executable,'student-tests/lab1_own_tests.py'], + [sys.executable,'student-tests/lab1_concurrency.py'], + [sys.executable,'student-tests/level4.py'], + [sys.executable,'student-tests/infrastructure.py'], +] +for command in commands: + print('RUN: '+' '.join(command),flush=True) + subprocess.run(command,cwd=root,check=True) +print('PASS: all required functional checks completed',flush=True) diff --git a/student-tests/security.py b/student-tests/security.py new file mode 100644 index 00000000..50b444ea --- /dev/null +++ b/student-tests/security.py @@ -0,0 +1,35 @@ +"""Additional API checks; tokens and passwords are never printed.""" +import sys +import uuid +from concurrent.futures import ThreadPoolExecutor +from pathlib import Path +sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests')) +from client import Client, check, run + + +def main(): + c=Client() + a,b,e,room=c.bootstrap() + path='/api/v1/chats/'+room['id'] + for data in [ {'text':' '}, {'text':'ok','sender_id':e['id']}, {'text':123}, {'text':'x'*4001} ]: + c.call('POST',path+'/messages',400,actor=a,body=data) + c.call('POST',path+'/messages',400,actor=a,raw=b'{broken',headers={'Content-Type':'application/json'}) + c.call('GET',path+'/messages?cursor=broken',400,actor=a) + c.message(a,room,'page 1'); c.message(a,room,'page 2') + page=c.call('GET',path+'/messages?limit=1',actor=a,schema='MessagePage')['json'] + other=c.call('POST','/api/v1/chats',201,actor=a,body={'title':'Other','member_ids':[a['id']]},schema='Chat')['json'] + from urllib.parse import quote + c.call('GET','/api/v1/chats/'+other['id']+'/messages?cursor='+quote(page['next_cursor'],safe=''),400,actor=a) + before=c.call('GET','/api/v1/chats?limit=100',actor=a,schema='ChatPage')['json'] + c.call('POST','/api/v1/chats',400,actor=a,body={'title':'must not exist','member_ids':[a['id'],str(uuid.uuid4())]}) + after=c.call('GET','/api/v1/chats?limit=100',actor=a,schema='ChatPage')['json'] + check(before==after,'invalid chat left state behind') + body={'username':'race_'+uuid.uuid4().hex[:12],'display_name':'Race','password':'Synthetic-password-123'} + def register(_): + return Client().call('POST','/api/v1/users',[201,409],body=body)['status'] + with ThreadPoolExecutor(max_workers=4) as executor: + codes=sorted(executor.map(register,range(4))) + check(codes==[201,409,409,409],'registration race was not atomic') + print('PASS: malformed JSON, strict fields/types, whitespace, limits, cursor resource binding, invalid chat atomicity, concurrent username uniqueness') + +if __name__=='__main__': run(main)