ЛР 2: PostgreSQL, сессии и Valkey — на 4

This commit is contained in:
2026-10-23 18:17:09 +03:00
parent 65003b6119
commit 18b419cda2
60 changed files with 1838 additions and 14 deletions
+3
View File
@@ -0,0 +1,3 @@
*.sh text eol=lf
*.py text eol=lf
*.sql text eol=lf
+27
View File
@@ -0,0 +1,27 @@
name: Student application
on: [push, pull_request]
permissions:
contents: read
jobs:
application:
runs-on: ubuntu-24.04
timeout-minutes: 15
steps:
- uses: actions/checkout@v4
- name: Local synthetic secrets and build
run: |
sh scripts/init-env.sh
docker compose --env-file .env --profile test build
- name: Start and wait for the new application
run: docker compose --env-file .env --profile test up -d --wait --wait-timeout 120 api api-expiry
- name: Public and grade 4 checks
run: docker compose --profile test run --rm tools sh scripts/run-checks.sh
- name: Sanitized evidence
if: always()
uses: actions/upload-artifact@v4
with:
name: lab2-evidence
path: evidence/
- name: Stop only this test project
if: always()
run: docker compose --profile test down
+12
View File
@@ -0,0 +1,12 @@
FROM python:3.12.10-slim-bookworm
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080
WORKDIR /app
COPY requirements.txt requirements.lock ./
RUN pip install --no-cache-dir -r requirements.lock && useradd --create-home --uid 10001 appuser
COPY --chown=appuser:appuser src ./src
COPY --chown=appuser:appuser migrations ./migrations
USER appuser
EXPOSE 8080
STOPSIGNAL SIGTERM
HEALTHCHECK --interval=3s --timeout=3s --start-period=10s --retries=5 CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).read()" || exit 1
CMD ["sh", "-c", "exec uvicorn src.main:app --host \"$APP_HOST\" --port \"$APP_PORT\" --no-access-log"]
+41
View File
@@ -0,0 +1,41 @@
## Лабораторная 2
Заголовок PR: **ЛР 2 — БВТ2301 — Гамаюнов — на 4**
Автор / группа: Гамаюнов Артём / БВТ2301
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: собственные модели, cursor и формат ошибок из ЛР1;
PostgreSQL с миграциями и атомарными операциями; Argon2id, Basic → opaque Bearer,
expiry/logout; Valkey для профилей с TTL, безопасный обход недоступного кэша;
Compose, restart hook, собственные конкурентные/негативные/отказные тесты.
Команды запуска из чистого clone: `sh scripts/init-env.sh` (Windows: `powershell -ExecutionPolicy Bypass -File scripts/init-env.ps1`),
`docker compose --profile test build`, `docker compose --profile test up -d --wait api api-expiry`,
`docker compose --profile test run --rm tools sh scripts/run-checks.sh`.
Результаты проверок и ссылка на REPORT.md: [отчёт](REPORT.md), [матрица](evidence/requirements.md),
[evidence](evidence/), [release-audit](evidence/release-audit.md). Локально выполнены check, validate, smoke, полный persistence,
expiry=2, logout, гонка username, rollback, 40 параллельных сообщений, реальные отказы
Valkey/БД, повторные миграции и EXPLAIN ANALYZE BUFFERS на 10000 сообщениях. Финальный набор повторён на чистом Linux-экспорте с новыми secrets/volumes; исправлена валидация NUL (400 вместо 503).
Ограничения / известные ошибки: один Docker-host и одна PostgreSQL; HTTP только
на loopback, синтетические данные. Между страницами нет snapshot при конкурентных
вставках. Удалённый CI не запускался; PR ещё не создан.
Источники и использование ИИ: собственный lab1-reference, задание и контракт ЛР2;
Python/FastAPI/Pydantic/Uvicorn/psycopg/argon2-cffi/redis-py; ChatGPT/Codex помогал
с проектированием, кодом, тестами, ревью и отчётом.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Перед публикацией: проверить diff и исключения secrets/.env; при собственном staging
сохранить executable bit для scripts/*.sh (`git add --chmod=+x scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh`), затем
выполнить commit/push и открыть PR вручную в правильную базовую ветку преподавателя.
Добавить ссылку/commit в REPORT.md. Эти Git-действия агентом не выполнялись.
+96 -14
View File
@@ -1,37 +1,119 @@
# Отчёт — лабораторная 2
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Гамаюнов Артём, БВТ2301.
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не заявлен.
- Commit/PR: локальные незакоммиченные изменения в `solution/bvt2301-gamayunov` поверх skeleton `65003b6`. Commit/push/PR выполняет автор после проверки; текст подготовлен в [PR_DRAFT.md](PR_DRAFT.md).
- Использованные источники, библиотеки и помощь ИИ: собственная ЛР1 (`../lab1-reference`, только чтение), README/COURSE/CONTRIBUTING, OpenAPI, семантика и проверки ЛР2. Python, FastAPI, Pydantic, Uvicorn, psycopg/psycopg-pool, argon2-cffi, redis-py. ChatGPT/Codex использован для проектирования, реализации, тестов, ревью и отчёта. Исходный код преподавательского сервера не использовался.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker Engine с Linux containers, Docker Compose с `--wait`, сеть для первоначальной загрузки образов/пакетов. Проверено: Windows + Docker Desktop 4.75.0, Engine 29.5.2, Compose 5.1.3; Linux-команды запускаются в tools. Python/make на хосте не нужны. Образы закреплены: `python:3.12.10-slim-bookworm`, `postgres:16.8-bookworm`, `valkey/valkey:8.0.2-alpine`, tools — `docker:27.5.1-cli`. Транзитивные Python-зависимости закреплены в `requirements.lock` и `infra/requirements-tools.lock`.
1. В существующей рабочей ветке создать локальные secrets и `.env` (значения не печатаются):
```powershell
# Windows, из lab2:
powershell -NoProfile -ExecutionPolicy Bypass -File scripts/init-env.ps1
```
```sh
# Linux/macOS, из lab2:
chmod +x scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
sh scripts/init-env.sh
```
Инициализация повторяема, существующий пароль PostgreSQL сохраняется. На Linux каталог secrets имеет mode 700, файлы — 444: каталог закрывает доступ на хосте, а файлы читаются непривилегированным API через Compose secrets. `.env` и `secrets/` исключены из Git и build context.
2. Собрать приложение и инструменты, поднять стенд и отдельный API для короткого TTL:
```sh
docker compose --env-file .env config --quiet
docker compose --env-file .env --profile test build
docker compose --env-file .env --profile test up -d --wait --wait-timeout 120 api api-expiry
```
Основной API: `http://localhost:8080`. `/health/live` — процесс, `/health/ready` — доступна PostgreSQL; Valkey необязателен для безопасного обслуживания. Миграции выполняются при старте API под транзакционным advisory lock. Отдельная команда: `docker compose exec -T api python -m src.db`.
3. Выполнить весь набор проверок и сохранить небольшие результаты:
```sh
docker compose --profile test run --rm tools sh scripts/run-checks.sh
# Отдельные публичные цели, без изменения Makefile/tests:
docker compose --profile test run --rm tools make check validate
docker compose --profile test run --rm tools make test BASE_URL=http://api:8080
docker compose --profile test run --rm tools sh -c 'chmod +x scripts/restart.sh && make test-persistence BASE_URL=http://api:8080 ACTION_SCRIPT=scripts/restart.sh'
# Короткая нагрузка и синхронизированный замер CPU/RAM:
docker compose --profile test run --rm tools python student-tests/load_measure.py
```
`run-checks.sh` также запускает собственные `core`, `expiry`, `migrations`, `explain`, `failures`, `persistence_meta`. Тесты создают только синтетические данные. Tools получает Docker socket для операторских restart/fault hooks; обычный API его не получает. Из tools все действия Compose относятся к проекту `mtusi-lab2`.
4. Безопасная остановка: `docker compose --profile test down` — данные остаются. Повторный запуск из п. 2 использует прежние volumes. **Намеренное удаление только учебных данных этого проекта**, когда они больше не нужны: `docker compose --profile test down --volumes`. Эта команда в ходе проверки основного стенда не выполнялась. Не использовать общесистемную очистку Docker.
Сервисы/хранение: `api` — UID 10001, 1 CPU/512 MiB; `postgres` — 1 CPU/512 MiB, `postgres_data`; `valkey` — 0.5 CPU/128 MiB, `valkey_data`, AOF everysec, maxmemory 96 MiB/allkeys-lru. Все в сети Compose. БД и кэш не публикуют порты хоста; API опубликован на 127.0.0.1. PG healthcheck — pg_isready, Valkey — PING, API — HTTP ready. `api-expiry` (профиль test) имеет TTL=2, порт хоста отсутствует; `tools` — 1 CPU/512 MiB, запускается только на время команды.
Release-audit: исправлен ответ 503 для U+0000 в display_name/title/text — теперь 400 invalid_request. Добавлены регрессионные проверки; полный набор повторён в чистом Linux-экспорте без .git/.env/secrets и с пустыми volumes. Это проверка файлов-кандидатов до commit, не утверждение о созданном Git checkout. Подробный вердикт и staging-команды: [evidence/release-audit.md](evidence/release-audit.md). Новые shell-скрипты пока не staged; режим 100755 необходимо записать явным git add --chmod=+x.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Клиент → API → PostgreSQL; API → Valkey для публичного профиля. Из ЛР1 перенесены собственные модели/валидация, код cursor и формат ошибки. Cursor ужесточён до строгого URL-safe Base64. In-memory store заменён SQL, X-User-Id игнорируется, добавлены password и Basic/Bearer. Изменяемые преподавательские контракты/публичные тесты не копировались из ЛР1.
PostgreSQL — источник истины для users/chats/chat_members/messages/sessions. `001_initial.sql`: PK UUID, UNIQUE username, FK участников к пользователям/чату, FK отправителя к членству, CHECK длины/обязательных значений. Создание чата и всех членств — одна транзакция; ошибка FK после вставки родителя откатывает всё. Запись сообщения подтверждается HTTP 201 после COMMIT. `fsync=on`, `synchronous_commit=on` реально проверены; сохранность зависит также от persistent volume и диска Docker-host. Миграции с нуля и повторный запуск проверены.
Запросы параметризованы psycopg; пользовательские значения не вставляются в SQL-строки. На процесс: pool min=1/max=8, ожидание 2 s, очередь максимум 32, connect_timeout=2 s, statement_timeout=2 s, lock_timeout=1.5 s, idle transaction timeout=5 s. Синхронные HTTP handlers имеют максимум 16 рабочих потоков. Пароли — Argon2id (19 MiB, t=2, p=1), случайная соль, поддержка 12–128 Unicode code points без усечения. Неверный пароль и неизвестный username дают одинаковый 401/Basic challenge. Успешный Basic login возвращает случайный токен с 256 битами энтропии; в PG хранится только SHA-256 токена, user_id и абсолютный expires_at. SHA-256 используется для случайного токена, не для пароля. Каждый защищённый запрос сначала проверяет действительность сессии в PG. Logout удаляет сессию; expiry использует clock_timestamp PostgreSQL и не продлевается чтением/рестартом.
Valkey кэширует `profile:<user UUID>`: только id/username/display_name/created_at. Это экономит отдельный SELECT профиля на каждом cache hit; SQL-проверка сессии остаётся обязательной. TTL=60 s без продления при hit. Профили в обязательном API неизменяемы, поэтому инвалидация по записи не нужна; после expiry/miss — загрузка из PG. Logout не требует удаления профиля: он не является сессией и не авторизует запрос. История/членство не кэшируются, подтверждённая запись читается непосредственно из PG. Flush/потеря AOF кэша безопасны: кэш восстанавливается из PG; AOF не используется для сохранности сессий.
Обращение к кэшу, включая DNS, ограничено 250 ms; максимум четыре фоновых задачи без неограниченной очереди, после сбоя обход кэша на 5 s. При недоступности Valkey — чтение PG; при недоступности PG — 503 unavailable с request_id, даже если профиль закэширован. Анонимный запрос остаётся 401. SQL/credentials/stack trace не входят в HTTP-ошибки. Каждый ответ содержит X-Request-Id, ошибки согласованы с ним.
История: `(chat_id,created_at,id)` B-tree и keyset `(created_at,id) > (...) ORDER BY created_at,id LIMIT limit+1`; OFFSET в API нет. Cursor привязан к чату (для списка чатов — к пользователю); следующий cursor отсутствует, когда нет дополнительной записи. При неизменной истории обход без потерь/повторов. Между HTTP-страницами нет snapshot: конкурентная транзакция с ранним created_at может завершиться после продвижения cursor; изменение часов назад также может поместить новую запись до cursor. Это ограничение описано, timestamp не считается уникальным ID; UUID разрешает равенство времени.
Соответствие `.env.example`: SESSION_TTL_SECONDS берётся из `.env` (default 3600, smoke ≥300); SESSION_STORE=postgres. APP_HOST=0.0.0.0, APP_PORT=8080, APP_ENV=lab и пути *_URL_FILE зафиксированы Compose; одноимённые значения `.env` их не переопределяют. Credentials передаются файлами `/run/secrets/database_url`, `/run/secrets/cache_url`, `/run/secrets/postgres_password`. Дополнительный API_PORT меняет только loopback-порт хоста. Весь bootstrap находится в репозитории, установленные на хосте PG/Redis не требуются.
## Доказательства критериев
Ниже фактически выполненные локальные проверки 23.10.2026; команды собственных сценариев выполняются внутри `docker compose --profile test run --rm tools ...`. Полная начальная матрица: [evidence/requirements.md](evidence/requirements.md).
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| Публичный smoke / API ЛР1 с новой auth | make test BASE_URL=http://api:8080 | PASS: users/chats/messages, Unicode, pagination, isolation, Basic/Bearer/logout | evidence/release/smoke.txt |
| 3: PostgreSQL, PK/FK/UNIQUE, миграции с нуля | чистый Linux-экспорт, проект mtusi-lab2-release с новыми volumes; SQL schema inspection; smoke | 001_initial.sql, до теста users/chats/messages=0; smoke PASS; реальные ограничения/индексы | evidence/release/bootstrap.txt, evidence/schema.txt |
| 3: атомарный составной чат | python student-tests/grade4.py core | неизвестный участник вызывает FK после INSERT чата; counts чатов/членств неизменны | evidence/release/student.txt |
| 3: сохранность обязательных данных и действующей сессии | make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://api:8080 | PASS: прежний токен/подтверждённое сообщение; StartedAt изменился у api/postgres/valkey, image сохранён | evidence/release/persistence.txt |
| 3: срок сессии не продлевается рестартом | python student-tests/grade4.py persistence_meta | прежний token работает, точный expires_at до/после равен; в PG только 32-byte hash | evidence/release/session-persistence.txt |
| 3: Basic только login, Bearer, KDF, X-User-Id не даёт доступ | smoke + core | неверный/неизвестный login 401; Basic/X-User-Id на бизнес-API 401; пароль 128 Unicode с ':' работает; Argon2id в PG | evidence/release/smoke.txt, evidence/release/student.txt |
| 3: check/test и повторяемые миграции без дубликатов | make check validate; python student-tests/grade4.py migrations | обе offline-проверки PASS; два повтора миграций не меняют все table counts/absolute session expiries | evidence/release/checks.txt, evidence/release/migrations.txt |
| 3: secrets/volumes вне Git | git check-ignore, проверка реальных secret values в tracked/untracked-to-submit файлах | .env/secrets исключены; совпадений credentials нет; данные в named volumes | evidence/audit.txt |
| 4: реальное применение Valkey, TTL и политика истины/инвалидации | core: GET/INFO hits/TTL/EXPIRE/refill; failures | key profile совпадает с User; ≥3 cache hits, TTL ≤60 без sliding; expiry/refill; кэш не обходит logout | evidence/release/student.txt, evidence/release/failures.txt |
| 4: безопасные SQL, bounded pool/timeouts, username race и rollback | src/db.py/store.py; core с 12 workers | ровно 1×201 + 11×409 при одинаковом username; FK rollback; 40 конкурентных записей сохранены | evidence/release/student.txt |
| 4: индекс истории и EXPLAIN на ≥10000 | python student-tests/grade4.py explain | 10000 строк в отдельном чате; 3 Index Scan messages_history, без Seq Scan; 100 API-страниц без потерь/повторов | evidence/release/explain.txt |
| 4: автоматические expiry/logout/неверный пароль | core; expiry через api-expiry (TTL=2) | немедленно 200, через 2.2 s 401; повторный logout 401; неверный пароль 401 | evidence/release/student.txt, evidence/release/expiry.txt |
| 4: недоступность Redis/БД и безопасное восстановление | python student-tests/grade4.py failures | реальные stop/start; кэш: fallback; БД: 503/live=200; session/data recovery; все 22 запроса <4.5 s | evidence/release/failures.txt |
| Новая версия действительно запущена | сравнение image ID и SHA-256 файлов хоста/контейнера | совпали все src/*.py и migrations/*.sql, основной/expiry API из новой сборки | evidence/release/build.txt |
| Выбранный трек 5, если заявлен | не заявлен | не реализуется для этой сдачи | — |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Дополнительно: собственные негативные проверки типов/лишних полей/JSON/UUID/limits/cursors; одинаковые timestamps и UUID tie-break; чужой cursor; изменение limit; read-after-write. Application CI job добавлен отдельно от преподавательского contracts job; локальные команды выполнены, удалённый CI не запускался.
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Гипотезы: COMMIT и серверная сессия сохраняются при рестарте всех компонентов с volumes; необязательный кэш может исчезнуть без потери авторизации/данных; составной индекс ограничивает чтение страницы. Реальные условия: i5-6300U 2 cores/4 threads, host RAM 17 004 175 360 bytes, Docker VM 4 CPU / 8 242 409 472 bytes; лимиты сервисов указаны выше. Версии и UID: [evidence/environment.txt](evidence/environment.txt).
EXPLAIN: по 10000 синтетических сообщений в новом чате, ANALYZE, запрос LIMIT 51 в начале/после позиции 5000/9900. OFFSET используется только тестом для выбора границ эксперимента. Index Scan читает 51 строку, shared hits 3/4/3; execution 0.049/0.053/0.131 ms. Полный HTTP-обход 100 страниц — 1.907 s. Это один тёплый учебный набор, не обещание задержки на любом диске/распределении.
Сохранённый нагрузочный замер до release-audit (образ d17dea09ac6a, до точечной валидации NUL; повторная нагрузка не выполнялась): public tests/load.py, closed loop, 15 s, concurrency=4, один отчётный прогон после функционального прогрева (отдельного timed warm-up нет). 1083 успешных подтверждения, 0 ошибок, elapsed=15.300 s, 70.786 successful RPS; p50/p95/p99=50.826/98.821/109.824 ms. Новый чат 0→1083 сообщений; всего в PG 32149→33232. Один sample **во время нагрузки**: API 99.56% CPU/62.46 MiB, PG 11.76%/39.64 MiB, Valkey 7.36%/3.77 MiB. Данные: [evidence/load.json](evidence/load.json), [ресурсы и timestamps](evidence/load-resources.txt). Percentiles только успешных запросов; closed loop и client overhead ограничивают интерпретацию. Это не поиск максимального RPS; sample CPU/RAM не является peak/average.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| restart api + postgres + valkey | тот же token читает те же данные | публичный persistence PASS; все StartedAt изменились; absolute expires_at неизменен | в пределах бюджета hook/ready 90 s; подтверждённые данные не потеряны |
| stop Valkey | чтение/запись через PG, auth не обходится | ready=200; valid token работает; missing/unknown/revoked=401, чужой чат=404 | сценарий 0.363 s; max HTTP всего отказного теста 0.261 s; потерь нет |
| stop PostgreSQL | ограниченный 503, live=200 | ready/auth/write=503; анонимный запрос=401, cached profile не авторизует | после start ready+valid session за 2.737 s; подтверждённые данные сохранены, отклонённая запись отсутствует |
| короткий session TTL=2 | истечение независимо от кэша | после 2.2 s me/logout=401 | повторный login создаёт новую сессию; старый токен не оживает |
| конкурентный username / ошибочный участник | UNIQUE / rollback | 1 успех из 12 регистраций; failed chat не оставил строк | корректные 409/400; частичного чата нет |
При первом отказном прогоне обнаружено, что socket timeout не ограничивает DNS; добавлен предел всей optional cache операции и короткий обход кэша. Итоговый прогон и числа выше относятся к исправлению. В тестах останавливались только сервисы mtusi-lab2; дополнительный bootstrap-проект остановлен без удаления его volumes.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Весь уровень 3 и все пункты уровня 4 локально проверены; детали — таблица/evidence. Треки 5, HA, backup/restore, потеря host/volume, принудительное отключение питания и удалённый CI не проверялись и не заявляются. HTTP опубликован только на loopback для синтетического стенда. Согласованность нескольких страниц при конкурентных вставках ограничена описанной keyset-семантикой. Истёкшие сессии отвергаются сразу, но остаются строками PG до операторской очистки; можно удалять по expires_at с имеющимся индексом. Профиль неизменяем; при будущем API редактирования потребуется инвалидация его кэша. Один Docker-host и одна БД не дают высокой доступности.
Перед сдачей автор проверяет diff/отчёт, сохраняет executable bit scripts/*.sh при своём staging, выполняет commit/push и вручную открывает PR до 19:00 23.10.2026 Europe/Moscow. Затем дополняет поле Commit/PR. Агент не выполнял git add/commit/push/pull, переключение/создание веток или действия в удалённом репозитории. Черновик PR готов; основной стенд оставлен работающим.
+77
View File
@@ -0,0 +1,77 @@
name: mtusi-lab2
x-api: &api
image: mtusi-lab2-api:local
environment: &api-env
APP_HOST: 0.0.0.0
APP_PORT: 8080
APP_ENV: lab
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
SESSION_STORE: postgres
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
secrets: [database_url, cache_url]
depends_on:
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
cpus: 1.0
mem_limit: 512m
restart: unless-stopped
services:
api:
<<: *api
build: .
ports: ["127.0.0.1:${API_PORT:-8080}:8080"]
postgres:
image: postgres:16.8-bookworm
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes: [postgres_data:/var/lib/postgresql/data]
healthcheck:
test: [CMD-SHELL, "pg_isready -U messenger -d messenger"]
interval: 2s
timeout: 2s
retries: 20
cpus: 1.0
mem_limit: 512m
restart: unless-stopped
valkey:
image: valkey/valkey:8.0.2-alpine
command: [valkey-server, --appendonly, "yes", --appendfsync, everysec, --maxmemory, 96mb, --maxmemory-policy, allkeys-lru]
volumes: [valkey_data:/data]
healthcheck:
test: [CMD, valkey-cli, ping]
interval: 2s
timeout: 2s
retries: 15
cpus: 0.5
mem_limit: 128m
restart: unless-stopped
api-expiry:
<<: *api
profiles: [test]
environment:
<<: *api-env
SESSION_TTL_SECONDS: 2
restart: "no"
tools:
image: mtusi-lab2-tools:local
profiles: [test]
build: {context: ., dockerfile: infra/Dockerfile.tools}
working_dir: /workspace
volumes:
- .:/workspace
- /var/run/docker.sock:/var/run/docker.sock
environment:
BASE_URL: http://api:8080
cpus: 1.0
mem_limit: 512m
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
cache_url: {file: ./secrets/cache_url}
volumes:
postgres_data:
valkey_data:
+15
View File
@@ -0,0 +1,15 @@
Date: 2026-10-23, Europe/Moscow
Commands: git branch/status/diff --check/check-ignore/ls-files (read-only); exact local secret scan; HTTP readiness.
PASS: existing branch solution/bvt2301-gamayunov; no Git mutations performed.
PASS: teacher README/COURSE/CONTRIBUTING/contracts/tests/Makefile/examples/templates/original CI unchanged.
PASS: lab1-reference working tree is clean; used for reading only.
PASS: ignored local files: .env, secrets/postgres_password, secrets/database_url, secrets/cache_url
PASS: exact generated PostgreSQL secret and private key markers absent from all tracked/untracked-to-submit files; secrets were not printed.
PASS: git diff --check and own source trailing-whitespace check.
PASS: host http://127.0.0.1:8080/health/ready = 200 application/json; X-Request-Id present.
All grade 3 and 4 criteria: PASS locally (see REPORT.md per-criterion mapping). Remote CI, commit/push/PR: not executed.
PASS: final Compose/application CI YAML, all application/student Python, all shell scripts parse; make check validate repeated after documentation changes.
Main api/postgres/valkey left running; auxiliary api-expiry stopped after tests.
Exact changed-file list: evidence/changed-files.txt. Only REPORT.md modified among tracked skeleton files; new source files are untracked and unstaged.
Release audit supersedes this earlier summary: evidence/release-audit.md; latest source/build/tests: evidence/release/.
+12
View File
@@ -0,0 +1,12 @@
Fresh named volumes mtusi-lab2-bootstrap_postgres_data and mtusi-lab2-bootstrap_valkey_data were created by Compose on 2026-10-23.
Command: API_PORT=18080 docker compose -p mtusi-lab2-bootstrap --env-file .env up -d --wait api
001_initial.sql
0
0
0
python3 tests/smoke.py --base-url "http://api:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
Linux init-env.sh was also executed twice in /tmp/bootstrap inside an isolated tools container.
Observed secret directory mode=700, secret file mode=444; no credentials were printed.
Bootstrap containers were stopped and removed with compose down; both named volumes were preserved.
+9
View File
@@ -0,0 +1,9 @@
Historical build before release-audit; current code/build proof: evidence/release/build.txt.
Command: docker compose build api; docker compose --profile test up -d --wait api api-expiry
Final running image:
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
mtusi-lab2-api-1 mtusi-lab2-api local linux/amd64 d17dea09ac6a 56.7MB About a minute ago
mtusi-lab2-api-expiry-1 mtusi-lab2-api local linux/amd64 d17dea09ac6a 56.7MB About a minute ago
PASS: running API image equals the current locally built image: sha256:d17dea09ac6adf3ab6e4e9ca0e12286826aba878edd7110e07b1234546a4f713
PASS: SHA-256 of every src/*.py and migrations/*.sql matches the actual running container.
{"migrations/001_initial.sql": "5154c63cca9b5068821e5270b3d8dbc14c542b88ae5ce65422d72874118a14e5", "src/__init__.py": "01ba4719c80b6fe911b091a7c05124b64eeece964e09c058ef8f9805daca546b", "src/cache.py": "0f92c67b59f57a1ac5ee44d99bb5d992efa208e1d3c6fa44e5b537b913be926c", "src/config.py": "7d18c6b03d1130ca633055599f13a002d05a722a86427f2c47700b65908223b5", "src/db.py": "d21da56f3551eef2fb7e930a184264a0731eef8d6eb531929e611f8fa3df4d47", "src/errors.py": "8906150236b7b90081878cd7730964e4dee981897798a37c2a3441c3705cadc0", "src/main.py": "5c36a8dc3fa3dc84c69ebbfee94d1536619ee090da8d5d49931a99bfbd25f436", "src/models.py": "7fa8f35f7fd64e3b7ae6e1c2e4a621cbddb8ed6e4ddf595a71abcb0fe3958863", "src/pagination.py": "bba67fcab7b6ead93c4848319feccecd5e608287f0e983981b04ce0e1ca4b8f3", "src/security.py": "43a8b463e41053fe8ab125570eb7e93bbbbc13e4f5b6599457cbec22c00dc4d6", "src/store.py": "dc8c9512979dba9d54617e27b19beb40ca45972dd8f294263144bb2de716c548"}
+62
View File
@@ -0,0 +1,62 @@
Modified tracked files:
REPORT.md
New files (untracked, not staged):
.gitattributes
.github/workflows/application.yml
Dockerfile
PR_DRAFT.md
compose.yaml
evidence/audit.txt
evidence/bootstrap.txt
evidence/build.txt
evidence/changed-files.txt
evidence/checks.txt
evidence/environment.txt
evidence/expiry.txt
evidence/explain.txt
evidence/failures.txt
evidence/load-resources.txt
evidence/load.json
evidence/migrations.txt
evidence/persistence.txt
evidence/release-audit.md
evidence/release/bootstrap.txt
evidence/release/build.txt
evidence/release/checks.txt
evidence/release/expiry.txt
evidence/release/explain.txt
evidence/release/failures.txt
evidence/release/host-smoke.txt
evidence/release/migrations.txt
evidence/release/persistence.txt
evidence/release/repository.txt
evidence/release/session-persistence.txt
evidence/release/smoke.txt
evidence/release/student.txt
evidence/requirements.md
evidence/schema.txt
evidence/session-persistence.txt
evidence/smoke.txt
evidence/student.txt
infra/Dockerfile.tools
infra/requirements-tools.lock
migrations/001_initial.sql
requirements.lock
requirements.txt
scripts/init-env.ps1
scripts/init-env.sh
scripts/restart.sh
scripts/run-checks.sh
src/__init__.py
src/cache.py
src/config.py
src/db.py
src/errors.py
src/main.py
src/models.py
src/pagination.py
src/security.py
src/store.py
student-tests/README.md
student-tests/grade4.py
student-tests/load_measure.py
+4
View File
@@ -0,0 +1,4 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
python3 scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+13
View File
@@ -0,0 +1,13 @@
Date: 2026-10-23, Europe/Moscow; local unstaged solution/bvt2301-gamayunov
CPU: Intel(R) Core(TM) i5-6300U CPU @ 2.40GHz; cores=2; logical=4
Host RAM bytes: 17004175360
Docker client=29.5.2 server=29.5.2
Docker Compose version v5.1.3
Docker VM: CPUs=4 RAM bytes=8242409472 OS=Docker Desktop (containerized)
Limits: api 1 CPU / 512MiB; PostgreSQL 1 CPU / 512MiB; Valkey 0.5 CPU / 128MiB; tools 1 CPU / 512MiB. api-expiry: same as api.
Python 3.12.10
uid=10001(appuser) gid=10001(appuser) groups=10001(appuser)
Valkey server v=8.0.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=6559adb0eb9ba245
Python 3.12.15
GNU Make 4.4.1
Docker Compose version v2.33.0
+1
View File
@@ -0,0 +1 @@
PASS: SESSION_TTL_SECONDS=2: immediate authentication succeeds; after 2.21s cached profile cannot bypass expiry/logout
+33
View File
@@ -0,0 +1,33 @@
Rows in test chat: 10000
Position: 0
Limit (cost=0.41..10.95 rows=51 width=70) (actual time=0.061..0.085 rows=51 loops=1)
Buffers: shared hit=4
-> Index Scan using messages_history on messages (cost=0.41..2063.98 rows=9985 width=70) (actual time=0.059..0.076 rows=51 loops=1)
Index Cond: (chat_id = '969e1211-e475-4545-bd15-7e56dc71896d'::uuid)
Buffers: shared hit=4
Planning:
Buffers: shared hit=19
Planning Time: 0.220 ms
Execution Time: 0.148 ms
Position: 5000
Limit (cost=0.41..17.20 rows=51 width=70) (actual time=0.013..0.058 rows=51 loops=1)
Buffers: shared hit=5
-> Index Scan using messages_history on messages (cost=0.41..1741.06 rows=5288 width=70) (actual time=0.012..0.050 rows=51 loops=1)
Index Cond: ((chat_id = '969e1211-e475-4545-bd15-7e56dc71896d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.005001+00'::timestamp with time zone, 'fa66b073-e248-4fb4-9603-7515b64b598e'::uuid)))
Buffers: shared hit=5
Planning Time: 0.107 ms
Execution Time: 0.104 ms
Position: 9900
Limit (cost=0.41..94.31 rows=51 width=70) (actual time=0.017..0.029 rows=51 loops=1)
Buffers: shared hit=4
-> Index Scan using messages_history on messages (cost=0.41..1324.25 rows=719 width=70) (actual time=0.016..0.025 rows=51 loops=1)
Index Cond: ((chat_id = '969e1211-e475-4545-bd15-7e56dc71896d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.009901+00'::timestamp with time zone, 'b484fd5f-6223-4f33-9f32-7d154df937da'::uuid)))
Buffers: shared hit=4
Planning Time: 0.087 ms
Execution Time: 0.046 ms
PostgreSQL: 16.8 (Debian 16.8-1.pgdg120+1)
Durability: on on
PASS: actual EXPLAIN ANALYZE BUFFERS at first/middle/tail; API traversal 10000 rows, 100 pages, 1.851s
+4
View File
@@ -0,0 +1,4 @@
PASS: Valkey stopped: ready=200, authenticated read/write via PG, unknown/missing/revoked=401, outsider=404; scenario 0.374s
PASS: PostgreSQL stopped: ready/auth/write=503, live=200, no credentials=401, no cached authentication; scenario 0.063s
PASS: PostgreSQL recovery 2.811s, same valid token/data survive, revoked token remains revoked, rejected write absent
PASS: all 22 HTTP requests bounded below 4.5s; maximum 0.274s
+10
View File
@@ -0,0 +1,10 @@
Command: python3 tests/load.py --base-url http://api:8080 --duration 15 --concurrency 4 --output evidence/load.json
Start UTC: 2026-10-23T14:05:18.741681+00:00
Sample UTC: 2026-10-23T14:05:23.743063+00:00
End UTC: 2026-10-23T14:05:35.228415+00:00
Warm-up: completed functional checks; no separate timed warm-up. One run.
Dataset: dedicated new load chat starts empty; total PG message rows before=32149 after=33232
One live docker stats sample during load; neither average nor peak.
mtusi-lab2-api-1 CPU=99.56% Memory=62.46MiB / 512MiB
mtusi-lab2-postgres-1 CPU=11.76% Memory=39.64MiB / 512MiB
mtusi-lab2-valkey-1 CPU=7.36% Memory=3.77MiB / 128MiB
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 2,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 15.0,
"elapsed_seconds": 15.3,
"concurrency": 4,
"successful_requests": 1083,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 70.786,
"successful_latency_ms": {
"p50": 50.826,
"p95": 98.821,
"p99": 109.824
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+3
View File
@@ -0,0 +1,3 @@
PASS: versioned migrations applied (already applied versions skipped)
PASS: versioned migrations applied (already applied versions skipped)
PASS: two repeated migrations; all table counts and absolute session expiries unchanged: {'users': 50, 'chats': 18, 'chat_members': 30, 'messages': 22146, 'sessions': 39, 'schema_migrations': 1}
+9
View File
@@ -0,0 +1,9 @@
/mtusi-lab2-api-1 2026-10-23T14:02:23.376971704Z sha256:d17dea09ac6adf3ab6e4e9ca0e12286826aba878edd7110e07b1234546a4f713
/mtusi-lab2-postgres-1 2026-10-23T14:03:17.170328016Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
/mtusi-lab2-valkey-1 2026-10-23T14:03:15.90085233Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://api:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
/mtusi-lab2-api-1 2026-10-23T14:03:22.87874847Z sha256:d17dea09ac6adf3ab6e4e9ca0e12286826aba878edd7110e07b1234546a4f713
/mtusi-lab2-postgres-1 2026-10-23T14:03:22.522723549Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
/mtusi-lab2-valkey-1 2026-10-23T14:03:22.343578822Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
+56
View File
@@ -0,0 +1,56 @@
# Финальный release-audit — 23.10.2026 Europe/Moscow
Вердикт: **READY FOR PR**. Изменения остаются unstaged/uncommitted; ветка `solution/bvt2301-gamayunov`, HEAD skeleton `65003b6`. Оценка 4: весь уровень 3 + все четыре пункта уровня 4. Удалённый CI и PR не выполнялись.
Проверка заново опиралась на README/CONTRIBUTING/contracts/OpenAPI, исходники и реально запущенный чистый стенд; прежние PASS не принимались как единственное доказательство.
| Оригинальный критерий | Проверенный код / решение | Реальная проверка / доказательство | Итог |
| --- | --- | --- | --- |
| 3.1: минимум ЛР1 + сохранность данных/действующей сессии | main/store/models/pagination, PG volume, restart всех stores | release/smoke.txt, persistence.txt, session-persistence.txt; StartedAt до/после, прежний token, unchanged expires_at | PASS |
| 3.2: PG users/chats/members/messages, PK/FK/UNIQUE, миграции с нуля, атомарный чат | 001_initial.sql, migrate advisory lock, один connection transaction | release/bootstrap.txt: сначала 0 users/chats/messages; core: реальный FK rollback после INSERT родителя; migrations.txt | PASS |
| 3.3: Basic только login; Bearer/expiry/logout; X-User-Id не авторизует; KDF | security.py, require_user проверяет PG каждый запрос; Argon2id; opaque 256-bit token, только hash в PG | release/student.txt, smoke.txt, expiry.txt, session-persistence.txt; Unicode password 128 code points с ':' | PASS |
| 3.4: make test/test-persistence, повторяемые миграции, secrets/volumes вне Git | исходные Makefile/tests сохранены, restart без удаления данных | release/checks.txt, smoke.txt, persistence.txt, migrations.txt; Git ignore + private value scan | PASS |
| 4.1: реальный Redis/Valkey, TTL, истина/инвалидация/persistence | immutable public user profile cache, TTL60 без sliding; PG sessions остаются источником истины; AOF необязателен для корректности | core: INFO hits, key/TTL/expiry/refill/logout; failures: потеря Valkey безопасна | PASS |
| 4.2: параметры SQL, bounded pool/timeouts, username race/rollback | все значения psycopg parameters; max8/wait2/connect2/statement2; FK transaction | core: 12 регистраций = 1×201 + 11×409, rollback/counts; failures bounded requests | PASS |
| 4.3: индекс истории + EXPLAIN ANALYZE BUFFERS >=10000, без полного scan на страницу | messages_history(chat_id,created_at,id), tuple >, ORDER BY, LIMIT n+1 | release/explain.txt: 10000 строк, Index Scan в 3 позициях; 100 HTTP страниц без потерь/повторов | PASS |
| 4.4: auto expiry/logout/wrong password/Redis+DB outage, безопасная bounded ошибка | PG auth всегда перед профилем; cache fallback + budget 250ms | release/expiry.txt, student.txt, failures.txt; реальные stop/start, max HTTP 0.261 s (<4.5), без анонимного доверия | PASS |
## Найдено и исправлено
- `U+0000` в display_name/title/text раньше проходил валидатор, затем отказ PostgreSQL превращался в 503. Три проверки входных строк теперь дают 400 invalid_request; regression assertions добавлены в core. В чистом новом процессе/БД подтверждено: все три поля 400, ready остаётся 200. Архитектура/SQL-схема не менялись.
- Новый Git mode нельзя получить через `.gitattributes` или Windows chmod: `core.filemode=false`, три новых .sh ещё не находятся в индексе. Исправлен вводящий в заблуждение комментарий restart.sh; ниже даны точные команды для mode 100755. Агент их **не выполнял**.
- `src/errors.py` приведён из CRLF к LF согласно .gitattributes, чтобы Git-кандидат и Linux-образ совпадали побайтно. Это только окончания строк.
- REPORT/PR_DRAFT теперь ссылаются на свежий release-набор; старый load остаётся историческим замером образа d17dea09ac6a до валидации NUL. Нагрузка повторно не запускалась. Старый build.txt явно помечен историческим.
## Чистый запуск
Поскольку новые файлы ещё не committed и Git-записи запрещены, настоящий новый checkout этого решения невозможен. Экспортированы ровно tracked + untracked/non-ignored файлы-кандидаты (`git ls-files --cached --others --exclude-standard`), без .git/.env/secrets. Нормализованы окончания *.sh/*.py/*.sql согласно .gitattributes; для трёх новых .sh применены ожидаемые после staging права 0755. Исходный преподавательский restart.example.sh уже имеет Git mode 100755 и сохранён.
Экспорт помещён на новый Linux Docker volume mtusi-lab2-release-checkout, собран через исходный compose.yaml; создан отдельный проект mtusi-lab2-release с пустыми PostgreSQL/Valkey volumes и API_PORT=18082. Никакие teacher/source/service файлы не подменялись. Проверены:
1. init-env.sh дважды, локальные секреты с 700/444; non-root API UID10001 успешно читает mounted secrets.
2. compose config --quiet; profile test build; up -d --wait; 001_initial.sql и нули users/chats/messages до тестов.
3. scripts/run-checks.sh: make check/validate/test, core, expiry=2, повторные миграции, короткий EXPLAIN-тест на 10000, реальные stop/start Valkey/PG, публичный make test-persistence с ACTION_SCRIPT=scripts/restart.sh, неизменность expires_at.
4. Раздельные результаты скопированы в evidence/release/. Полный нагрузочный benchmark не повторялся.
5. Аудит-стенд остановлен через compose down без --volumes. Основной API обновлён тем же исправленным образом; повторный public smoke на исходной PG прошёл (release/host-smoke.txt). Все src/*.py и migrations/*.sql совпали с работающим контейнером по SHA-256 (release/build.txt).
COMPOSE_PROJECT_NAME=mtusi-lab2-release передавался и в tools, чтобы fault/restart hooks обращались только к изолированному проекту. Обычная инструкция REPORT использует имя mtusi-lab2 и не требует этого override.
## Репозиторий и staging
Teacher README/COURSE/CONTRIBUTING/contracts/tests/Makefile/.env.example/original CI/PR template не менялись относительно HEAD. `.env`, `secrets/`, volumes/, data/, *.pyc и __pycache__ исключены; Docker named volumes находятся вне checkout. Новые файлы перечислены в changed-files.txt; временный экспорт не находится внутри Git-репозитория. Проверены реальные значения приватных secret-файлов в кандидатах, значения/токены в evidence не публиковались. Индекс пуст; запрещённых Git-операций не выполнялось.
Команды ниже выполняет автор после проверки. Первая команда намеренно перечисляет только файлы решения; вторая явно задаёт mode новым shell-скриптам. После неё ожидаются ровно три строки с mode 100755. До staging такого mode в Git для untracked файлов ещё нет.
```sh
git add -- .gitattributes .github/workflows/application.yml Dockerfile compose.yaml requirements.txt requirements.lock src migrations student-tests infra/Dockerfile.tools infra/requirements-tools.lock scripts/init-env.ps1 REPORT.md PR_DRAFT.md evidence
git add --chmod=+x -- scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
git diff --cached --check
git ls-files --stage -- scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
git diff --cached --stat
git status --short
git commit -m "ЛР 2: PostgreSQL, сессии и Valkey — на 4"
git push -u origin solution/bvt2301-gamayunov
```
Заголовок PR строго по CONTRIBUTING: **ЛР 2 — БВТ2301 — Гамаюнов — на 4**. Тело — PR_DRAFT.md. Базовый репозиторий/ветку выбрать по выдаче преподавателя; автоматически они не выбирались. После ручной публикации дополнить поле Commit/PR в REPORT.md (при необходимости отдельным последующим изменением). Удалённый CI не проверялся; это не подменяет выполненные локальные проверки.
+12
View File
@@ -0,0 +1,12 @@
Fresh Linux export; no inherited secrets/data. Commands: init-env.sh twice; compose profile test build/up --wait; run-checks.sh.
700 secrets
444 secrets/postgres_password
444 secrets/database_url
444 secrets/cache_url
755 scripts/init-env.sh
755 scripts/restart.sh
755 scripts/run-checks.sh
001_initial.sql
0
0
0
+5
View File
@@ -0,0 +1,5 @@
Release audit 2026-10-23 Europe/Moscow. Commands: clean Linux export; compose --profile test build/up; scripts/run-checks.sh; host compose up --wait api; public smoke.
Running image=sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568 configured=mtusi-lab2-api:local
Built image=sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568
PASS: all src/*.py and migrations/*.sql hashes in actual updated host API equal working tree (LF, as required by .gitattributes).
{"migrations/001_initial.sql": "5154c63cca9b5068821e5270b3d8dbc14c542b88ae5ce65422d72874118a14e5", "src/__init__.py": "01ba4719c80b6fe911b091a7c05124b64eeece964e09c058ef8f9805daca546b", "src/cache.py": "0f92c67b59f57a1ac5ee44d99bb5d992efa208e1d3c6fa44e5b537b913be926c", "src/config.py": "7d18c6b03d1130ca633055599f13a002d05a722a86427f2c47700b65908223b5", "src/db.py": "d21da56f3551eef2fb7e930a184264a0731eef8d6eb531929e611f8fa3df4d47", "src/errors.py": "1561923a04ed06088ab23accf1c60429187b7fc8a468082ab0cdb2ccd0aafa53", "src/main.py": "5c36a8dc3fa3dc84c69ebbfee94d1536619ee090da8d5d49931a99bfbd25f436", "src/models.py": "886786c4fa8c962c3e619e11fb0ec05870887f8ebef1c3fc7790816947f8859c", "src/pagination.py": "bba67fcab7b6ead93c4848319feccecd5e608287f0e983981b04ce0e1ca4b8f3", "src/security.py": "43a8b463e41053fe8ab125570eb7e93bbbbc13e4f5b6599457cbec22c00dc4d6", "src/store.py": "dc8c9512979dba9d54617e27b19beb40ca45972dd8f294263144bb2de716c548"}
+4
View File
@@ -0,0 +1,4 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
python3 scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+1
View File
@@ -0,0 +1 @@
PASS: SESSION_TTL_SECONDS=2: immediate authentication succeeds; after 2.21s cached profile cannot bypass expiry/logout
+33
View File
@@ -0,0 +1,33 @@
Rows in test chat: 10000
Position: 0
Limit (cost=0.29..4.17 rows=51 width=70) (actual time=0.013..0.029 rows=51 loops=1)
Buffers: shared hit=3
-> Index Scan using messages_history on messages (cost=0.29..762.03 rows=10000 width=70) (actual time=0.012..0.022 rows=51 loops=1)
Index Cond: (chat_id = 'afb33e87-5203-44cd-8aaa-6352dd299bff'::uuid)
Buffers: shared hit=3
Planning:
Buffers: shared hit=20
Planning Time: 0.229 ms
Execution Time: 0.049 ms
Position: 5000
Limit (cost=0.29..5.43 rows=51 width=70) (actual time=0.011..0.023 rows=51 loops=1)
Buffers: shared hit=4
-> Index Scan using messages_history on messages (cost=0.29..503.22 rows=4981 width=70) (actual time=0.010..0.018 rows=51 loops=1)
Index Cond: ((chat_id = 'afb33e87-5203-44cd-8aaa-6352dd299bff'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.005001+00'::timestamp with time zone, '0c66c126-2dbf-49ff-a50d-6ffe6d9b9d0c'::uuid)))
Buffers: shared hit=4
Planning Time: 0.146 ms
Execution Time: 0.053 ms
Position: 9900
Limit (cost=0.29..68.37 rows=51 width=70) (actual time=0.086..0.104 rows=51 loops=1)
Buffers: shared hit=3
-> Index Scan using messages_history on messages (cost=0.29..135.12 rows=101 width=70) (actual time=0.085..0.097 rows=51 loops=1)
Index Cond: ((chat_id = 'afb33e87-5203-44cd-8aaa-6352dd299bff'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.009901+00'::timestamp with time zone, '1f3e9d78-d453-4240-8e54-585c7ee9e9a6'::uuid)))
Buffers: shared hit=3
Planning Time: 0.150 ms
Execution Time: 0.131 ms
PostgreSQL: 16.8 (Debian 16.8-1.pgdg120+1)
Durability: on on
PASS: actual EXPLAIN ANALYZE BUFFERS at first/middle/tail; API traversal 10000 rows, 100 pages, 1.907s
+4
View File
@@ -0,0 +1,4 @@
PASS: Valkey stopped: ready=200, authenticated read/write via PG, unknown/missing/revoked=401, outsider=404; scenario 0.363s
PASS: PostgreSQL stopped: ready/auth/write=503, live=200, no credentials=401, no cached authentication; scenario 0.056s
PASS: PostgreSQL recovery 2.737s, same valid token/data survive, revoked token remains revoked, rejected write absent
PASS: all 22 HTTP requests bounded below 4.5s; maximum 0.261s
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://api:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+3
View File
@@ -0,0 +1,3 @@
PASS: versioned migrations applied (already applied versions skipped)
PASS: versioned migrations applied (already applied versions skipped)
PASS: two repeated migrations; all table counts and absolute session expiries unchanged: {'users': 9, 'chats': 3, 'chat_members': 5, 'messages': 43, 'sessions': 6, 'schema_migrations': 1}
+9
View File
@@ -0,0 +1,9 @@
/mtusi-lab2-release-api-1 2026-10-23T14:41:25.192595559Z sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568
/mtusi-lab2-release-postgres-1 2026-10-23T14:43:17.90804068Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
/mtusi-lab2-release-valkey-1 2026-10-23T14:43:16.720128385Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://api:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
/mtusi-lab2-release-api-1 2026-10-23T14:43:23.222109188Z sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568
/mtusi-lab2-release-postgres-1 2026-10-23T14:43:22.82384855Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
/mtusi-lab2-release-valkey-1 2026-10-23T14:43:22.700262536Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
+6
View File
@@ -0,0 +1,6 @@
Release audit repository checks, 2026-10-23 Europe/Moscow.
PASS: correct existing branch; no changes to teacher files; index empty; git diff --check.
PASS: exactly three new shell scripts, shebang and LF verified. They remain untracked; explicit git add --chmod=+x required to set Git mode 100755.
PASS: REPORT evidence references resolve; changed-files manifest refreshed.
PASS: no local/release private secret values, private keys, ignored state, or files >=1MiB in submission candidates
PASS: Python/Compose/CI parse; existing load summary arithmetic/order correct; historical build provenance explicit
+1
View File
@@ -0,0 +1 @@
PASS: same opaque token authenticates after all services restart; absolute PG expires_at unchanged; only 32-byte token hash stored
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://api:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+7
View File
@@ -0,0 +1,7 @@
PASS: concurrent same username: 12 requests, 1 x 201, 11 x 409
PASS: unknown member FK after parent INSERT rolls back chat and memberships; duplicate/missing owner -> 400
PASS: NUL in display_name/title/text -> 400; PostgreSQL readiness remains 200
PASS: strict types/extra fields, malformed JSON, UUID, limits/cursors, blank/oversized text, outsider isolation
PASS: 40 concurrent writes; tied timestamp UUID ordering; complete keyset traversal, scoped cursors, changing limit, read-after-write
PASS: malformed Basic, wrong/unknown credentials uniform 401, X-User-Id ignored, 128-code-point UTF8 colon password, stored Argon2id
PASS: real Valkey GET hits, TTL <=60 without sliding; expiry/refill; logout rejects cached profile and repeated logout
+16
View File
@@ -0,0 +1,16 @@
# Матрица требований (до реализации, 2026-10-23)
| Критерий преподавателя | Решение / файлы | Проверка | Evidence |
| --- | --- | --- | --- |
| 3: API ЛР1, Bearer, права, cursor | src/models.py, pagination.py из собственной ЛР1; main.py, store.py | make test + student-tests | smoke.txt, student.txt |
| 3: PostgreSQL, PK/FK/UNIQUE, атомарный чат | migrations/001_initial.sql, src/db.py, store.py | с нуля; повтор миграций; ошибка FK после INSERT чата | migrations.txt, student.txt |
| 3: password KDF, Basic только login, expiry/logout | Argon2id, SHA-256 случайного 256-bit token, PG sessions | негативные, expiry=2, logout | student.txt, expiry.txt |
| 3: данные и сессии переживают все рестарты | PG named volume, restart.sh: api/postgres/valkey | make test-persistence, timestamps до/после | persistence.txt |
| 3: check/test, секреты вне Git | Docker tools, .gitignore/.dockerignore | make check/validate/test, git diff | checks.txt, audit.txt |
| 4: реальный Valkey с TTL | cache.py: immutable user profiles, PG truth, TTL 60; fail-open только кэш | cached key + TTL + hit; outage fallback | student.txt, failures.txt |
| 4: параметры, bounded pool/timeouts, гонка/rollback | psycopg, pool max8/wait2, SQL timeout2s | concurrent username + FK rollback | student.txt |
| 4: индекс истории, EXPLAIN >=10000 | (chat_id,created_at,id), keyset LIMIT n+1 | 10000 синтетических записей, ANALYZE, реальный EXPLAIN | explain.txt |
| 4: expiry/logout/wrong password/Redis/DB outage | student-tests, scripts | короткий TTL; stop/start только сервисов проекта | expiry.txt, failures.txt |
Не изменять README.md, COURSE.md, CONTRIBUTING.md, contracts/, tests/.
ЛР1: переносятся только собственные models/pagination/errors; in-memory store заменяется PostgreSQL; X-User-Id заменяется сессиями.
+30
View File
@@ -0,0 +1,30 @@
Command: docker compose exec -T postgres psql -U messenger -d messenger -At -c <pg_constraint / pg_indexes diagnostics>
chat_members|f|FOREIGN KEY (user_id) REFERENCES users(id)
chat_members|f|FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
chat_members|p|PRIMARY KEY (chat_id, user_id)
chats|c|CHECK ((((char_length(title) >= 1) AND (char_length(title) <= 100)) AND (btrim(title) <> ''::text)))
chats|p|PRIMARY KEY (id)
messages|c|CHECK ((((char_length(text) >= 1) AND (char_length(text) <= 4000)) AND (btrim(text) <> ''::text)))
messages|f|FOREIGN KEY (chat_id) REFERENCES chats(id)
messages|f|FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
messages|p|PRIMARY KEY (id)
schema_migrations|p|PRIMARY KEY (version)
sessions|c|CHECK ((octet_length(token_hash) = 32))
sessions|c|CHECK ((expires_at > created_at))
sessions|f|FOREIGN KEY (user_id) REFERENCES users(id)
sessions|p|PRIMARY KEY (token_hash)
users|c|CHECK ((username ~ '^[a-z0-9_]{3,32}$'::text))
users|c|CHECK ((((char_length(display_name) >= 1) AND (char_length(display_name) <= 100)) AND (btrim(display_name) <> ''::text)))
users|p|PRIMARY KEY (id)
users|u|UNIQUE (username)
chat_members|chat_members_pkey|CREATE UNIQUE INDEX chat_members_pkey ON public.chat_members USING btree (chat_id, user_id)
chat_members|chat_members_user|CREATE INDEX chat_members_user ON public.chat_members USING btree (user_id, chat_id)
chats|chats_order|CREATE INDEX chats_order ON public.chats USING btree (created_at, id)
chats|chats_pkey|CREATE UNIQUE INDEX chats_pkey ON public.chats USING btree (id)
messages|messages_history|CREATE INDEX messages_history ON public.messages USING btree (chat_id, created_at, id)
messages|messages_pkey|CREATE UNIQUE INDEX messages_pkey ON public.messages USING btree (id)
schema_migrations|schema_migrations_pkey|CREATE UNIQUE INDEX schema_migrations_pkey ON public.schema_migrations USING btree (version)
sessions|sessions_expiry|CREATE INDEX sessions_expiry ON public.sessions USING btree (expires_at)
sessions|sessions_pkey|CREATE UNIQUE INDEX sessions_pkey ON public.sessions USING btree (token_hash)
users|users_pkey|CREATE UNIQUE INDEX users_pkey ON public.users USING btree (id)
users|users_username_key|CREATE UNIQUE INDEX users_username_key ON public.users USING btree (username)
+1
View File
@@ -0,0 +1 @@
PASS: same opaque token authenticates after all services restart; absolute PG expires_at unchanged; only 32-byte token hash stored
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://api:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+6
View File
@@ -0,0 +1,6 @@
PASS: concurrent same username: 12 requests, 1 x 201, 11 x 409
PASS: unknown member FK after parent INSERT rolls back chat and memberships; duplicate/missing owner -> 400
PASS: strict types/extra fields, malformed JSON, UUID, limits/cursors, blank/oversized text, outsider isolation
PASS: 40 concurrent writes; tied timestamp UUID ordering; complete keyset traversal, scoped cursors, changing limit, read-after-write
PASS: malformed Basic, wrong/unknown credentials uniform 401, X-User-Id ignored, 128-code-point UTF8 colon password, stored Argon2id
PASS: real Valkey GET hits, TTL <=60 without sliding; expiry/refill; logout rejects cached profile and repeated logout
+8
View File
@@ -0,0 +1,8 @@
FROM docker:27.5.1-cli
RUN apk add --no-cache python3 py3-pip make && python3 -m venv /opt/venv
ENV PATH=/opt/venv/bin:$PATH PYTHONDONTWRITEBYTECODE=1
WORKDIR /workspace
COPY infra/requirements-tools.lock /tmp/requirements-tools.lock
RUN pip install --no-cache-dir -r /tmp/requirements-tools.lock
ENTRYPOINT []
CMD ["make", "check"]
+19
View File
@@ -0,0 +1,19 @@
attrs==26.1.0
certifi==2026.10.23
charset-normalizer==3.5.2
idna==3.20
jsonschema==4.26.0
jsonschema-path==0.3.4
jsonschema-specifications==2025.9.1
lazy-object-proxy==1.13.0
openapi-schema-validator==0.6.3
openapi-spec-validator==0.7.2
pathable==0.4.4
PyYAML==6.0.3
referencing==0.36.2
requests==2.34.2
rfc3339-validator==0.1.4
rpds-py==2026.9.1
six==1.17.0
typing_extensions==4.16.0
urllib3==2.8.0
+36
View File
@@ -0,0 +1,36 @@
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100 AND btrim(display_name) <> ''),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100 AND btrim(title) <> ''),
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
user_id uuid NOT NULL REFERENCES users(id),
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user ON chat_members(user_id, chat_id);
CREATE INDEX chats_order ON chats(created_at, id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id),
sender_id uuid NOT NULL,
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000 AND btrim(text) <> ''),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
);
CREATE INDEX messages_history ON messages(chat_id, created_at, id);
CREATE TABLE sessions (
token_hash bytea PRIMARY KEY CHECK (octet_length(token_hash) = 32),
user_id uuid NOT NULL REFERENCES users(id),
expires_at timestamptz NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CHECK (expires_at > created_at)
);
CREATE INDEX sessions_expiry ON sessions(expires_at);
+20
View File
@@ -0,0 +1,20 @@
annotated-types==0.8.0
anyio==4.15.1
argon2-cffi==23.1.0
argon2-cffi-bindings==26.1.0
cffi==2.1.1
click==8.5.0
fastapi==0.115.12
h11==0.16.0
idna==3.20
psycopg==3.2.6
psycopg-binary==3.2.6
psycopg-pool==3.2.6
pycparser==3.12
pydantic==2.11.3
pydantic_core==2.33.1
redis==5.2.1
starlette==0.46.2
typing-inspection==0.4.4
typing_extensions==4.16.0
uvicorn==0.34.2
+8
View File
@@ -0,0 +1,8 @@
fastapi==0.115.12
starlette==0.46.2
pydantic==2.11.3
uvicorn==0.34.2
psycopg[binary]==3.2.6
psycopg-pool==3.2.6
redis==5.2.1
argon2-cffi==23.1.0
+17
View File
@@ -0,0 +1,17 @@
$ErrorActionPreference = 'Stop'
Set-Location (Join-Path $PSScriptRoot '..')
$encoding = New-Object System.Text.UTF8Encoding($false)
New-Item -ItemType Directory -Force secrets | Out-Null
if (-not (Test-Path secrets/postgres_password)) {
$bytes = New-Object byte[] 32
$rng = [Security.Cryptography.RandomNumberGenerator]::Create()
$rng.GetBytes($bytes)
$rng.Dispose()
$password = [BitConverter]::ToString($bytes).Replace('-', '').ToLowerInvariant()
[IO.File]::WriteAllText((Join-Path $PWD 'secrets/postgres_password'), $password, $encoding)
}
$password = [IO.File]::ReadAllText((Join-Path $PWD 'secrets/postgres_password')).Trim()
[IO.File]::WriteAllText((Join-Path $PWD 'secrets/database_url'), "postgresql://messenger:${password}@postgres:5432/messenger", $encoding)
[IO.File]::WriteAllText((Join-Path $PWD 'secrets/cache_url'), 'redis://valkey:6379/0', $encoding)
if (-not (Test-Path .env)) { Copy-Item .env.example .env }
Write-Output 'Local configuration ready; secrets were not printed.'
+20
View File
@@ -0,0 +1,20 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
mkdir -p secrets
chmod 700 secrets
umask 077
if [ ! -f secrets/postgres_password ]; then
od -An -N32 -tx1 /dev/urandom | tr -d ' \n' > secrets/postgres_password
fi
password=$(cat secrets/postgres_password)
for file in secrets/database_url secrets/cache_url; do
[ ! -f "$file" ] || chmod u+w "$file"
done
printf 'postgresql://messenger:%s@postgres:5432/messenger' "$password" > secrets/database_url
printf 'redis://valkey:6379/0' > secrets/cache_url
# The parent directory protects host access; bind-mounted files must be readable
# by the non-root API user inside its container (Compose file secrets preserve modes).
chmod 444 secrets/postgres_password secrets/database_url secrets/cache_url
[ -f .env ] || cp .env.example .env
printf '%s\n' 'Local configuration ready; secrets were not printed.'
+6
View File
@@ -0,0 +1,6 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# Stage this script with Git mode 100755; filesystem chmod alone is insufficient on Windows.
# All three application dependencies are restarted; volumes are preserved.
docker compose --env-file .env restart api postgres valkey
+19
View File
@@ -0,0 +1,19 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
mkdir -p evidence
# Run from host: docker compose --profile test run --rm tools sh scripts/run-checks.sh
# Container has the workspace and Docker socket; it is a trusted operator tool only.
make check validate > evidence/checks.txt 2>&1
make test BASE_URL=http://api:8080 > evidence/smoke.txt 2>&1
python student-tests/grade4.py core > evidence/student.txt 2>&1
python student-tests/grade4.py expiry --base-url http://api-expiry:8080 > evidence/expiry.txt 2>&1
python student-tests/grade4.py migrations > evidence/migrations.txt 2>&1
python student-tests/grade4.py explain > evidence/explain.txt 2>&1
python student-tests/grade4.py failures > evidence/failures.txt 2>&1
docker compose ps -q api postgres valkey | xargs docker inspect --format '{{.Name}} {{.State.StartedAt}} {{.Image}}' > evidence/persistence.txt
chmod +x scripts/restart.sh
make test-persistence BASE_URL=http://api:8080 ACTION_SCRIPT=scripts/restart.sh >> evidence/persistence.txt 2>&1
docker compose ps -q api postgres valkey | xargs docker inspect --format '{{.Name}} {{.State.StartedAt}} {{.Image}}' >> evidence/persistence.txt
python student-tests/grade4.py persistence_meta > evidence/session-persistence.txt 2>&1
printf '%s\n' 'PASS: all grade 3/4 checks completed; inspect evidence/*.txt'
+1
View File
@@ -0,0 +1 @@
+55
View File
@@ -0,0 +1,55 @@
import json
from concurrent.futures import ThreadPoolExecutor, TimeoutError
from threading import BoundedSemaphore, Lock
from time import monotonic
import redis
from src.config import secret
cache = redis.Redis.from_url(secret("CACHE_URL"), decode_responses=True,
socket_connect_timeout=0.2, socket_timeout=0.2,
retry_on_timeout=False, max_connections=4)
CACHE_TTL = 60
# A socket timeout alone does not bound DNS resolution when the container is down.
# Bound the complete optional operation and the number of pending worker tasks.
workers = ThreadPoolExecutor(max_workers=4, thread_name_prefix="profile-cache")
slots = BoundedSemaphore(4)
state_lock = Lock()
unavailable_until = 0.0
def optional_call(method, *args, **kwargs):
global unavailable_until
with state_lock:
if monotonic() < unavailable_until:
return None
if not slots.acquire(blocking=False):
return None
future = workers.submit(method, *args, **kwargs)
future.add_done_callback(lambda _: slots.release())
try:
return future.result(timeout=0.25)
except (redis.RedisError, TimeoutError):
with state_lock:
unavailable_until = monotonic() + 5
future.cancel()
return None
def profile(user_id, load):
# Profiles are immutable in this API. Session validity is ALWAYS checked in PG.
# Only public fields are cached, never passwords, hashes or bearer tokens.
key = "profile:" + user_id
value = optional_call(cache.get, key)
if value:
try:
data = json.loads(value)
if data.get("id") == user_id and set(data) == {"id", "username", "display_name", "created_at"}:
return data
except (ValueError, TypeError, AttributeError):
pass
data = load()
if data:
optional_call(cache.set, key, json.dumps(data), ex=CACHE_TTL)
return data
+16
View File
@@ -0,0 +1,16 @@
import os
from pathlib import Path
def secret(name):
path = os.environ.get(name + "_FILE")
if path:
return Path(path).read_text().strip()
raise RuntimeError(f"{name}_FILE is required")
SESSION_TTL = int(os.getenv("SESSION_TTL_SECONDS", "3600"))
if not 1 <= SESSION_TTL <= 604800:
raise RuntimeError("SESSION_TTL_SECONDS must be 1..604800")
if os.getenv("SESSION_STORE", "postgres") != "postgres":
raise RuntimeError("This implementation uses PostgreSQL sessions")
+40
View File
@@ -0,0 +1,40 @@
from contextlib import contextmanager
from pathlib import Path
import psycopg
from psycopg.rows import dict_row
from psycopg_pool import ConnectionPool
from src.config import secret
pool = ConnectionPool(
conninfo=secret("DATABASE_URL"), min_size=1, max_size=8,
timeout=2, max_waiting=32, reconnect_timeout=5, open=False,
kwargs={"connect_timeout": 2, "row_factory": dict_row,
"options": "-c statement_timeout=2000 -c lock_timeout=1500 -c idle_in_transaction_session_timeout=5000 -c timezone=UTC"},
)
def migrate():
# One transaction + advisory lock serializes concurrent API bootstraps.
with psycopg.connect(secret("DATABASE_URL"), connect_timeout=3) as conn:
conn.execute("SET LOCAL lock_timeout = '10s'")
conn.execute("SET LOCAL statement_timeout = '15s'")
conn.execute("SELECT pg_advisory_xact_lock(202602)")
conn.execute("CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())")
for path in sorted((Path(__file__).resolve().parents[1] / "migrations").glob("*.sql")):
if not conn.execute("SELECT 1 FROM schema_migrations WHERE version=%s", (path.name,)).fetchone():
conn.execute(path.read_text())
conn.execute("INSERT INTO schema_migrations(version) VALUES (%s)", (path.name,))
@contextmanager
def connection():
with pool.connection() as conn:
# psycopg context commits on success, rolls back on EVERY exception.
yield conn
if __name__ == "__main__":
migrate()
print("PASS: versioned migrations applied (already applied versions skipped)")
+34
View File
@@ -0,0 +1,34 @@
from fastapi import Request
from fastapi.responses import JSONResponse
class ApiError(Exception):
def __init__(
self,
status_code: int,
code: str,
message: str,
):
self.status_code = status_code
self.code = code
self.message = message
def error_response(
request: Request,
status_code: int,
code: str,
message: str,
) -> JSONResponse:
request_id = request.state.request_id
return JSONResponse(
status_code=status_code,
content={
"error": {
"code": code,
"message": message,
"request_id": request_id,
}
},
)
+160
View File
@@ -0,0 +1,160 @@
import hashlib
import logging
import secrets
from contextlib import asynccontextmanager
from uuid import UUID, uuid4
import anyio
import psycopg
from fastapi import Depends, FastAPI, Query, Request, Response
from fastapi.exceptions import RequestValidationError
from psycopg_pool import PoolTimeout, TooManyRequests
from starlette.exceptions import HTTPException
from src import store
from src.cache import profile
from src.config import SESSION_TTL
from src.db import connection, migrate, pool
from src.errors import ApiError, error_response
from src.models import Chat, ChatPage, CreateChat, CreateMessage, CreateUser, Message, MessagePage, User
from src.security import basic_credentials, hasher, token_hash, unauthorized, verify
@asynccontextmanager
async def lifespan(app):
# Startup happens before serving requests; migrations also work via python -m src.db.
anyio.to_thread.current_default_thread_limiter().total_tokens = 16
migrate()
pool.open()
pool.wait(timeout=10)
yield
pool.close()
app = FastAPI(title="MTUSI Messenger", version="1.2.0", lifespan=lifespan,
docs_url=None, redoc_url=None, openapi_url=None)
def failure(request, status, code, message):
response = error_response(request, status, code, message)
if status == 401:
basic = request.url.path == "/api/v1/auth/sessions"
response.headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"' if basic else 'Bearer realm="messenger"')
return response
@app.middleware("http")
async def request_context(request, call_next):
request.state.request_id = str(uuid4())
try:
if request.method == "POST" and request.url.path == "/api/v1/auth/sessions" and await request.body():
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
response = await call_next(request)
except ApiError as exc:
response = failure(request, exc.status_code, exc.code, exc.message)
except (psycopg.Error, PoolTimeout, TooManyRequests):
response = failure(request, 503, "unavailable", "Хранилище временно недоступно")
except Exception as exc:
logging.error("Unhandled request error: %s", type(exc).__name__)
response = failure(request, 500, "internal_error", "Внутренняя ошибка сервера")
response.headers['X-Request-Id'] = request.state.request_id
return response
@app.exception_handler(ApiError)
async def api_error(request, exc):
return failure(request, exc.status_code, exc.code, exc.message)
@app.exception_handler(RequestValidationError)
async def validation_error(request, exc):
return failure(request, 400, "invalid_request", "Некорректный запрос")
@app.exception_handler(HTTPException)
async def http_error(request, exc):
return failure(request, exc.status_code, "not_found" if exc.status_code == 404 else "invalid_request", "Недопустимый HTTP-запрос")
def require_user(request: Request):
digest = token_hash(request.headers.get('Authorization'))
with connection() as conn:
row = conn.execute("SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at > clock_timestamp()", (digest,)).fetchone()
if row is None:
unauthorized()
user_id = str(row['user_id'])
user = profile(user_id, lambda: store.load_user(user_id))
if user is None:
unauthorized()
request.state.token_hash = digest
return User(**user)
@app.get('/health/live')
def live():
return {"status": "ok"}
@app.get('/health/ready')
def ready():
with connection() as conn:
conn.execute("SELECT 1").fetchone()
return {"status": "ok"}
@app.post('/api/v1/users', status_code=201, response_model=User)
def register(data: CreateUser):
return store.create_user(data, hasher.hash(data.password))
@app.post('/api/v1/auth/sessions', status_code=201)
def login(request: Request):
username, password = basic_credentials(request.headers.get('Authorization'))
with connection() as conn:
row = conn.execute("SELECT id,username,display_name,created_at,password_hash FROM users WHERE username=%s", (username,)).fetchone()
valid = verify(row['password_hash'] if row else None, password)
if not row or not valid:
unauthorized()
token = secrets.token_urlsafe(32)
digest = hashlib.sha256(token.encode('ascii')).digest()
with connection() as conn:
result = conn.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES (%s,%s,clock_timestamp() + %s * interval '1 second') RETURNING expires_at", (digest, row['id'], SESSION_TTL)).fetchone()
del row['password_hash']
return {"token": token, "token_type": "Bearer", "expires_at": store.public(result['expires_at']), "user": store.public(row)}
@app.delete('/api/v1/auth/sessions/current', status_code=204)
def logout(request: Request, user: User = Depends(require_user)):
with connection() as conn:
conn.execute("DELETE FROM sessions WHERE token_hash=%s", (request.state.token_hash,))
return Response(status_code=204)
@app.get('/api/v1/users/me', response_model=User)
def me(user: User = Depends(require_user)):
return user
@app.post('/api/v1/chats', status_code=201, response_model=Chat)
def create_chat(data: CreateChat, user: User = Depends(require_user)):
return store.create_chat(data, user.id)
@app.get('/api/v1/chats', response_model=ChatPage)
def chats(user: User = Depends(require_user), limit: int = Query(50, ge=1, le=100), cursor: str | None = Query(None, min_length=1, max_length=2048)):
return store.list_chats(user.id, limit, cursor)
@app.get('/api/v1/chats/{chat_id}', response_model=Chat)
def chat(chat_id: UUID, user: User = Depends(require_user)):
return store.get_chat(str(chat_id), user.id)
@app.post('/api/v1/chats/{chat_id}/messages', status_code=201, response_model=Message)
def send(chat_id: UUID, data: CreateMessage, user: User = Depends(require_user)):
return store.create_message(str(chat_id), user.id, data.text)
@app.get('/api/v1/chats/{chat_id}/messages', response_model=MessagePage)
def history(chat_id: UUID, user: User = Depends(require_user), limit: int = Query(50, ge=1, le=100), cursor: str | None = Query(None, min_length=1, max_length=2048)):
return store.list_messages(str(chat_id), user.id, limit, cursor)
+140
View File
@@ -0,0 +1,140 @@
from pydantic import BaseModel, ConfigDict, Field, field_validator
from uuid import UUID
class CreateUser(BaseModel):
model_config = ConfigDict(
extra="forbid",
strict=True,
)
username: str = Field(
min_length=3,
max_length=32,
pattern=r"^[a-z0-9_]{3,32}$",
)
display_name: str = Field(
min_length=1,
max_length=100,
)
@field_validator("display_name")
@classmethod
def display_name_must_not_be_blank(cls, value: str) -> str:
if not value.strip() or "\x00" in value:
raise ValueError("display_name must not be blank")
return value
password: str = Field(min_length=12, max_length=128)
@field_validator("password")
@classmethod
def password_must_not_be_blank(cls, value: str) -> str:
if not value.strip():
raise ValueError("password must not be blank")
return value
class User(BaseModel):
model_config = ConfigDict(extra="forbid")
id: str
username: str
display_name: str
created_at: str
class CreateChat(BaseModel):
model_config = ConfigDict(
extra="forbid",
strict=True,
)
title: str = Field(
min_length=1,
max_length=100,
)
member_ids: list[str] = Field(
min_length=1,
max_length=100,
)
@field_validator("title")
@classmethod
def title_must_not_be_blank(cls, value: str) -> str:
if not value.strip() or "\x00" in value:
raise ValueError("title must not be blank")
return value
@field_validator("member_ids")
@classmethod
def validate_member_ids(cls, value: list[str]) -> list[str]:
normalized = []
for member_id in value:
try:
normalized.append(str(UUID(member_id)))
except (ValueError, TypeError):
raise ValueError("member_ids must contain valid UUIDs") from None
if len(normalized) != len(set(normalized)):
raise ValueError("member_ids must be unique")
return normalized
class Chat(BaseModel):
model_config = ConfigDict(extra="forbid")
id: str
title: str
member_ids: list[str]
created_at: str
class ChatPage(BaseModel):
model_config = ConfigDict(extra="forbid")
items: list[Chat]
next_cursor: str | None
class CreateMessage(BaseModel):
model_config = ConfigDict(
extra="forbid",
strict=True,
)
text: str = Field(
min_length=1,
max_length=4000,
)
@field_validator("text")
@classmethod
def text_must_not_be_blank(cls, value: str) -> str:
if not value.strip() or "\x00" in value:
raise ValueError("text must not be blank")
return value
class Message(BaseModel):
model_config = ConfigDict(extra="forbid")
id: str
chat_id: str
sender_id: str
text: str
created_at: str
class MessagePage(BaseModel):
model_config = ConfigDict(extra="forbid")
items: list[Message]
next_cursor: str | None
+74
View File
@@ -0,0 +1,74 @@
import base64
import json
import re
from datetime import datetime
from uuid import UUID
from src.errors import ApiError
def encode_cursor(
resource: str,
owner_id: str,
created_at: str,
object_id: str,
) -> str:
payload = {
"resource": resource,
"owner_id": owner_id,
"created_at": created_at,
"id": object_id,
}
raw = json.dumps(
payload,
separators=(",", ":"),
).encode("utf-8")
return base64.urlsafe_b64encode(raw).decode("ascii").rstrip("=")
def decode_cursor(
cursor: str,
expected_resource: str,
expected_owner_id: str,
) -> tuple[str, str]:
try:
if not re.fullmatch(r"[A-Za-z0-9_-]+", cursor):
raise ValueError
padding = "=" * (-len(cursor) % 4)
raw = base64.b64decode(
(cursor + padding).encode("ascii"), altchars=b"-_", validate=True
)
payload = json.loads(raw.decode("utf-8"))
if payload["resource"] != expected_resource:
raise ValueError
if payload["owner_id"] != expected_owner_id:
raise ValueError
created_at = payload["created_at"]
object_id = payload["id"]
# The cursor must carry the same UTC timestamp format produced
# by the server. Invalid timestamps must return HTTP 400 before a SQL cast.
if not isinstance(created_at, str) or not re.fullmatch(
r"\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}(?:\.\d+)?Z",
created_at,
):
raise ValueError
datetime.fromisoformat(created_at.replace("Z", "+00:00"))
UUID(object_id)
return created_at, object_id
except Exception:
raise ApiError(
status_code=400,
code="invalid_request",
message="Некорректный cursor",
)
+47
View File
@@ -0,0 +1,47 @@
import base64
import hashlib
import re
import secrets
from argon2 import PasswordHasher
from argon2.exceptions import VerificationError, InvalidHashError
from src.errors import ApiError
# Explicit bounded Argon2id parameters: 19 MiB, 2 passes, one lane.
hasher = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
DUMMY_HASH = hasher.hash(secrets.token_urlsafe(32))
def unauthorized():
raise ApiError(401, "unauthorized", "Требуется действительная сессия")
def basic_credentials(header):
try:
scheme, value = header.split(" ", 1)
if scheme.lower() != "basic":
raise ValueError
username, password = base64.b64decode(value, validate=True).decode("utf-8").split(":", 1)
if not re.fullmatch(r"[a-z0-9_]{3,32}", username) or not 12 <= len(password) <= 128:
raise ValueError
return username, password
except (ValueError, UnicodeError, AttributeError):
unauthorized()
def verify(encoded, password):
try:
return hasher.verify(encoded or DUMMY_HASH, password)
except (VerificationError, InvalidHashError):
return False
def token_hash(header):
try:
scheme, token = header.split(" ", 1)
if scheme.lower() != "bearer" or not re.fullmatch(r"[A-Za-z0-9_-]{43}", token):
raise ValueError
return hashlib.sha256(token.encode("ascii")).digest()
except (ValueError, AttributeError):
unauthorized()
+117
View File
@@ -0,0 +1,117 @@
from datetime import datetime
from uuid import UUID, uuid4
from psycopg.errors import ForeignKeyViolation, UniqueViolation
from src.db import connection
from src.errors import ApiError
from src.pagination import decode_cursor, encode_cursor
def public(value):
if isinstance(value, dict):
return {key: public(item) for key, item in value.items()}
if isinstance(value, list):
return [public(item) for item in value]
if isinstance(value, UUID):
return str(value)
if isinstance(value, datetime):
return value.isoformat().replace("+00:00", "Z")
return value
def create_user(data, password_hash):
try:
with connection() as conn:
row = conn.execute(
"INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) RETURNING id,username,display_name,created_at",
(uuid4(), data.username, data.display_name, password_hash),
).fetchone()
return public(row)
except UniqueViolation:
raise ApiError(409, "conflict", "Username уже занят") from None
def load_user(user_id):
with connection() as conn:
row = conn.execute("SELECT id,username,display_name,created_at FROM users WHERE id=%s", (user_id,)).fetchone()
return public(row)
def create_chat(data, caller):
if caller not in data.member_ids:
raise ApiError(400, "invalid_request", "Создатель должен входить в member_ids")
try:
with connection() as conn:
chat = conn.execute("INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING id,title,created_at", (uuid4(), data.title)).fetchone()
# FK errors here MUST roll back the already inserted parent chat.
with conn.cursor() as cursor:
cursor.executemany("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)", [(chat['id'], member) for member in data.member_ids])
chat['member_ids'] = data.member_ids
return public(chat)
except ForeignKeyViolation:
raise ApiError(400, "invalid_request", "Указан неизвестный участник") from None
CHAT_SELECT = """SELECT c.id,c.title,c.created_at,
ARRAY(SELECT user_id FROM chat_members WHERE chat_id=c.id ORDER BY user_id) AS member_ids
FROM chats c WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id=c.id AND m.user_id=%s)"""
def get_chat(chat_id, user_id):
with connection() as conn:
row = conn.execute(CHAT_SELECT + " AND c.id=%s", (user_id, chat_id)).fetchone()
if not row:
raise ApiError(404, "not_found", "Объект не найден")
return public(row)
def page(rows, limit, resource, owner):
items = public(rows[:limit])
cursor = None
if len(rows) > limit:
last = items[-1]
cursor = encode_cursor(resource, owner, last['created_at'], last['id'])
return {"items": items, "next_cursor": cursor}
def list_chats(user_id, limit, cursor):
params = [user_id]
sql = CHAT_SELECT
if cursor is not None:
timestamp, object_id = decode_cursor(cursor, "chats", user_id)
sql += " AND (c.created_at,c.id) > (%s::timestamptz,%s::uuid)"
params += [timestamp, object_id]
sql += " ORDER BY c.created_at,c.id LIMIT %s"
params.append(limit + 1)
with connection() as conn:
rows = conn.execute(sql, params).fetchall()
return page(rows, limit, "chats", user_id)
def create_message(chat_id, user_id, text):
with connection() as conn:
row = conn.execute("""INSERT INTO messages(id,chat_id,sender_id,text)
SELECT %s,%s,%s,%s WHERE EXISTS (
SELECT 1 FROM chat_members WHERE chat_id=%s AND user_id=%s)
RETURNING id,chat_id,sender_id,text,created_at""",
(uuid4(), chat_id, user_id, text, chat_id, user_id)).fetchone()
if not row:
raise ApiError(404, "not_found", "Объект не найден")
return public(row)
def list_messages(chat_id, user_id, limit, cursor):
params = [chat_id]
sql = "SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s"
if cursor is not None:
timestamp, object_id = decode_cursor(cursor, "messages", chat_id)
sql += " AND (created_at,id) > (%s::timestamptz,%s::uuid)"
params += [timestamp, object_id]
sql += " ORDER BY created_at,id LIMIT %s"
params.append(limit + 1)
with connection() as conn:
if not conn.execute("SELECT 1 FROM chat_members WHERE chat_id=%s AND user_id=%s", (chat_id, user_id)).fetchone():
raise ApiError(404, "not_found", "Объект не найден")
rows = conn.execute(sql, params).fetchall()
return page(rows, limit, "messages", chat_id)
+25
View File
@@ -0,0 +1,25 @@
# Собственные проверки ЛР2
Только синтетический локальный стенд mtusi-lab2. Публичные tests/ не изменяются.
```sh
docker compose --env-file .env --profile test up -d --build --wait api api-expiry
docker compose --profile test run --rm tools sh scripts/run-checks.sh
```
`grade4.py core`: concurrent registration (12), parent INSERT followed by actual FK rollback,
strict contract negatives, 40 concurrent writes, equal timestamps, scoped keyset cursors,
read-after-write, auth, Unicode/colon password at 128 code points, real Valkey hits/TTL/refill/logout.
`expiry`: separate api-expiry process with SESSION_TTL_SECONDS=2, valid then expired token.
`explain`: inserts 10000 new rows into a dedicated chat, EXPLAIN ANALYZE BUFFERS at 3 positions,
then traverses all 100 pages through the real HTTP API.
`failures`: actually stops/starts Valkey and PostgreSQL of THIS project only; checks fallback,
503/401/404, bounded requests, recovery with old token, confirmed data and rejected write absence.
The tools container mounts the Docker socket to run operator fault/restart hooks; never deploy
it on a shared untrusted host or expose it as a public service. Normal API does not mount socket.
Evidence contains only summaries and query plans, no credentials or tokens.
`migrations` additionally compares all table counts and session expiry fingerprints before/after two migration runs.
`persistence_meta` verifies unchanged absolute expires_at after restarting all three services.
`python student-tests/load_measure.py` runs the public 15s load and samples scoped Docker stats during it.
+294
View File
@@ -0,0 +1,294 @@
#!/usr/bin/env python3
"""Black-box and real database/fault tests. Synthetic data; never print credentials.
Run inside Compose tools (Docker socket needed only for DB inspection/faults).
"""
import argparse
import base64
from concurrent.futures import ThreadPoolExecutor
import datetime as dt
import hashlib
import json
from pathlib import Path
import subprocess
import sys
import time
from urllib.parse import quote
import uuid
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, check, timestamp
def compose(*args, input=None):
result = subprocess.run(['docker', 'compose', '--env-file', '.env', *args],
input=input, text=True, capture_output=True, timeout=75)
check(result.returncode == 0, 'compose ' + args[0] + ' failed (inspect service health locally)')
return result.stdout.strip()
def db(code):
source = "import json, psycopg\nfrom src.config import secret\nfrom src.store import public\nwith psycopg.connect(secret('DATABASE_URL')) as conn:\n" + ''.join(' ' + line + '\n' for line in code.splitlines())
return compose('exec', '-T', 'api', 'python', '-', input=source)
def counts():
return json.loads(db("print(json.dumps([conn.execute('SELECT count(*) FROM chats').fetchone()[0], conn.execute('SELECT count(*) FROM chat_members').fetchone()[0]]))"))
def walk(c, actor, chat, limit=17):
path = '/api/v1/chats/' + chat['id'] + '/messages?limit=' + str(limit)
items = []
for _ in range(1000):
page = c.call('GET', path, actor=actor, schema='MessagePage')['json']
items.extend(page['items'])
if page['next_cursor'] is None:
return items
path = '/api/v1/chats/' + chat['id'] + '/messages?limit=' + str(limit) + '&cursor=' + quote(page['next_cursor'], safe='')
raise AssertionError('pagination failed to terminate')
def core(base):
c = Client(base)
alice, bob, eve, chat = c.bootstrap()
path = '/api/v1/chats/' + chat['id']
body = dict(alice['registration'], username='race_' + uuid.uuid4().hex[:16])
def register(_):
return Client(base).call('POST', '/api/v1/users', [201, 409], body=body)['status']
with ThreadPoolExecutor(max_workers=12) as executor:
statuses = list(executor.map(register, range(12)))
check(statuses.count(201) == 1 and statuses.count(409) == 11, 'duplicate registration race not serialized')
print('PASS: concurrent same username: 12 requests, 1 x 201, 11 x 409')
before = counts()
c.call('POST', '/api/v1/chats', 400, actor=alice,
body={'title': 'rollback', 'member_ids': [alice['id'], str(uuid.uuid4())]})
check(counts() == before, 'failed composite operation left a parent or membership behind')
for members in ([alice['id'], alice['id']], [bob['id']]):
c.call('POST', '/api/v1/chats', 400, actor=alice, body={'title': 'invalid', 'member_ids': members})
print('PASS: unknown member FK after parent INSERT rolls back chat and memberships; duplicate/missing owner -> 400')
for body_bad in ({'text': 'a\x00b'}, {'text': 'x', 'sender_id': eve['id']}, {'text': ' '}, {'text': 123}, {'text': 'x' * 4001}):
c.call('POST', path + '/messages', 400, actor=alice, body=body_bad)
for bad_user in (dict(alice['registration'], password='short'), dict(alice['registration'], password=' ' * 12), dict(alice['registration'], admin=True),
dict(alice['registration'], display_name='a\x00b'), dict(alice['registration'], display_name=' '), dict(alice['registration'], username='BAD')):
c.call('POST', '/api/v1/users', 400, body=bad_user)
c.call('POST', '/api/v1/chats', 400, actor=alice, body={'title': 'a\x00b', 'member_ids': [alice['id']]})
c.call('GET', '/health/ready', schema='Health')
print('PASS: NUL in display_name/title/text -> 400; PostgreSQL readiness remains 200')
c.call('POST', '/api/v1/users', 400, raw=b'{', headers={'Content-Type': 'application/json'})
for limit in ('0', '101', 'abc', '1.5'):
c.call('GET', path + '/messages?limit=' + limit, 400, actor=alice)
for cursor in ('bad', '!', base64.urlsafe_b64encode(b'{}').decode()):
c.call('GET', path + '/messages?cursor=' + quote(cursor), 400, actor=alice)
for suffix in ('', '/messages'):
c.call('GET', path + suffix, 404, actor=eve)
c.call('POST', path + '/messages', 404, actor=eve, body={'text': 'denied'})
c.call('GET', '/api/v1/chats/not-a-uuid', 400, actor=alice)
print('PASS: strict types/extra fields, malformed JSON, UUID, limits/cursors, blank/oversized text, outsider isolation')
def send(i):
return Client(base).message(alice if i % 2 == 0 else bob, chat, 'parallel-' + str(i))['json']
with ThreadPoolExecutor(max_workers=8) as executor:
sent = list(executor.map(send, range(40)))
# Deliberately force equal timestamps to exercise the UUID tie-breaker.
db("conn.execute('UPDATE messages SET created_at=%s WHERE chat_id=%s', ('2026-01-01T00:00:00Z', '" + chat['id'] + "'))")
items = walk(c, bob, chat)
check({m['id'] for m in items} == {m['id'] for m in sent}, 'lost concurrent message')
check(len(items) == 40 and len({m['id'] for m in items}) == 40, 'duplicate page/message')
check(items == sorted(items, key=lambda x: (timestamp(x['created_at']), uuid.UUID(x['id']).int)), 'incorrect tuple ordering')
first = c.call('GET', path + '/messages?limit=1', actor=alice, schema='MessagePage')['json']
c.call('GET', path + '/messages?cursor=' + quote(first['next_cursor'] + '!'), 400, actor=alice)
second_chat = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'cursor scope', 'member_ids': [alice['id']]}, schema='Chat')['json']
c.call('GET', '/api/v1/chats/' + second_chat['id'] + '/messages?cursor=' + quote(first['next_cursor']), 400, actor=alice)
continuation = c.call('GET', path + '/messages?limit=100&cursor=' + quote(first['next_cursor']), actor=bob, schema='MessagePage')['json']
check(len(continuation['items']) == 39 and continuation['next_cursor'] is None, 'changing limit failed')
chats_page = c.call('GET', '/api/v1/chats?limit=1', actor=alice, schema='ChatPage')['json']
check(chats_page['next_cursor'], 'missing chat cursor')
c.call('GET', '/api/v1/chats?cursor=' + quote(chats_page['next_cursor']), 400, actor=bob)
confirmed = c.message(alice, chat, 'read-after-write')['json']
check(confirmed in walk(c, bob, chat), 'confirmed write invisible on next read')
print('PASS: 40 concurrent writes; tied timestamp UUID ordering; complete keyset traversal, scoped cursors, changing limit, read-after-write')
for header in ('Basic invalid!', 'Bearer unknown', 'Digest xyz'):
c.call('POST', '/api/v1/auth/sessions', 401, headers={'Authorization': header})
wrong = base64.b64encode((alice['registration']['username'] + ':wrong-password').encode()).decode()
unknown = base64.b64encode(('unknown_' + uuid.uuid4().hex[:10] + ':wrong-password').encode()).decode()
a = c.call('POST', '/api/v1/auth/sessions', 401, headers={'Authorization': 'Basic ' + wrong})
b = c.call('POST', '/api/v1/auth/sessions', 401, headers={'Authorization': 'Basic ' + unknown})
check(a['json']['error']['message'] == b['json']['error']['message'], 'credential error leaks user existence')
c.call('GET', '/api/v1/users/me', 401, headers={'X-User-Id': alice['id']})
c.call('GET', '/api/v1/users/me', 401, headers={'Authorization': 'Basic ' + wrong})
c.call('GET', '/api/v1/users/me', actor=alice, headers={'X-User-Id': eve['id']}, schema='User')
# Entire UTF-8 range and colon survive the KDF and Basic split(':', 1).
registration = {'username': 'utf_' + uuid.uuid4().hex[:16], 'display_name': 'Юникод', 'password': '🙂:' * 64}
user = c.call('POST', '/api/v1/users', 201, body=registration, schema='User')['json']
credential = base64.b64encode((registration['username'] + ':' + registration['password']).encode()).decode()
session = c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + credential}, schema='Session')['json']
check(session['user'] == user, 'UTF8/128-code-point password failed')
c.call('POST', '/api/v1/auth/sessions', 400, body={}, headers={'Authorization': 'Basic ' + credential})
hash_status = db("row = conn.execute('SELECT password_hash FROM users WHERE id=%s', ('" + user['id'] + "',)).fetchone()\nprint(row[0].startswith('$argon2id$'))")
check(hash_status == 'True', 'password is not an Argon2id hash')
print('PASS: malformed Basic, wrong/unknown credentials uniform 401, X-User-Id ignored, 128-code-point UTF8 colon password, stored Argon2id')
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
key = 'profile:' + alice['id']
ttl = int(compose('exec', '-T', 'valkey', 'valkey-cli', 'TTL', key))
check(0 < ttl <= 60, 'Valkey profile missing TTL')
cached = json.loads(compose('exec', '-T', 'valkey', 'valkey-cli', 'GET', key))
check(cached == alice['user'], 'Valkey public profile cache mismatch')
def hits():
info = compose('exec', '-T', 'valkey', 'valkey-cli', 'INFO', 'stats')
return int(next(line.split(':')[1] for line in info.splitlines() if line.startswith('keyspace_hits:')))
hits_before = hits()
for _ in range(3):
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
check(hits() >= hits_before + 3, 'Valkey is not serving profile hits')
check(int(compose('exec', '-T', 'valkey', 'valkey-cli', 'TTL', key)) <= ttl, 'cache hits extend TTL')
compose('exec', '-T', 'valkey', 'valkey-cli', 'EXPIRE', key, '1')
time.sleep(1.1)
check(compose('exec', '-T', 'valkey', 'valkey-cli', 'EXISTS', key) == '0', 'cache TTL did not expire')
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
check(int(compose('exec', '-T', 'valkey', 'valkey-cli', 'TTL', key)) > 0, 'expired profile not refilled')
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
c.call('GET', '/api/v1/users/me', 401, actor=alice)
c.call('DELETE', '/api/v1/auth/sessions/current', 401, actor=alice)
print('PASS: real Valkey GET hits, TTL <=60 without sliding; expiry/refill; logout rejects cached profile and repeated logout')
def expiry(base):
c = Client(base)
actor = c.user('ttl')
c.call('GET', '/api/v1/users/me', actor=actor, schema='User')
started = time.monotonic()
time.sleep(2.2)
c.call('GET', '/api/v1/users/me', 401, actor=actor)
c.call('DELETE', '/api/v1/auth/sessions/current', 401, actor=actor)
print('PASS: SESSION_TTL_SECONDS=2: immediate authentication succeeds; after %.2fs cached profile cannot bypass expiry/logout' % (time.monotonic() - started))
def wait_ready(c):
for _ in range(90):
try:
c.call('GET', '/health/ready', schema='Health')
return
except AssertionError:
time.sleep(0.5)
raise AssertionError('dependency did not recover')
def failures(base):
c = Client(base, timeout=8)
alice, bob, eve, chat = c.bootstrap()
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
real_call = c.call
observed_latencies = []
def bounded_call(*args, **kwargs):
response = real_call(*args, **kwargs)
observed_latencies.append(response['elapsed'])
check(response['elapsed'] < 4.5, 'dependency request exceeded bounded 4.5 second budget')
return response
c.call = bounded_call
before = c.message(alice, chat, 'before failures')['json']
try:
compose('stop', 'valkey')
start = time.monotonic()
c.call('GET', '/health/ready', schema='Health')
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
c.call('GET', '/api/v1/users/me', 401, headers={'Authorization': 'Bearer ' + 'a' * 43})
c.call('GET', '/api/v1/users/me', 401)
c.call('GET', '/api/v1/chats/' + chat['id'], 404, actor=eve)
after = c.message(bob, chat, 'write without cache')['json']
check(before in walk(c, bob, chat) and after in walk(c, alice, chat), 'cache outage lost data')
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
c.call('GET', '/api/v1/users/me', 401, actor=alice)
print('PASS: Valkey stopped: ready=200, authenticated read/write via PG, unknown/missing/revoked=401, outsider=404; scenario %.3fs' % (time.monotonic() - start))
finally:
compose('start', 'valkey')
# Cache recovery must not resurrect the revoked token.
c.call('GET', '/api/v1/users/me', 401, actor=alice)
try:
compose('stop', 'postgres')
start = time.monotonic()
response = c.call('GET', '/health/ready', 503)
c.call('GET', '/health/live', schema='Health')
c.call('GET', '/api/v1/users/me', 503, actor=bob)
c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 503, actor=bob, body={'text': 'must not commit'})
c.call('GET', '/api/v1/users/me', 503, headers={'Authorization': 'Bearer ' + 'a' * 43})
c.call('GET', '/api/v1/users/me', 401)
check(response['json']['error']['code'] == 'unavailable', 'wrong bounded dependency error')
print('PASS: PostgreSQL stopped: ready/auth/write=503, live=200, no credentials=401, no cached authentication; scenario %.3fs' % (time.monotonic() - start))
finally:
compose('start', 'postgres')
recovery = time.monotonic()
wait_ready(c)
c.call('GET', '/api/v1/users/me', actor=bob, schema='User')
c.call('GET', '/api/v1/users/me', 401, actor=alice)
messages = walk(c, bob, chat)
check(before in messages and after in messages, 'confirmed data lost after database restart')
check(all(m['text'] != 'must not commit' for m in messages), 'rejected write committed')
print('PASS: PostgreSQL recovery %.3fs, same valid token/data survive, revoked token remains revoked, rejected write absent' % (time.monotonic() - recovery))
print('PASS: all %d HTTP requests bounded below 4.5s; maximum %.3fs' % (len(observed_latencies), max(observed_latencies)))
def explain(base):
c = Client(base)
alice = c.user('explain')
chat = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': '10000 history', 'member_ids': [alice['id']]}, schema='Chat')['json']
source = r"""
conn.execute("INSERT INTO messages(id,chat_id,sender_id,text,created_at) SELECT gen_random_uuid(), %s, %s, 'synthetic-' || i, '2026-01-01'::timestamptz + i * interval '1 microsecond' FROM generate_series(1,10000) i", (CHAT, USER))
conn.execute('ANALYZE messages')
print('Rows in test chat:', conn.execute('SELECT count(*) FROM messages WHERE chat_id=%s', (CHAT,)).fetchone()[0])
for position in (0,5000,9900):
if position:
key = conn.execute('SELECT created_at,id FROM messages WHERE chat_id=%s ORDER BY created_at,id OFFSET %s LIMIT 1', (CHAT,position)).fetchone()
sql = 'SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s AND (created_at,id)>(%s,%s) ORDER BY created_at,id LIMIT %s'
args = (CHAT,*key,51)
else:
sql = 'SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s ORDER BY created_at,id LIMIT %s'
args = (CHAT,51)
rows = conn.execute('EXPLAIN (ANALYZE, BUFFERS) ' + sql, args).fetchall()
plan = '\n'.join(row[0] for row in rows)
assert 'Index Scan using messages_history' in plan and 'Seq Scan' not in plan, 'history index not used'
print('\nPosition:',position, '\n'+plan)
print('PostgreSQL:',conn.execute('SHOW server_version').fetchone()[0])
print('Durability:',conn.execute('SHOW fsync').fetchone()[0],conn.execute('SHOW synchronous_commit').fetchone()[0])
""".replace('CHAT', repr(chat['id'])).replace('USER', repr(alice['id']))
print(db(source.strip()))
start = time.monotonic()
items = walk(c, alice, chat, limit=100)
check(len(items) == 10000 and len({m['id'] for m in items}) == 10000, '10000-row API traversal lost/duplicated items')
print('PASS: actual EXPLAIN ANALYZE BUFFERS at first/middle/tail; API traversal 10000 rows, 100 pages, %.3fs' % (time.monotonic() - start))
def migrations(base):
def snapshot():
return db("tables = ['users','chats','chat_members','messages','sessions','schema_migrations']\ncounts = {name: conn.execute('SELECT count(*) FROM ' + name).fetchone()[0] for name in tables}\nexpiry = conn.execute(\"SELECT md5(coalesce(string_agg(token_hash::text || expires_at::text, ',' ORDER BY token_hash), '')) FROM sessions\").fetchone()[0]\nprint(json.dumps([counts,expiry]))")
before = snapshot()
for _ in range(2):
print(compose('exec', '-T', 'api', 'python', '-m', 'src.db'))
check(snapshot() == before, 'repeated migrations changed counts/session expiries')
print('PASS: two repeated migrations; all table counts and absolute session expiries unchanged:', json.loads(before)[0])
def persistence_meta(base):
c = Client(base)
actor = c.user('persistmeta')
digest = hashlib.sha256(actor['token'].encode()).hexdigest()
query = "row = conn.execute('SELECT expires_at,octet_length(token_hash) FROM sessions WHERE token_hash=%s', (bytes.fromhex('" + digest + "'),)).fetchone()\nprint(json.dumps(public(list(row))))"
initial = db(query)
check(json.loads(initial)[1] == 32, 'token hash not 256 bits')
# Resolve hooks explicitly, just like the public resilience test.
result = subprocess.run(['sh', 'scripts/restart.sh'], capture_output=True, timeout=75)
check(result.returncode == 0, 'restart failed')
wait_ready(c)
check(db(query) == initial, 'restart changed original expiry/hash length')
c.call('GET', '/api/v1/users/me', actor=actor, schema='User')
print('PASS: same opaque token authenticates after all services restart; absolute PG expires_at unchanged; only 32-byte token hash stored')
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('mode', choices=['core', 'expiry', 'failures', 'explain', 'migrations', 'persistence_meta'])
parser.add_argument('--base-url', default='http://api:8080')
args = parser.parse_args()
globals()[args.mode](args.base_url)
+34
View File
@@ -0,0 +1,34 @@
#!/usr/bin/env python3
"""Run public load without modifying it; sample scoped container resources DURING load."""
import datetime as dt
import json
from pathlib import Path
import subprocess
import time
from grade4 import compose, db
def main():
before = int(db("print(conn.execute('SELECT count(*) FROM messages').fetchone()[0])"))
command = ['python3', 'tests/load.py', '--base-url', 'http://api:8080', '--duration', '15', '--concurrency', '4', '--output', 'evidence/load.json']
start = dt.datetime.now(dt.timezone.utc)
process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
time.sleep(5)
assert process.poll() is None, 'load ended before resource sample'
sampled = dt.datetime.now(dt.timezone.utc)
containers = compose('ps', '-q', 'api', 'postgres', 'valkey').splitlines()
stats = subprocess.run(['docker', 'stats', '--no-stream', '--format', '{{.Name}} CPU={{.CPUPerc}} Memory={{.MemUsage}}', *containers], capture_output=True, text=True, check=True, timeout=10).stdout
assert process.poll() is None, 'load ended during resource sample'
output, _ = process.communicate(timeout=45)
assert process.returncode == 0, 'public load failed'
end = dt.datetime.now(dt.timezone.utc)
after = int(db("print(conn.execute('SELECT count(*) FROM messages').fetchone()[0])"))
summary = ('Command: ' + ' '.join(command) + '\nStart UTC: ' + start.isoformat() + '\nSample UTC: ' + sampled.isoformat() + '\nEnd UTC: ' + end.isoformat() + '\nWarm-up: completed functional checks; no separate timed warm-up. One run.\nDataset: dedicated new load chat starts empty; total PG message rows before=%d after=%d\n' % (before, after) + 'One live docker stats sample during load; neither average nor peak.\n' + stats)
Path('evidence/load-resources.txt').write_text(summary)
print(output.strip())
print(summary)
if __name__ == '__main__':
main()