ЛР 2: PostgreSQL, сессии и Valkey — на 4
This commit is contained in:
@@ -0,0 +1,3 @@
|
||||
*.sh text eol=lf
|
||||
*.py text eol=lf
|
||||
*.sql text eol=lf
|
||||
@@ -0,0 +1,27 @@
|
||||
name: Student application
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-24.04
|
||||
timeout-minutes: 15
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- name: Local synthetic secrets and build
|
||||
run: |
|
||||
sh scripts/init-env.sh
|
||||
docker compose --env-file .env --profile test build
|
||||
- name: Start and wait for the new application
|
||||
run: docker compose --env-file .env --profile test up -d --wait --wait-timeout 120 api api-expiry
|
||||
- name: Public and grade 4 checks
|
||||
run: docker compose --profile test run --rm tools sh scripts/run-checks.sh
|
||||
- name: Sanitized evidence
|
||||
if: always()
|
||||
uses: actions/upload-artifact@v4
|
||||
with:
|
||||
name: lab2-evidence
|
||||
path: evidence/
|
||||
- name: Stop only this test project
|
||||
if: always()
|
||||
run: docker compose --profile test down
|
||||
+12
@@ -0,0 +1,12 @@
|
||||
FROM python:3.12.10-slim-bookworm
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080
|
||||
WORKDIR /app
|
||||
COPY requirements.txt requirements.lock ./
|
||||
RUN pip install --no-cache-dir -r requirements.lock && useradd --create-home --uid 10001 appuser
|
||||
COPY --chown=appuser:appuser src ./src
|
||||
COPY --chown=appuser:appuser migrations ./migrations
|
||||
USER appuser
|
||||
EXPOSE 8080
|
||||
STOPSIGNAL SIGTERM
|
||||
HEALTHCHECK --interval=3s --timeout=3s --start-period=10s --retries=5 CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).read()" || exit 1
|
||||
CMD ["sh", "-c", "exec uvicorn src.main:app --host \"$APP_HOST\" --port \"$APP_PORT\" --no-access-log"]
|
||||
+41
@@ -0,0 +1,41 @@
|
||||
## Лабораторная 2
|
||||
|
||||
Заголовок PR: **ЛР 2 — БВТ2301 — Гамаюнов — на 4**
|
||||
|
||||
Автор / группа: Гамаюнов Артём / БВТ2301
|
||||
Целевая оценка (3/4/5): 4
|
||||
Трек 5, если заявлен: не заявлен
|
||||
|
||||
Что реализовано и что перенесено: собственные модели, cursor и формат ошибок из ЛР1;
|
||||
PostgreSQL с миграциями и атомарными операциями; Argon2id, Basic → opaque Bearer,
|
||||
expiry/logout; Valkey для профилей с TTL, безопасный обход недоступного кэша;
|
||||
Compose, restart hook, собственные конкурентные/негативные/отказные тесты.
|
||||
|
||||
Команды запуска из чистого clone: `sh scripts/init-env.sh` (Windows: `powershell -ExecutionPolicy Bypass -File scripts/init-env.ps1`),
|
||||
`docker compose --profile test build`, `docker compose --profile test up -d --wait api api-expiry`,
|
||||
`docker compose --profile test run --rm tools sh scripts/run-checks.sh`.
|
||||
|
||||
Результаты проверок и ссылка на REPORT.md: [отчёт](REPORT.md), [матрица](evidence/requirements.md),
|
||||
[evidence](evidence/), [release-audit](evidence/release-audit.md). Локально выполнены check, validate, smoke, полный persistence,
|
||||
expiry=2, logout, гонка username, rollback, 40 параллельных сообщений, реальные отказы
|
||||
Valkey/БД, повторные миграции и EXPLAIN ANALYZE BUFFERS на 10000 сообщениях. Финальный набор повторён на чистом Linux-экспорте с новыми secrets/volumes; исправлена валидация NUL (400 вместо 503).
|
||||
|
||||
Ограничения / известные ошибки: один Docker-host и одна PostgreSQL; HTTP только
|
||||
на loopback, синтетические данные. Между страницами нет snapshot при конкурентных
|
||||
вставках. Удалённый CI не запускался; PR ещё не создан.
|
||||
|
||||
Источники и использование ИИ: собственный lab1-reference, задание и контракт ЛР2;
|
||||
Python/FastAPI/Pydantic/Uvicorn/psycopg/argon2-cffi/redis-py; ChatGPT/Codex помогал
|
||||
с проектированием, кодом, тестами, ревью и отчётом.
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
Перед публикацией: проверить diff и исключения secrets/.env; при собственном staging
|
||||
сохранить executable bit для scripts/*.sh (`git add --chmod=+x scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh`), затем
|
||||
выполнить commit/push и открыть PR вручную в правильную базовую ветку преподавателя.
|
||||
Добавить ссылку/commit в REPORT.md. Эти Git-действия агентом не выполнялись.
|
||||
@@ -1,37 +1,119 @@
|
||||
# Отчёт — лабораторная 2
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Гамаюнов Артём, БВТ2301.
|
||||
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не заявлен.
|
||||
- Commit/PR: локальные незакоммиченные изменения в `solution/bvt2301-gamayunov` поверх skeleton `65003b6`. Commit/push/PR выполняет автор после проверки; текст подготовлен в [PR_DRAFT.md](PR_DRAFT.md).
|
||||
- Использованные источники, библиотеки и помощь ИИ: собственная ЛР1 (`../lab1-reference`, только чтение), README/COURSE/CONTRIBUTING, OpenAPI, семантика и проверки ЛР2. Python, FastAPI, Pydantic, Uvicorn, psycopg/psycopg-pool, argon2-cffi, redis-py. ChatGPT/Codex использован для проектирования, реализации, тестов, ревью и отчёта. Исходный код преподавательского сервера не использовался.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker Engine с Linux containers, Docker Compose с `--wait`, сеть для первоначальной загрузки образов/пакетов. Проверено: Windows + Docker Desktop 4.75.0, Engine 29.5.2, Compose 5.1.3; Linux-команды запускаются в tools. Python/make на хосте не нужны. Образы закреплены: `python:3.12.10-slim-bookworm`, `postgres:16.8-bookworm`, `valkey/valkey:8.0.2-alpine`, tools — `docker:27.5.1-cli`. Транзитивные Python-зависимости закреплены в `requirements.lock` и `infra/requirements-tools.lock`.
|
||||
|
||||
1. В существующей рабочей ветке создать локальные secrets и `.env` (значения не печатаются):
|
||||
|
||||
```powershell
|
||||
# Windows, из lab2:
|
||||
powershell -NoProfile -ExecutionPolicy Bypass -File scripts/init-env.ps1
|
||||
```
|
||||
|
||||
```sh
|
||||
# Linux/macOS, из lab2:
|
||||
chmod +x scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
|
||||
sh scripts/init-env.sh
|
||||
```
|
||||
|
||||
Инициализация повторяема, существующий пароль PostgreSQL сохраняется. На Linux каталог secrets имеет mode 700, файлы — 444: каталог закрывает доступ на хосте, а файлы читаются непривилегированным API через Compose secrets. `.env` и `secrets/` исключены из Git и build context.
|
||||
|
||||
2. Собрать приложение и инструменты, поднять стенд и отдельный API для короткого TTL:
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env --profile test build
|
||||
docker compose --env-file .env --profile test up -d --wait --wait-timeout 120 api api-expiry
|
||||
```
|
||||
|
||||
Основной API: `http://localhost:8080`. `/health/live` — процесс, `/health/ready` — доступна PostgreSQL; Valkey необязателен для безопасного обслуживания. Миграции выполняются при старте API под транзакционным advisory lock. Отдельная команда: `docker compose exec -T api python -m src.db`.
|
||||
|
||||
3. Выполнить весь набор проверок и сохранить небольшие результаты:
|
||||
|
||||
```sh
|
||||
docker compose --profile test run --rm tools sh scripts/run-checks.sh
|
||||
# Отдельные публичные цели, без изменения Makefile/tests:
|
||||
docker compose --profile test run --rm tools make check validate
|
||||
docker compose --profile test run --rm tools make test BASE_URL=http://api:8080
|
||||
docker compose --profile test run --rm tools sh -c 'chmod +x scripts/restart.sh && make test-persistence BASE_URL=http://api:8080 ACTION_SCRIPT=scripts/restart.sh'
|
||||
# Короткая нагрузка и синхронизированный замер CPU/RAM:
|
||||
docker compose --profile test run --rm tools python student-tests/load_measure.py
|
||||
```
|
||||
|
||||
`run-checks.sh` также запускает собственные `core`, `expiry`, `migrations`, `explain`, `failures`, `persistence_meta`. Тесты создают только синтетические данные. Tools получает Docker socket для операторских restart/fault hooks; обычный API его не получает. Из tools все действия Compose относятся к проекту `mtusi-lab2`.
|
||||
|
||||
4. Безопасная остановка: `docker compose --profile test down` — данные остаются. Повторный запуск из п. 2 использует прежние volumes. **Намеренное удаление только учебных данных этого проекта**, когда они больше не нужны: `docker compose --profile test down --volumes`. Эта команда в ходе проверки основного стенда не выполнялась. Не использовать общесистемную очистку Docker.
|
||||
|
||||
Сервисы/хранение: `api` — UID 10001, 1 CPU/512 MiB; `postgres` — 1 CPU/512 MiB, `postgres_data`; `valkey` — 0.5 CPU/128 MiB, `valkey_data`, AOF everysec, maxmemory 96 MiB/allkeys-lru. Все в сети Compose. БД и кэш не публикуют порты хоста; API опубликован на 127.0.0.1. PG healthcheck — pg_isready, Valkey — PING, API — HTTP ready. `api-expiry` (профиль test) имеет TTL=2, порт хоста отсутствует; `tools` — 1 CPU/512 MiB, запускается только на время команды.
|
||||
|
||||
Release-audit: исправлен ответ 503 для U+0000 в display_name/title/text — теперь 400 invalid_request. Добавлены регрессионные проверки; полный набор повторён в чистом Linux-экспорте без .git/.env/secrets и с пустыми volumes. Это проверка файлов-кандидатов до commit, не утверждение о созданном Git checkout. Подробный вердикт и staging-команды: [evidence/release-audit.md](evidence/release-audit.md). Новые shell-скрипты пока не staged; режим 100755 необходимо записать явным git add --chmod=+x.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → API → PostgreSQL; API → Valkey для публичного профиля. Из ЛР1 перенесены собственные модели/валидация, код cursor и формат ошибки. Cursor ужесточён до строгого URL-safe Base64. In-memory store заменён SQL, X-User-Id игнорируется, добавлены password и Basic/Bearer. Изменяемые преподавательские контракты/публичные тесты не копировались из ЛР1.
|
||||
|
||||
PostgreSQL — источник истины для users/chats/chat_members/messages/sessions. `001_initial.sql`: PK UUID, UNIQUE username, FK участников к пользователям/чату, FK отправителя к членству, CHECK длины/обязательных значений. Создание чата и всех членств — одна транзакция; ошибка FK после вставки родителя откатывает всё. Запись сообщения подтверждается HTTP 201 после COMMIT. `fsync=on`, `synchronous_commit=on` реально проверены; сохранность зависит также от persistent volume и диска Docker-host. Миграции с нуля и повторный запуск проверены.
|
||||
|
||||
Запросы параметризованы psycopg; пользовательские значения не вставляются в SQL-строки. На процесс: pool min=1/max=8, ожидание 2 s, очередь максимум 32, connect_timeout=2 s, statement_timeout=2 s, lock_timeout=1.5 s, idle transaction timeout=5 s. Синхронные HTTP handlers имеют максимум 16 рабочих потоков. Пароли — Argon2id (19 MiB, t=2, p=1), случайная соль, поддержка 12–128 Unicode code points без усечения. Неверный пароль и неизвестный username дают одинаковый 401/Basic challenge. Успешный Basic login возвращает случайный токен с 256 битами энтропии; в PG хранится только SHA-256 токена, user_id и абсолютный expires_at. SHA-256 используется для случайного токена, не для пароля. Каждый защищённый запрос сначала проверяет действительность сессии в PG. Logout удаляет сессию; expiry использует clock_timestamp PostgreSQL и не продлевается чтением/рестартом.
|
||||
|
||||
Valkey кэширует `profile:<user UUID>`: только id/username/display_name/created_at. Это экономит отдельный SELECT профиля на каждом cache hit; SQL-проверка сессии остаётся обязательной. TTL=60 s без продления при hit. Профили в обязательном API неизменяемы, поэтому инвалидация по записи не нужна; после expiry/miss — загрузка из PG. Logout не требует удаления профиля: он не является сессией и не авторизует запрос. История/членство не кэшируются, подтверждённая запись читается непосредственно из PG. Flush/потеря AOF кэша безопасны: кэш восстанавливается из PG; AOF не используется для сохранности сессий.
|
||||
|
||||
Обращение к кэшу, включая DNS, ограничено 250 ms; максимум четыре фоновых задачи без неограниченной очереди, после сбоя обход кэша на 5 s. При недоступности Valkey — чтение PG; при недоступности PG — 503 unavailable с request_id, даже если профиль закэширован. Анонимный запрос остаётся 401. SQL/credentials/stack trace не входят в HTTP-ошибки. Каждый ответ содержит X-Request-Id, ошибки согласованы с ним.
|
||||
|
||||
История: `(chat_id,created_at,id)` B-tree и keyset `(created_at,id) > (...) ORDER BY created_at,id LIMIT limit+1`; OFFSET в API нет. Cursor привязан к чату (для списка чатов — к пользователю); следующий cursor отсутствует, когда нет дополнительной записи. При неизменной истории обход без потерь/повторов. Между HTTP-страницами нет snapshot: конкурентная транзакция с ранним created_at может завершиться после продвижения cursor; изменение часов назад также может поместить новую запись до cursor. Это ограничение описано, timestamp не считается уникальным ID; UUID разрешает равенство времени.
|
||||
|
||||
Соответствие `.env.example`: SESSION_TTL_SECONDS берётся из `.env` (default 3600, smoke ≥300); SESSION_STORE=postgres. APP_HOST=0.0.0.0, APP_PORT=8080, APP_ENV=lab и пути *_URL_FILE зафиксированы Compose; одноимённые значения `.env` их не переопределяют. Credentials передаются файлами `/run/secrets/database_url`, `/run/secrets/cache_url`, `/run/secrets/postgres_password`. Дополнительный API_PORT меняет только loopback-порт хоста. Весь bootstrap находится в репозитории, установленные на хосте PG/Redis не требуются.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Ниже фактически выполненные локальные проверки 23.10.2026; команды собственных сценариев выполняются внутри `docker compose --profile test run --rm tools ...`. Полная начальная матрица: [evidence/requirements.md](evidence/requirements.md).
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke / API ЛР1 с новой auth | make test BASE_URL=http://api:8080 | PASS: users/chats/messages, Unicode, pagination, isolation, Basic/Bearer/logout | evidence/release/smoke.txt |
|
||||
| 3: PostgreSQL, PK/FK/UNIQUE, миграции с нуля | чистый Linux-экспорт, проект mtusi-lab2-release с новыми volumes; SQL schema inspection; smoke | 001_initial.sql, до теста users/chats/messages=0; smoke PASS; реальные ограничения/индексы | evidence/release/bootstrap.txt, evidence/schema.txt |
|
||||
| 3: атомарный составной чат | python student-tests/grade4.py core | неизвестный участник вызывает FK после INSERT чата; counts чатов/членств неизменны | evidence/release/student.txt |
|
||||
| 3: сохранность обязательных данных и действующей сессии | make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://api:8080 | PASS: прежний токен/подтверждённое сообщение; StartedAt изменился у api/postgres/valkey, image сохранён | evidence/release/persistence.txt |
|
||||
| 3: срок сессии не продлевается рестартом | python student-tests/grade4.py persistence_meta | прежний token работает, точный expires_at до/после равен; в PG только 32-byte hash | evidence/release/session-persistence.txt |
|
||||
| 3: Basic только login, Bearer, KDF, X-User-Id не даёт доступ | smoke + core | неверный/неизвестный login 401; Basic/X-User-Id на бизнес-API 401; пароль 128 Unicode с ':' работает; Argon2id в PG | evidence/release/smoke.txt, evidence/release/student.txt |
|
||||
| 3: check/test и повторяемые миграции без дубликатов | make check validate; python student-tests/grade4.py migrations | обе offline-проверки PASS; два повтора миграций не меняют все table counts/absolute session expiries | evidence/release/checks.txt, evidence/release/migrations.txt |
|
||||
| 3: secrets/volumes вне Git | git check-ignore, проверка реальных secret values в tracked/untracked-to-submit файлах | .env/secrets исключены; совпадений credentials нет; данные в named volumes | evidence/audit.txt |
|
||||
| 4: реальное применение Valkey, TTL и политика истины/инвалидации | core: GET/INFO hits/TTL/EXPIRE/refill; failures | key profile совпадает с User; ≥3 cache hits, TTL ≤60 без sliding; expiry/refill; кэш не обходит logout | evidence/release/student.txt, evidence/release/failures.txt |
|
||||
| 4: безопасные SQL, bounded pool/timeouts, username race и rollback | src/db.py/store.py; core с 12 workers | ровно 1×201 + 11×409 при одинаковом username; FK rollback; 40 конкурентных записей сохранены | evidence/release/student.txt |
|
||||
| 4: индекс истории и EXPLAIN на ≥10000 | python student-tests/grade4.py explain | 10000 строк в отдельном чате; 3 Index Scan messages_history, без Seq Scan; 100 API-страниц без потерь/повторов | evidence/release/explain.txt |
|
||||
| 4: автоматические expiry/logout/неверный пароль | core; expiry через api-expiry (TTL=2) | немедленно 200, через 2.2 s 401; повторный logout 401; неверный пароль 401 | evidence/release/student.txt, evidence/release/expiry.txt |
|
||||
| 4: недоступность Redis/БД и безопасное восстановление | python student-tests/grade4.py failures | реальные stop/start; кэш: fallback; БД: 503/live=200; session/data recovery; все 22 запроса <4.5 s | evidence/release/failures.txt |
|
||||
| Новая версия действительно запущена | сравнение image ID и SHA-256 файлов хоста/контейнера | совпали все src/*.py и migrations/*.sql, основной/expiry API из новой сборки | evidence/release/build.txt |
|
||||
| Выбранный трек 5, если заявлен | не заявлен | не реализуется для этой сдачи | — |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Дополнительно: собственные негативные проверки типов/лишних полей/JSON/UUID/limits/cursors; одинаковые timestamps и UUID tie-break; чужой cursor; изменение limit; read-after-write. Application CI job добавлен отдельно от преподавательского contracts job; локальные команды выполнены, удалённый CI не запускался.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Гипотезы: COMMIT и серверная сессия сохраняются при рестарте всех компонентов с volumes; необязательный кэш может исчезнуть без потери авторизации/данных; составной индекс ограничивает чтение страницы. Реальные условия: i5-6300U 2 cores/4 threads, host RAM 17 004 175 360 bytes, Docker VM 4 CPU / 8 242 409 472 bytes; лимиты сервисов указаны выше. Версии и UID: [evidence/environment.txt](evidence/environment.txt).
|
||||
|
||||
EXPLAIN: по 10000 синтетических сообщений в новом чате, ANALYZE, запрос LIMIT 51 в начале/после позиции 5000/9900. OFFSET используется только тестом для выбора границ эксперимента. Index Scan читает 51 строку, shared hits 3/4/3; execution 0.049/0.053/0.131 ms. Полный HTTP-обход 100 страниц — 1.907 s. Это один тёплый учебный набор, не обещание задержки на любом диске/распределении.
|
||||
|
||||
Сохранённый нагрузочный замер до release-audit (образ d17dea09ac6a, до точечной валидации NUL; повторная нагрузка не выполнялась): public tests/load.py, closed loop, 15 s, concurrency=4, один отчётный прогон после функционального прогрева (отдельного timed warm-up нет). 1083 успешных подтверждения, 0 ошибок, elapsed=15.300 s, 70.786 successful RPS; p50/p95/p99=50.826/98.821/109.824 ms. Новый чат 0→1083 сообщений; всего в PG 32149→33232. Один sample **во время нагрузки**: API 99.56% CPU/62.46 MiB, PG 11.76%/39.64 MiB, Valkey 7.36%/3.77 MiB. Данные: [evidence/load.json](evidence/load.json), [ресурсы и timestamps](evidence/load-resources.txt). Percentiles только успешных запросов; closed loop и client overhead ограничивают интерпретацию. Это не поиск максимального RPS; sample CPU/RAM не является peak/average.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| restart api + postgres + valkey | тот же token читает те же данные | публичный persistence PASS; все StartedAt изменились; absolute expires_at неизменен | в пределах бюджета hook/ready 90 s; подтверждённые данные не потеряны |
|
||||
| stop Valkey | чтение/запись через PG, auth не обходится | ready=200; valid token работает; missing/unknown/revoked=401, чужой чат=404 | сценарий 0.363 s; max HTTP всего отказного теста 0.261 s; потерь нет |
|
||||
| stop PostgreSQL | ограниченный 503, live=200 | ready/auth/write=503; анонимный запрос=401, cached profile не авторизует | после start ready+valid session за 2.737 s; подтверждённые данные сохранены, отклонённая запись отсутствует |
|
||||
| короткий session TTL=2 | истечение независимо от кэша | после 2.2 s me/logout=401 | повторный login создаёт новую сессию; старый токен не оживает |
|
||||
| конкурентный username / ошибочный участник | UNIQUE / rollback | 1 успех из 12 регистраций; failed chat не оставил строк | корректные 409/400; частичного чата нет |
|
||||
|
||||
При первом отказном прогоне обнаружено, что socket timeout не ограничивает DNS; добавлен предел всей optional cache операции и короткий обход кэша. Итоговый прогон и числа выше относятся к исправлению. В тестах останавливались только сервисы mtusi-lab2; дополнительный bootstrap-проект остановлен без удаления его volumes.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Весь уровень 3 и все пункты уровня 4 локально проверены; детали — таблица/evidence. Треки 5, HA, backup/restore, потеря host/volume, принудительное отключение питания и удалённый CI не проверялись и не заявляются. HTTP опубликован только на loopback для синтетического стенда. Согласованность нескольких страниц при конкурентных вставках ограничена описанной keyset-семантикой. Истёкшие сессии отвергаются сразу, но остаются строками PG до операторской очистки; можно удалять по expires_at с имеющимся индексом. Профиль неизменяем; при будущем API редактирования потребуется инвалидация его кэша. Один Docker-host и одна БД не дают высокой доступности.
|
||||
|
||||
Перед сдачей автор проверяет diff/отчёт, сохраняет executable bit scripts/*.sh при своём staging, выполняет commit/push и вручную открывает PR до 19:00 23.10.2026 Europe/Moscow. Затем дополняет поле Commit/PR. Агент не выполнял git add/commit/push/pull, переключение/создание веток или действия в удалённом репозитории. Черновик PR готов; основной стенд оставлен работающим.
|
||||
|
||||
@@ -0,0 +1,77 @@
|
||||
name: mtusi-lab2
|
||||
x-api: &api
|
||||
image: mtusi-lab2-api:local
|
||||
environment: &api-env
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: 8080
|
||||
APP_ENV: lab
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
SESSION_STORE: postgres
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
secrets: [database_url, cache_url]
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
valkey: {condition: service_healthy}
|
||||
cpus: 1.0
|
||||
mem_limit: 512m
|
||||
restart: unless-stopped
|
||||
services:
|
||||
api:
|
||||
<<: *api
|
||||
build: .
|
||||
ports: ["127.0.0.1:${API_PORT:-8080}:8080"]
|
||||
postgres:
|
||||
image: postgres:16.8-bookworm
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes: [postgres_data:/var/lib/postgresql/data]
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, "pg_isready -U messenger -d messenger"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 20
|
||||
cpus: 1.0
|
||||
mem_limit: 512m
|
||||
restart: unless-stopped
|
||||
valkey:
|
||||
image: valkey/valkey:8.0.2-alpine
|
||||
command: [valkey-server, --appendonly, "yes", --appendfsync, everysec, --maxmemory, 96mb, --maxmemory-policy, allkeys-lru]
|
||||
volumes: [valkey_data:/data]
|
||||
healthcheck:
|
||||
test: [CMD, valkey-cli, ping]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 15
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
restart: unless-stopped
|
||||
api-expiry:
|
||||
<<: *api
|
||||
profiles: [test]
|
||||
environment:
|
||||
<<: *api-env
|
||||
SESSION_TTL_SECONDS: 2
|
||||
restart: "no"
|
||||
tools:
|
||||
image: mtusi-lab2-tools:local
|
||||
profiles: [test]
|
||||
build: {context: ., dockerfile: infra/Dockerfile.tools}
|
||||
working_dir: /workspace
|
||||
volumes:
|
||||
- .:/workspace
|
||||
- /var/run/docker.sock:/var/run/docker.sock
|
||||
environment:
|
||||
BASE_URL: http://api:8080
|
||||
cpus: 1.0
|
||||
mem_limit: 512m
|
||||
secrets:
|
||||
postgres_password: {file: ./secrets/postgres_password}
|
||||
database_url: {file: ./secrets/database_url}
|
||||
cache_url: {file: ./secrets/cache_url}
|
||||
volumes:
|
||||
postgres_data:
|
||||
valkey_data:
|
||||
@@ -0,0 +1,15 @@
|
||||
Date: 2026-10-23, Europe/Moscow
|
||||
Commands: git branch/status/diff --check/check-ignore/ls-files (read-only); exact local secret scan; HTTP readiness.
|
||||
PASS: existing branch solution/bvt2301-gamayunov; no Git mutations performed.
|
||||
PASS: teacher README/COURSE/CONTRIBUTING/contracts/tests/Makefile/examples/templates/original CI unchanged.
|
||||
PASS: lab1-reference working tree is clean; used for reading only.
|
||||
PASS: ignored local files: .env, secrets/postgres_password, secrets/database_url, secrets/cache_url
|
||||
PASS: exact generated PostgreSQL secret and private key markers absent from all tracked/untracked-to-submit files; secrets were not printed.
|
||||
PASS: git diff --check and own source trailing-whitespace check.
|
||||
PASS: host http://127.0.0.1:8080/health/ready = 200 application/json; X-Request-Id present.
|
||||
All grade 3 and 4 criteria: PASS locally (see REPORT.md per-criterion mapping). Remote CI, commit/push/PR: not executed.
|
||||
PASS: final Compose/application CI YAML, all application/student Python, all shell scripts parse; make check validate repeated after documentation changes.
|
||||
Main api/postgres/valkey left running; auxiliary api-expiry stopped after tests.
|
||||
Exact changed-file list: evidence/changed-files.txt. Only REPORT.md modified among tracked skeleton files; new source files are untracked and unstaged.
|
||||
|
||||
Release audit supersedes this earlier summary: evidence/release-audit.md; latest source/build/tests: evidence/release/.
|
||||
@@ -0,0 +1,12 @@
|
||||
Fresh named volumes mtusi-lab2-bootstrap_postgres_data and mtusi-lab2-bootstrap_valkey_data were created by Compose on 2026-10-23.
|
||||
Command: API_PORT=18080 docker compose -p mtusi-lab2-bootstrap --env-file .env up -d --wait api
|
||||
001_initial.sql
|
||||
0
|
||||
0
|
||||
0
|
||||
python3 tests/smoke.py --base-url "http://api:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
Linux init-env.sh was also executed twice in /tmp/bootstrap inside an isolated tools container.
|
||||
Observed secret directory mode=700, secret file mode=444; no credentials were printed.
|
||||
Bootstrap containers were stopped and removed with compose down; both named volumes were preserved.
|
||||
@@ -0,0 +1,9 @@
|
||||
Historical build before release-audit; current code/build proof: evidence/release/build.txt.
|
||||
Command: docker compose build api; docker compose --profile test up -d --wait api api-expiry
|
||||
Final running image:
|
||||
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
|
||||
mtusi-lab2-api-1 mtusi-lab2-api local linux/amd64 d17dea09ac6a 56.7MB About a minute ago
|
||||
mtusi-lab2-api-expiry-1 mtusi-lab2-api local linux/amd64 d17dea09ac6a 56.7MB About a minute ago
|
||||
PASS: running API image equals the current locally built image: sha256:d17dea09ac6adf3ab6e4e9ca0e12286826aba878edd7110e07b1234546a4f713
|
||||
PASS: SHA-256 of every src/*.py and migrations/*.sql matches the actual running container.
|
||||
{"migrations/001_initial.sql": "5154c63cca9b5068821e5270b3d8dbc14c542b88ae5ce65422d72874118a14e5", "src/__init__.py": "01ba4719c80b6fe911b091a7c05124b64eeece964e09c058ef8f9805daca546b", "src/cache.py": "0f92c67b59f57a1ac5ee44d99bb5d992efa208e1d3c6fa44e5b537b913be926c", "src/config.py": "7d18c6b03d1130ca633055599f13a002d05a722a86427f2c47700b65908223b5", "src/db.py": "d21da56f3551eef2fb7e930a184264a0731eef8d6eb531929e611f8fa3df4d47", "src/errors.py": "8906150236b7b90081878cd7730964e4dee981897798a37c2a3441c3705cadc0", "src/main.py": "5c36a8dc3fa3dc84c69ebbfee94d1536619ee090da8d5d49931a99bfbd25f436", "src/models.py": "7fa8f35f7fd64e3b7ae6e1c2e4a621cbddb8ed6e4ddf595a71abcb0fe3958863", "src/pagination.py": "bba67fcab7b6ead93c4848319feccecd5e608287f0e983981b04ce0e1ca4b8f3", "src/security.py": "43a8b463e41053fe8ab125570eb7e93bbbbc13e4f5b6599457cbec22c00dc4d6", "src/store.py": "dc8c9512979dba9d54617e27b19beb40ca45972dd8f294263144bb2de716c548"}
|
||||
@@ -0,0 +1,62 @@
|
||||
Modified tracked files:
|
||||
REPORT.md
|
||||
New files (untracked, not staged):
|
||||
.gitattributes
|
||||
.github/workflows/application.yml
|
||||
Dockerfile
|
||||
PR_DRAFT.md
|
||||
compose.yaml
|
||||
evidence/audit.txt
|
||||
evidence/bootstrap.txt
|
||||
evidence/build.txt
|
||||
evidence/changed-files.txt
|
||||
evidence/checks.txt
|
||||
evidence/environment.txt
|
||||
evidence/expiry.txt
|
||||
evidence/explain.txt
|
||||
evidence/failures.txt
|
||||
evidence/load-resources.txt
|
||||
evidence/load.json
|
||||
evidence/migrations.txt
|
||||
evidence/persistence.txt
|
||||
evidence/release-audit.md
|
||||
evidence/release/bootstrap.txt
|
||||
evidence/release/build.txt
|
||||
evidence/release/checks.txt
|
||||
evidence/release/expiry.txt
|
||||
evidence/release/explain.txt
|
||||
evidence/release/failures.txt
|
||||
evidence/release/host-smoke.txt
|
||||
evidence/release/migrations.txt
|
||||
evidence/release/persistence.txt
|
||||
evidence/release/repository.txt
|
||||
evidence/release/session-persistence.txt
|
||||
evidence/release/smoke.txt
|
||||
evidence/release/student.txt
|
||||
evidence/requirements.md
|
||||
evidence/schema.txt
|
||||
evidence/session-persistence.txt
|
||||
evidence/smoke.txt
|
||||
evidence/student.txt
|
||||
infra/Dockerfile.tools
|
||||
infra/requirements-tools.lock
|
||||
migrations/001_initial.sql
|
||||
requirements.lock
|
||||
requirements.txt
|
||||
scripts/init-env.ps1
|
||||
scripts/init-env.sh
|
||||
scripts/restart.sh
|
||||
scripts/run-checks.sh
|
||||
src/__init__.py
|
||||
src/cache.py
|
||||
src/config.py
|
||||
src/db.py
|
||||
src/errors.py
|
||||
src/main.py
|
||||
src/models.py
|
||||
src/pagination.py
|
||||
src/security.py
|
||||
src/store.py
|
||||
student-tests/README.md
|
||||
student-tests/grade4.py
|
||||
student-tests/load_measure.py
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
python3 scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,13 @@
|
||||
Date: 2026-10-23, Europe/Moscow; local unstaged solution/bvt2301-gamayunov
|
||||
CPU: Intel(R) Core(TM) i5-6300U CPU @ 2.40GHz; cores=2; logical=4
|
||||
Host RAM bytes: 17004175360
|
||||
Docker client=29.5.2 server=29.5.2
|
||||
Docker Compose version v5.1.3
|
||||
Docker VM: CPUs=4 RAM bytes=8242409472 OS=Docker Desktop (containerized)
|
||||
Limits: api 1 CPU / 512MiB; PostgreSQL 1 CPU / 512MiB; Valkey 0.5 CPU / 128MiB; tools 1 CPU / 512MiB. api-expiry: same as api.
|
||||
Python 3.12.10
|
||||
uid=10001(appuser) gid=10001(appuser) groups=10001(appuser)
|
||||
Valkey server v=8.0.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=6559adb0eb9ba245
|
||||
Python 3.12.15
|
||||
GNU Make 4.4.1
|
||||
Docker Compose version v2.33.0
|
||||
@@ -0,0 +1 @@
|
||||
PASS: SESSION_TTL_SECONDS=2: immediate authentication succeeds; after 2.21s cached profile cannot bypass expiry/logout
|
||||
@@ -0,0 +1,33 @@
|
||||
Rows in test chat: 10000
|
||||
|
||||
Position: 0
|
||||
Limit (cost=0.41..10.95 rows=51 width=70) (actual time=0.061..0.085 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using messages_history on messages (cost=0.41..2063.98 rows=9985 width=70) (actual time=0.059..0.076 rows=51 loops=1)
|
||||
Index Cond: (chat_id = '969e1211-e475-4545-bd15-7e56dc71896d'::uuid)
|
||||
Buffers: shared hit=4
|
||||
Planning:
|
||||
Buffers: shared hit=19
|
||||
Planning Time: 0.220 ms
|
||||
Execution Time: 0.148 ms
|
||||
|
||||
Position: 5000
|
||||
Limit (cost=0.41..17.20 rows=51 width=70) (actual time=0.013..0.058 rows=51 loops=1)
|
||||
Buffers: shared hit=5
|
||||
-> Index Scan using messages_history on messages (cost=0.41..1741.06 rows=5288 width=70) (actual time=0.012..0.050 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '969e1211-e475-4545-bd15-7e56dc71896d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.005001+00'::timestamp with time zone, 'fa66b073-e248-4fb4-9603-7515b64b598e'::uuid)))
|
||||
Buffers: shared hit=5
|
||||
Planning Time: 0.107 ms
|
||||
Execution Time: 0.104 ms
|
||||
|
||||
Position: 9900
|
||||
Limit (cost=0.41..94.31 rows=51 width=70) (actual time=0.017..0.029 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using messages_history on messages (cost=0.41..1324.25 rows=719 width=70) (actual time=0.016..0.025 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '969e1211-e475-4545-bd15-7e56dc71896d'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.009901+00'::timestamp with time zone, 'b484fd5f-6223-4f33-9f32-7d154df937da'::uuid)))
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.087 ms
|
||||
Execution Time: 0.046 ms
|
||||
PostgreSQL: 16.8 (Debian 16.8-1.pgdg120+1)
|
||||
Durability: on on
|
||||
PASS: actual EXPLAIN ANALYZE BUFFERS at first/middle/tail; API traversal 10000 rows, 100 pages, 1.851s
|
||||
@@ -0,0 +1,4 @@
|
||||
PASS: Valkey stopped: ready=200, authenticated read/write via PG, unknown/missing/revoked=401, outsider=404; scenario 0.374s
|
||||
PASS: PostgreSQL stopped: ready/auth/write=503, live=200, no credentials=401, no cached authentication; scenario 0.063s
|
||||
PASS: PostgreSQL recovery 2.811s, same valid token/data survive, revoked token remains revoked, rejected write absent
|
||||
PASS: all 22 HTTP requests bounded below 4.5s; maximum 0.274s
|
||||
@@ -0,0 +1,10 @@
|
||||
Command: python3 tests/load.py --base-url http://api:8080 --duration 15 --concurrency 4 --output evidence/load.json
|
||||
Start UTC: 2026-10-23T14:05:18.741681+00:00
|
||||
Sample UTC: 2026-10-23T14:05:23.743063+00:00
|
||||
End UTC: 2026-10-23T14:05:35.228415+00:00
|
||||
Warm-up: completed functional checks; no separate timed warm-up. One run.
|
||||
Dataset: dedicated new load chat starts empty; total PG message rows before=32149 after=33232
|
||||
One live docker stats sample during load; neither average nor peak.
|
||||
mtusi-lab2-api-1 CPU=99.56% Memory=62.46MiB / 512MiB
|
||||
mtusi-lab2-postgres-1 CPU=11.76% Memory=39.64MiB / 512MiB
|
||||
mtusi-lab2-valkey-1 CPU=7.36% Memory=3.77MiB / 128MiB
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 2,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 15.0,
|
||||
"elapsed_seconds": 15.3,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 1083,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 70.786,
|
||||
"successful_latency_ms": {
|
||||
"p50": 50.826,
|
||||
"p95": 98.821,
|
||||
"p99": 109.824
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
PASS: versioned migrations applied (already applied versions skipped)
|
||||
PASS: versioned migrations applied (already applied versions skipped)
|
||||
PASS: two repeated migrations; all table counts and absolute session expiries unchanged: {'users': 50, 'chats': 18, 'chat_members': 30, 'messages': 22146, 'sessions': 39, 'schema_migrations': 1}
|
||||
@@ -0,0 +1,9 @@
|
||||
/mtusi-lab2-api-1 2026-10-23T14:02:23.376971704Z sha256:d17dea09ac6adf3ab6e4e9ca0e12286826aba878edd7110e07b1234546a4f713
|
||||
/mtusi-lab2-postgres-1 2026-10-23T14:03:17.170328016Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
|
||||
/mtusi-lab2-valkey-1 2026-10-23T14:03:15.90085233Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://api:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
/mtusi-lab2-api-1 2026-10-23T14:03:22.87874847Z sha256:d17dea09ac6adf3ab6e4e9ca0e12286826aba878edd7110e07b1234546a4f713
|
||||
/mtusi-lab2-postgres-1 2026-10-23T14:03:22.522723549Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
|
||||
/mtusi-lab2-valkey-1 2026-10-23T14:03:22.343578822Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
|
||||
@@ -0,0 +1,56 @@
|
||||
# Финальный release-audit — 23.10.2026 Europe/Moscow
|
||||
|
||||
Вердикт: **READY FOR PR**. Изменения остаются unstaged/uncommitted; ветка `solution/bvt2301-gamayunov`, HEAD skeleton `65003b6`. Оценка 4: весь уровень 3 + все четыре пункта уровня 4. Удалённый CI и PR не выполнялись.
|
||||
|
||||
Проверка заново опиралась на README/CONTRIBUTING/contracts/OpenAPI, исходники и реально запущенный чистый стенд; прежние PASS не принимались как единственное доказательство.
|
||||
|
||||
| Оригинальный критерий | Проверенный код / решение | Реальная проверка / доказательство | Итог |
|
||||
| --- | --- | --- | --- |
|
||||
| 3.1: минимум ЛР1 + сохранность данных/действующей сессии | main/store/models/pagination, PG volume, restart всех stores | release/smoke.txt, persistence.txt, session-persistence.txt; StartedAt до/после, прежний token, unchanged expires_at | PASS |
|
||||
| 3.2: PG users/chats/members/messages, PK/FK/UNIQUE, миграции с нуля, атомарный чат | 001_initial.sql, migrate advisory lock, один connection transaction | release/bootstrap.txt: сначала 0 users/chats/messages; core: реальный FK rollback после INSERT родителя; migrations.txt | PASS |
|
||||
| 3.3: Basic только login; Bearer/expiry/logout; X-User-Id не авторизует; KDF | security.py, require_user проверяет PG каждый запрос; Argon2id; opaque 256-bit token, только hash в PG | release/student.txt, smoke.txt, expiry.txt, session-persistence.txt; Unicode password 128 code points с ':' | PASS |
|
||||
| 3.4: make test/test-persistence, повторяемые миграции, secrets/volumes вне Git | исходные Makefile/tests сохранены, restart без удаления данных | release/checks.txt, smoke.txt, persistence.txt, migrations.txt; Git ignore + private value scan | PASS |
|
||||
| 4.1: реальный Redis/Valkey, TTL, истина/инвалидация/persistence | immutable public user profile cache, TTL60 без sliding; PG sessions остаются источником истины; AOF необязателен для корректности | core: INFO hits, key/TTL/expiry/refill/logout; failures: потеря Valkey безопасна | PASS |
|
||||
| 4.2: параметры SQL, bounded pool/timeouts, username race/rollback | все значения psycopg parameters; max8/wait2/connect2/statement2; FK transaction | core: 12 регистраций = 1×201 + 11×409, rollback/counts; failures bounded requests | PASS |
|
||||
| 4.3: индекс истории + EXPLAIN ANALYZE BUFFERS >=10000, без полного scan на страницу | messages_history(chat_id,created_at,id), tuple >, ORDER BY, LIMIT n+1 | release/explain.txt: 10000 строк, Index Scan в 3 позициях; 100 HTTP страниц без потерь/повторов | PASS |
|
||||
| 4.4: auto expiry/logout/wrong password/Redis+DB outage, безопасная bounded ошибка | PG auth всегда перед профилем; cache fallback + budget 250ms | release/expiry.txt, student.txt, failures.txt; реальные stop/start, max HTTP 0.261 s (<4.5), без анонимного доверия | PASS |
|
||||
|
||||
## Найдено и исправлено
|
||||
|
||||
- `U+0000` в display_name/title/text раньше проходил валидатор, затем отказ PostgreSQL превращался в 503. Три проверки входных строк теперь дают 400 invalid_request; regression assertions добавлены в core. В чистом новом процессе/БД подтверждено: все три поля 400, ready остаётся 200. Архитектура/SQL-схема не менялись.
|
||||
- Новый Git mode нельзя получить через `.gitattributes` или Windows chmod: `core.filemode=false`, три новых .sh ещё не находятся в индексе. Исправлен вводящий в заблуждение комментарий restart.sh; ниже даны точные команды для mode 100755. Агент их **не выполнял**.
|
||||
- `src/errors.py` приведён из CRLF к LF согласно .gitattributes, чтобы Git-кандидат и Linux-образ совпадали побайтно. Это только окончания строк.
|
||||
- REPORT/PR_DRAFT теперь ссылаются на свежий release-набор; старый load остаётся историческим замером образа d17dea09ac6a до валидации NUL. Нагрузка повторно не запускалась. Старый build.txt явно помечен историческим.
|
||||
|
||||
## Чистый запуск
|
||||
|
||||
Поскольку новые файлы ещё не committed и Git-записи запрещены, настоящий новый checkout этого решения невозможен. Экспортированы ровно tracked + untracked/non-ignored файлы-кандидаты (`git ls-files --cached --others --exclude-standard`), без .git/.env/secrets. Нормализованы окончания *.sh/*.py/*.sql согласно .gitattributes; для трёх новых .sh применены ожидаемые после staging права 0755. Исходный преподавательский restart.example.sh уже имеет Git mode 100755 и сохранён.
|
||||
|
||||
Экспорт помещён на новый Linux Docker volume mtusi-lab2-release-checkout, собран через исходный compose.yaml; создан отдельный проект mtusi-lab2-release с пустыми PostgreSQL/Valkey volumes и API_PORT=18082. Никакие teacher/source/service файлы не подменялись. Проверены:
|
||||
|
||||
1. init-env.sh дважды, локальные секреты с 700/444; non-root API UID10001 успешно читает mounted secrets.
|
||||
2. compose config --quiet; profile test build; up -d --wait; 001_initial.sql и нули users/chats/messages до тестов.
|
||||
3. scripts/run-checks.sh: make check/validate/test, core, expiry=2, повторные миграции, короткий EXPLAIN-тест на 10000, реальные stop/start Valkey/PG, публичный make test-persistence с ACTION_SCRIPT=scripts/restart.sh, неизменность expires_at.
|
||||
4. Раздельные результаты скопированы в evidence/release/. Полный нагрузочный benchmark не повторялся.
|
||||
5. Аудит-стенд остановлен через compose down без --volumes. Основной API обновлён тем же исправленным образом; повторный public smoke на исходной PG прошёл (release/host-smoke.txt). Все src/*.py и migrations/*.sql совпали с работающим контейнером по SHA-256 (release/build.txt).
|
||||
|
||||
COMPOSE_PROJECT_NAME=mtusi-lab2-release передавался и в tools, чтобы fault/restart hooks обращались только к изолированному проекту. Обычная инструкция REPORT использует имя mtusi-lab2 и не требует этого override.
|
||||
|
||||
## Репозиторий и staging
|
||||
|
||||
Teacher README/COURSE/CONTRIBUTING/contracts/tests/Makefile/.env.example/original CI/PR template не менялись относительно HEAD. `.env`, `secrets/`, volumes/, data/, *.pyc и __pycache__ исключены; Docker named volumes находятся вне checkout. Новые файлы перечислены в changed-files.txt; временный экспорт не находится внутри Git-репозитория. Проверены реальные значения приватных secret-файлов в кандидатах, значения/токены в evidence не публиковались. Индекс пуст; запрещённых Git-операций не выполнялось.
|
||||
|
||||
Команды ниже выполняет автор после проверки. Первая команда намеренно перечисляет только файлы решения; вторая явно задаёт mode новым shell-скриптам. После неё ожидаются ровно три строки с mode 100755. До staging такого mode в Git для untracked файлов ещё нет.
|
||||
|
||||
```sh
|
||||
git add -- .gitattributes .github/workflows/application.yml Dockerfile compose.yaml requirements.txt requirements.lock src migrations student-tests infra/Dockerfile.tools infra/requirements-tools.lock scripts/init-env.ps1 REPORT.md PR_DRAFT.md evidence
|
||||
git add --chmod=+x -- scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
|
||||
git diff --cached --check
|
||||
git ls-files --stage -- scripts/init-env.sh scripts/restart.sh scripts/run-checks.sh
|
||||
git diff --cached --stat
|
||||
git status --short
|
||||
git commit -m "ЛР 2: PostgreSQL, сессии и Valkey — на 4"
|
||||
git push -u origin solution/bvt2301-gamayunov
|
||||
```
|
||||
|
||||
Заголовок PR строго по CONTRIBUTING: **ЛР 2 — БВТ2301 — Гамаюнов — на 4**. Тело — PR_DRAFT.md. Базовый репозиторий/ветку выбрать по выдаче преподавателя; автоматически они не выбирались. После ручной публикации дополнить поле Commit/PR в REPORT.md (при необходимости отдельным последующим изменением). Удалённый CI не проверялся; это не подменяет выполненные локальные проверки.
|
||||
@@ -0,0 +1,12 @@
|
||||
Fresh Linux export; no inherited secrets/data. Commands: init-env.sh twice; compose profile test build/up --wait; run-checks.sh.
|
||||
700 secrets
|
||||
444 secrets/postgres_password
|
||||
444 secrets/database_url
|
||||
444 secrets/cache_url
|
||||
755 scripts/init-env.sh
|
||||
755 scripts/restart.sh
|
||||
755 scripts/run-checks.sh
|
||||
001_initial.sql
|
||||
0
|
||||
0
|
||||
0
|
||||
@@ -0,0 +1,5 @@
|
||||
Release audit 2026-10-23 Europe/Moscow. Commands: clean Linux export; compose --profile test build/up; scripts/run-checks.sh; host compose up --wait api; public smoke.
|
||||
Running image=sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568 configured=mtusi-lab2-api:local
|
||||
Built image=sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568
|
||||
PASS: all src/*.py and migrations/*.sql hashes in actual updated host API equal working tree (LF, as required by .gitattributes).
|
||||
{"migrations/001_initial.sql": "5154c63cca9b5068821e5270b3d8dbc14c542b88ae5ce65422d72874118a14e5", "src/__init__.py": "01ba4719c80b6fe911b091a7c05124b64eeece964e09c058ef8f9805daca546b", "src/cache.py": "0f92c67b59f57a1ac5ee44d99bb5d992efa208e1d3c6fa44e5b537b913be926c", "src/config.py": "7d18c6b03d1130ca633055599f13a002d05a722a86427f2c47700b65908223b5", "src/db.py": "d21da56f3551eef2fb7e930a184264a0731eef8d6eb531929e611f8fa3df4d47", "src/errors.py": "1561923a04ed06088ab23accf1c60429187b7fc8a468082ab0cdb2ccd0aafa53", "src/main.py": "5c36a8dc3fa3dc84c69ebbfee94d1536619ee090da8d5d49931a99bfbd25f436", "src/models.py": "886786c4fa8c962c3e619e11fb0ec05870887f8ebef1c3fc7790816947f8859c", "src/pagination.py": "bba67fcab7b6ead93c4848319feccecd5e608287f0e983981b04ce0e1ca4b8f3", "src/security.py": "43a8b463e41053fe8ab125570eb7e93bbbbc13e4f5b6599457cbec22c00dc4d6", "src/store.py": "dc8c9512979dba9d54617e27b19beb40ca45972dd8f294263144bb2de716c548"}
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
python3 scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1 @@
|
||||
PASS: SESSION_TTL_SECONDS=2: immediate authentication succeeds; after 2.21s cached profile cannot bypass expiry/logout
|
||||
@@ -0,0 +1,33 @@
|
||||
Rows in test chat: 10000
|
||||
|
||||
Position: 0
|
||||
Limit (cost=0.29..4.17 rows=51 width=70) (actual time=0.013..0.029 rows=51 loops=1)
|
||||
Buffers: shared hit=3
|
||||
-> Index Scan using messages_history on messages (cost=0.29..762.03 rows=10000 width=70) (actual time=0.012..0.022 rows=51 loops=1)
|
||||
Index Cond: (chat_id = 'afb33e87-5203-44cd-8aaa-6352dd299bff'::uuid)
|
||||
Buffers: shared hit=3
|
||||
Planning:
|
||||
Buffers: shared hit=20
|
||||
Planning Time: 0.229 ms
|
||||
Execution Time: 0.049 ms
|
||||
|
||||
Position: 5000
|
||||
Limit (cost=0.29..5.43 rows=51 width=70) (actual time=0.011..0.023 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using messages_history on messages (cost=0.29..503.22 rows=4981 width=70) (actual time=0.010..0.018 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = 'afb33e87-5203-44cd-8aaa-6352dd299bff'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.005001+00'::timestamp with time zone, '0c66c126-2dbf-49ff-a50d-6ffe6d9b9d0c'::uuid)))
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.146 ms
|
||||
Execution Time: 0.053 ms
|
||||
|
||||
Position: 9900
|
||||
Limit (cost=0.29..68.37 rows=51 width=70) (actual time=0.086..0.104 rows=51 loops=1)
|
||||
Buffers: shared hit=3
|
||||
-> Index Scan using messages_history on messages (cost=0.29..135.12 rows=101 width=70) (actual time=0.085..0.097 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = 'afb33e87-5203-44cd-8aaa-6352dd299bff'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:00.009901+00'::timestamp with time zone, '1f3e9d78-d453-4240-8e54-585c7ee9e9a6'::uuid)))
|
||||
Buffers: shared hit=3
|
||||
Planning Time: 0.150 ms
|
||||
Execution Time: 0.131 ms
|
||||
PostgreSQL: 16.8 (Debian 16.8-1.pgdg120+1)
|
||||
Durability: on on
|
||||
PASS: actual EXPLAIN ANALYZE BUFFERS at first/middle/tail; API traversal 10000 rows, 100 pages, 1.907s
|
||||
@@ -0,0 +1,4 @@
|
||||
PASS: Valkey stopped: ready=200, authenticated read/write via PG, unknown/missing/revoked=401, outsider=404; scenario 0.363s
|
||||
PASS: PostgreSQL stopped: ready/auth/write=503, live=200, no credentials=401, no cached authentication; scenario 0.056s
|
||||
PASS: PostgreSQL recovery 2.737s, same valid token/data survive, revoked token remains revoked, rejected write absent
|
||||
PASS: all 22 HTTP requests bounded below 4.5s; maximum 0.261s
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://api:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,3 @@
|
||||
PASS: versioned migrations applied (already applied versions skipped)
|
||||
PASS: versioned migrations applied (already applied versions skipped)
|
||||
PASS: two repeated migrations; all table counts and absolute session expiries unchanged: {'users': 9, 'chats': 3, 'chat_members': 5, 'messages': 43, 'sessions': 6, 'schema_migrations': 1}
|
||||
@@ -0,0 +1,9 @@
|
||||
/mtusi-lab2-release-api-1 2026-10-23T14:41:25.192595559Z sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568
|
||||
/mtusi-lab2-release-postgres-1 2026-10-23T14:43:17.90804068Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
|
||||
/mtusi-lab2-release-valkey-1 2026-10-23T14:43:16.720128385Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://api:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
/mtusi-lab2-release-api-1 2026-10-23T14:43:23.222109188Z sha256:cbe9af6839830fd268490f97f97c9eae922339b03a6f9983914a330355a27568
|
||||
/mtusi-lab2-release-postgres-1 2026-10-23T14:43:22.82384855Z sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae
|
||||
/mtusi-lab2-release-valkey-1 2026-10-23T14:43:22.700262536Z sha256:752ba000a58bc8925d11ee863a39b5225617cd2cb3dbc9ec8ac65268b65ebb6d
|
||||
@@ -0,0 +1,6 @@
|
||||
Release audit repository checks, 2026-10-23 Europe/Moscow.
|
||||
PASS: correct existing branch; no changes to teacher files; index empty; git diff --check.
|
||||
PASS: exactly three new shell scripts, shebang and LF verified. They remain untracked; explicit git add --chmod=+x required to set Git mode 100755.
|
||||
PASS: REPORT evidence references resolve; changed-files manifest refreshed.
|
||||
PASS: no local/release private secret values, private keys, ignored state, or files >=1MiB in submission candidates
|
||||
PASS: Python/Compose/CI parse; existing load summary arithmetic/order correct; historical build provenance explicit
|
||||
@@ -0,0 +1 @@
|
||||
PASS: same opaque token authenticates after all services restart; absolute PG expires_at unchanged; only 32-byte token hash stored
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://api:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,7 @@
|
||||
PASS: concurrent same username: 12 requests, 1 x 201, 11 x 409
|
||||
PASS: unknown member FK after parent INSERT rolls back chat and memberships; duplicate/missing owner -> 400
|
||||
PASS: NUL in display_name/title/text -> 400; PostgreSQL readiness remains 200
|
||||
PASS: strict types/extra fields, malformed JSON, UUID, limits/cursors, blank/oversized text, outsider isolation
|
||||
PASS: 40 concurrent writes; tied timestamp UUID ordering; complete keyset traversal, scoped cursors, changing limit, read-after-write
|
||||
PASS: malformed Basic, wrong/unknown credentials uniform 401, X-User-Id ignored, 128-code-point UTF8 colon password, stored Argon2id
|
||||
PASS: real Valkey GET hits, TTL <=60 without sliding; expiry/refill; logout rejects cached profile and repeated logout
|
||||
@@ -0,0 +1,16 @@
|
||||
# Матрица требований (до реализации, 2026-10-23)
|
||||
|
||||
| Критерий преподавателя | Решение / файлы | Проверка | Evidence |
|
||||
| --- | --- | --- | --- |
|
||||
| 3: API ЛР1, Bearer, права, cursor | src/models.py, pagination.py из собственной ЛР1; main.py, store.py | make test + student-tests | smoke.txt, student.txt |
|
||||
| 3: PostgreSQL, PK/FK/UNIQUE, атомарный чат | migrations/001_initial.sql, src/db.py, store.py | с нуля; повтор миграций; ошибка FK после INSERT чата | migrations.txt, student.txt |
|
||||
| 3: password KDF, Basic только login, expiry/logout | Argon2id, SHA-256 случайного 256-bit token, PG sessions | негативные, expiry=2, logout | student.txt, expiry.txt |
|
||||
| 3: данные и сессии переживают все рестарты | PG named volume, restart.sh: api/postgres/valkey | make test-persistence, timestamps до/после | persistence.txt |
|
||||
| 3: check/test, секреты вне Git | Docker tools, .gitignore/.dockerignore | make check/validate/test, git diff | checks.txt, audit.txt |
|
||||
| 4: реальный Valkey с TTL | cache.py: immutable user profiles, PG truth, TTL 60; fail-open только кэш | cached key + TTL + hit; outage fallback | student.txt, failures.txt |
|
||||
| 4: параметры, bounded pool/timeouts, гонка/rollback | psycopg, pool max8/wait2, SQL timeout2s | concurrent username + FK rollback | student.txt |
|
||||
| 4: индекс истории, EXPLAIN >=10000 | (chat_id,created_at,id), keyset LIMIT n+1 | 10000 синтетических записей, ANALYZE, реальный EXPLAIN | explain.txt |
|
||||
| 4: expiry/logout/wrong password/Redis/DB outage | student-tests, scripts | короткий TTL; stop/start только сервисов проекта | expiry.txt, failures.txt |
|
||||
|
||||
Не изменять README.md, COURSE.md, CONTRIBUTING.md, contracts/, tests/.
|
||||
ЛР1: переносятся только собственные models/pagination/errors; in-memory store заменяется PostgreSQL; X-User-Id заменяется сессиями.
|
||||
@@ -0,0 +1,30 @@
|
||||
Command: docker compose exec -T postgres psql -U messenger -d messenger -At -c <pg_constraint / pg_indexes diagnostics>
|
||||
chat_members|f|FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
chat_members|f|FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
|
||||
chat_members|p|PRIMARY KEY (chat_id, user_id)
|
||||
chats|c|CHECK ((((char_length(title) >= 1) AND (char_length(title) <= 100)) AND (btrim(title) <> ''::text)))
|
||||
chats|p|PRIMARY KEY (id)
|
||||
messages|c|CHECK ((((char_length(text) >= 1) AND (char_length(text) <= 4000)) AND (btrim(text) <> ''::text)))
|
||||
messages|f|FOREIGN KEY (chat_id) REFERENCES chats(id)
|
||||
messages|f|FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
|
||||
messages|p|PRIMARY KEY (id)
|
||||
schema_migrations|p|PRIMARY KEY (version)
|
||||
sessions|c|CHECK ((octet_length(token_hash) = 32))
|
||||
sessions|c|CHECK ((expires_at > created_at))
|
||||
sessions|f|FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
sessions|p|PRIMARY KEY (token_hash)
|
||||
users|c|CHECK ((username ~ '^[a-z0-9_]{3,32}$'::text))
|
||||
users|c|CHECK ((((char_length(display_name) >= 1) AND (char_length(display_name) <= 100)) AND (btrim(display_name) <> ''::text)))
|
||||
users|p|PRIMARY KEY (id)
|
||||
users|u|UNIQUE (username)
|
||||
chat_members|chat_members_pkey|CREATE UNIQUE INDEX chat_members_pkey ON public.chat_members USING btree (chat_id, user_id)
|
||||
chat_members|chat_members_user|CREATE INDEX chat_members_user ON public.chat_members USING btree (user_id, chat_id)
|
||||
chats|chats_order|CREATE INDEX chats_order ON public.chats USING btree (created_at, id)
|
||||
chats|chats_pkey|CREATE UNIQUE INDEX chats_pkey ON public.chats USING btree (id)
|
||||
messages|messages_history|CREATE INDEX messages_history ON public.messages USING btree (chat_id, created_at, id)
|
||||
messages|messages_pkey|CREATE UNIQUE INDEX messages_pkey ON public.messages USING btree (id)
|
||||
schema_migrations|schema_migrations_pkey|CREATE UNIQUE INDEX schema_migrations_pkey ON public.schema_migrations USING btree (version)
|
||||
sessions|sessions_expiry|CREATE INDEX sessions_expiry ON public.sessions USING btree (expires_at)
|
||||
sessions|sessions_pkey|CREATE UNIQUE INDEX sessions_pkey ON public.sessions USING btree (token_hash)
|
||||
users|users_pkey|CREATE UNIQUE INDEX users_pkey ON public.users USING btree (id)
|
||||
users|users_username_key|CREATE UNIQUE INDEX users_username_key ON public.users USING btree (username)
|
||||
@@ -0,0 +1 @@
|
||||
PASS: same opaque token authenticates after all services restart; absolute PG expires_at unchanged; only 32-byte token hash stored
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://api:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,6 @@
|
||||
PASS: concurrent same username: 12 requests, 1 x 201, 11 x 409
|
||||
PASS: unknown member FK after parent INSERT rolls back chat and memberships; duplicate/missing owner -> 400
|
||||
PASS: strict types/extra fields, malformed JSON, UUID, limits/cursors, blank/oversized text, outsider isolation
|
||||
PASS: 40 concurrent writes; tied timestamp UUID ordering; complete keyset traversal, scoped cursors, changing limit, read-after-write
|
||||
PASS: malformed Basic, wrong/unknown credentials uniform 401, X-User-Id ignored, 128-code-point UTF8 colon password, stored Argon2id
|
||||
PASS: real Valkey GET hits, TTL <=60 without sliding; expiry/refill; logout rejects cached profile and repeated logout
|
||||
@@ -0,0 +1,8 @@
|
||||
FROM docker:27.5.1-cli
|
||||
RUN apk add --no-cache python3 py3-pip make && python3 -m venv /opt/venv
|
||||
ENV PATH=/opt/venv/bin:$PATH PYTHONDONTWRITEBYTECODE=1
|
||||
WORKDIR /workspace
|
||||
COPY infra/requirements-tools.lock /tmp/requirements-tools.lock
|
||||
RUN pip install --no-cache-dir -r /tmp/requirements-tools.lock
|
||||
ENTRYPOINT []
|
||||
CMD ["make", "check"]
|
||||
@@ -0,0 +1,19 @@
|
||||
attrs==26.1.0
|
||||
certifi==2026.10.23
|
||||
charset-normalizer==3.5.2
|
||||
idna==3.20
|
||||
jsonschema==4.26.0
|
||||
jsonschema-path==0.3.4
|
||||
jsonschema-specifications==2025.9.1
|
||||
lazy-object-proxy==1.13.0
|
||||
openapi-schema-validator==0.6.3
|
||||
openapi-spec-validator==0.7.2
|
||||
pathable==0.4.4
|
||||
PyYAML==6.0.3
|
||||
referencing==0.36.2
|
||||
requests==2.34.2
|
||||
rfc3339-validator==0.1.4
|
||||
rpds-py==2026.9.1
|
||||
six==1.17.0
|
||||
typing_extensions==4.16.0
|
||||
urllib3==2.8.0
|
||||
@@ -0,0 +1,36 @@
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY,
|
||||
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100 AND btrim(display_name) <> ''),
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100 AND btrim(title) <> ''),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX chat_members_user ON chat_members(user_id, chat_id);
|
||||
CREATE INDEX chats_order ON chats(created_at, id);
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
sender_id uuid NOT NULL,
|
||||
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000 AND btrim(text) <> ''),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX messages_history ON messages(chat_id, created_at, id);
|
||||
CREATE TABLE sessions (
|
||||
token_hash bytea PRIMARY KEY CHECK (octet_length(token_hash) = 32),
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
expires_at timestamptz NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CHECK (expires_at > created_at)
|
||||
);
|
||||
CREATE INDEX sessions_expiry ON sessions(expires_at);
|
||||
@@ -0,0 +1,20 @@
|
||||
annotated-types==0.8.0
|
||||
anyio==4.15.1
|
||||
argon2-cffi==23.1.0
|
||||
argon2-cffi-bindings==26.1.0
|
||||
cffi==2.1.1
|
||||
click==8.5.0
|
||||
fastapi==0.115.12
|
||||
h11==0.16.0
|
||||
idna==3.20
|
||||
psycopg==3.2.6
|
||||
psycopg-binary==3.2.6
|
||||
psycopg-pool==3.2.6
|
||||
pycparser==3.12
|
||||
pydantic==2.11.3
|
||||
pydantic_core==2.33.1
|
||||
redis==5.2.1
|
||||
starlette==0.46.2
|
||||
typing-inspection==0.4.4
|
||||
typing_extensions==4.16.0
|
||||
uvicorn==0.34.2
|
||||
@@ -0,0 +1,8 @@
|
||||
fastapi==0.115.12
|
||||
starlette==0.46.2
|
||||
pydantic==2.11.3
|
||||
uvicorn==0.34.2
|
||||
psycopg[binary]==3.2.6
|
||||
psycopg-pool==3.2.6
|
||||
redis==5.2.1
|
||||
argon2-cffi==23.1.0
|
||||
@@ -0,0 +1,17 @@
|
||||
$ErrorActionPreference = 'Stop'
|
||||
Set-Location (Join-Path $PSScriptRoot '..')
|
||||
$encoding = New-Object System.Text.UTF8Encoding($false)
|
||||
New-Item -ItemType Directory -Force secrets | Out-Null
|
||||
if (-not (Test-Path secrets/postgres_password)) {
|
||||
$bytes = New-Object byte[] 32
|
||||
$rng = [Security.Cryptography.RandomNumberGenerator]::Create()
|
||||
$rng.GetBytes($bytes)
|
||||
$rng.Dispose()
|
||||
$password = [BitConverter]::ToString($bytes).Replace('-', '').ToLowerInvariant()
|
||||
[IO.File]::WriteAllText((Join-Path $PWD 'secrets/postgres_password'), $password, $encoding)
|
||||
}
|
||||
$password = [IO.File]::ReadAllText((Join-Path $PWD 'secrets/postgres_password')).Trim()
|
||||
[IO.File]::WriteAllText((Join-Path $PWD 'secrets/database_url'), "postgresql://messenger:${password}@postgres:5432/messenger", $encoding)
|
||||
[IO.File]::WriteAllText((Join-Path $PWD 'secrets/cache_url'), 'redis://valkey:6379/0', $encoding)
|
||||
if (-not (Test-Path .env)) { Copy-Item .env.example .env }
|
||||
Write-Output 'Local configuration ready; secrets were not printed.'
|
||||
Executable
+20
@@ -0,0 +1,20 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
mkdir -p secrets
|
||||
chmod 700 secrets
|
||||
umask 077
|
||||
if [ ! -f secrets/postgres_password ]; then
|
||||
od -An -N32 -tx1 /dev/urandom | tr -d ' \n' > secrets/postgres_password
|
||||
fi
|
||||
password=$(cat secrets/postgres_password)
|
||||
for file in secrets/database_url secrets/cache_url; do
|
||||
[ ! -f "$file" ] || chmod u+w "$file"
|
||||
done
|
||||
printf 'postgresql://messenger:%s@postgres:5432/messenger' "$password" > secrets/database_url
|
||||
printf 'redis://valkey:6379/0' > secrets/cache_url
|
||||
# The parent directory protects host access; bind-mounted files must be readable
|
||||
# by the non-root API user inside its container (Compose file secrets preserve modes).
|
||||
chmod 444 secrets/postgres_password secrets/database_url secrets/cache_url
|
||||
[ -f .env ] || cp .env.example .env
|
||||
printf '%s\n' 'Local configuration ready; secrets were not printed.'
|
||||
Executable
+6
@@ -0,0 +1,6 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Stage this script with Git mode 100755; filesystem chmod alone is insufficient on Windows.
|
||||
# All three application dependencies are restarted; volumes are preserved.
|
||||
docker compose --env-file .env restart api postgres valkey
|
||||
Executable
+19
@@ -0,0 +1,19 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
mkdir -p evidence
|
||||
# Run from host: docker compose --profile test run --rm tools sh scripts/run-checks.sh
|
||||
# Container has the workspace and Docker socket; it is a trusted operator tool only.
|
||||
make check validate > evidence/checks.txt 2>&1
|
||||
make test BASE_URL=http://api:8080 > evidence/smoke.txt 2>&1
|
||||
python student-tests/grade4.py core > evidence/student.txt 2>&1
|
||||
python student-tests/grade4.py expiry --base-url http://api-expiry:8080 > evidence/expiry.txt 2>&1
|
||||
python student-tests/grade4.py migrations > evidence/migrations.txt 2>&1
|
||||
python student-tests/grade4.py explain > evidence/explain.txt 2>&1
|
||||
python student-tests/grade4.py failures > evidence/failures.txt 2>&1
|
||||
docker compose ps -q api postgres valkey | xargs docker inspect --format '{{.Name}} {{.State.StartedAt}} {{.Image}}' > evidence/persistence.txt
|
||||
chmod +x scripts/restart.sh
|
||||
make test-persistence BASE_URL=http://api:8080 ACTION_SCRIPT=scripts/restart.sh >> evidence/persistence.txt 2>&1
|
||||
docker compose ps -q api postgres valkey | xargs docker inspect --format '{{.Name}} {{.State.StartedAt}} {{.Image}}' >> evidence/persistence.txt
|
||||
python student-tests/grade4.py persistence_meta > evidence/session-persistence.txt 2>&1
|
||||
printf '%s\n' 'PASS: all grade 3/4 checks completed; inspect evidence/*.txt'
|
||||
@@ -0,0 +1 @@
|
||||
|
||||
@@ -0,0 +1,55 @@
|
||||
import json
|
||||
from concurrent.futures import ThreadPoolExecutor, TimeoutError
|
||||
from threading import BoundedSemaphore, Lock
|
||||
from time import monotonic
|
||||
|
||||
import redis
|
||||
|
||||
from src.config import secret
|
||||
|
||||
cache = redis.Redis.from_url(secret("CACHE_URL"), decode_responses=True,
|
||||
socket_connect_timeout=0.2, socket_timeout=0.2,
|
||||
retry_on_timeout=False, max_connections=4)
|
||||
CACHE_TTL = 60
|
||||
# A socket timeout alone does not bound DNS resolution when the container is down.
|
||||
# Bound the complete optional operation and the number of pending worker tasks.
|
||||
workers = ThreadPoolExecutor(max_workers=4, thread_name_prefix="profile-cache")
|
||||
slots = BoundedSemaphore(4)
|
||||
state_lock = Lock()
|
||||
unavailable_until = 0.0
|
||||
|
||||
|
||||
def optional_call(method, *args, **kwargs):
|
||||
global unavailable_until
|
||||
with state_lock:
|
||||
if monotonic() < unavailable_until:
|
||||
return None
|
||||
if not slots.acquire(blocking=False):
|
||||
return None
|
||||
future = workers.submit(method, *args, **kwargs)
|
||||
future.add_done_callback(lambda _: slots.release())
|
||||
try:
|
||||
return future.result(timeout=0.25)
|
||||
except (redis.RedisError, TimeoutError):
|
||||
with state_lock:
|
||||
unavailable_until = monotonic() + 5
|
||||
future.cancel()
|
||||
return None
|
||||
|
||||
|
||||
def profile(user_id, load):
|
||||
# Profiles are immutable in this API. Session validity is ALWAYS checked in PG.
|
||||
# Only public fields are cached, never passwords, hashes or bearer tokens.
|
||||
key = "profile:" + user_id
|
||||
value = optional_call(cache.get, key)
|
||||
if value:
|
||||
try:
|
||||
data = json.loads(value)
|
||||
if data.get("id") == user_id and set(data) == {"id", "username", "display_name", "created_at"}:
|
||||
return data
|
||||
except (ValueError, TypeError, AttributeError):
|
||||
pass
|
||||
data = load()
|
||||
if data:
|
||||
optional_call(cache.set, key, json.dumps(data), ex=CACHE_TTL)
|
||||
return data
|
||||
@@ -0,0 +1,16 @@
|
||||
import os
|
||||
from pathlib import Path
|
||||
|
||||
|
||||
def secret(name):
|
||||
path = os.environ.get(name + "_FILE")
|
||||
if path:
|
||||
return Path(path).read_text().strip()
|
||||
raise RuntimeError(f"{name}_FILE is required")
|
||||
|
||||
|
||||
SESSION_TTL = int(os.getenv("SESSION_TTL_SECONDS", "3600"))
|
||||
if not 1 <= SESSION_TTL <= 604800:
|
||||
raise RuntimeError("SESSION_TTL_SECONDS must be 1..604800")
|
||||
if os.getenv("SESSION_STORE", "postgres") != "postgres":
|
||||
raise RuntimeError("This implementation uses PostgreSQL sessions")
|
||||
@@ -0,0 +1,40 @@
|
||||
from contextlib import contextmanager
|
||||
from pathlib import Path
|
||||
|
||||
import psycopg
|
||||
from psycopg.rows import dict_row
|
||||
from psycopg_pool import ConnectionPool
|
||||
|
||||
from src.config import secret
|
||||
|
||||
pool = ConnectionPool(
|
||||
conninfo=secret("DATABASE_URL"), min_size=1, max_size=8,
|
||||
timeout=2, max_waiting=32, reconnect_timeout=5, open=False,
|
||||
kwargs={"connect_timeout": 2, "row_factory": dict_row,
|
||||
"options": "-c statement_timeout=2000 -c lock_timeout=1500 -c idle_in_transaction_session_timeout=5000 -c timezone=UTC"},
|
||||
)
|
||||
|
||||
|
||||
def migrate():
|
||||
# One transaction + advisory lock serializes concurrent API bootstraps.
|
||||
with psycopg.connect(secret("DATABASE_URL"), connect_timeout=3) as conn:
|
||||
conn.execute("SET LOCAL lock_timeout = '10s'")
|
||||
conn.execute("SET LOCAL statement_timeout = '15s'")
|
||||
conn.execute("SELECT pg_advisory_xact_lock(202602)")
|
||||
conn.execute("CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())")
|
||||
for path in sorted((Path(__file__).resolve().parents[1] / "migrations").glob("*.sql")):
|
||||
if not conn.execute("SELECT 1 FROM schema_migrations WHERE version=%s", (path.name,)).fetchone():
|
||||
conn.execute(path.read_text())
|
||||
conn.execute("INSERT INTO schema_migrations(version) VALUES (%s)", (path.name,))
|
||||
|
||||
|
||||
@contextmanager
|
||||
def connection():
|
||||
with pool.connection() as conn:
|
||||
# psycopg context commits on success, rolls back on EVERY exception.
|
||||
yield conn
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
migrate()
|
||||
print("PASS: versioned migrations applied (already applied versions skipped)")
|
||||
@@ -0,0 +1,34 @@
|
||||
from fastapi import Request
|
||||
from fastapi.responses import JSONResponse
|
||||
|
||||
|
||||
class ApiError(Exception):
|
||||
def __init__(
|
||||
self,
|
||||
status_code: int,
|
||||
code: str,
|
||||
message: str,
|
||||
):
|
||||
self.status_code = status_code
|
||||
self.code = code
|
||||
self.message = message
|
||||
|
||||
|
||||
def error_response(
|
||||
request: Request,
|
||||
status_code: int,
|
||||
code: str,
|
||||
message: str,
|
||||
) -> JSONResponse:
|
||||
request_id = request.state.request_id
|
||||
|
||||
return JSONResponse(
|
||||
status_code=status_code,
|
||||
content={
|
||||
"error": {
|
||||
"code": code,
|
||||
"message": message,
|
||||
"request_id": request_id,
|
||||
}
|
||||
},
|
||||
)
|
||||
+160
@@ -0,0 +1,160 @@
|
||||
import hashlib
|
||||
import logging
|
||||
import secrets
|
||||
from contextlib import asynccontextmanager
|
||||
from uuid import UUID, uuid4
|
||||
|
||||
import anyio
|
||||
import psycopg
|
||||
from fastapi import Depends, FastAPI, Query, Request, Response
|
||||
from fastapi.exceptions import RequestValidationError
|
||||
from psycopg_pool import PoolTimeout, TooManyRequests
|
||||
from starlette.exceptions import HTTPException
|
||||
|
||||
from src import store
|
||||
from src.cache import profile
|
||||
from src.config import SESSION_TTL
|
||||
from src.db import connection, migrate, pool
|
||||
from src.errors import ApiError, error_response
|
||||
from src.models import Chat, ChatPage, CreateChat, CreateMessage, CreateUser, Message, MessagePage, User
|
||||
from src.security import basic_credentials, hasher, token_hash, unauthorized, verify
|
||||
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(app):
|
||||
# Startup happens before serving requests; migrations also work via python -m src.db.
|
||||
anyio.to_thread.current_default_thread_limiter().total_tokens = 16
|
||||
migrate()
|
||||
pool.open()
|
||||
pool.wait(timeout=10)
|
||||
yield
|
||||
pool.close()
|
||||
|
||||
|
||||
app = FastAPI(title="MTUSI Messenger", version="1.2.0", lifespan=lifespan,
|
||||
docs_url=None, redoc_url=None, openapi_url=None)
|
||||
|
||||
|
||||
def failure(request, status, code, message):
|
||||
response = error_response(request, status, code, message)
|
||||
if status == 401:
|
||||
basic = request.url.path == "/api/v1/auth/sessions"
|
||||
response.headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"' if basic else 'Bearer realm="messenger"')
|
||||
return response
|
||||
|
||||
|
||||
@app.middleware("http")
|
||||
async def request_context(request, call_next):
|
||||
request.state.request_id = str(uuid4())
|
||||
try:
|
||||
if request.method == "POST" and request.url.path == "/api/v1/auth/sessions" and await request.body():
|
||||
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
|
||||
response = await call_next(request)
|
||||
except ApiError as exc:
|
||||
response = failure(request, exc.status_code, exc.code, exc.message)
|
||||
except (psycopg.Error, PoolTimeout, TooManyRequests):
|
||||
response = failure(request, 503, "unavailable", "Хранилище временно недоступно")
|
||||
except Exception as exc:
|
||||
logging.error("Unhandled request error: %s", type(exc).__name__)
|
||||
response = failure(request, 500, "internal_error", "Внутренняя ошибка сервера")
|
||||
response.headers['X-Request-Id'] = request.state.request_id
|
||||
return response
|
||||
|
||||
|
||||
@app.exception_handler(ApiError)
|
||||
async def api_error(request, exc):
|
||||
return failure(request, exc.status_code, exc.code, exc.message)
|
||||
|
||||
|
||||
@app.exception_handler(RequestValidationError)
|
||||
async def validation_error(request, exc):
|
||||
return failure(request, 400, "invalid_request", "Некорректный запрос")
|
||||
|
||||
|
||||
@app.exception_handler(HTTPException)
|
||||
async def http_error(request, exc):
|
||||
return failure(request, exc.status_code, "not_found" if exc.status_code == 404 else "invalid_request", "Недопустимый HTTP-запрос")
|
||||
|
||||
|
||||
def require_user(request: Request):
|
||||
digest = token_hash(request.headers.get('Authorization'))
|
||||
with connection() as conn:
|
||||
row = conn.execute("SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at > clock_timestamp()", (digest,)).fetchone()
|
||||
if row is None:
|
||||
unauthorized()
|
||||
user_id = str(row['user_id'])
|
||||
user = profile(user_id, lambda: store.load_user(user_id))
|
||||
if user is None:
|
||||
unauthorized()
|
||||
request.state.token_hash = digest
|
||||
return User(**user)
|
||||
|
||||
|
||||
@app.get('/health/live')
|
||||
def live():
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@app.get('/health/ready')
|
||||
def ready():
|
||||
with connection() as conn:
|
||||
conn.execute("SELECT 1").fetchone()
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@app.post('/api/v1/users', status_code=201, response_model=User)
|
||||
def register(data: CreateUser):
|
||||
return store.create_user(data, hasher.hash(data.password))
|
||||
|
||||
|
||||
@app.post('/api/v1/auth/sessions', status_code=201)
|
||||
def login(request: Request):
|
||||
username, password = basic_credentials(request.headers.get('Authorization'))
|
||||
with connection() as conn:
|
||||
row = conn.execute("SELECT id,username,display_name,created_at,password_hash FROM users WHERE username=%s", (username,)).fetchone()
|
||||
valid = verify(row['password_hash'] if row else None, password)
|
||||
if not row or not valid:
|
||||
unauthorized()
|
||||
token = secrets.token_urlsafe(32)
|
||||
digest = hashlib.sha256(token.encode('ascii')).digest()
|
||||
with connection() as conn:
|
||||
result = conn.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES (%s,%s,clock_timestamp() + %s * interval '1 second') RETURNING expires_at", (digest, row['id'], SESSION_TTL)).fetchone()
|
||||
del row['password_hash']
|
||||
return {"token": token, "token_type": "Bearer", "expires_at": store.public(result['expires_at']), "user": store.public(row)}
|
||||
|
||||
|
||||
@app.delete('/api/v1/auth/sessions/current', status_code=204)
|
||||
def logout(request: Request, user: User = Depends(require_user)):
|
||||
with connection() as conn:
|
||||
conn.execute("DELETE FROM sessions WHERE token_hash=%s", (request.state.token_hash,))
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
@app.get('/api/v1/users/me', response_model=User)
|
||||
def me(user: User = Depends(require_user)):
|
||||
return user
|
||||
|
||||
|
||||
@app.post('/api/v1/chats', status_code=201, response_model=Chat)
|
||||
def create_chat(data: CreateChat, user: User = Depends(require_user)):
|
||||
return store.create_chat(data, user.id)
|
||||
|
||||
|
||||
@app.get('/api/v1/chats', response_model=ChatPage)
|
||||
def chats(user: User = Depends(require_user), limit: int = Query(50, ge=1, le=100), cursor: str | None = Query(None, min_length=1, max_length=2048)):
|
||||
return store.list_chats(user.id, limit, cursor)
|
||||
|
||||
|
||||
@app.get('/api/v1/chats/{chat_id}', response_model=Chat)
|
||||
def chat(chat_id: UUID, user: User = Depends(require_user)):
|
||||
return store.get_chat(str(chat_id), user.id)
|
||||
|
||||
|
||||
@app.post('/api/v1/chats/{chat_id}/messages', status_code=201, response_model=Message)
|
||||
def send(chat_id: UUID, data: CreateMessage, user: User = Depends(require_user)):
|
||||
return store.create_message(str(chat_id), user.id, data.text)
|
||||
|
||||
|
||||
@app.get('/api/v1/chats/{chat_id}/messages', response_model=MessagePage)
|
||||
def history(chat_id: UUID, user: User = Depends(require_user), limit: int = Query(50, ge=1, le=100), cursor: str | None = Query(None, min_length=1, max_length=2048)):
|
||||
return store.list_messages(str(chat_id), user.id, limit, cursor)
|
||||
+140
@@ -0,0 +1,140 @@
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
from uuid import UUID
|
||||
|
||||
|
||||
class CreateUser(BaseModel):
|
||||
model_config = ConfigDict(
|
||||
extra="forbid",
|
||||
strict=True,
|
||||
)
|
||||
|
||||
username: str = Field(
|
||||
min_length=3,
|
||||
max_length=32,
|
||||
pattern=r"^[a-z0-9_]{3,32}$",
|
||||
)
|
||||
|
||||
display_name: str = Field(
|
||||
min_length=1,
|
||||
max_length=100,
|
||||
)
|
||||
|
||||
@field_validator("display_name")
|
||||
@classmethod
|
||||
def display_name_must_not_be_blank(cls, value: str) -> str:
|
||||
if not value.strip() or "\x00" in value:
|
||||
raise ValueError("display_name must not be blank")
|
||||
|
||||
return value
|
||||
|
||||
|
||||
password: str = Field(min_length=12, max_length=128)
|
||||
|
||||
@field_validator("password")
|
||||
@classmethod
|
||||
def password_must_not_be_blank(cls, value: str) -> str:
|
||||
if not value.strip():
|
||||
raise ValueError("password must not be blank")
|
||||
return value
|
||||
|
||||
|
||||
class User(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: str
|
||||
username: str
|
||||
display_name: str
|
||||
created_at: str
|
||||
|
||||
|
||||
class CreateChat(BaseModel):
|
||||
model_config = ConfigDict(
|
||||
extra="forbid",
|
||||
strict=True,
|
||||
)
|
||||
|
||||
title: str = Field(
|
||||
min_length=1,
|
||||
max_length=100,
|
||||
)
|
||||
|
||||
member_ids: list[str] = Field(
|
||||
min_length=1,
|
||||
max_length=100,
|
||||
)
|
||||
|
||||
@field_validator("title")
|
||||
@classmethod
|
||||
def title_must_not_be_blank(cls, value: str) -> str:
|
||||
if not value.strip() or "\x00" in value:
|
||||
raise ValueError("title must not be blank")
|
||||
|
||||
return value
|
||||
|
||||
@field_validator("member_ids")
|
||||
@classmethod
|
||||
def validate_member_ids(cls, value: list[str]) -> list[str]:
|
||||
normalized = []
|
||||
for member_id in value:
|
||||
try:
|
||||
normalized.append(str(UUID(member_id)))
|
||||
except (ValueError, TypeError):
|
||||
raise ValueError("member_ids must contain valid UUIDs") from None
|
||||
|
||||
if len(normalized) != len(set(normalized)):
|
||||
raise ValueError("member_ids must be unique")
|
||||
|
||||
return normalized
|
||||
|
||||
|
||||
class Chat(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: str
|
||||
title: str
|
||||
member_ids: list[str]
|
||||
created_at: str
|
||||
|
||||
|
||||
class ChatPage(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
items: list[Chat]
|
||||
next_cursor: str | None
|
||||
|
||||
|
||||
class CreateMessage(BaseModel):
|
||||
model_config = ConfigDict(
|
||||
extra="forbid",
|
||||
strict=True,
|
||||
)
|
||||
|
||||
text: str = Field(
|
||||
min_length=1,
|
||||
max_length=4000,
|
||||
)
|
||||
|
||||
@field_validator("text")
|
||||
@classmethod
|
||||
def text_must_not_be_blank(cls, value: str) -> str:
|
||||
if not value.strip() or "\x00" in value:
|
||||
raise ValueError("text must not be blank")
|
||||
|
||||
return value
|
||||
|
||||
|
||||
class Message(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: str
|
||||
chat_id: str
|
||||
sender_id: str
|
||||
text: str
|
||||
created_at: str
|
||||
|
||||
|
||||
class MessagePage(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
items: list[Message]
|
||||
next_cursor: str | None
|
||||
@@ -0,0 +1,74 @@
|
||||
import base64
|
||||
import json
|
||||
import re
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from src.errors import ApiError
|
||||
|
||||
|
||||
def encode_cursor(
|
||||
resource: str,
|
||||
owner_id: str,
|
||||
created_at: str,
|
||||
object_id: str,
|
||||
) -> str:
|
||||
payload = {
|
||||
"resource": resource,
|
||||
"owner_id": owner_id,
|
||||
"created_at": created_at,
|
||||
"id": object_id,
|
||||
}
|
||||
|
||||
raw = json.dumps(
|
||||
payload,
|
||||
separators=(",", ":"),
|
||||
).encode("utf-8")
|
||||
|
||||
return base64.urlsafe_b64encode(raw).decode("ascii").rstrip("=")
|
||||
|
||||
|
||||
def decode_cursor(
|
||||
cursor: str,
|
||||
expected_resource: str,
|
||||
expected_owner_id: str,
|
||||
) -> tuple[str, str]:
|
||||
try:
|
||||
if not re.fullmatch(r"[A-Za-z0-9_-]+", cursor):
|
||||
raise ValueError
|
||||
padding = "=" * (-len(cursor) % 4)
|
||||
|
||||
raw = base64.b64decode(
|
||||
(cursor + padding).encode("ascii"), altchars=b"-_", validate=True
|
||||
)
|
||||
|
||||
payload = json.loads(raw.decode("utf-8"))
|
||||
|
||||
if payload["resource"] != expected_resource:
|
||||
raise ValueError
|
||||
|
||||
if payload["owner_id"] != expected_owner_id:
|
||||
raise ValueError
|
||||
|
||||
created_at = payload["created_at"]
|
||||
object_id = payload["id"]
|
||||
|
||||
# The cursor must carry the same UTC timestamp format produced
|
||||
# by the server. Invalid timestamps must return HTTP 400 before a SQL cast.
|
||||
if not isinstance(created_at, str) or not re.fullmatch(
|
||||
r"\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}(?:\.\d+)?Z",
|
||||
created_at,
|
||||
):
|
||||
raise ValueError
|
||||
|
||||
datetime.fromisoformat(created_at.replace("Z", "+00:00"))
|
||||
UUID(object_id)
|
||||
|
||||
return created_at, object_id
|
||||
|
||||
except Exception:
|
||||
raise ApiError(
|
||||
status_code=400,
|
||||
code="invalid_request",
|
||||
message="Некорректный cursor",
|
||||
)
|
||||
@@ -0,0 +1,47 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import re
|
||||
import secrets
|
||||
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import VerificationError, InvalidHashError
|
||||
|
||||
from src.errors import ApiError
|
||||
|
||||
# Explicit bounded Argon2id parameters: 19 MiB, 2 passes, one lane.
|
||||
hasher = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
|
||||
DUMMY_HASH = hasher.hash(secrets.token_urlsafe(32))
|
||||
|
||||
|
||||
def unauthorized():
|
||||
raise ApiError(401, "unauthorized", "Требуется действительная сессия")
|
||||
|
||||
|
||||
def basic_credentials(header):
|
||||
try:
|
||||
scheme, value = header.split(" ", 1)
|
||||
if scheme.lower() != "basic":
|
||||
raise ValueError
|
||||
username, password = base64.b64decode(value, validate=True).decode("utf-8").split(":", 1)
|
||||
if not re.fullmatch(r"[a-z0-9_]{3,32}", username) or not 12 <= len(password) <= 128:
|
||||
raise ValueError
|
||||
return username, password
|
||||
except (ValueError, UnicodeError, AttributeError):
|
||||
unauthorized()
|
||||
|
||||
|
||||
def verify(encoded, password):
|
||||
try:
|
||||
return hasher.verify(encoded or DUMMY_HASH, password)
|
||||
except (VerificationError, InvalidHashError):
|
||||
return False
|
||||
|
||||
|
||||
def token_hash(header):
|
||||
try:
|
||||
scheme, token = header.split(" ", 1)
|
||||
if scheme.lower() != "bearer" or not re.fullmatch(r"[A-Za-z0-9_-]{43}", token):
|
||||
raise ValueError
|
||||
return hashlib.sha256(token.encode("ascii")).digest()
|
||||
except (ValueError, AttributeError):
|
||||
unauthorized()
|
||||
+117
@@ -0,0 +1,117 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID, uuid4
|
||||
|
||||
from psycopg.errors import ForeignKeyViolation, UniqueViolation
|
||||
|
||||
from src.db import connection
|
||||
from src.errors import ApiError
|
||||
from src.pagination import decode_cursor, encode_cursor
|
||||
|
||||
|
||||
def public(value):
|
||||
if isinstance(value, dict):
|
||||
return {key: public(item) for key, item in value.items()}
|
||||
if isinstance(value, list):
|
||||
return [public(item) for item in value]
|
||||
if isinstance(value, UUID):
|
||||
return str(value)
|
||||
if isinstance(value, datetime):
|
||||
return value.isoformat().replace("+00:00", "Z")
|
||||
return value
|
||||
|
||||
|
||||
def create_user(data, password_hash):
|
||||
try:
|
||||
with connection() as conn:
|
||||
row = conn.execute(
|
||||
"INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) RETURNING id,username,display_name,created_at",
|
||||
(uuid4(), data.username, data.display_name, password_hash),
|
||||
).fetchone()
|
||||
return public(row)
|
||||
except UniqueViolation:
|
||||
raise ApiError(409, "conflict", "Username уже занят") from None
|
||||
|
||||
|
||||
def load_user(user_id):
|
||||
with connection() as conn:
|
||||
row = conn.execute("SELECT id,username,display_name,created_at FROM users WHERE id=%s", (user_id,)).fetchone()
|
||||
return public(row)
|
||||
|
||||
|
||||
def create_chat(data, caller):
|
||||
if caller not in data.member_ids:
|
||||
raise ApiError(400, "invalid_request", "Создатель должен входить в member_ids")
|
||||
try:
|
||||
with connection() as conn:
|
||||
chat = conn.execute("INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING id,title,created_at", (uuid4(), data.title)).fetchone()
|
||||
# FK errors here MUST roll back the already inserted parent chat.
|
||||
with conn.cursor() as cursor:
|
||||
cursor.executemany("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)", [(chat['id'], member) for member in data.member_ids])
|
||||
chat['member_ids'] = data.member_ids
|
||||
return public(chat)
|
||||
except ForeignKeyViolation:
|
||||
raise ApiError(400, "invalid_request", "Указан неизвестный участник") from None
|
||||
|
||||
|
||||
CHAT_SELECT = """SELECT c.id,c.title,c.created_at,
|
||||
ARRAY(SELECT user_id FROM chat_members WHERE chat_id=c.id ORDER BY user_id) AS member_ids
|
||||
FROM chats c WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id=c.id AND m.user_id=%s)"""
|
||||
|
||||
|
||||
def get_chat(chat_id, user_id):
|
||||
with connection() as conn:
|
||||
row = conn.execute(CHAT_SELECT + " AND c.id=%s", (user_id, chat_id)).fetchone()
|
||||
if not row:
|
||||
raise ApiError(404, "not_found", "Объект не найден")
|
||||
return public(row)
|
||||
|
||||
|
||||
def page(rows, limit, resource, owner):
|
||||
items = public(rows[:limit])
|
||||
cursor = None
|
||||
if len(rows) > limit:
|
||||
last = items[-1]
|
||||
cursor = encode_cursor(resource, owner, last['created_at'], last['id'])
|
||||
return {"items": items, "next_cursor": cursor}
|
||||
|
||||
|
||||
def list_chats(user_id, limit, cursor):
|
||||
params = [user_id]
|
||||
sql = CHAT_SELECT
|
||||
if cursor is not None:
|
||||
timestamp, object_id = decode_cursor(cursor, "chats", user_id)
|
||||
sql += " AND (c.created_at,c.id) > (%s::timestamptz,%s::uuid)"
|
||||
params += [timestamp, object_id]
|
||||
sql += " ORDER BY c.created_at,c.id LIMIT %s"
|
||||
params.append(limit + 1)
|
||||
with connection() as conn:
|
||||
rows = conn.execute(sql, params).fetchall()
|
||||
return page(rows, limit, "chats", user_id)
|
||||
|
||||
|
||||
def create_message(chat_id, user_id, text):
|
||||
with connection() as conn:
|
||||
row = conn.execute("""INSERT INTO messages(id,chat_id,sender_id,text)
|
||||
SELECT %s,%s,%s,%s WHERE EXISTS (
|
||||
SELECT 1 FROM chat_members WHERE chat_id=%s AND user_id=%s)
|
||||
RETURNING id,chat_id,sender_id,text,created_at""",
|
||||
(uuid4(), chat_id, user_id, text, chat_id, user_id)).fetchone()
|
||||
if not row:
|
||||
raise ApiError(404, "not_found", "Объект не найден")
|
||||
return public(row)
|
||||
|
||||
|
||||
def list_messages(chat_id, user_id, limit, cursor):
|
||||
params = [chat_id]
|
||||
sql = "SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s"
|
||||
if cursor is not None:
|
||||
timestamp, object_id = decode_cursor(cursor, "messages", chat_id)
|
||||
sql += " AND (created_at,id) > (%s::timestamptz,%s::uuid)"
|
||||
params += [timestamp, object_id]
|
||||
sql += " ORDER BY created_at,id LIMIT %s"
|
||||
params.append(limit + 1)
|
||||
with connection() as conn:
|
||||
if not conn.execute("SELECT 1 FROM chat_members WHERE chat_id=%s AND user_id=%s", (chat_id, user_id)).fetchone():
|
||||
raise ApiError(404, "not_found", "Объект не найден")
|
||||
rows = conn.execute(sql, params).fetchall()
|
||||
return page(rows, limit, "messages", chat_id)
|
||||
@@ -0,0 +1,25 @@
|
||||
# Собственные проверки ЛР2
|
||||
|
||||
Только синтетический локальный стенд mtusi-lab2. Публичные tests/ не изменяются.
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env --profile test up -d --build --wait api api-expiry
|
||||
docker compose --profile test run --rm tools sh scripts/run-checks.sh
|
||||
```
|
||||
|
||||
`grade4.py core`: concurrent registration (12), parent INSERT followed by actual FK rollback,
|
||||
strict contract negatives, 40 concurrent writes, equal timestamps, scoped keyset cursors,
|
||||
read-after-write, auth, Unicode/colon password at 128 code points, real Valkey hits/TTL/refill/logout.
|
||||
`expiry`: separate api-expiry process with SESSION_TTL_SECONDS=2, valid then expired token.
|
||||
`explain`: inserts 10000 new rows into a dedicated chat, EXPLAIN ANALYZE BUFFERS at 3 positions,
|
||||
then traverses all 100 pages through the real HTTP API.
|
||||
`failures`: actually stops/starts Valkey and PostgreSQL of THIS project only; checks fallback,
|
||||
503/401/404, bounded requests, recovery with old token, confirmed data and rejected write absence.
|
||||
|
||||
The tools container mounts the Docker socket to run operator fault/restart hooks; never deploy
|
||||
it on a shared untrusted host or expose it as a public service. Normal API does not mount socket.
|
||||
Evidence contains only summaries and query plans, no credentials or tokens.
|
||||
|
||||
`migrations` additionally compares all table counts and session expiry fingerprints before/after two migration runs.
|
||||
`persistence_meta` verifies unchanged absolute expires_at after restarting all three services.
|
||||
`python student-tests/load_measure.py` runs the public 15s load and samples scoped Docker stats during it.
|
||||
@@ -0,0 +1,294 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Black-box and real database/fault tests. Synthetic data; never print credentials.
|
||||
Run inside Compose tools (Docker socket needed only for DB inspection/faults).
|
||||
"""
|
||||
import argparse
|
||||
import base64
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import datetime as dt
|
||||
import hashlib
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from urllib.parse import quote
|
||||
import uuid
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, check, timestamp
|
||||
|
||||
|
||||
def compose(*args, input=None):
|
||||
result = subprocess.run(['docker', 'compose', '--env-file', '.env', *args],
|
||||
input=input, text=True, capture_output=True, timeout=75)
|
||||
check(result.returncode == 0, 'compose ' + args[0] + ' failed (inspect service health locally)')
|
||||
return result.stdout.strip()
|
||||
|
||||
|
||||
def db(code):
|
||||
source = "import json, psycopg\nfrom src.config import secret\nfrom src.store import public\nwith psycopg.connect(secret('DATABASE_URL')) as conn:\n" + ''.join(' ' + line + '\n' for line in code.splitlines())
|
||||
return compose('exec', '-T', 'api', 'python', '-', input=source)
|
||||
|
||||
|
||||
def counts():
|
||||
return json.loads(db("print(json.dumps([conn.execute('SELECT count(*) FROM chats').fetchone()[0], conn.execute('SELECT count(*) FROM chat_members').fetchone()[0]]))"))
|
||||
|
||||
|
||||
def walk(c, actor, chat, limit=17):
|
||||
path = '/api/v1/chats/' + chat['id'] + '/messages?limit=' + str(limit)
|
||||
items = []
|
||||
for _ in range(1000):
|
||||
page = c.call('GET', path, actor=actor, schema='MessagePage')['json']
|
||||
items.extend(page['items'])
|
||||
if page['next_cursor'] is None:
|
||||
return items
|
||||
path = '/api/v1/chats/' + chat['id'] + '/messages?limit=' + str(limit) + '&cursor=' + quote(page['next_cursor'], safe='')
|
||||
raise AssertionError('pagination failed to terminate')
|
||||
|
||||
|
||||
def core(base):
|
||||
c = Client(base)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
path = '/api/v1/chats/' + chat['id']
|
||||
body = dict(alice['registration'], username='race_' + uuid.uuid4().hex[:16])
|
||||
def register(_):
|
||||
return Client(base).call('POST', '/api/v1/users', [201, 409], body=body)['status']
|
||||
with ThreadPoolExecutor(max_workers=12) as executor:
|
||||
statuses = list(executor.map(register, range(12)))
|
||||
check(statuses.count(201) == 1 and statuses.count(409) == 11, 'duplicate registration race not serialized')
|
||||
print('PASS: concurrent same username: 12 requests, 1 x 201, 11 x 409')
|
||||
|
||||
before = counts()
|
||||
c.call('POST', '/api/v1/chats', 400, actor=alice,
|
||||
body={'title': 'rollback', 'member_ids': [alice['id'], str(uuid.uuid4())]})
|
||||
check(counts() == before, 'failed composite operation left a parent or membership behind')
|
||||
for members in ([alice['id'], alice['id']], [bob['id']]):
|
||||
c.call('POST', '/api/v1/chats', 400, actor=alice, body={'title': 'invalid', 'member_ids': members})
|
||||
print('PASS: unknown member FK after parent INSERT rolls back chat and memberships; duplicate/missing owner -> 400')
|
||||
|
||||
for body_bad in ({'text': 'a\x00b'}, {'text': 'x', 'sender_id': eve['id']}, {'text': ' '}, {'text': 123}, {'text': 'x' * 4001}):
|
||||
c.call('POST', path + '/messages', 400, actor=alice, body=body_bad)
|
||||
for bad_user in (dict(alice['registration'], password='short'), dict(alice['registration'], password=' ' * 12), dict(alice['registration'], admin=True),
|
||||
dict(alice['registration'], display_name='a\x00b'), dict(alice['registration'], display_name=' '), dict(alice['registration'], username='BAD')):
|
||||
c.call('POST', '/api/v1/users', 400, body=bad_user)
|
||||
c.call('POST', '/api/v1/chats', 400, actor=alice, body={'title': 'a\x00b', 'member_ids': [alice['id']]})
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
print('PASS: NUL in display_name/title/text -> 400; PostgreSQL readiness remains 200')
|
||||
c.call('POST', '/api/v1/users', 400, raw=b'{', headers={'Content-Type': 'application/json'})
|
||||
for limit in ('0', '101', 'abc', '1.5'):
|
||||
c.call('GET', path + '/messages?limit=' + limit, 400, actor=alice)
|
||||
for cursor in ('bad', '!', base64.urlsafe_b64encode(b'{}').decode()):
|
||||
c.call('GET', path + '/messages?cursor=' + quote(cursor), 400, actor=alice)
|
||||
for suffix in ('', '/messages'):
|
||||
c.call('GET', path + suffix, 404, actor=eve)
|
||||
c.call('POST', path + '/messages', 404, actor=eve, body={'text': 'denied'})
|
||||
c.call('GET', '/api/v1/chats/not-a-uuid', 400, actor=alice)
|
||||
print('PASS: strict types/extra fields, malformed JSON, UUID, limits/cursors, blank/oversized text, outsider isolation')
|
||||
|
||||
def send(i):
|
||||
return Client(base).message(alice if i % 2 == 0 else bob, chat, 'parallel-' + str(i))['json']
|
||||
with ThreadPoolExecutor(max_workers=8) as executor:
|
||||
sent = list(executor.map(send, range(40)))
|
||||
# Deliberately force equal timestamps to exercise the UUID tie-breaker.
|
||||
db("conn.execute('UPDATE messages SET created_at=%s WHERE chat_id=%s', ('2026-01-01T00:00:00Z', '" + chat['id'] + "'))")
|
||||
items = walk(c, bob, chat)
|
||||
check({m['id'] for m in items} == {m['id'] for m in sent}, 'lost concurrent message')
|
||||
check(len(items) == 40 and len({m['id'] for m in items}) == 40, 'duplicate page/message')
|
||||
check(items == sorted(items, key=lambda x: (timestamp(x['created_at']), uuid.UUID(x['id']).int)), 'incorrect tuple ordering')
|
||||
first = c.call('GET', path + '/messages?limit=1', actor=alice, schema='MessagePage')['json']
|
||||
c.call('GET', path + '/messages?cursor=' + quote(first['next_cursor'] + '!'), 400, actor=alice)
|
||||
second_chat = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'cursor scope', 'member_ids': [alice['id']]}, schema='Chat')['json']
|
||||
c.call('GET', '/api/v1/chats/' + second_chat['id'] + '/messages?cursor=' + quote(first['next_cursor']), 400, actor=alice)
|
||||
continuation = c.call('GET', path + '/messages?limit=100&cursor=' + quote(first['next_cursor']), actor=bob, schema='MessagePage')['json']
|
||||
check(len(continuation['items']) == 39 and continuation['next_cursor'] is None, 'changing limit failed')
|
||||
chats_page = c.call('GET', '/api/v1/chats?limit=1', actor=alice, schema='ChatPage')['json']
|
||||
check(chats_page['next_cursor'], 'missing chat cursor')
|
||||
c.call('GET', '/api/v1/chats?cursor=' + quote(chats_page['next_cursor']), 400, actor=bob)
|
||||
confirmed = c.message(alice, chat, 'read-after-write')['json']
|
||||
check(confirmed in walk(c, bob, chat), 'confirmed write invisible on next read')
|
||||
print('PASS: 40 concurrent writes; tied timestamp UUID ordering; complete keyset traversal, scoped cursors, changing limit, read-after-write')
|
||||
|
||||
for header in ('Basic invalid!', 'Bearer unknown', 'Digest xyz'):
|
||||
c.call('POST', '/api/v1/auth/sessions', 401, headers={'Authorization': header})
|
||||
wrong = base64.b64encode((alice['registration']['username'] + ':wrong-password').encode()).decode()
|
||||
unknown = base64.b64encode(('unknown_' + uuid.uuid4().hex[:10] + ':wrong-password').encode()).decode()
|
||||
a = c.call('POST', '/api/v1/auth/sessions', 401, headers={'Authorization': 'Basic ' + wrong})
|
||||
b = c.call('POST', '/api/v1/auth/sessions', 401, headers={'Authorization': 'Basic ' + unknown})
|
||||
check(a['json']['error']['message'] == b['json']['error']['message'], 'credential error leaks user existence')
|
||||
c.call('GET', '/api/v1/users/me', 401, headers={'X-User-Id': alice['id']})
|
||||
c.call('GET', '/api/v1/users/me', 401, headers={'Authorization': 'Basic ' + wrong})
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, headers={'X-User-Id': eve['id']}, schema='User')
|
||||
|
||||
# Entire UTF-8 range and colon survive the KDF and Basic split(':', 1).
|
||||
registration = {'username': 'utf_' + uuid.uuid4().hex[:16], 'display_name': 'Юникод', 'password': '🙂:' * 64}
|
||||
user = c.call('POST', '/api/v1/users', 201, body=registration, schema='User')['json']
|
||||
credential = base64.b64encode((registration['username'] + ':' + registration['password']).encode()).decode()
|
||||
session = c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + credential}, schema='Session')['json']
|
||||
check(session['user'] == user, 'UTF8/128-code-point password failed')
|
||||
c.call('POST', '/api/v1/auth/sessions', 400, body={}, headers={'Authorization': 'Basic ' + credential})
|
||||
hash_status = db("row = conn.execute('SELECT password_hash FROM users WHERE id=%s', ('" + user['id'] + "',)).fetchone()\nprint(row[0].startswith('$argon2id$'))")
|
||||
check(hash_status == 'True', 'password is not an Argon2id hash')
|
||||
print('PASS: malformed Basic, wrong/unknown credentials uniform 401, X-User-Id ignored, 128-code-point UTF8 colon password, stored Argon2id')
|
||||
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
key = 'profile:' + alice['id']
|
||||
ttl = int(compose('exec', '-T', 'valkey', 'valkey-cli', 'TTL', key))
|
||||
check(0 < ttl <= 60, 'Valkey profile missing TTL')
|
||||
cached = json.loads(compose('exec', '-T', 'valkey', 'valkey-cli', 'GET', key))
|
||||
check(cached == alice['user'], 'Valkey public profile cache mismatch')
|
||||
def hits():
|
||||
info = compose('exec', '-T', 'valkey', 'valkey-cli', 'INFO', 'stats')
|
||||
return int(next(line.split(':')[1] for line in info.splitlines() if line.startswith('keyspace_hits:')))
|
||||
hits_before = hits()
|
||||
for _ in range(3):
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
check(hits() >= hits_before + 3, 'Valkey is not serving profile hits')
|
||||
check(int(compose('exec', '-T', 'valkey', 'valkey-cli', 'TTL', key)) <= ttl, 'cache hits extend TTL')
|
||||
compose('exec', '-T', 'valkey', 'valkey-cli', 'EXPIRE', key, '1')
|
||||
time.sleep(1.1)
|
||||
check(compose('exec', '-T', 'valkey', 'valkey-cli', 'EXISTS', key) == '0', 'cache TTL did not expire')
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
check(int(compose('exec', '-T', 'valkey', 'valkey-cli', 'TTL', key)) > 0, 'expired profile not refilled')
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 401, actor=alice)
|
||||
print('PASS: real Valkey GET hits, TTL <=60 without sliding; expiry/refill; logout rejects cached profile and repeated logout')
|
||||
|
||||
|
||||
def expiry(base):
|
||||
c = Client(base)
|
||||
actor = c.user('ttl')
|
||||
c.call('GET', '/api/v1/users/me', actor=actor, schema='User')
|
||||
started = time.monotonic()
|
||||
time.sleep(2.2)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=actor)
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 401, actor=actor)
|
||||
print('PASS: SESSION_TTL_SECONDS=2: immediate authentication succeeds; after %.2fs cached profile cannot bypass expiry/logout' % (time.monotonic() - started))
|
||||
|
||||
|
||||
def wait_ready(c):
|
||||
for _ in range(90):
|
||||
try:
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
return
|
||||
except AssertionError:
|
||||
time.sleep(0.5)
|
||||
raise AssertionError('dependency did not recover')
|
||||
|
||||
|
||||
def failures(base):
|
||||
c = Client(base, timeout=8)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
real_call = c.call
|
||||
observed_latencies = []
|
||||
def bounded_call(*args, **kwargs):
|
||||
response = real_call(*args, **kwargs)
|
||||
observed_latencies.append(response['elapsed'])
|
||||
check(response['elapsed'] < 4.5, 'dependency request exceeded bounded 4.5 second budget')
|
||||
return response
|
||||
c.call = bounded_call
|
||||
before = c.message(alice, chat, 'before failures')['json']
|
||||
try:
|
||||
compose('stop', 'valkey')
|
||||
start = time.monotonic()
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
c.call('GET', '/api/v1/users/me', 401, headers={'Authorization': 'Bearer ' + 'a' * 43})
|
||||
c.call('GET', '/api/v1/users/me', 401)
|
||||
c.call('GET', '/api/v1/chats/' + chat['id'], 404, actor=eve)
|
||||
after = c.message(bob, chat, 'write without cache')['json']
|
||||
check(before in walk(c, bob, chat) and after in walk(c, alice, chat), 'cache outage lost data')
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
print('PASS: Valkey stopped: ready=200, authenticated read/write via PG, unknown/missing/revoked=401, outsider=404; scenario %.3fs' % (time.monotonic() - start))
|
||||
finally:
|
||||
compose('start', 'valkey')
|
||||
# Cache recovery must not resurrect the revoked token.
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
try:
|
||||
compose('stop', 'postgres')
|
||||
start = time.monotonic()
|
||||
response = c.call('GET', '/health/ready', 503)
|
||||
c.call('GET', '/health/live', schema='Health')
|
||||
c.call('GET', '/api/v1/users/me', 503, actor=bob)
|
||||
c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 503, actor=bob, body={'text': 'must not commit'})
|
||||
c.call('GET', '/api/v1/users/me', 503, headers={'Authorization': 'Bearer ' + 'a' * 43})
|
||||
c.call('GET', '/api/v1/users/me', 401)
|
||||
check(response['json']['error']['code'] == 'unavailable', 'wrong bounded dependency error')
|
||||
print('PASS: PostgreSQL stopped: ready/auth/write=503, live=200, no credentials=401, no cached authentication; scenario %.3fs' % (time.monotonic() - start))
|
||||
finally:
|
||||
compose('start', 'postgres')
|
||||
recovery = time.monotonic()
|
||||
wait_ready(c)
|
||||
c.call('GET', '/api/v1/users/me', actor=bob, schema='User')
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
messages = walk(c, bob, chat)
|
||||
check(before in messages and after in messages, 'confirmed data lost after database restart')
|
||||
check(all(m['text'] != 'must not commit' for m in messages), 'rejected write committed')
|
||||
print('PASS: PostgreSQL recovery %.3fs, same valid token/data survive, revoked token remains revoked, rejected write absent' % (time.monotonic() - recovery))
|
||||
print('PASS: all %d HTTP requests bounded below 4.5s; maximum %.3fs' % (len(observed_latencies), max(observed_latencies)))
|
||||
|
||||
|
||||
def explain(base):
|
||||
c = Client(base)
|
||||
alice = c.user('explain')
|
||||
chat = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': '10000 history', 'member_ids': [alice['id']]}, schema='Chat')['json']
|
||||
source = r"""
|
||||
conn.execute("INSERT INTO messages(id,chat_id,sender_id,text,created_at) SELECT gen_random_uuid(), %s, %s, 'synthetic-' || i, '2026-01-01'::timestamptz + i * interval '1 microsecond' FROM generate_series(1,10000) i", (CHAT, USER))
|
||||
conn.execute('ANALYZE messages')
|
||||
print('Rows in test chat:', conn.execute('SELECT count(*) FROM messages WHERE chat_id=%s', (CHAT,)).fetchone()[0])
|
||||
for position in (0,5000,9900):
|
||||
if position:
|
||||
key = conn.execute('SELECT created_at,id FROM messages WHERE chat_id=%s ORDER BY created_at,id OFFSET %s LIMIT 1', (CHAT,position)).fetchone()
|
||||
sql = 'SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s AND (created_at,id)>(%s,%s) ORDER BY created_at,id LIMIT %s'
|
||||
args = (CHAT,*key,51)
|
||||
else:
|
||||
sql = 'SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s ORDER BY created_at,id LIMIT %s'
|
||||
args = (CHAT,51)
|
||||
rows = conn.execute('EXPLAIN (ANALYZE, BUFFERS) ' + sql, args).fetchall()
|
||||
plan = '\n'.join(row[0] for row in rows)
|
||||
assert 'Index Scan using messages_history' in plan and 'Seq Scan' not in plan, 'history index not used'
|
||||
print('\nPosition:',position, '\n'+plan)
|
||||
print('PostgreSQL:',conn.execute('SHOW server_version').fetchone()[0])
|
||||
print('Durability:',conn.execute('SHOW fsync').fetchone()[0],conn.execute('SHOW synchronous_commit').fetchone()[0])
|
||||
""".replace('CHAT', repr(chat['id'])).replace('USER', repr(alice['id']))
|
||||
print(db(source.strip()))
|
||||
start = time.monotonic()
|
||||
items = walk(c, alice, chat, limit=100)
|
||||
check(len(items) == 10000 and len({m['id'] for m in items}) == 10000, '10000-row API traversal lost/duplicated items')
|
||||
print('PASS: actual EXPLAIN ANALYZE BUFFERS at first/middle/tail; API traversal 10000 rows, 100 pages, %.3fs' % (time.monotonic() - start))
|
||||
|
||||
|
||||
def migrations(base):
|
||||
def snapshot():
|
||||
return db("tables = ['users','chats','chat_members','messages','sessions','schema_migrations']\ncounts = {name: conn.execute('SELECT count(*) FROM ' + name).fetchone()[0] for name in tables}\nexpiry = conn.execute(\"SELECT md5(coalesce(string_agg(token_hash::text || expires_at::text, ',' ORDER BY token_hash), '')) FROM sessions\").fetchone()[0]\nprint(json.dumps([counts,expiry]))")
|
||||
before = snapshot()
|
||||
for _ in range(2):
|
||||
print(compose('exec', '-T', 'api', 'python', '-m', 'src.db'))
|
||||
check(snapshot() == before, 'repeated migrations changed counts/session expiries')
|
||||
print('PASS: two repeated migrations; all table counts and absolute session expiries unchanged:', json.loads(before)[0])
|
||||
|
||||
|
||||
def persistence_meta(base):
|
||||
c = Client(base)
|
||||
actor = c.user('persistmeta')
|
||||
digest = hashlib.sha256(actor['token'].encode()).hexdigest()
|
||||
query = "row = conn.execute('SELECT expires_at,octet_length(token_hash) FROM sessions WHERE token_hash=%s', (bytes.fromhex('" + digest + "'),)).fetchone()\nprint(json.dumps(public(list(row))))"
|
||||
initial = db(query)
|
||||
check(json.loads(initial)[1] == 32, 'token hash not 256 bits')
|
||||
# Resolve hooks explicitly, just like the public resilience test.
|
||||
result = subprocess.run(['sh', 'scripts/restart.sh'], capture_output=True, timeout=75)
|
||||
check(result.returncode == 0, 'restart failed')
|
||||
wait_ready(c)
|
||||
check(db(query) == initial, 'restart changed original expiry/hash length')
|
||||
c.call('GET', '/api/v1/users/me', actor=actor, schema='User')
|
||||
print('PASS: same opaque token authenticates after all services restart; absolute PG expires_at unchanged; only 32-byte token hash stored')
|
||||
|
||||
if __name__ == '__main__':
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument('mode', choices=['core', 'expiry', 'failures', 'explain', 'migrations', 'persistence_meta'])
|
||||
parser.add_argument('--base-url', default='http://api:8080')
|
||||
args = parser.parse_args()
|
||||
globals()[args.mode](args.base_url)
|
||||
@@ -0,0 +1,34 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Run public load without modifying it; sample scoped container resources DURING load."""
|
||||
import datetime as dt
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import time
|
||||
|
||||
from grade4 import compose, db
|
||||
|
||||
|
||||
def main():
|
||||
before = int(db("print(conn.execute('SELECT count(*) FROM messages').fetchone()[0])"))
|
||||
command = ['python3', 'tests/load.py', '--base-url', 'http://api:8080', '--duration', '15', '--concurrency', '4', '--output', 'evidence/load.json']
|
||||
start = dt.datetime.now(dt.timezone.utc)
|
||||
process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
|
||||
time.sleep(5)
|
||||
assert process.poll() is None, 'load ended before resource sample'
|
||||
sampled = dt.datetime.now(dt.timezone.utc)
|
||||
containers = compose('ps', '-q', 'api', 'postgres', 'valkey').splitlines()
|
||||
stats = subprocess.run(['docker', 'stats', '--no-stream', '--format', '{{.Name}} CPU={{.CPUPerc}} Memory={{.MemUsage}}', *containers], capture_output=True, text=True, check=True, timeout=10).stdout
|
||||
assert process.poll() is None, 'load ended during resource sample'
|
||||
output, _ = process.communicate(timeout=45)
|
||||
assert process.returncode == 0, 'public load failed'
|
||||
end = dt.datetime.now(dt.timezone.utc)
|
||||
after = int(db("print(conn.execute('SELECT count(*) FROM messages').fetchone()[0])"))
|
||||
summary = ('Command: ' + ' '.join(command) + '\nStart UTC: ' + start.isoformat() + '\nSample UTC: ' + sampled.isoformat() + '\nEnd UTC: ' + end.isoformat() + '\nWarm-up: completed functional checks; no separate timed warm-up. One run.\nDataset: dedicated new load chat starts empty; total PG message rows before=%d after=%d\n' % (before, after) + 'One live docker stats sample during load; neither average nor peak.\n' + stats)
|
||||
Path('evidence/load-resources.txt').write_text(summary)
|
||||
print(output.strip())
|
||||
print(summary)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
Reference in New Issue
Block a user