This commit is contained in:
2026-10-02 22:04:22 +03:00
parent 65003b6119
commit dee2dacdd3
49 changed files with 10067 additions and 24 deletions
+3
View File
@@ -18,3 +18,6 @@ __pycache__
node_modules
evidence
.DS_Store
.secrets
*.zip
+3
View File
@@ -30,3 +30,6 @@ coverage/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
.secrets/
*.dump
+30
View File
@@ -0,0 +1,30 @@
FROM python:3.12.10-slim-bookworm
ENV PYTHONDONTWRITEBYTECODE=1 \
PYTHONUNBUFFERED=1 \
APP_HOST=0.0.0.0 \
APP_PORT=8080
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir --requirement requirements.txt \
&& groupadd --system --gid 10001 app \
&& useradd --system --uid 10001 --gid app --home-dir /nonexistent --shell /usr/sbin/nologin app
COPY --chown=app:app src ./src
COPY --chown=app:app migrations ./migrations
COPY --chown=app:app scripts ./scripts
COPY --chown=app:app student-tests ./student-tests
COPY --chown=app:app tests ./tests
COPY --chown=app:app contracts ./contracts
COPY --chown=app:app lab.json ./lab.json
RUN mkdir -p evidence && chown app:app evidence
USER 10001:10001
EXPOSE 8080
HEALTHCHECK --interval=10s --timeout=3s --start-period=3s --retries=3 \
CMD ["python", "/app/scripts/healthcheck.py"]
CMD ["sh", "-c", "exec uvicorn src.main:app --host \"${APP_HOST}\" --port \"${APP_PORT}\" --workers 1 --timeout-graceful-shutdown 10"]
+20
View File
@@ -24,3 +24,23 @@ load:
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
.PHONY: setup ready student-checks experiment backup-restore test-dependencies test-expiry
setup:
bash scripts/setup.sh
ready:
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/wait_ready.py
student-checks:
$(PYTHON) student-tests/checks.py --base-url "$(BASE_URL)"
$(PYTHON) student-tests/test_api.py --base-url "$(BASE_URL)"
docker compose exec -T api python student-tests/database.py
docker compose exec -T api python student-tests/test_lifecycle.py
experiment:
@mkdir -p evidence
docker compose run --rm -T --no-deps --user "$(shell id -u):$(shell id -g)" -v "$(CURDIR)/evidence:/app/evidence" api python -m scripts.experiment
backup-restore:
bash scripts/backup_restore.sh
test-dependencies:
$(PYTHON) student-tests/dependencies.py --base-url "$(BASE_URL)" --stop-cache scripts/stop-cache.sh --start-cache scripts/start-cache.sh --stop-db scripts/stop-db.sh --start-db scripts/start-db.sh
test-expiry:
bash scripts/test_expiry.sh
+219 -24
View File
@@ -1,37 +1,232 @@
# Отчёт — лабораторная 2
# Лабораторная работа № 2 — постоянное хранение и сессии
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор: Максим Шептунов, группа БВТ2301.
- Целевая оценка: 5.
- Выбранный трек: 2, «План запроса и восстановление».
- Дата проверки: 02.10.2026.
- Исходный skeleton: `65003b61195361aac238f19c9bff0027ca58e09e`.
- Commit решения и ссылка на PR: заполнить после публикации.
- Помощь ИИ: помощь с реализацией, тестами и разбором результатов.
- Все численные результаты ниже получены на моём стенде. Доказательства — файлы `evidence/local_*` и JSON текущего эксперимента.
## Запуск из чистого clone
## 1. Переход от первой лабораторной
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
За основу взят мой итоговый вариант lab1. Сохранены операции с пользователями, чатами и сообщениями, проверки входных данных, доступ только участникам, единый формат ошибок и курсорная пагинация.
## Архитектура и решения
Хранение в памяти заменено PostgreSQL. Вместо доверия заголовку X-User-Id добавлены пароль и сессии. Redis используется для кеширования публичного профиля пользователя. Добавлены миграции, ограничения базы, проверки транзакций, перезапуска и отказов. Обязательные контракты и публичные тесты lab2 не изменялись.
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
## 2. Окружение и запуск
## Доказательства критериев
| Параметр | Значение |
|---|---|
| Система | Windows 11, WSL2/Ubuntu; ядро 5.15.146.1-microsoft-standard-WSL2 |
| CPU | Intel Core i5-1240P; WSL видит 16 логических CPU |
| Память, видимая WSL | около 7,6 GiB; swap 2,0 GiB |
| Python хоста / API | 3.10.12 / 3.12.10 |
| Docker | 28.0.1 |
| Docker Compose | v2.27.0-desktop.2 |
| PostgreSQL | 16.9, образ postgres:16.9-bookworm |
| Redis | 7.4.3, образ redis:7.4.3-bookworm |
| PostgreSQL shared_buffers / work_mem | 128MB / 4MB |
| PostgreSQL fsync / synchronous_commit | on / on |
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Окружение зафиксировано в `evidence/local_environment.txt`. Это параметры виртуальной среды, а не измерение потребления CPU и памяти процессами. Образы закреплены тегами; зависимости API перечислены в requirements.txt.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Запуск из каталога проекта:
## Эксперименты и отказы
```bash
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-dev.txt
chmod +x scripts/*.sh
make setup
docker compose config --quiet
docker compose up -d --build --wait
make ready
```
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
На хост устанавливаются зависимости проверки OpenAPI; зависимости API устанавливаются в Docker-образе.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
setup создаёт пароль и строку подключения в .secrets, а также .env. Каталог .secrets имеет права 700; db_password — 600; database_url — 644, чтобы непривилегированный пользователь API мог прочитать файл, смонтированный через Compose secrets. Закрытый родительский каталог ограничивает доступ других пользователей хоста. .secrets и .env исключены из Git и контекста сборки.
## Ограничения и следующие шаги
Первый запуск выявил ошибку прав чтения database_url; права и setup.sh исправлены. Успешная готовность и работа после исправления подтверждены local_ready.txt, local_services.txt и local_smoke.txt.
Обычная остановка: `docker compose down`. Именованные volumes сохраняются. `docker compose down -v` удаляет данные и не используется для проверки перезапуска. Пароль не следует заменять отдельно от существующего PostgreSQL volume.
## 3. Архитектура, схема и транзакции
FastAPI выполняет валидацию, аутентификацию и проверку доступа. PostgreSQL — источник истины для users, chats, chat_members, messages и sessions. У PostgreSQL постоянный volume. Redis хранит публичные профили с TTL 60 секунд; его данные также находятся в volume, включён AOF с appendfsync everysec.
Схема задана в migrations/001_initial.sql:
- UUID — первичные ключи основных объектов;
- users.username имеет UNIQUE и проверку формата;
- chat_members имеет составной PRIMARY KEY (chat_id, user_id);
- внешние ключи запрещают ссылки на отсутствующих пользователей и чаты;
- messages(chat_id, sender_id) ссылается на членство (chat_id, user_id);
- CHECK ограничивает допустимость текстовых полей;
- индекс messages(chat_id, created_at, id) соответствует чтению истории;
- индекс chat_members(user_id, chat_id) помогает искать чаты пользователя;
- sessions содержит хеш токена, пользователя и expires_at.
Создание чата и всех участников выполняется в одной транзакции. В тесте ошибка внешнего ключа возникает после частичных вставок; после rollback отсутствуют и чат, и членство. INSERT сообщения фиксируется до ответа 201.
Конкурентная регистрация защищена UNIQUE: из восьми запросов с одинаковым username один успешен, остальные получают 409. SQL-параметры передаются отдельно через psycopg, без конкатенации пользовательских значений.
Миграции применяются при запуске. schema_migrations хранит версии; изменение схемы и запись версии атомарны. Advisory lock сериализует одновременное применение миграций. Повторное применение проверено тестом.
Пул PostgreSQL: 1–8 соединений, ожидание соединения 2 секунды, connect_timeout 2 секунды, statement_timeout 3 секунды, lock_timeout 2 секунды. Это пределы отдельных стадий, а не единый deadline всего HTTP-запроса.
## 4. Аутентификация и кеш
Пароли хешируются Argon2id: time_cost=2, memory_cost=19456 KiB, parallelism=1, случайная соль библиотеки. Basic разрешён только для POST /api/v1/auth/sessions. Для операций с чатами и сообщениями нужен Bearer; X-User-Id не предоставляет доступ.
Токен генерируется из 32 случайных байтов. Клиент получает исходный токен, PostgreSQL хранит только SHA-256. Быстрый хеш подходит для случайного токена высокой энтропии; для человеческого пароля используется медленный KDF.
Сессия имеет абсолютный срок: момент выдачи плюс TTL, по умолчанию 3600 секунд. На каждом защищённом запросе PostgreSQL проверяет токен и expires_at. Logout удаляет сессию; перезапуск не продлевает её срок. Уже начатый запрос может завершиться после logout.
Redis не кеширует действительность сессии: после проверки в PostgreSQL он заменяет повторное SQL-чтение публичного профиля. При отказе Redis профиль читается из PostgreSQL. Профиль не редактируется обязательным API; при добавлении редактирования понадобится инвалидация кеша.
В Docker-прогоне первоначально обнаружена задержка fallback более восьми секунд. Добавлены dns_opt timeout:1/attempts:1 для API и пропуск записи в кеш после ошибки его чтения. Повторный тест отказов прошёл. Socket timeout Redis равен 0,25 секунды, но не является общим пределом времени с учётом DNS. Весь сценарий Redis offline занял 3,065 секунды, а не один запрос.
При отказе PostgreSQL приложение не доверяет данным клиента: защищённый запрос получает 503. /health/live не требует базы; /health/ready проверяет PostgreSQL. Пустой Redis не препятствует готовности.
Локальный API опубликован только на 127.0.0.1:8080. При удалённом использовании нужен TLS: Basic/Base64 не шифрует пароль. Пароли и токены не добавляются в evidence.
## 5. Выполненные проверки
| Проверка | Результат | Доказательство в evidence |
|---|---|---|
| make check | PASS, структура и синтаксис; не проверяет работающий API | local_check.txt |
| make validate | PASS, OpenAPI и JSON Schema; не проверяет работающий API | local_validate.txt |
| make ready, docker compose ps | API готов, три сервиса healthy | local_ready.txt, local_services.txt |
| make test | PASS публичного сценария API | local_smoke.txt |
| make student-checks | PASS гонки регистрации, валидации, cursor scope, read-after-write и logout | local_student_checks.txt |
| Тест API из lab1 | 10 клиентов создали ровно 100 уникальных сообщений; пагинация прошла | local_student_checks.txt |
| Тест БД | PASS rollback чата и участников, повтор миграций | local_student_checks.txt |
| SIGTERM и перезапуск API | завершение за 0,166 с, старый пользователь и токен сохранились | local_student_checks.txt |
| make test-persistence ACTION_SCRIPT=scripts/restart.sh | PASS сохранности подтверждённых данных и старой сессии | local_persistence.txt |
| make test-dependencies | PASS отказов, восстановления и запрета анонимного доступа | local_dependencies.txt, dependency_failures.json |
| make test-expiry | PASS срока сессии с TTL=2 | local_expiry.txt |
| make test после отказов | PASS | local_smoke_after_failures.txt |
| make experiment | PASS 100000 сообщений, двух индексов, запросов и записи | local_experiment.txt, track2_raw.json |
| make backup-restore | PASS отдельного PostgreSQL/volume и сверки данных | local_backup_restore.txt, backup_restore.json, restore_verification.json |
| Финальный make test | PASS после эксперимента и восстановления | local_final_smoke.txt |
scripts/restart.sh останавливает API, Redis и PostgreSQL, затем запускает хранилища и API с ожиданием готовности. Тест persistence использует прежний токен и ранее подтверждённые данные, без повторной регистрации. В выводе теста scope hook не раскрывается; его объём определяется указанным скриптом.
Команды воспроизведения:
```bash
make check
make validate
make test
make student-checks
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-dependencies
make test-expiry
make ready
make test
make experiment
make backup-restore
make test
```
## 6. Исследование трека 2
### Гипотеза и методика
Гипотеза: составной индекс (chat_id, created_at, id) вместе с keyset-пагинацией уменьшает работу при чтении глубокой страницы. OFFSET даже при наличии индекса должен пройти пропускаемые строки. Более широкий индекс требует дополнительного места и может увеличить стоимость записи.
Эксперимент изолирован в схеме research_07e953c76ff9 внутри основной БД. Это не отдельное физическое хранилище. Структура таблиц и ограничения соответствуют приложению.
Создано 100000 сообщений: пять чатов на 70000, 20000, 9000, 900 и 100 сообщений. Использованы случайные UUID, текст переменной длины и время с интервалом 1 микросекунда. Seed=42 задаёт порядок измерений, но не делает UUID детерминированными.
Сравниваются индексы (chat_id) и (chat_id, created_at, id), запросы OFFSET и keyset, три позиции в каждом чате: около начала, середины и 90% истории. Всего 60 комбинаций. Каждый запрос возвращает до 51 строки, соответствуя странице API на 50 сообщений с дополнительной строкой для определения продолжения.
Для сравнения выбирается одна граница, после которой оба запроса возвращают одну и ту же страницу. Позиция около начала означает чтение после первой выбранной строки, а не первый запрос без курсора.
Для каждой комбинации выполнены 5 прогревов и 30 измерений, concurrency=1. Перед измерением обновлена статистика ANALYZE. Планировщик не принуждается использовать индекс. Client latency включает SQL, передачу результата и работу драйвера; это не HTTP latency. EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) выполнен отдельно. p50 — медиана, p95/p99 вычислены методом ближайшего ранга; при 30 измерениях p99 фактически максимум.
### Результат глубокой страницы большого чата
Чат: 70000 сообщений. Курсор после позиции 62999; OFFSET пропускает 63000 строк.
| Индекс | Запрос | p50, мс | p95, мс |
|---|---|---:|---:|
| chat_id | OFFSET | 39,608 | 46,870 |
| chat_id | keyset | 12,574 | 16,630 |
| chat_id, created_at, id | OFFSET | 10,017 | 14,338 |
| chat_id, created_at, id | keyset | 0,741 | 0,982 |
Keyset с составным индексом примерно в 13,5 раза быстрее по медиане, чем OFFSET с тем же индексом. Это результат конкретной страницы и стенда.
У начала большого чата медианы составного индекса: OFFSET 0,375 мс, keyset 0,508 мс. Преимущество keyset не универсально: при малом числе пропускаемых строк различие невелико. Полные результаты находятся в track2_summary.md и track2_raw.json.
### Объяснение планами
Для глубокого OFFSET с составным индексом план содержит Limit → Index Scan. Сканирование отдаёт 63051 строку; Limit пропускает 63000. Shared hit blocks — 2447.
Для keyset с составным индексом: Limit → Index Scan с границей пары (created_at, id) в Index Cond. Сканирование отдаёт 51 строку, shared hit blocks — 6. Отдельная сортировка не нужна. Server Execution Time этого отдельного EXPLAIN — 0,068 мс; это не клиентская медиана 0,741 мс.
При индексе только chat_id глубокий OFFSET использует Seq Scan → Sort → Limit, сортировка external merge с временными блоками. Для keyset с простым индексом в этом прогоне выбран Index Scan и top-N heapsort; отобрано 7000 строк до ограничения страницы. Один курсор без соответствующего составного индекса не обеспечивает столь же дешёвое чтение.
### Размер индекса и запись
После каждой конфигурации выполнено пять транзакций COPY по 1000 строк с COMMIT. Текст партии одинаковой длины; сообщения распределены по чатам равномерно. Удаление дополнительных строк находится вне таймера. Это пакетная SQL-вставка, не время HTTP POST.
| Индекс | Размер, байт | Медиана партии, мс |
|---|---:|---:|
| chat_id | 720896 | 29,870 |
| chat_id, created_at, id | 5914624 | 33,735 |
Составной индекс примерно в 8,2 раза больше. Медиана пакетной записи выше примерно на 12,9%. В этом прогоне ускорение чтения сопровождалось увеличением размера и наблюдаемым замедлением записи. Пять партий и фиксированный порядок конфигураций не позволяют заявлять статистически устойчивую величину накладных расходов.
Ограничения: прогретые кеши, один клиент SQL, виртуальная среда, отсутствие исследования холодного диска и максимальной нагрузки. Тридцать повторов недостаточны для надёжной оценки редкого хвоста задержек. Вариант без дополнительного индекса не измерялся. Повтор эксперимента создаёт новую схему и не удаляет старые.
## 7. Backup, восстановление и границы потери данных
scripts/backup_restore.sh выполняет pg_dump -Fc всей БД, создаёт отдельный Compose project и новый PostgreSQL volume, восстанавливает архив через pg_restore и проверяет данные исследовательской схемы. Рабочее хранилище не заменяется.
| Показатель | Результат |
|---|---:|
| Создание backup | 1,033 с |
| Запуск нового PostgreSQL | 5,770 с |
| pg_restore | 1,109 с |
| Размер архива | 3208212 байт |
| Проект восстановления | lab2-restore-1790966246-29166 |
| Полных выбранных сообщений совпало | 5 |
Сверка после восстановления: users=1, chats=5, chat_members=5, messages=100000, sessions=0 в исследовательской схеме. Сравниваются id, chat_id, sender_id, text и created_at пяти сообщений. Это проверка количества и выборочных полных строк, не полный checksum базы. Сохранность сессий проверяется отдельно тестом persistence.
Дамп содержит всю БД, включая рабочие тестовые данные, а 100000 — количество сообщений текущей исследовательской схемы. Raw dump хранится в backups и не публикуется.
pg_dump создаёт согласованный снимок. Более поздние записи не гарантируются в копии. RPO зависит от возраста и периодичности backup; нулевой RPO не заявляется. PITR и архивирование WAL не настроены.
RTO включает подготовку хранилища, передачу backup, восстановление, проверки и переключение приложения. Измеренные 1,109 с — только pg_restore; запуск нового сервера измерен отдельно, время проверки и полного переключения не включено.
При fsync=on и synchronous_commit=on COMMIT подтверждает локальную фиксацию WAL. Volume сохраняет данные при обычном restart, но не защищает от физической потери диска или хоста.
## 8. Отказы и ограничения реализации
| Воздействие | Факт проверки | Граница результата |
|---|---|---|
| Перезапуск API и хранилищ | прежние данные и токен сохранились | volumes сохранены; это не потеря диска |
| Redis offline | fallback, чтение/запись и logout работают; сценарий 3,065 с | время всего набора операций, не одного GET |
| PostgreSQL offline | 503 защищённого запроса, live=200, без токена=401; сценарий 0,024 с | конкретный отказ в этом прогоне, не общий предел |
| Restore в новый volume | количество и пять полных сообщений совпали | более поздние записи могут отсутствовать |
Один API и одна PostgreSQL primary, без HA и репликации. Курсор задаёт устойчивый порядок (created_at, id), но отдельные страницы не образуют единый снимок: конкурентная поздняя фиксация строки с ключом до курсора может привести к её пропуску при обходе. UUID не является порядком COMMIT.
Профиль и членство не редактируются обязательным API. Истёкшие сессии отвергаются по expires_at; периодическая очистка таблицы отдельно не реализована. Нет отдельного механизма идемпотентности отправки сообщений. Требуются дополнительные измерения перед масштабированием пула и количества API.
## 9. Источники
- README.md, COURSE.md и contracts/ текущей лабораторной.
- PostgreSQL 16: https://www.postgresql.org/docs/16/indexes-multicolumn.html
- EXPLAIN: https://www.postgresql.org/docs/16/using-explain.html
- Backup: https://www.postgresql.org/docs/16/app-pgdump.html
- Restore: https://www.postgresql.org/docs/16/app-pgrestore.html
- psycopg: https://www.psycopg.org/psycopg3/docs/
- Argon2: https://argon2-cffi.readthedocs.io/
- HTTP Basic: https://www.rfc-editor.org/rfc/rfc7617
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
+17
View File
@@ -0,0 +1,17 @@
# Отдельный сервер и новый volume, основной db не затрагивается.
services:
restored:
image: postgres:16.9-bookworm
environment:
POSTGRES_DB: restored
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
secrets: [db_password]
volumes: [restored_data:/var/lib/postgresql/data]
healthcheck:
test: [CMD-SHELL, 'pg_isready -U messenger -d restored']
interval: 2s
timeout: 3s
retries: 30
volumes:
restored_data:
+51
View File
@@ -0,0 +1,51 @@
services:
db:
image: postgres:16.9-bookworm
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
secrets: [db_password]
volumes: [postgres_data:/var/lib/postgresql/data]
healthcheck:
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
interval: 2s
timeout: 3s
retries: 30
cache:
image: redis:7.4.3-bookworm
command: [redis-server, --appendonly, 'yes', --appendfsync, everysec]
volumes: [redis_data:/data]
healthcheck:
test: [CMD, redis-cli, ping]
interval: 2s
timeout: 3s
retries: 30
api:
build: .
dns_opt:
- "timeout:1"
- "attempts:1"
environment:
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL: redis://cache:6379/0
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DB_POOL_MAX: ${DB_POOL_MAX:-8}
secrets: [database_url]
ports: ['127.0.0.1:${APP_PORT:-8080}:8080']
depends_on:
db: {condition: service_healthy}
cache: {condition: service_healthy}
healthcheck:
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready', timeout=4)"]
interval: 2s
timeout: 5s
retries: 30
volumes:
postgres_data:
redis_data:
secrets:
db_password:
file: .secrets/db_password
database_url:
file: .secrets/database_url
+8
View File
@@ -0,0 +1,8 @@
{
"backup_seconds": 1.032968691,
"new_server_start_seconds": 5.76950239,
"restore_seconds": 1.109244704,
"restore_project": "lab2-restore-1790966246-29166",
"backup_bytes": 3208212,
"stand": "Docker Compose, PostgreSQL 16.9"
}
+5
View File
@@ -0,0 +1,5 @@
{
"redis_offline_scenario_seconds": 3.0654408010013867,
"db_offline_scenario_seconds": 0.023503273994720075,
"status": "PASS"
}
+77
View File
@@ -0,0 +1,77 @@
bash scripts/backup_restore.sh
Network lab2-restore-1790966246-29166_default Creating
Network lab2-restore-1790966246-29166_default Created
Volume "lab2-restore-1790966246-29166_redis_data" Creating
Volume "lab2-restore-1790966246-29166_redis_data" Created
Volume "lab2-restore-1790966246-29166_restored_data" Creating
Volume "lab2-restore-1790966246-29166_restored_data" Created
Volume "lab2-restore-1790966246-29166_postgres_data" Creating
Volume "lab2-restore-1790966246-29166_postgres_data" Created
Container lab2-restore-1790966246-29166-restored-1 Creating
Container lab2-restore-1790966246-29166-restored-1 Created
Container lab2-restore-1790966246-29166-restored-1 Starting
Container lab2-restore-1790966246-29166-restored-1 Started
Container lab2-restore-1790966246-29166-restored-1 Waiting
Container lab2-restore-1790966246-29166-restored-1 Healthy
#0 building with "default" instance using docker driver
#1 [api internal] load build definition from Dockerfile
#1 transferring dockerfile: 1.04kB done
#1 DONE 0.0s
#2 [api internal] load metadata for docker.io/library/python:3.12.10-slim-bookworm
#2 DONE 0.7s
#3 [api internal] load .dockerignore
#3 transferring context: 212B done
#3 DONE 0.0s
#4 [api 1/12] FROM docker.io/library/python:3.12.10-slim-bookworm@sha256:fd95fa221297a88e1cf49c55ec1828edd7c5a428187e67b5d1805692d11588db
#4 DONE 0.0s
#5 [api internal] load build context
#5 transferring context: 1.72kB done
#5 DONE 0.0s
#6 [api 8/12] COPY --chown=app:app student-tests ./student-tests
#6 CACHED
#7 [api 11/12] COPY --chown=app:app lab.json ./lab.json
#7 CACHED
#8 [api 6/12] COPY --chown=app:app migrations ./migrations
#8 CACHED
#9 [api 9/12] COPY --chown=app:app tests ./tests
#9 CACHED
#10 [api 3/12] COPY requirements.txt .
#10 CACHED
#11 [api 2/12] WORKDIR /app
#11 CACHED
#12 [api 7/12] COPY --chown=app:app scripts ./scripts
#12 CACHED
#13 [api 10/12] COPY --chown=app:app contracts ./contracts
#13 CACHED
#14 [api 4/12] RUN pip install --no-cache-dir --requirement requirements.txt && groupadd --system --gid 10001 app && useradd --system --uid 10001 --gid app --home-dir /nonexistent --shell /usr/sbin/nologin app
#14 CACHED
#15 [api 5/12] COPY --chown=app:app src ./src
#15 CACHED
#16 [api 12/12] RUN mkdir -p evidence && chown app:app evidence
#16 CACHED
#17 [api] exporting to image
#17 exporting layers done
#17 writing image sha256:f76f54e85211d83d610b5efc29d630111b5c3ad92f5d76edbce24a7b39d9ba94 done
#17 naming to docker.io/library/lab2-restore-1790966246-29166-api done
#17 DONE 0.0s
PASS: restored row counts and selected full messages match backup dataset
Container lab2-restore-1790966246-29166-restored-1 Stopping
Container lab2-restore-1790966246-29166-restored-1 Stopped
PASS: restored into separate PostgreSQL and volume; project=lab2-restore-1790966246-29166
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+2
View File
@@ -0,0 +1,2 @@
python3 student-tests/dependencies.py --base-url "http://localhost:8080" --stop-cache scripts/stop-cache.sh --start-cache scripts/start-cache.sh --stop-db scripts/stop-db.sh --start-db scripts/start-db.sh
PASS: Redis fallback + restart + logout; DB bounded 503 + recovery; anonymous rejected
+75
View File
@@ -0,0 +1,75 @@
2026-10-02T21:38:57+03:00
Linux LAPTOP-66HKAM8B 5.15.146.1-microsoft-standard-WSL2 #1 SMP Thu Jan 11 04:09:03 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Address sizes: 39 bits physical, 48 bits virtual
Byte Order: Little Endian
CPU(s): 16
On-line CPU(s) list: 0-15
Vendor ID: GenuineIntel
Model name: 12th Gen Intel(R) Core(TM) i5-1240P
CPU family: 6
Model: 154
Thread(s) per core: 2
Core(s) per socket: 8
Socket(s): 1
Stepping: 3
BogoMIPS: 4224.01
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology tsc_reliable nonstop_tsc cpuid pni pclmulqdq vmx ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves avx_vnni umip waitpkg gfni vaes vpclmulqdq rdpid movdiri movdir64b fsrm md_clear serialize flush_l1d arch_capabilities
Virtualization: VT-x
Hypervisor vendor: Microsoft
Virtualization type: full
L1d cache: 384 KiB (8 instances)
L1i cache: 256 KiB (8 instances)
L2 cache: 10 MiB (8 instances)
L3 cache: 12 MiB (1 instance)
Vulnerability Gather data sampling: Not affected
Vulnerability Itlb multihit: Not affected
Vulnerability L1tf: Not affected
Vulnerability Mds: Not affected
Vulnerability Meltdown: Not affected
Vulnerability Mmio stale data: Not affected
Vulnerability Retbleed: Mitigation; Enhanced IBRS
Vulnerability Spec rstack overflow: Not affected
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl and seccomp
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2: Mitigation; Enhanced IBRS, IBPB conditional, RSB filling, PBRSB-eIBRS SW sequence
Vulnerability Srbds: Not affected
Vulnerability Tsx async abort: Not affected
total used free shared buff/cache available
Mem: 7.6Gi 1.0Gi 2.7Gi 49Mi 3.9Gi 6.3Gi
Swap: 2.0Gi 0B 2.0Gi
Python 3.10.12
Docker version 28.0.1, build 068a01e
Docker Compose version v2.27.0-desktop.2
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab2-api-1 mtusi2026lab2-api "sh -c 'exec uvicorn…" api 2 minutes ago Up 2 minutes (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab2-cache-1 redis:7.4.3-bookworm "docker-entrypoint.s…" cache 16 minutes ago Up 3 minutes (healthy) 6379/tcp
mtusi2026lab2-db-1 postgres:16.9-bookworm "docker-entrypoint.s…" db 16 minutes ago Up 3 minutes (healthy) 5432/tcp
Python 3.12.10
version
---------------------------------------------------------------------------------------------------------------------
PostgreSQL 16.9 (Debian 16.9-1.pgdg120+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 12.2.0-14) 12.2.0, 64-bit
(1 row)
shared_buffers
----------------
128MB
(1 row)
work_mem
----------
4MB
(1 row)
fsync
-------
on
(1 row)
synchronous_commit
--------------------
on
(1 row)
Redis server v=7.4.3 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=33b32145ce3464c9
+2
View File
@@ -0,0 +1,2 @@
docker compose run --rm -T --no-deps --user "1000:1000" -v "/home/kitsune/visotka/mtusi2026lab2/evidence:/app/evidence" api python -m scripts.experiment
PASS: measured two indexes, two queries, write cost; raw evidence saved
+11
View File
@@ -0,0 +1,11 @@
bash scripts/test_expiry.sh
Container mtusi2026lab2-api-1 Recreate
Container mtusi2026lab2-api-1 Recreated
Container mtusi2026lab2-api-1 Starting
Container mtusi2026lab2-api-1 Started
API ready
PASS: short TTL expiry
Container mtusi2026lab2-api-1 Recreate
Container mtusi2026lab2-api-1 Recreated
Container mtusi2026lab2-api-1 Starting
Container mtusi2026lab2-api-1 Started
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+2
View File
@@ -0,0 +1,2 @@
BASE_URL="http://localhost:8080" python3 scripts/wait_ready.py
API ready
+4
View File
@@ -0,0 +1,4 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab2-api-1 mtusi2026lab2-api "sh -c 'exec uvicorn…" api 10 seconds ago Up 8 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab2-cache-1 redis:7.4.3-bookworm "docker-entrypoint.s…" cache 4 minutes ago Up 4 minutes (healthy) 6379/tcp
mtusi2026lab2-db-1 postgres:16.9-bookworm "docker-entrypoint.s…" db 4 minutes ago Up 4 minutes (healthy) 5432/tcp
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+10
View File
@@ -0,0 +1,10 @@
python3 student-tests/checks.py --base-url "http://localhost:8080"
PASS: registration race, invalid input, cursor scope, read-after-write, logout
python3 student-tests/test_api.py --base-url "http://localhost:8080"
PASS: malformed JSON/media type, duplicate username, blank message, outsider access, pagination
PASS: 10 clients created exactly 100 unique messages
docker compose exec -T api python student-tests/database.py
PASS: rollback of chat + members; migration reapplied twice
docker compose exec -T api python student-tests/test_lifecycle.py
PASS: SIGTERM completed in 0.166s (limit 10s); listener closed
PASS: user and existing Bearer session survived API process restart
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+11
View File
@@ -0,0 +1,11 @@
{
"counts": {
"users": 1,
"chats": 5,
"chat_members": 5,
"messages": 100000,
"sessions": 0
},
"sample_messages_matched": 5,
"status": "PASS"
}
File diff suppressed because it is too large Load Diff
+73
View File
@@ -0,0 +1,73 @@
# Трек 2: измерения
Исходных сообщений: 100000. Прогрев: 5; повторов: 30.
| Чат | Позиция | Индекс | Запрос | p50, мс | p95, мс |
|---:|---:|---|---|---:|---:|
| 100 | 0 | chat_only | keyset | 0.458 | 1.033 |
| 100 | 0 | chat_only | offset | 0.595 | 3.031 |
| 100 | 0 | history | keyset | 0.827 | 0.988 |
| 100 | 0 | history | offset | 0.916 | 1.616 |
| 100 | 49 | chat_only | keyset | 0.648 | 0.844 |
| 100 | 49 | chat_only | offset | 0.577 | 0.891 |
| 100 | 49 | history | keyset | 0.481 | 0.519 |
| 100 | 49 | history | offset | 0.423 | 0.531 |
| 100 | 89 | chat_only | keyset | 0.439 | 0.999 |
| 100 | 89 | chat_only | offset | 0.390 | 0.601 |
| 100 | 89 | history | keyset | 0.189 | 0.276 |
| 100 | 89 | history | offset | 0.208 | 0.704 |
| 900 | 0 | chat_only | keyset | 0.588 | 0.975 |
| 900 | 0 | chat_only | offset | 0.538 | 0.784 |
| 900 | 0 | history | keyset | 0.697 | 0.834 |
| 900 | 0 | history | offset | 0.847 | 0.965 |
| 900 | 449 | chat_only | keyset | 0.621 | 1.117 |
| 900 | 449 | chat_only | offset | 0.661 | 0.996 |
| 900 | 449 | history | keyset | 0.452 | 0.644 |
| 900 | 449 | history | offset | 0.522 | 0.699 |
| 900 | 809 | chat_only | keyset | 0.966 | 1.164 |
| 900 | 809 | chat_only | offset | 0.968 | 1.112 |
| 900 | 809 | history | keyset | 0.396 | 0.767 |
| 900 | 809 | history | offset | 0.602 | 2.982 |
| 9000 | 0 | chat_only | keyset | 2.414 | 3.626 |
| 9000 | 0 | chat_only | offset | 2.415 | 2.716 |
| 9000 | 0 | history | keyset | 0.573 | 0.969 |
| 9000 | 0 | history | offset | 0.617 | 0.825 |
| 9000 | 4499 | chat_only | keyset | 2.262 | 3.937 |
| 9000 | 4499 | chat_only | offset | 2.456 | 3.302 |
| 9000 | 4499 | history | keyset | 0.394 | 0.845 |
| 9000 | 4499 | history | offset | 1.126 | 1.725 |
| 9000 | 8099 | chat_only | keyset | 2.697 | 3.257 |
| 9000 | 8099 | chat_only | offset | 2.488 | 3.299 |
| 9000 | 8099 | history | keyset | 0.381 | 0.635 |
| 9000 | 8099 | history | offset | 1.337 | 1.553 |
| 20000 | 0 | chat_only | keyset | 4.656 | 6.722 |
| 20000 | 0 | chat_only | offset | 3.398 | 4.022 |
| 20000 | 0 | history | keyset | 0.365 | 0.726 |
| 20000 | 0 | history | offset | 0.376 | 0.652 |
| 20000 | 9999 | chat_only | keyset | 4.222 | 5.626 |
| 20000 | 9999 | chat_only | offset | 9.230 | 10.648 |
| 20000 | 9999 | history | keyset | 0.565 | 0.710 |
| 20000 | 9999 | history | offset | 1.455 | 1.614 |
| 20000 | 17999 | chat_only | keyset | 4.339 | 6.111 |
| 20000 | 17999 | chat_only | offset | 9.855 | 11.566 |
| 20000 | 17999 | history | keyset | 0.470 | 0.660 |
| 20000 | 17999 | history | offset | 2.578 | 5.871 |
| 70000 | 0 | chat_only | keyset | 12.649 | 14.819 |
| 70000 | 0 | chat_only | offset | 11.156 | 12.819 |
| 70000 | 0 | history | keyset | 0.508 | 1.204 |
| 70000 | 0 | history | offset | 0.375 | 0.594 |
| 70000 | 34999 | chat_only | keyset | 13.197 | 16.115 |
| 70000 | 34999 | chat_only | offset | 35.551 | 279.058 |
| 70000 | 34999 | history | keyset | 0.370 | 0.435 |
| 70000 | 34999 | history | offset | 4.444 | 5.365 |
| 70000 | 62999 | chat_only | keyset | 12.574 | 16.630 |
| 70000 | 62999 | chat_only | offset | 39.608 | 46.870 |
| 70000 | 62999 | history | keyset | 0.741 | 0.982 |
| 70000 | 62999 | history | offset | 10.017 | 14.338 |
Цена записи: 5 транзакций по 1000 строк (COPY + COMMIT).
| Индекс | Медиана партии, мс | Размер, байт |
|---|---:|---:|
| chat_only | 29.870 | 720896 |
| history | 33.735 | 5914624 |
+36
View File
@@ -0,0 +1,36 @@
-- Сначала схема и ограничения, затем запросы приложения.
CREATE TABLE users (
id uuid PRIMARY KEY,
username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name varchar(100) NOT NULL CHECK (length(btrim(display_name)) > 0),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title varchar(100) NOT NULL CHECK (length(btrim(title)) > 0),
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
user_id uuid NOT NULL REFERENCES users(id),
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members(user_id, chat_id);
CREATE INDEX chats_order_idx ON chats(created_at, id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id),
sender_id uuid NOT NULL,
text varchar(4000) NOT NULL CHECK (length(btrim(text)) > 0),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
);
-- Equality по chat_id и range/order по двум полям курсора.
CREATE INDEX messages_history_idx ON messages(chat_id, created_at, id);
CREATE TABLE sessions (
token_hash char(64) PRIMARY KEY,
user_id uuid NOT NULL REFERENCES users(id),
expires_at timestamptz NOT NULL
);
CREATE INDEX sessions_expiry_idx ON sessions(expires_at);
+16
View File
@@ -0,0 +1,16 @@
annotated-types==0.8.0
anyio==4.15.1
click==8.5.0
fastapi==0.115.12
h11==0.16.0
idna==3.20
pydantic==2.11.5
pydantic_core==2.33.2
starlette==0.46.2
typing-inspection==0.4.4
typing_extensions==4.16.0
uvicorn==0.34.2
psycopg[binary]==3.2.9
psycopg-pool==3.3.3
redis==5.2.1
argon2-cffi==23.1.0
+40
View File
@@ -0,0 +1,40 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
# Каждое восстановление использует новый project/volume, без drop основной БД.
project="lab2-restore-$(date +%s)-$$"
mkdir -p backups evidence
start=$(date +%s%N)
docker compose exec -T db pg_dump -U messenger -d messenger -Fc > backups/lab2.dump
backed=$(date +%s%N)
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml up -d --wait restored
up=$(date +%s%N)
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml exec -T restored \
pg_restore -U messenger -d restored --no-owner --exit-on-error < backups/lab2.dump
restored=$(date +%s%N)
# Вычисляем URL из существующего secret, не выводя пароль в команду/журнал.
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml run --build --rm -T --no-deps --user "$(id -u):$(id -g)" \
-v "$PWD/evidence:/app/evidence" api python -c '
from pathlib import Path
from psycopg.conninfo import make_conninfo
from src.config import DATABASE_URL
import os, runpy
os.environ.pop("DATABASE_URL_FILE", None)
os.environ["DATABASE_URL"] = make_conninfo(DATABASE_URL, host="restored", dbname="restored")
# config уже импортирован, обновляем значение для сценария сверки.
import src.config
src.config.DATABASE_URL = os.environ["DATABASE_URL"]
runpy.run_module("scripts.verify_restore", run_name="__main__")'
python3 - "$start" "$backed" "$up" "$restored" "$project" <<'PY'
import sys, json
from pathlib import Path
start, backed, up, restored = map(int, sys.argv[1:5])
result = {'backup_seconds': (backed-start)/1e9, 'new_server_start_seconds': (up-backed)/1e9,
'restore_seconds': (restored-up)/1e9, 'restore_project': sys.argv[5],
'backup_bytes': Path('backups/lab2.dump').stat().st_size,
'stand': 'Docker Compose, PostgreSQL 16.9'}
Path('evidence/backup_restore.json').write_text(json.dumps(result, indent=2))
PY
# Сервер останавливаем, volume остаётся доступным для проверки преподавателем.
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml stop restored
printf 'PASS: restored into separate PostgreSQL and volume; project=%s\n' "$project"
+141
View File
@@ -0,0 +1,141 @@
"""Трек 2: два индекса и OFFSET/keyset на 100 000 сообщений.
Только синтетические данные в отдельной схеме. Не меняет таблицы API.
EXPLAIN включает BUFFERS, планировщику не навязывается тип плана.
"""
import json
import os
import platform
import random
import statistics
import time
from datetime import datetime, timedelta, timezone
from pathlib import Path
from uuid import uuid4
import psycopg
from psycopg import sql
from psycopg.rows import dict_row
from src.config import DATABASE_URL
SEED = 42
SIZES = [70000, 20000, 9000, 900, 100]
REPEATS = 30
def percentile(values, p):
return sorted(values)[max(0, int(len(values) * p + 0.9999) - 1)]
def measure(db, query, params):
for _ in range(5):
db.execute(query, params).fetchall()
raw = []
for _ in range(REPEATS):
start = time.perf_counter()
db.execute(query, params).fetchall()
raw.append((time.perf_counter() - start) * 1000)
plan = db.execute('EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) ' + query, params).fetchone()[0][0]
return {'latency_ms': raw, 'p50_ms': statistics.median(raw),
'p95_ms': percentile(raw, .95), 'p99_ms': percentile(raw, .99), 'plan': plan}
def main():
schema = 'research_' + uuid4().hex[:12]
rng = random.Random(SEED)
out = {'seed': SEED, 'schema': schema, 'message_count': sum(SIZES), 'sizes': SIZES,
'repeats': REPEATS, 'warmup': 5, 'concurrency': 1,
'platform': platform.platform(), 'cpu_count': os.cpu_count(), 'results': []}
Path('evidence').mkdir(exist_ok=True)
with psycopg.connect(DATABASE_URL, autocommit=True) as db:
out['postgres_version'] = db.execute('SHOW server_version').fetchone()[0]
out['settings'] = {k: db.execute('SHOW ' + k).fetchone()[0] for k in
['shared_buffers', 'work_mem', 'fsync', 'synchronous_commit']}
db.execute(sql.SQL('CREATE SCHEMA {}').format(sql.Identifier(schema)))
db.execute(sql.SQL('SET search_path TO {}').format(sql.Identifier(schema)))
# Точная схема приложения; другой search_path изолирует эксперимент.
db.execute(Path('migrations/001_initial.sql').read_text())
user = uuid4()
db.execute('INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s)',
(user, 'research_user', 'Synthetic research', 'not-a-login-account'))
chats = [uuid4() for _ in SIZES]
start_date = datetime(2026, 1, 1, tzinfo=timezone.utc)
for chat, size in zip(chats, SIZES):
db.execute('INSERT INTO chats(id,title) VALUES (%s,%s)', (chat, 'Synthetic ' + str(size)))
db.execute('INSERT INTO chat_members VALUES (%s,%s)', (chat, user))
with db.cursor().copy('COPY messages(id,chat_id,sender_id,text,created_at) FROM STDIN') as copy:
for n in range(size):
copy.write_row((uuid4(), chat, user, 'message ' + str(n) + ' x' * (n % 80),
start_date + timedelta(microseconds=n)))
samples = []
for chat in chats:
for fraction in [0, .5, .9]:
count = db.execute('SELECT count(*) FROM messages WHERE chat_id=%s', (chat,)).fetchone()[0]
offset = int((count - 1) * fraction)
cursor = db.execute('SELECT created_at,id FROM messages WHERE chat_id=%s '
'ORDER BY created_at,id OFFSET %s LIMIT 1', (chat, offset)).fetchone()
samples.append((chat, offset, cursor))
db.execute('DROP INDEX messages_history_idx')
# Порядок фиксирован, но обе конфигурации прогреваются и имеют 30 повторов.
for name, columns in [('chat_only', 'chat_id'), ('history', 'chat_id,created_at,id')]:
db.execute('CREATE INDEX research_candidate ON messages(' + columns + ')')
db.execute('ANALYZE messages')
index_bytes = db.execute("SELECT pg_relation_size('research_candidate')").fetchone()[0]
queries = list(samples)
rng.shuffle(queries)
for chat, offset, cursor in queries:
for method in ['offset', 'keyset']:
query = 'SELECT * FROM messages WHERE chat_id=%s'
if method == 'keyset':
query += ' AND (created_at,id)>(%s,%s) ORDER BY created_at,id LIMIT 51'
params = (chat, *cursor)
else:
# Cursor указывает последнюю уже прочитанную строку.
query += ' ORDER BY created_at,id OFFSET %s LIMIT 51'
params = (chat, offset + 1)
result = measure(db, query, params)
result.update(index=name, method=method, chat_size=SIZES[chats.index(chat)],
offset=offset, index_bytes=index_bytes)
out['results'].append(result)
write_ms = []
for batch in range(5):
# Цена 1000 записей + COMMIT; затем откат данных отдельной очисткой.
# Исходная история остаётся 100 000 для следующего индекса.
batch_ids = [uuid4() for _ in range(1000)]
begin = time.perf_counter()
with db.transaction():
with db.cursor().copy('COPY messages(id,chat_id,sender_id,text,created_at) FROM STDIN') as copy:
for n, mid in enumerate(batch_ids):
copy.write_row((mid, chats[n % len(chats)], user, 'write-cost ' + 'x' * 128,
start_date + timedelta(days=1, microseconds=n)))
write_ms.append((time.perf_counter() - begin) * 1000)
db.execute('DELETE FROM messages WHERE id=ANY(%s)', (batch_ids,))
out.setdefault('writes', {})[name] = {'batch_rows': 1000, 'batch_ms': write_ms,
'median_ms': statistics.median(write_ms),
'index_bytes': index_bytes}
db.execute('DROP INDEX research_candidate')
db.execute('VACUUM ANALYZE messages')
db.execute('CREATE INDEX messages_history_idx ON messages(chat_id,created_at,id)')
with db.cursor(row_factory=dict_row) as cur:
out['counts'] = {}
for table in ['users', 'chats', 'chat_members', 'messages', 'sessions']:
out['counts'][table] = db.execute('SELECT count(*) FROM ' + table).fetchone()[0]
cur.execute('SELECT * FROM messages ORDER BY created_at,id LIMIT 5')
out['sample_messages'] = [dict(row) for row in cur.fetchall()]
Path('evidence/track2_raw.json').write_text(json.dumps(out, ensure_ascii=False, indent=2, default=str))
lines = ['# Трек 2: измерения', '', 'Исходных сообщений: 100000. Прогрев: 5; повторов: 30.', '',
'| Чат | Позиция | Индекс | Запрос | p50, мс | p95, мс |',
'|---:|---:|---|---|---:|---:|']
for row in sorted(out['results'], key=lambda r: (r['chat_size'], r['offset'], r['index'], r['method'])):
lines.append(f"| {row['chat_size']} | {row['offset']} | {row['index']} | {row['method']} | "
f"{row['p50_ms']:.3f} | {row['p95_ms']:.3f} |")
lines.extend(['', 'Цена записи: 5 транзакций по 1000 строк (COPY + COMMIT).', '',
'| Индекс | Медиана партии, мс | Размер, байт |', '|---|---:|---:|'])
for name, row in out['writes'].items():
lines.append(f"| {name} | {row['median_ms']:.3f} | {row['index_bytes']} |")
Path('evidence/track2_summary.md').write_text('\n'.join(lines) + '\n')
print('PASS: measured two indexes, two queries, write cost; raw evidence saved')
if __name__ == '__main__':
main()
+12
View File
@@ -0,0 +1,12 @@
#!/usr/bin/env python3
import json
import os
import urllib.request
host = "127.0.0.1"
port = os.getenv("APP_PORT", "8080")
with urllib.request.urlopen(f"http://{host}:{port}/health/ready", timeout=2) as response:
payload = json.load(response)
if response.status != 200 or payload != {"status": "ok"}:
raise SystemExit(1)
+8
View File
@@ -0,0 +1,8 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
# Остановка/запуск всех сервисов; именованные volumes остаются.
# API запускаем после готовности хранилищ, иначе миграции могут не подключиться.
docker compose stop api cache db
docker compose up -d --wait db cache
docker compose up -d --wait api
+19
View File
@@ -0,0 +1,19 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
mkdir -p .secrets
chmod 700 .secrets
python3 - <<'PY'
from pathlib import Path
import secrets
password_file = Path('.secrets/db_password')
if not password_file.exists():
password_file.write_text(secrets.token_hex(24))
password = password_file.read_text().strip()
Path('.secrets/database_url').write_text(f'postgresql://messenger:{password}@db:5432/messenger')
for file in Path('.secrets').iterdir():
file.chmod(0o644 if file.name == "database_url" else 0o600)
if not Path('.env').exists():
Path('.env').write_text('APP_PORT=8080\nSESSION_TTL_SECONDS=3600\nDB_POOL_MAX=8\n')
print('Локальные настройки подготовлены; секреты не выводятся.')
PY
+4
View File
@@ -0,0 +1,4 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
docker compose start cache
+4
View File
@@ -0,0 +1,4 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
docker compose start db
+4
View File
@@ -0,0 +1,4 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
docker compose stop cache
+4
View File
@@ -0,0 +1,4 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
docker compose stop db
+11
View File
@@ -0,0 +1,11 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
# Меняем только конфигурацию процесса; сессии и БД остаются на месте.
restore() {
docker compose up -d --no-deps --force-recreate api
}
trap restore EXIT
SESSION_TTL_SECONDS=2 docker compose up -d --no-deps --force-recreate api
python3 scripts/wait_ready.py
python3 student-tests/checks.py --expiry
+25
View File
@@ -0,0 +1,25 @@
"""Сверка восстановленной БД с counts и пятью полными строками из эксперимента."""
import json
from pathlib import Path
import psycopg
from psycopg import sql
from psycopg.rows import dict_row
from src.config import DATABASE_URL
expected = json.loads(Path('evidence/track2_raw.json').read_text())
with psycopg.connect(DATABASE_URL, row_factory=dict_row) as db:
db.execute(sql.SQL('SET search_path TO {}').format(sql.Identifier(expected['schema'])))
counts = {}
for table, count in expected['counts'].items():
actual = db.execute(sql.SQL('SELECT count(*) AS n FROM {}').format(sql.Identifier(table))).fetchone()['n']
assert actual == count, (table, actual, count)
counts[table] = actual
actual_samples = []
for sample in expected['sample_messages']:
row = db.execute('SELECT * FROM messages WHERE id=%s', (sample['id'],)).fetchone()
actual = json.loads(json.dumps(row, default=str))
assert actual == sample, 'Restored message differs'
actual_samples.append(actual)
result = {'counts': counts, 'sample_messages_matched': len(actual_samples), 'status': 'PASS'}
Path('evidence/restore_verification.json').write_text(json.dumps(result, indent=2))
print('PASS: restored row counts and selected full messages match backup dataset')
+17
View File
@@ -0,0 +1,17 @@
"""Ожидание готовности API без сторонних библиотек."""
import os
import time
import urllib.request
url = os.getenv('BASE_URL', 'http://localhost:8080') + '/health/ready'
for attempt in range(90):
try:
with urllib.request.urlopen(url, timeout=2) as response:
if response.status == 200:
print('API ready')
break
except OSError:
pass
time.sleep(1)
else:
raise SystemExit('API не стал готов за 90 попыток')
View File
+14
View File
@@ -0,0 +1,14 @@
"""Настройки из окружения или Docker secrets; секреты не печатаем."""
import os
from pathlib import Path
def setting(name, default=None):
file = os.getenv(name + '_FILE')
return Path(file).read_text().strip() if file else os.getenv(name, default)
DATABASE_URL = setting('DATABASE_URL')
CACHE_URL = setting('CACHE_URL', 'redis://localhost:6379/0')
SESSION_TTL = int(os.getenv('SESSION_TTL_SECONDS', '3600'))
POOL_MAX = int(os.getenv('DB_POOL_MAX', '8'))
+521
View File
@@ -0,0 +1,521 @@
from __future__ import annotations
import base64
import json
import logging
import os
import re
import time
import uuid
from datetime import datetime, timedelta, timezone
from contextlib import asynccontextmanager
import hashlib
import secrets
import psycopg
from psycopg.rows import dict_row
from psycopg_pool import ConnectionPool, PoolTimeout
import redis
from argon2 import PasswordHasher
from argon2.exceptions import VerificationError, InvalidHashError
from starlette.exceptions import HTTPException
from src.config import DATABASE_URL, CACHE_URL, SESSION_TTL, POOL_MAX
from src.migrate import migrate
from typing import Annotated
from fastapi import Depends, FastAPI, Header, Query, Request
from fastapi.exceptions import RequestValidationError
from fastapi.responses import JSONResponse, Response
from pydantic import BaseModel, ConfigDict, Field, field_validator
logging.basicConfig(
level=os.getenv("LOG_LEVEL", "INFO").upper(),
format="%(asctime)s %(levelname)s %(message)s",
)
logger = logging.getLogger("messenger")
def utc_now() -> datetime:
return datetime.now(timezone.utc)
def as_json(value: BaseModel) -> dict:
return value.model_dump(mode="json")
class StrictModel(BaseModel):
model_config = ConfigDict(extra="forbid")
class User(StrictModel):
id: uuid.UUID
username: str
display_name: str
created_at: datetime
class CreateUser(StrictModel):
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
display_name: str = Field(min_length=1, max_length=100)
password: str = Field(min_length=12, max_length=128)
@field_validator("password")
@classmethod
def password_has_visible_characters(cls, value: str) -> str:
if not value.strip():
raise ValueError("password must not contain only whitespace")
return value
@field_validator("display_name")
@classmethod
def display_name_has_visible_characters(cls, value: str) -> str:
if not value.strip():
raise ValueError("display_name must not contain only whitespace")
return value
class Chat(StrictModel):
id: uuid.UUID
title: str
member_ids: list[uuid.UUID]
created_at: datetime
class CreateChat(StrictModel):
title: str = Field(min_length=1, max_length=100)
member_ids: list[uuid.UUID] = Field(min_length=1, max_length=100)
@field_validator("title")
@classmethod
def title_has_visible_characters(cls, value: str) -> str:
if not value.strip():
raise ValueError("title must not contain only whitespace")
return value
@field_validator("member_ids")
@classmethod
def member_ids_are_unique(cls, value: list[uuid.UUID]) -> list[uuid.UUID]:
if len(value) != len(set(value)):
raise ValueError("member_ids must be unique")
return value
class Message(StrictModel):
id: uuid.UUID
chat_id: uuid.UUID
sender_id: uuid.UUID
text: str
created_at: datetime
class CreateMessage(StrictModel):
text: str = Field(min_length=1, max_length=4000)
@field_validator("text")
@classmethod
def text_has_visible_characters(cls, value: str) -> str:
if not value.strip():
raise ValueError("text must not contain only whitespace")
return value
class ApiProblem(Exception):
def __init__(self, status: int, code: str, message: str, challenge: str | None = None):
self.status = status
self.code = code
self.message = message
self.challenge = challenge
class Store:
"""Источник истины теперь PostgreSQL. Redis — только кэш профилей."""
def __init__(self) -> None:
self.pool = ConnectionPool(
DATABASE_URL, min_size=1, max_size=POOL_MAX, timeout=2, open=False,
kwargs={"row_factory": dict_row, "connect_timeout": 2,
"options": "-c statement_timeout=3000 -c lock_timeout=2000 -c timezone=UTC"},
)
self.cache = redis.Redis.from_url(
CACHE_URL, decode_responses=True, socket_connect_timeout=0.25, socket_timeout=0.25,
)
def start(self) -> None:
migrate()
self.pool.open()
self.pool.wait(timeout=10)
def close(self) -> None:
self.pool.close()
self.cache.close()
def chat(self, db, chat_id: uuid.UUID) -> Chat | None:
row = db.execute("SELECT * FROM chats WHERE id=%s", (chat_id,)).fetchone()
if row is None:
return None
members = db.execute("SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id",
(chat_id,)).fetchall()
return Chat(**row, member_ids=[member["user_id"] for member in members])
def chat_messages(self, db, chat_id: uuid.UUID, limit: int, after) -> list[Message]:
# В lab1 здесь были общий список/список чата и bisect_right.
# Теперь границу ищет B-tree PostgreSQL (chat_id, created_at, id).
query = "SELECT * FROM messages WHERE chat_id=%s"
params = [chat_id]
if after is not None:
query += " AND (created_at,id)>(%s,%s)"
params.extend(after)
rows = db.execute(query + " ORDER BY created_at,id LIMIT %s", params + [limit + 1]).fetchall()
return [Message(**row) for row in rows]
store = Store()
passwords = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
dummy_hash = passwords.hash(secrets.token_urlsafe(32))
@asynccontextmanager
async def lifespan(app):
store.start()
yield
store.close()
app = FastAPI(title="MTUCI PostgreSQL messenger", version="2.0.0", lifespan=lifespan,
docs_url=None, redoc_url=None, openapi_url=None)
def request_id(request: Request) -> str:
return request.state.request_id
def error_response(request: Request, status: int, code: str, message: str, challenge: str | None = None) -> JSONResponse:
rid = getattr(request.state, "request_id", str(uuid.uuid4()))
headers = {"X-Request-Id": rid}
if challenge:
headers["WWW-Authenticate"] = challenge
return JSONResponse(
status_code=status,
content={"error": {"code": code, "message": message, "request_id": rid}},
headers=headers,
)
@app.middleware("http")
async def request_context(request: Request, call_next):
request.state.request_id = str(uuid.uuid4())
started = time.perf_counter()
status = 500
try:
# Без токена отказываем ДО обращения к БД и проверки JSON.
if request.url.path.startswith("/api/v1/") and request.url.path not in {
"/api/v1/users", "/api/v1/auth/sessions"
}:
scheme, _, token = request.headers.get("authorization", "").partition(" ")
if scheme.lower() != "bearer" or not token or len(token) > 256:
status = 401
return error_response(request, 401, "unauthorized", "Требуется Bearer",
'Bearer realm="messenger"')
json_endpoints = {
"/api/v1/users",
"/api/v1/chats",
}
requires_json = request.method == "POST" and (
request.url.path in json_endpoints
or re.fullmatch(r"/api/v1/chats/[^/]+/messages", request.url.path) is not None
)
media_type = request.headers.get("content-type", "").split(";", 1)[0].strip().lower()
if requires_json and media_type != "application/json":
status = 415
return error_response(
request,
415,
"unsupported_media_type",
"Требуется Content-Type: application/json",
)
if requires_json:
# Ограниченный JSON; после body() Starlette повторно отдаёт его маршруту.
raw = await request.body()
if len(raw) > 65536:
status = 413
return error_response(request, 413, "payload_too_large", "Запрос слишком большой")
response = await call_next(request)
status = response.status_code
response.headers["X-Request-Id"] = request.state.request_id
return response
finally:
logger.info(
"request method=%s path=%s status=%s duration_ms=%.3f request_id=%s",
request.method,
request.url.path,
status,
(time.perf_counter() - started) * 1000,
request.state.request_id,
)
@app.exception_handler(ApiProblem)
async def api_problem_handler(request: Request, exc: ApiProblem):
return error_response(request, exc.status, exc.code, exc.message, exc.challenge)
@app.exception_handler(RequestValidationError)
async def validation_handler(request: Request, exc: RequestValidationError):
return error_response(request, 400, "invalid_request", "Запрос не соответствует контракту")
@app.exception_handler(Exception)
async def unexpected_error_handler(request: Request, exc: Exception):
logger.error("unexpected_error request_id=%s", request_id(request))
return error_response(request, 500, "internal_error", "Внутренняя ошибка сервера")
@app.exception_handler(psycopg.Error)
@app.exception_handler(PoolTimeout)
async def database_error_handler(request: Request, exc: Exception):
return error_response(request, 503, "unavailable", "Хранилище временно недоступно")
@app.exception_handler(HTTPException)
async def http_error_handler(request: Request, exc: HTTPException):
code = "not_found" if exc.status_code == 404 else "invalid_request"
return error_response(request, exc.status_code, code, "Неверный маршрут или метод")
def unauthorized(basic=False):
challenge = 'Basic realm="messenger", charset="UTF-8"' if basic else 'Bearer realm="messenger"'
raise ApiProblem(401, "unauthorized", "Нужна действительная идентификация", challenge)
def token_hash(token: str) -> str:
return hashlib.sha256(token.encode()).hexdigest()
def current_user(authorization: Annotated[str | None, Header()] = None) -> User:
scheme, _, token = (authorization or "").partition(" ")
if scheme.lower() != "bearer" or not token or len(token) > 256:
unauthorized()
with store.pool.connection() as db:
session = db.execute("SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at>now()",
(token_hash(token),)).fetchone()
if session is None:
unauthorized()
key = "user:" + str(session["user_id"])
cache_available = True
try:
cached = store.cache.get(key)
if cached:
user = User.model_validate_json(cached)
if user.id == session["user_id"]:
return user
except (redis.RedisError, ValueError):
cache_available = False
row = db.execute("SELECT id,username,display_name,created_at FROM users WHERE id=%s",
(session["user_id"],)).fetchone()
user = User(**row)
if cache_available:
try:
store.cache.setex(key, 60, user.model_dump_json())
except redis.RedisError:
pass
return user
def decode_cursor(cursor: str, expected_scope: str) -> tuple[datetime, uuid.UUID]:
try:
if not cursor or len(cursor) > 1024:
raise ValueError
padded = cursor + "=" * (-len(cursor) % 4)
payload = json.loads(base64.b64decode(padded.encode(), altchars=b"-_", validate=True).decode())
if set(payload) != {"scope", "created_at", "id"} or payload["scope"] != expected_scope:
raise ValueError
created_at = datetime.fromisoformat(payload["created_at"].replace("Z", "+00:00"))
item_id = uuid.UUID(payload["id"])
if created_at.tzinfo is None:
raise ValueError
return created_at, item_id
except (ValueError, TypeError, KeyError, json.JSONDecodeError, UnicodeError):
raise ApiProblem(400, "invalid_request", "Некорректный cursor") from None
def encode_cursor(scope: str, created_at: datetime, item_id: uuid.UUID) -> str:
payload = {
"scope": scope,
"created_at": created_at.isoformat().replace("+00:00", "Z"),
"id": str(item_id),
}
return base64.urlsafe_b64encode(json.dumps(payload, separators=(",", ":")).encode()).decode().rstrip("=")
def page(items: list, limit: int, scope: str) -> dict:
# SQL уже выбрал limit+1 строк после курсора; весь список не загружаем.
selected = items[:limit]
next_cursor = None
if len(items) > limit and selected:
last = selected[-1]
next_cursor = encode_cursor(scope, last.created_at, last.id)
return {"items": [as_json(item) for item in selected], "next_cursor": next_cursor}
def visible_chat(chat_id: uuid.UUID, user: User) -> Chat:
with store.pool.connection() as db:
member = db.execute("SELECT 1 FROM chat_members WHERE chat_id=%s AND user_id=%s",
(chat_id, user.id)).fetchone()
if member is None:
raise ApiProblem(404, "not_found", "Объект не найден")
return store.chat(db, chat_id)
def page_parameters(request: Request, scope: str, limit: int, cursor: str | None):
# Query(ge/le) сохранён из lab1, добавлена проверка дублей и формы limit.
if set(request.query_params) - {"limit", "cursor"} or any(
len(request.query_params.getlist(k)) > 1 for k in request.query_params
):
raise ApiProblem(400, "invalid_request", "Некорректные параметры страницы")
if not re.fullmatch(r"[0-9]{1,3}", request.query_params.get("limit", "50")):
raise ApiProblem(400, "invalid_request", "Некорректный limit")
return decode_cursor(cursor, scope) if cursor is not None else None
@app.get("/health/live")
def liveness():
return {"status": "ok"}
@app.get("/health/ready")
def readiness():
with store.pool.connection() as db:
db.execute("SELECT 1")
return {"status": "ok"}
@app.post("/api/v1/users", status_code=201)
def register_user(body: CreateUser):
# Синхронные маршруты FastAPI исполняет в worker thread, не в event loop.
hashed = passwords.hash(body.password)
try:
with store.pool.connection() as db:
row = db.execute(
"INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) "
"RETURNING id,username,display_name,created_at",
(uuid.uuid4(), body.username, body.display_name, hashed),
).fetchone()
except psycopg.errors.UniqueViolation:
raise ApiProblem(409, "conflict", "Username уже занят") from None
return as_json(User(**row))
@app.post("/api/v1/auth/sessions", status_code=201)
def create_session(request: Request, authorization: Annotated[str | None, Header()] = None):
if request.headers.get("content-length", "0") != "0" or "transfer-encoding" in request.headers:
raise ApiProblem(400, "invalid_request", "Вход не принимает тело запроса")
scheme, _, encoded = (authorization or "").partition(" ")
try:
if scheme.lower() != "basic" or len(encoded) > 2048:
raise ValueError
username, password = base64.b64decode(encoded, validate=True).decode("utf-8").split(":", 1)
if not re.fullmatch(r"[a-z0-9_]{3,32}", username) or not 12 <= len(password) <= 128:
raise ValueError
except (ValueError, UnicodeError):
unauthorized(basic=True)
with store.pool.connection() as db:
row = db.execute("SELECT * FROM users WHERE username=%s", (username,)).fetchone()
try:
passwords.verify(row["password_hash"] if row else dummy_hash, password)
except (VerificationError, InvalidHashError):
unauthorized(basic=True)
if row is None:
unauthorized(basic=True)
token = secrets.token_urlsafe(32)
expires_at = utc_now() + timedelta(seconds=SESSION_TTL)
with store.pool.connection() as db:
db.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES (%s,%s,%s)",
(token_hash(token), row["id"], expires_at))
user = User(**{k: row[k] for k in ("id", "username", "display_name", "created_at")})
return {"token": token, "token_type": "Bearer", "user": as_json(user),
"expires_at": expires_at.isoformat().replace("+00:00", "Z")}
@app.delete("/api/v1/auth/sessions/current", status_code=204)
def delete_session(user: Annotated[User, Depends(current_user)],
authorization: Annotated[str, Header()]):
token = authorization.partition(" ")[2]
with store.pool.connection() as db:
db.execute("DELETE FROM sessions WHERE token_hash=%s", (token_hash(token),))
return Response(status_code=204)
@app.get("/api/v1/users/me")
def get_current_user(user: Annotated[User, Depends(current_user)]):
return as_json(user)
@app.post("/api/v1/chats", status_code=201)
def create_chat(body: CreateChat, user: Annotated[User, Depends(current_user)]):
if user.id not in body.member_ids:
raise ApiProblem(400, "invalid_request", "Текущий пользователь должен быть участником")
with store.pool.connection() as db:
found = db.execute("SELECT id FROM users WHERE id=ANY(%s)", (body.member_ids,)).fetchall()
if len(found) != len(body.member_ids):
raise ApiProblem(400, "invalid_request", "Указан неизвестный участник")
row = db.execute("INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING *",
(uuid.uuid4(), body.title)).fetchone()
with db.cursor() as cur:
cur.executemany("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)",
[(row["id"], member) for member in body.member_ids])
chat = store.chat(db, row["id"])
return as_json(chat) # COMMIT уже выполнен для чата и всех участников.
@app.get("/api/v1/chats")
def list_chats(
request: Request,
user: Annotated[User, Depends(current_user)],
limit: Annotated[int, Query(ge=1, le=100)] = 50,
cursor: Annotated[str | None, Query(min_length=1)] = None,
):
scope = f"chats:{user.id}"
after = page_parameters(request, scope, limit, cursor)
query = "SELECT c.* FROM chats c JOIN chat_members m ON m.chat_id=c.id WHERE m.user_id=%s"
params = [user.id]
if after is not None:
query += " AND (c.created_at,c.id)>(%s,%s)"
params.extend(after)
with store.pool.connection() as db:
rows = db.execute(query + " ORDER BY c.created_at,c.id LIMIT %s", params + [limit + 1]).fetchall()
chats = [store.chat(db, row["id"]) for row in rows]
return page(chats, limit, scope)
@app.get("/api/v1/chats/{chat_id}")
def get_chat(chat_id: uuid.UUID, user: Annotated[User, Depends(current_user)]):
return as_json(visible_chat(chat_id, user))
@app.post("/api/v1/chats/{chat_id}/messages", status_code=201)
def create_message(
chat_id: uuid.UUID,
body: CreateMessage,
user: Annotated[User, Depends(current_user)],
):
chat = visible_chat(chat_id, user)
with store.pool.connection() as db:
row = db.execute("INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *",
(uuid.uuid4(), chat.id, user.id, body.text)).fetchone()
return as_json(Message(**row))
@app.get("/api/v1/chats/{chat_id}/messages")
def list_messages(
request: Request,
chat_id: uuid.UUID,
user: Annotated[User, Depends(current_user)],
limit: Annotated[int, Query(ge=1, le=100)] = 50,
cursor: Annotated[str | None, Query(min_length=1)] = None,
):
visible_chat(chat_id, user)
scope = f"messages:{chat_id}"
after = page_parameters(request, scope, limit, cursor)
with store.pool.connection() as db:
messages = store.chat_messages(db, chat_id, limit, after)
return page(messages, limit, scope)
+26
View File
@@ -0,0 +1,26 @@
"""Версионируемые миграции: один файл = одна атомарная транзакция."""
from pathlib import Path
import psycopg
from src.config import DATABASE_URL
def migrate():
with psycopg.connect(DATABASE_URL) as db:
# Не даём двум API одновременно применить одну миграцию.
db.execute('SELECT pg_advisory_lock(20260002)')
db.execute('CREATE TABLE IF NOT EXISTS schema_migrations '
'(version text PRIMARY KEY, applied_at timestamptz DEFAULT now())')
db.commit()
for file in sorted(Path('migrations').glob('*.sql')):
with db.transaction():
applied = db.execute('SELECT 1 FROM schema_migrations WHERE version=%s',
(file.name,)).fetchone()
if not applied:
db.execute(file.read_text())
db.execute('INSERT INTO schema_migrations(version) VALUES (%s)', (file.name,))
print('Applied', file.name)
db.execute('SELECT pg_advisory_unlock(20260002)')
if __name__ == '__main__':
migrate()
+64
View File
@@ -0,0 +1,64 @@
"""Дополнения к публичному smoke. Не печатает и не сохраняет tokens."""
import concurrent.futures
import json
import sys
import time
from pathlib import Path
from uuid import uuid4
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, arguments, check, run
def main():
def configure(p):
p.add_argument('--expiry', action='store_true', help='API must run with TTL=2')
args = arguments('Student API checks', configure)
c = Client(args.base_url)
alice, bob, eve, chat = c.bootstrap()
if args.expiry:
time.sleep(2.2)
c.call('GET', '/api/v1/users/me', 401, actor=alice)
print('PASS: short TTL expiry')
return
registration = {'username': 'race_' + uuid4().hex[:12], 'display_name': 'Гонка',
'password': 'Synthetic-password-42'}
# Для гонки регистрируем оба допустимых исхода через urllib.
import urllib.request
import urllib.error
def register(_):
req = urllib.request.Request(c.base + '/api/v1/users',
data=json.dumps(registration).encode(),
headers={'Content-Type': 'application/json'})
try:
with urllib.request.urlopen(req, timeout=10) as response:
return response.status
except urllib.error.HTTPError as error:
return error.code
with concurrent.futures.ThreadPoolExecutor(max_workers=8) as executor:
codes = list(executor.map(register, range(8)))
check(codes.count(201) == 1 and codes.count(409) == 7, 'username race failed')
path = '/api/v1/chats/' + chat['id']
c.call('POST', '/api/v1/chats', 400, actor=alice,
body={'title': 'unknown member', 'member_ids': [alice['id'], str(uuid4())]})
for body in [{'text': 'x', 'sender_id': eve['id']}, {'text': 4}, {'text': ' '}]:
c.call('POST', path + '/messages', 400, actor=alice, body=body)
c.call('GET', path + '/messages?limit=true', 400, actor=alice)
c.call('GET', path + '/messages?cursor=not-a-cursor', 400, actor=alice)
for n in range(3):
c.message(alice, chat, 'read-after-write ' + str(n))
page = c.call('GET', path + '/messages?limit=1', actor=alice, schema='MessagePage')['json']
other = c.call('POST', '/api/v1/chats', 201, actor=alice,
body={'title': 'other', 'member_ids': [alice['id']]}, schema='Chat')['json']
from urllib.parse import quote
c.call('GET', '/api/v1/chats/' + other['id'] + '/messages?cursor=' +
quote(page['next_cursor'], safe=''), 400, actor=alice)
history = c.call('GET', path + '/messages', actor=bob, schema='MessagePage')['json']['items']
check(len(history) == 3 and history[-1]['text'] == 'read-after-write 2', 'read-after-write failed')
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
c.call('GET', '/api/v1/users/me', 401, actor=alice)
print('PASS: registration race, invalid input, cursor scope, read-after-write, logout')
if __name__ == '__main__':
run(main)
+29
View File
@@ -0,0 +1,29 @@
"""Проверка реального rollback после вставки чата и первого участника."""
import sys
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1]))
from uuid import uuid4
import psycopg
from src.config import DATABASE_URL
from src.migrate import migrate
migrate()
migrate() # Повтор миграции не создаёт дубликаты.
with psycopg.connect(DATABASE_URL) as db:
user = db.execute('SELECT id FROM users LIMIT 1').fetchone()
assert user, 'Сначала выполните smoke, чтобы создать синтетического пользователя'
chat = uuid4()
try:
with db.transaction():
db.execute('INSERT INTO chats(id,title) VALUES (%s,%s)', (chat, 'rollback test'))
db.execute('INSERT INTO chat_members VALUES (%s,%s)', (chat, user[0]))
# FK прерывает составную операцию ПОСЛЕ двух успешных INSERT.
db.execute('INSERT INTO chat_members VALUES (%s,%s)', (chat, uuid4()))
except psycopg.errors.ForeignKeyViolation:
pass
else:
raise AssertionError('Expected foreign-key failure')
assert db.execute('SELECT count(*) FROM chats WHERE id=%s', (chat,)).fetchone()[0] == 0
assert db.execute('SELECT count(*) FROM chat_members WHERE chat_id=%s', (chat,)).fetchone()[0] == 0
assert db.execute('SELECT count(*) FROM schema_migrations').fetchone()[0] == 1
print('PASS: rollback of chat + members; migration reapplied twice')
+67
View File
@@ -0,0 +1,67 @@
"""Проверяет отказ Redis/БД. Hook выбирает явно оператор, токен только в памяти."""
import subprocess
import sys
import time
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, arguments, check, run
def main():
def configure(p):
p.add_argument('--stop-cache', required=True)
p.add_argument('--start-cache', required=True)
p.add_argument('--stop-db', required=True)
p.add_argument('--start-db', required=True)
args = arguments('Dependency failures', configure)
c = Client(args.base_url, timeout=8)
alice, bob, eve, chat = c.bootstrap()
def hook(path):
subprocess.run([str(Path(path).resolve())], check=True,
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL, timeout=40)
def wait():
for _ in range(90):
try:
c.call('GET', '/health/ready', schema='Health')
return
except AssertionError:
time.sleep(.5)
raise AssertionError('DB did not recover')
result = {}
try:
hook(args.stop_cache)
start = time.monotonic()
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
c.call('GET', '/api/v1/users/me', 401)
c.call('GET', '/health/ready', schema='Health')
confirmed = c.message(alice, chat, 'Redis offline')['json']
messages = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages',
actor=bob, schema='MessagePage')['json']['items']
check(confirmed in messages, 'read-after-write failed without Redis')
result['redis_offline_scenario_seconds'] = time.monotonic() - start
finally:
hook(args.start_cache)
# Тот же токен работает после восстановления Redis, logout сразу действует.
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
c.call('GET', '/api/v1/users/me', 401, actor=alice)
try:
hook(args.stop_db)
start = time.monotonic()
c.call('GET', '/health/ready', 503)
c.call('GET', '/health/live', schema='Health')
c.call('GET', '/api/v1/users/me', 503, actor=bob)
c.call('GET', '/api/v1/users/me', 401)
result['db_offline_scenario_seconds'] = time.monotonic() - start
finally:
hook(args.start_db)
wait()
c.call('GET', '/api/v1/users/me', actor=bob, schema='User')
import json
result['status'] = 'PASS'
Path('evidence/dependency_failures.json').write_text(json.dumps(result, indent=2))
print('PASS: Redis fallback + restart + logout; DB bounded 503 + recovery; anonymous rejected')
if __name__ == '__main__':
run(main)
+87
View File
@@ -0,0 +1,87 @@
#!/usr/bin/env python3
"""Black-box grading evidence beyond the public smoke test."""
from concurrent.futures import ThreadPoolExecutor
import json
import sys
import uuid
from pathlib import Path
from urllib.parse import quote
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "tests"))
from client import Client, arguments, check, run # noqa: E402
def collect_messages(client, actor, chat, page_size=17):
items = []
cursor = None
while True:
path = f"/api/v1/chats/{chat['id']}/messages?limit={page_size}"
if cursor:
path += "&cursor=" + quote(cursor, safe="")
page = client.call("GET", path, actor=actor, schema="MessagePage")["json"]
items.extend(page["items"])
cursor = page["next_cursor"]
if cursor is None:
return items
def main():
args = arguments("Student negative, pagination and concurrency tests")
client = Client(args.base_url, args.ca_file)
alice, bob, outsider, chat = client.bootstrap()
client.call(
"POST",
"/api/v1/users",
400,
raw=b'{"username":',
headers={"Content-Type": "application/json"},
)
client.call(
"POST",
"/api/v1/users",
415,
raw=b'{"username":"wrong_media","display_name":"Wrong"}',
headers={"Content-Type": "text/plain"},
)
client.call("POST", "/api/v1/users", 409, body=alice["registration"])
client.call(
"POST",
f"/api/v1/chats/{chat['id']}/messages",
400,
actor=alice,
body={"text": " \t"},
)
client.call("GET", f"/api/v1/chats/{chat['id']}", 404, actor=outsider)
prefix = "race-" + uuid.uuid4().hex + "-"
def send(worker_id):
local = Client(args.base_url, args.ca_file)
return [
local.message(alice, chat, f"{prefix}{worker_id}-{index}")["json"]
for index in range(10)
]
with ThreadPoolExecutor(max_workers=10) as pool:
created = [message for batch in pool.map(send, range(10)) for message in batch]
check(len(created) == 100, "not all concurrent requests succeeded")
check(len({message["id"] for message in created}) == 100, "duplicate message ids returned")
history = collect_messages(client, bob, chat)
concurrent_history = [message for message in history if message["text"].startswith(prefix)]
check(len(concurrent_history) == 100, "history does not contain exactly 100 concurrent messages")
check(len({message["id"] for message in concurrent_history}) == 100, "history contains duplicates")
check(
history == sorted(history, key=lambda message: (message["created_at"], uuid.UUID(message["id"]).int)),
"multi-page history is out of order",
)
print("PASS: malformed JSON/media type, duplicate username, blank message, outsider access, pagination")
print("PASS: 10 clients created exactly 100 unique messages")
if __name__ == "__main__":
run(main)
+103
View File
@@ -0,0 +1,103 @@
#!/usr/bin/env python3
"""Из lab1: SIGTERM. Для lab2 проверяем сохранность вместо потери состояния."""
import json
import base64
import os
from pathlib import Path
import signal
import subprocess
import sys
import time
import urllib.error
import urllib.request
import uuid
ROOT = Path(__file__).resolve().parents[1]
BASE = "http://127.0.0.1:18080"
def request(method, path, body=None, token=None, expected=200, extra_headers=None):
headers = {"Accept": "application/json"}
data = None
if body is not None:
data = json.dumps(body, ensure_ascii=False).encode()
headers["Content-Type"] = "application/json"
if token:
headers["Authorization"] = "Bearer " + token
headers.update(extra_headers or {})
req = urllib.request.Request(BASE + path, data=data, headers=headers, method=method)
try:
response = urllib.request.urlopen(req, timeout=2)
except urllib.error.HTTPError as exc:
response = exc
with response:
payload = json.loads(response.read())
if response.status != expected:
raise AssertionError(f"expected {expected}, received {response.status}: {payload}")
return payload
def start_server():
env = os.environ.copy()
env["LOG_LEVEL"] = "WARNING"
process = subprocess.Popen(
[sys.executable, "-m", "uvicorn", "src.main:app", "--host", "127.0.0.1", "--port", "18080", "--timeout-graceful-shutdown", "10"],
cwd=ROOT,
env=env,
stdout=subprocess.DEVNULL,
stderr=subprocess.DEVNULL,
)
deadline = time.monotonic() + 10
while time.monotonic() < deadline:
if process.poll() is not None:
raise AssertionError("server exited during startup")
try:
request("GET", "/health/ready")
return process
except (OSError, urllib.error.URLError):
time.sleep(0.1)
process.kill()
raise AssertionError("server did not become ready")
def stop_server(process):
started = time.monotonic()
process.send_signal(signal.SIGTERM)
process.wait(timeout=10)
elapsed = time.monotonic() - started
try:
request("GET", "/health/live")
except (OSError, urllib.error.URLError):
pass
else:
raise AssertionError("server still accepts requests after shutdown")
return elapsed
def main():
username = "restart_" + uuid.uuid4().hex[:12]
password = "Synthetic-password-42"
first = start_server()
try:
user = request("POST", "/api/v1/users", {
"username": username, "display_name": "До перезапуска", "password": password,
}, expected=201)
basic = base64.b64encode((username + ":" + password).encode()).decode()
session = request("POST", "/api/v1/auth/sessions", expected=201,
extra_headers={"Authorization": "Basic " + basic})
request("GET", "/api/v1/users/me", token=session["token"])
finally:
elapsed = stop_server(first)
second = start_server()
try:
restored = request("GET", "/api/v1/users/me", token=session["token"])
assert restored == user, "User changed after API restart"
finally:
stop_server(second)
print(f"PASS: SIGTERM completed in {elapsed:.3f}s (limit 10s); listener closed")
print("PASS: user and existing Bearer session survived API process restart")
if __name__ == "__main__":
main()