ЛР 2 - БВТ2301 - Шептунов - на 5 #8
@@ -18,3 +18,6 @@ __pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
|
||||
.secrets
|
||||
*.zip
|
||||
|
||||
@@ -30,3 +30,6 @@ coverage/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
.secrets/
|
||||
*.dump
|
||||
|
||||
+30
@@ -0,0 +1,30 @@
|
||||
FROM python:3.12.10-slim-bookworm
|
||||
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1 \
|
||||
APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir --requirement requirements.txt \
|
||||
&& groupadd --system --gid 10001 app \
|
||||
&& useradd --system --uid 10001 --gid app --home-dir /nonexistent --shell /usr/sbin/nologin app
|
||||
|
||||
COPY --chown=app:app src ./src
|
||||
COPY --chown=app:app migrations ./migrations
|
||||
COPY --chown=app:app scripts ./scripts
|
||||
COPY --chown=app:app student-tests ./student-tests
|
||||
COPY --chown=app:app tests ./tests
|
||||
COPY --chown=app:app contracts ./contracts
|
||||
COPY --chown=app:app lab.json ./lab.json
|
||||
RUN mkdir -p evidence && chown app:app evidence
|
||||
|
||||
USER 10001:10001
|
||||
EXPOSE 8080
|
||||
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=3s --retries=3 \
|
||||
CMD ["python", "/app/scripts/healthcheck.py"]
|
||||
|
||||
CMD ["sh", "-c", "exec uvicorn src.main:app --host \"${APP_HOST}\" --port \"${APP_PORT}\" --workers 1 --timeout-graceful-shutdown 10"]
|
||||
@@ -24,3 +24,23 @@ load:
|
||||
test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
.PHONY: setup ready student-checks experiment backup-restore test-dependencies test-expiry
|
||||
setup:
|
||||
bash scripts/setup.sh
|
||||
ready:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/wait_ready.py
|
||||
student-checks:
|
||||
$(PYTHON) student-tests/checks.py --base-url "$(BASE_URL)"
|
||||
$(PYTHON) student-tests/test_api.py --base-url "$(BASE_URL)"
|
||||
docker compose exec -T api python student-tests/database.py
|
||||
docker compose exec -T api python student-tests/test_lifecycle.py
|
||||
experiment:
|
||||
@mkdir -p evidence
|
||||
docker compose run --rm -T --no-deps --user "$(shell id -u):$(shell id -g)" -v "$(CURDIR)/evidence:/app/evidence" api python -m scripts.experiment
|
||||
backup-restore:
|
||||
bash scripts/backup_restore.sh
|
||||
test-dependencies:
|
||||
$(PYTHON) student-tests/dependencies.py --base-url "$(BASE_URL)" --stop-cache scripts/stop-cache.sh --start-cache scripts/start-cache.sh --stop-db scripts/stop-db.sh --start-db scripts/start-db.sh
|
||||
test-expiry:
|
||||
bash scripts/test_expiry.sh
|
||||
|
||||
@@ -1,37 +1,232 @@
|
||||
# Отчёт — лабораторная 2
|
||||
# Лабораторная работа № 2 — постоянное хранение и сессии
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор: Максим Шептунов, группа БВТ2301.
|
||||
- Целевая оценка: 5.
|
||||
- Выбранный трек: 2, «План запроса и восстановление».
|
||||
- Дата проверки: 02.10.2026.
|
||||
- Исходный skeleton: `65003b61195361aac238f19c9bff0027ca58e09e`.
|
||||
- Commit решения и ссылка на PR: заполнить после публикации.
|
||||
- Помощь ИИ: помощь с реализацией, тестами и разбором результатов.
|
||||
- Все численные результаты ниже получены на моём стенде. Доказательства — файлы `evidence/local_*` и JSON текущего эксперимента.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## 1. Переход от первой лабораторной
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
За основу взят мой итоговый вариант lab1. Сохранены операции с пользователями, чатами и сообщениями, проверки входных данных, доступ только участникам, единый формат ошибок и курсорная пагинация.
|
||||
|
||||
## Архитектура и решения
|
||||
Хранение в памяти заменено PostgreSQL. Вместо доверия заголовку X-User-Id добавлены пароль и сессии. Redis используется для кеширования публичного профиля пользователя. Добавлены миграции, ограничения базы, проверки транзакций, перезапуска и отказов. Обязательные контракты и публичные тесты lab2 не изменялись.
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
## 2. Окружение и запуск
|
||||
|
||||
## Доказательства критериев
|
||||
| Параметр | Значение |
|
||||
|---|---|
|
||||
| Система | Windows 11, WSL2/Ubuntu; ядро 5.15.146.1-microsoft-standard-WSL2 |
|
||||
| CPU | Intel Core i5-1240P; WSL видит 16 логических CPU |
|
||||
| Память, видимая WSL | около 7,6 GiB; swap 2,0 GiB |
|
||||
| Python хоста / API | 3.10.12 / 3.12.10 |
|
||||
| Docker | 28.0.1 |
|
||||
| Docker Compose | v2.27.0-desktop.2 |
|
||||
| PostgreSQL | 16.9, образ postgres:16.9-bookworm |
|
||||
| Redis | 7.4.3, образ redis:7.4.3-bookworm |
|
||||
| PostgreSQL shared_buffers / work_mem | 128MB / 4MB |
|
||||
| PostgreSQL fsync / synchronous_commit | on / on |
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Окружение зафиксировано в `evidence/local_environment.txt`. Это параметры виртуальной среды, а не измерение потребления CPU и памяти процессами. Образы закреплены тегами; зависимости API перечислены в requirements.txt.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Запуск из каталога проекта:
|
||||
|
||||
## Эксперименты и отказы
|
||||
```bash
|
||||
python3 -m venv .venv
|
||||
source .venv/bin/activate
|
||||
python -m pip install -r requirements-dev.txt
|
||||
chmod +x scripts/*.sh
|
||||
make setup
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
make ready
|
||||
```
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
На хост устанавливаются зависимости проверки OpenAPI; зависимости API устанавливаются в Docker-образе.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
setup создаёт пароль и строку подключения в .secrets, а также .env. Каталог .secrets имеет права 700; db_password — 600; database_url — 644, чтобы непривилегированный пользователь API мог прочитать файл, смонтированный через Compose secrets. Закрытый родительский каталог ограничивает доступ других пользователей хоста. .secrets и .env исключены из Git и контекста сборки.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
Первый запуск выявил ошибку прав чтения database_url; права и setup.sh исправлены. Успешная готовность и работа после исправления подтверждены local_ready.txt, local_services.txt и local_smoke.txt.
|
||||
|
||||
Обычная остановка: `docker compose down`. Именованные volumes сохраняются. `docker compose down -v` удаляет данные и не используется для проверки перезапуска. Пароль не следует заменять отдельно от существующего PostgreSQL volume.
|
||||
|
||||
## 3. Архитектура, схема и транзакции
|
||||
|
||||
FastAPI выполняет валидацию, аутентификацию и проверку доступа. PostgreSQL — источник истины для users, chats, chat_members, messages и sessions. У PostgreSQL постоянный volume. Redis хранит публичные профили с TTL 60 секунд; его данные также находятся в volume, включён AOF с appendfsync everysec.
|
||||
|
||||
Схема задана в migrations/001_initial.sql:
|
||||
- UUID — первичные ключи основных объектов;
|
||||
- users.username имеет UNIQUE и проверку формата;
|
||||
- chat_members имеет составной PRIMARY KEY (chat_id, user_id);
|
||||
- внешние ключи запрещают ссылки на отсутствующих пользователей и чаты;
|
||||
- messages(chat_id, sender_id) ссылается на членство (chat_id, user_id);
|
||||
- CHECK ограничивает допустимость текстовых полей;
|
||||
- индекс messages(chat_id, created_at, id) соответствует чтению истории;
|
||||
- индекс chat_members(user_id, chat_id) помогает искать чаты пользователя;
|
||||
- sessions содержит хеш токена, пользователя и expires_at.
|
||||
|
||||
Создание чата и всех участников выполняется в одной транзакции. В тесте ошибка внешнего ключа возникает после частичных вставок; после rollback отсутствуют и чат, и членство. INSERT сообщения фиксируется до ответа 201.
|
||||
|
||||
Конкурентная регистрация защищена UNIQUE: из восьми запросов с одинаковым username один успешен, остальные получают 409. SQL-параметры передаются отдельно через psycopg, без конкатенации пользовательских значений.
|
||||
|
||||
Миграции применяются при запуске. schema_migrations хранит версии; изменение схемы и запись версии атомарны. Advisory lock сериализует одновременное применение миграций. Повторное применение проверено тестом.
|
||||
|
||||
Пул PostgreSQL: 1–8 соединений, ожидание соединения 2 секунды, connect_timeout 2 секунды, statement_timeout 3 секунды, lock_timeout 2 секунды. Это пределы отдельных стадий, а не единый deadline всего HTTP-запроса.
|
||||
|
||||
## 4. Аутентификация и кеш
|
||||
|
||||
Пароли хешируются Argon2id: time_cost=2, memory_cost=19456 KiB, parallelism=1, случайная соль библиотеки. Basic разрешён только для POST /api/v1/auth/sessions. Для операций с чатами и сообщениями нужен Bearer; X-User-Id не предоставляет доступ.
|
||||
|
||||
Токен генерируется из 32 случайных байтов. Клиент получает исходный токен, PostgreSQL хранит только SHA-256. Быстрый хеш подходит для случайного токена высокой энтропии; для человеческого пароля используется медленный KDF.
|
||||
|
||||
Сессия имеет абсолютный срок: момент выдачи плюс TTL, по умолчанию 3600 секунд. На каждом защищённом запросе PostgreSQL проверяет токен и expires_at. Logout удаляет сессию; перезапуск не продлевает её срок. Уже начатый запрос может завершиться после logout.
|
||||
|
||||
Redis не кеширует действительность сессии: после проверки в PostgreSQL он заменяет повторное SQL-чтение публичного профиля. При отказе Redis профиль читается из PostgreSQL. Профиль не редактируется обязательным API; при добавлении редактирования понадобится инвалидация кеша.
|
||||
|
||||
В Docker-прогоне первоначально обнаружена задержка fallback более восьми секунд. Добавлены dns_opt timeout:1/attempts:1 для API и пропуск записи в кеш после ошибки его чтения. Повторный тест отказов прошёл. Socket timeout Redis равен 0,25 секунды, но не является общим пределом времени с учётом DNS. Весь сценарий Redis offline занял 3,065 секунды, а не один запрос.
|
||||
|
||||
При отказе PostgreSQL приложение не доверяет данным клиента: защищённый запрос получает 503. /health/live не требует базы; /health/ready проверяет PostgreSQL. Пустой Redis не препятствует готовности.
|
||||
|
||||
Локальный API опубликован только на 127.0.0.1:8080. При удалённом использовании нужен TLS: Basic/Base64 не шифрует пароль. Пароли и токены не добавляются в evidence.
|
||||
|
||||
## 5. Выполненные проверки
|
||||
|
||||
| Проверка | Результат | Доказательство в evidence |
|
||||
|---|---|---|
|
||||
| make check | PASS, структура и синтаксис; не проверяет работающий API | local_check.txt |
|
||||
| make validate | PASS, OpenAPI и JSON Schema; не проверяет работающий API | local_validate.txt |
|
||||
| make ready, docker compose ps | API готов, три сервиса healthy | local_ready.txt, local_services.txt |
|
||||
| make test | PASS публичного сценария API | local_smoke.txt |
|
||||
| make student-checks | PASS гонки регистрации, валидации, cursor scope, read-after-write и logout | local_student_checks.txt |
|
||||
| Тест API из lab1 | 10 клиентов создали ровно 100 уникальных сообщений; пагинация прошла | local_student_checks.txt |
|
||||
| Тест БД | PASS rollback чата и участников, повтор миграций | local_student_checks.txt |
|
||||
| SIGTERM и перезапуск API | завершение за 0,166 с, старый пользователь и токен сохранились | local_student_checks.txt |
|
||||
| make test-persistence ACTION_SCRIPT=scripts/restart.sh | PASS сохранности подтверждённых данных и старой сессии | local_persistence.txt |
|
||||
| make test-dependencies | PASS отказов, восстановления и запрета анонимного доступа | local_dependencies.txt, dependency_failures.json |
|
||||
| make test-expiry | PASS срока сессии с TTL=2 | local_expiry.txt |
|
||||
| make test после отказов | PASS | local_smoke_after_failures.txt |
|
||||
| make experiment | PASS 100000 сообщений, двух индексов, запросов и записи | local_experiment.txt, track2_raw.json |
|
||||
| make backup-restore | PASS отдельного PostgreSQL/volume и сверки данных | local_backup_restore.txt, backup_restore.json, restore_verification.json |
|
||||
| Финальный make test | PASS после эксперимента и восстановления | local_final_smoke.txt |
|
||||
|
||||
scripts/restart.sh останавливает API, Redis и PostgreSQL, затем запускает хранилища и API с ожиданием готовности. Тест persistence использует прежний токен и ранее подтверждённые данные, без повторной регистрации. В выводе теста scope hook не раскрывается; его объём определяется указанным скриптом.
|
||||
|
||||
Команды воспроизведения:
|
||||
|
||||
```bash
|
||||
make check
|
||||
make validate
|
||||
make test
|
||||
make student-checks
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-dependencies
|
||||
make test-expiry
|
||||
make ready
|
||||
make test
|
||||
make experiment
|
||||
make backup-restore
|
||||
make test
|
||||
```
|
||||
|
||||
## 6. Исследование трека 2
|
||||
|
||||
### Гипотеза и методика
|
||||
|
||||
Гипотеза: составной индекс (chat_id, created_at, id) вместе с keyset-пагинацией уменьшает работу при чтении глубокой страницы. OFFSET даже при наличии индекса должен пройти пропускаемые строки. Более широкий индекс требует дополнительного места и может увеличить стоимость записи.
|
||||
|
||||
Эксперимент изолирован в схеме research_07e953c76ff9 внутри основной БД. Это не отдельное физическое хранилище. Структура таблиц и ограничения соответствуют приложению.
|
||||
|
||||
Создано 100000 сообщений: пять чатов на 70000, 20000, 9000, 900 и 100 сообщений. Использованы случайные UUID, текст переменной длины и время с интервалом 1 микросекунда. Seed=42 задаёт порядок измерений, но не делает UUID детерминированными.
|
||||
|
||||
Сравниваются индексы (chat_id) и (chat_id, created_at, id), запросы OFFSET и keyset, три позиции в каждом чате: около начала, середины и 90% истории. Всего 60 комбинаций. Каждый запрос возвращает до 51 строки, соответствуя странице API на 50 сообщений с дополнительной строкой для определения продолжения.
|
||||
|
||||
Для сравнения выбирается одна граница, после которой оба запроса возвращают одну и ту же страницу. Позиция около начала означает чтение после первой выбранной строки, а не первый запрос без курсора.
|
||||
|
||||
Для каждой комбинации выполнены 5 прогревов и 30 измерений, concurrency=1. Перед измерением обновлена статистика ANALYZE. Планировщик не принуждается использовать индекс. Client latency включает SQL, передачу результата и работу драйвера; это не HTTP latency. EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) выполнен отдельно. p50 — медиана, p95/p99 вычислены методом ближайшего ранга; при 30 измерениях p99 фактически максимум.
|
||||
|
||||
### Результат глубокой страницы большого чата
|
||||
|
||||
Чат: 70000 сообщений. Курсор после позиции 62999; OFFSET пропускает 63000 строк.
|
||||
|
||||
| Индекс | Запрос | p50, мс | p95, мс |
|
||||
|---|---|---:|---:|
|
||||
| chat_id | OFFSET | 39,608 | 46,870 |
|
||||
| chat_id | keyset | 12,574 | 16,630 |
|
||||
| chat_id, created_at, id | OFFSET | 10,017 | 14,338 |
|
||||
| chat_id, created_at, id | keyset | 0,741 | 0,982 |
|
||||
|
||||
Keyset с составным индексом примерно в 13,5 раза быстрее по медиане, чем OFFSET с тем же индексом. Это результат конкретной страницы и стенда.
|
||||
|
||||
У начала большого чата медианы составного индекса: OFFSET 0,375 мс, keyset 0,508 мс. Преимущество keyset не универсально: при малом числе пропускаемых строк различие невелико. Полные результаты находятся в track2_summary.md и track2_raw.json.
|
||||
|
||||
### Объяснение планами
|
||||
|
||||
Для глубокого OFFSET с составным индексом план содержит Limit → Index Scan. Сканирование отдаёт 63051 строку; Limit пропускает 63000. Shared hit blocks — 2447.
|
||||
|
||||
Для keyset с составным индексом: Limit → Index Scan с границей пары (created_at, id) в Index Cond. Сканирование отдаёт 51 строку, shared hit blocks — 6. Отдельная сортировка не нужна. Server Execution Time этого отдельного EXPLAIN — 0,068 мс; это не клиентская медиана 0,741 мс.
|
||||
|
||||
При индексе только chat_id глубокий OFFSET использует Seq Scan → Sort → Limit, сортировка external merge с временными блоками. Для keyset с простым индексом в этом прогоне выбран Index Scan и top-N heapsort; отобрано 7000 строк до ограничения страницы. Один курсор без соответствующего составного индекса не обеспечивает столь же дешёвое чтение.
|
||||
|
||||
### Размер индекса и запись
|
||||
|
||||
После каждой конфигурации выполнено пять транзакций COPY по 1000 строк с COMMIT. Текст партии одинаковой длины; сообщения распределены по чатам равномерно. Удаление дополнительных строк находится вне таймера. Это пакетная SQL-вставка, не время HTTP POST.
|
||||
|
||||
| Индекс | Размер, байт | Медиана партии, мс |
|
||||
|---|---:|---:|
|
||||
| chat_id | 720896 | 29,870 |
|
||||
| chat_id, created_at, id | 5914624 | 33,735 |
|
||||
|
||||
Составной индекс примерно в 8,2 раза больше. Медиана пакетной записи выше примерно на 12,9%. В этом прогоне ускорение чтения сопровождалось увеличением размера и наблюдаемым замедлением записи. Пять партий и фиксированный порядок конфигураций не позволяют заявлять статистически устойчивую величину накладных расходов.
|
||||
|
||||
Ограничения: прогретые кеши, один клиент SQL, виртуальная среда, отсутствие исследования холодного диска и максимальной нагрузки. Тридцать повторов недостаточны для надёжной оценки редкого хвоста задержек. Вариант без дополнительного индекса не измерялся. Повтор эксперимента создаёт новую схему и не удаляет старые.
|
||||
|
||||
## 7. Backup, восстановление и границы потери данных
|
||||
|
||||
scripts/backup_restore.sh выполняет pg_dump -Fc всей БД, создаёт отдельный Compose project и новый PostgreSQL volume, восстанавливает архив через pg_restore и проверяет данные исследовательской схемы. Рабочее хранилище не заменяется.
|
||||
|
||||
| Показатель | Результат |
|
||||
|---|---:|
|
||||
| Создание backup | 1,033 с |
|
||||
| Запуск нового PostgreSQL | 5,770 с |
|
||||
| pg_restore | 1,109 с |
|
||||
| Размер архива | 3208212 байт |
|
||||
| Проект восстановления | lab2-restore-1790966246-29166 |
|
||||
| Полных выбранных сообщений совпало | 5 |
|
||||
|
||||
Сверка после восстановления: users=1, chats=5, chat_members=5, messages=100000, sessions=0 в исследовательской схеме. Сравниваются id, chat_id, sender_id, text и created_at пяти сообщений. Это проверка количества и выборочных полных строк, не полный checksum базы. Сохранность сессий проверяется отдельно тестом persistence.
|
||||
|
||||
Дамп содержит всю БД, включая рабочие тестовые данные, а 100000 — количество сообщений текущей исследовательской схемы. Raw dump хранится в backups и не публикуется.
|
||||
|
||||
pg_dump создаёт согласованный снимок. Более поздние записи не гарантируются в копии. RPO зависит от возраста и периодичности backup; нулевой RPO не заявляется. PITR и архивирование WAL не настроены.
|
||||
|
||||
RTO включает подготовку хранилища, передачу backup, восстановление, проверки и переключение приложения. Измеренные 1,109 с — только pg_restore; запуск нового сервера измерен отдельно, время проверки и полного переключения не включено.
|
||||
|
||||
При fsync=on и synchronous_commit=on COMMIT подтверждает локальную фиксацию WAL. Volume сохраняет данные при обычном restart, но не защищает от физической потери диска или хоста.
|
||||
|
||||
## 8. Отказы и ограничения реализации
|
||||
|
||||
| Воздействие | Факт проверки | Граница результата |
|
||||
|---|---|---|
|
||||
| Перезапуск API и хранилищ | прежние данные и токен сохранились | volumes сохранены; это не потеря диска |
|
||||
| Redis offline | fallback, чтение/запись и logout работают; сценарий 3,065 с | время всего набора операций, не одного GET |
|
||||
| PostgreSQL offline | 503 защищённого запроса, live=200, без токена=401; сценарий 0,024 с | конкретный отказ в этом прогоне, не общий предел |
|
||||
| Restore в новый volume | количество и пять полных сообщений совпали | более поздние записи могут отсутствовать |
|
||||
|
||||
Один API и одна PostgreSQL primary, без HA и репликации. Курсор задаёт устойчивый порядок (created_at, id), но отдельные страницы не образуют единый снимок: конкурентная поздняя фиксация строки с ключом до курсора может привести к её пропуску при обходе. UUID не является порядком COMMIT.
|
||||
|
||||
Профиль и членство не редактируются обязательным API. Истёкшие сессии отвергаются по expires_at; периодическая очистка таблицы отдельно не реализована. Нет отдельного механизма идемпотентности отправки сообщений. Требуются дополнительные измерения перед масштабированием пула и количества API.
|
||||
|
||||
## 9. Источники
|
||||
|
||||
- README.md, COURSE.md и contracts/ текущей лабораторной.
|
||||
- PostgreSQL 16: https://www.postgresql.org/docs/16/indexes-multicolumn.html
|
||||
- EXPLAIN: https://www.postgresql.org/docs/16/using-explain.html
|
||||
- Backup: https://www.postgresql.org/docs/16/app-pgdump.html
|
||||
- Restore: https://www.postgresql.org/docs/16/app-pgrestore.html
|
||||
- psycopg: https://www.psycopg.org/psycopg3/docs/
|
||||
- Argon2: https://argon2-cffi.readthedocs.io/
|
||||
- HTTP Basic: https://www.rfc-editor.org/rfc/rfc7617
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
|
||||
@@ -0,0 +1,17 @@
|
||||
# Отдельный сервер и новый volume, основной db не затрагивается.
|
||||
services:
|
||||
restored:
|
||||
image: postgres:16.9-bookworm
|
||||
environment:
|
||||
POSTGRES_DB: restored
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
|
||||
secrets: [db_password]
|
||||
volumes: [restored_data:/var/lib/postgresql/data]
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, 'pg_isready -U messenger -d restored']
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
volumes:
|
||||
restored_data:
|
||||
@@ -0,0 +1,51 @@
|
||||
services:
|
||||
db:
|
||||
image: postgres:16.9-bookworm
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
|
||||
secrets: [db_password]
|
||||
volumes: [postgres_data:/var/lib/postgresql/data]
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
cache:
|
||||
image: redis:7.4.3-bookworm
|
||||
command: [redis-server, --appendonly, 'yes', --appendfsync, everysec]
|
||||
volumes: [redis_data:/data]
|
||||
healthcheck:
|
||||
test: [CMD, redis-cli, ping]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
api:
|
||||
build: .
|
||||
dns_opt:
|
||||
- "timeout:1"
|
||||
- "attempts:1"
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL: redis://cache:6379/0
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
DB_POOL_MAX: ${DB_POOL_MAX:-8}
|
||||
secrets: [database_url]
|
||||
ports: ['127.0.0.1:${APP_PORT:-8080}:8080']
|
||||
depends_on:
|
||||
db: {condition: service_healthy}
|
||||
cache: {condition: service_healthy}
|
||||
healthcheck:
|
||||
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready', timeout=4)"]
|
||||
interval: 2s
|
||||
timeout: 5s
|
||||
retries: 30
|
||||
volumes:
|
||||
postgres_data:
|
||||
redis_data:
|
||||
secrets:
|
||||
db_password:
|
||||
file: .secrets/db_password
|
||||
database_url:
|
||||
file: .secrets/database_url
|
||||
@@ -0,0 +1,8 @@
|
||||
{
|
||||
"backup_seconds": 1.032968691,
|
||||
"new_server_start_seconds": 5.76950239,
|
||||
"restore_seconds": 1.109244704,
|
||||
"restore_project": "lab2-restore-1790966246-29166",
|
||||
"backup_bytes": 3208212,
|
||||
"stand": "Docker Compose, PostgreSQL 16.9"
|
||||
}
|
||||
@@ -0,0 +1,5 @@
|
||||
{
|
||||
"redis_offline_scenario_seconds": 3.0654408010013867,
|
||||
"db_offline_scenario_seconds": 0.023503273994720075,
|
||||
"status": "PASS"
|
||||
}
|
||||
@@ -0,0 +1,77 @@
|
||||
bash scripts/backup_restore.sh
|
||||
Network lab2-restore-1790966246-29166_default Creating
|
||||
Network lab2-restore-1790966246-29166_default Created
|
||||
Volume "lab2-restore-1790966246-29166_redis_data" Creating
|
||||
Volume "lab2-restore-1790966246-29166_redis_data" Created
|
||||
Volume "lab2-restore-1790966246-29166_restored_data" Creating
|
||||
Volume "lab2-restore-1790966246-29166_restored_data" Created
|
||||
Volume "lab2-restore-1790966246-29166_postgres_data" Creating
|
||||
Volume "lab2-restore-1790966246-29166_postgres_data" Created
|
||||
Container lab2-restore-1790966246-29166-restored-1 Creating
|
||||
Container lab2-restore-1790966246-29166-restored-1 Created
|
||||
Container lab2-restore-1790966246-29166-restored-1 Starting
|
||||
Container lab2-restore-1790966246-29166-restored-1 Started
|
||||
Container lab2-restore-1790966246-29166-restored-1 Waiting
|
||||
Container lab2-restore-1790966246-29166-restored-1 Healthy
|
||||
#0 building with "default" instance using docker driver
|
||||
|
||||
#1 [api internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 1.04kB done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [api internal] load metadata for docker.io/library/python:3.12.10-slim-bookworm
|
||||
#2 DONE 0.7s
|
||||
|
||||
#3 [api internal] load .dockerignore
|
||||
#3 transferring context: 212B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [api 1/12] FROM docker.io/library/python:3.12.10-slim-bookworm@sha256:fd95fa221297a88e1cf49c55ec1828edd7c5a428187e67b5d1805692d11588db
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [api internal] load build context
|
||||
#5 transferring context: 1.72kB done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [api 8/12] COPY --chown=app:app student-tests ./student-tests
|
||||
#6 CACHED
|
||||
|
||||
#7 [api 11/12] COPY --chown=app:app lab.json ./lab.json
|
||||
#7 CACHED
|
||||
|
||||
#8 [api 6/12] COPY --chown=app:app migrations ./migrations
|
||||
#8 CACHED
|
||||
|
||||
#9 [api 9/12] COPY --chown=app:app tests ./tests
|
||||
#9 CACHED
|
||||
|
||||
#10 [api 3/12] COPY requirements.txt .
|
||||
#10 CACHED
|
||||
|
||||
#11 [api 2/12] WORKDIR /app
|
||||
#11 CACHED
|
||||
|
||||
#12 [api 7/12] COPY --chown=app:app scripts ./scripts
|
||||
#12 CACHED
|
||||
|
||||
#13 [api 10/12] COPY --chown=app:app contracts ./contracts
|
||||
#13 CACHED
|
||||
|
||||
#14 [api 4/12] RUN pip install --no-cache-dir --requirement requirements.txt && groupadd --system --gid 10001 app && useradd --system --uid 10001 --gid app --home-dir /nonexistent --shell /usr/sbin/nologin app
|
||||
#14 CACHED
|
||||
|
||||
#15 [api 5/12] COPY --chown=app:app src ./src
|
||||
#15 CACHED
|
||||
|
||||
#16 [api 12/12] RUN mkdir -p evidence && chown app:app evidence
|
||||
#16 CACHED
|
||||
|
||||
#17 [api] exporting to image
|
||||
#17 exporting layers done
|
||||
#17 writing image sha256:f76f54e85211d83d610b5efc29d630111b5c3ad92f5d76edbce24a7b39d9ba94 done
|
||||
#17 naming to docker.io/library/lab2-restore-1790966246-29166-api done
|
||||
#17 DONE 0.0s
|
||||
PASS: restored row counts and selected full messages match backup dataset
|
||||
Container lab2-restore-1790966246-29166-restored-1 Stopping
|
||||
Container lab2-restore-1790966246-29166-restored-1 Stopped
|
||||
PASS: restored into separate PostgreSQL and volume; project=lab2-restore-1790966246-29166
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 student-tests/dependencies.py --base-url "http://localhost:8080" --stop-cache scripts/stop-cache.sh --start-cache scripts/start-cache.sh --stop-db scripts/stop-db.sh --start-db scripts/start-db.sh
|
||||
PASS: Redis fallback + restart + logout; DB bounded 503 + recovery; anonymous rejected
|
||||
@@ -0,0 +1,75 @@
|
||||
2026-10-02T21:38:57+03:00
|
||||
Linux LAPTOP-66HKAM8B 5.15.146.1-microsoft-standard-WSL2 #1 SMP Thu Jan 11 04:09:03 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
|
||||
Architecture: x86_64
|
||||
CPU op-mode(s): 32-bit, 64-bit
|
||||
Address sizes: 39 bits physical, 48 bits virtual
|
||||
Byte Order: Little Endian
|
||||
CPU(s): 16
|
||||
On-line CPU(s) list: 0-15
|
||||
Vendor ID: GenuineIntel
|
||||
Model name: 12th Gen Intel(R) Core(TM) i5-1240P
|
||||
CPU family: 6
|
||||
Model: 154
|
||||
Thread(s) per core: 2
|
||||
Core(s) per socket: 8
|
||||
Socket(s): 1
|
||||
Stepping: 3
|
||||
BogoMIPS: 4224.01
|
||||
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology tsc_reliable nonstop_tsc cpuid pni pclmulqdq vmx ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves avx_vnni umip waitpkg gfni vaes vpclmulqdq rdpid movdiri movdir64b fsrm md_clear serialize flush_l1d arch_capabilities
|
||||
Virtualization: VT-x
|
||||
Hypervisor vendor: Microsoft
|
||||
Virtualization type: full
|
||||
L1d cache: 384 KiB (8 instances)
|
||||
L1i cache: 256 KiB (8 instances)
|
||||
L2 cache: 10 MiB (8 instances)
|
||||
L3 cache: 12 MiB (1 instance)
|
||||
Vulnerability Gather data sampling: Not affected
|
||||
Vulnerability Itlb multihit: Not affected
|
||||
Vulnerability L1tf: Not affected
|
||||
Vulnerability Mds: Not affected
|
||||
Vulnerability Meltdown: Not affected
|
||||
Vulnerability Mmio stale data: Not affected
|
||||
Vulnerability Retbleed: Mitigation; Enhanced IBRS
|
||||
Vulnerability Spec rstack overflow: Not affected
|
||||
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl and seccomp
|
||||
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
|
||||
Vulnerability Spectre v2: Mitigation; Enhanced IBRS, IBPB conditional, RSB filling, PBRSB-eIBRS SW sequence
|
||||
Vulnerability Srbds: Not affected
|
||||
Vulnerability Tsx async abort: Not affected
|
||||
total used free shared buff/cache available
|
||||
Mem: 7.6Gi 1.0Gi 2.7Gi 49Mi 3.9Gi 6.3Gi
|
||||
Swap: 2.0Gi 0B 2.0Gi
|
||||
Python 3.10.12
|
||||
Docker version 28.0.1, build 068a01e
|
||||
Docker Compose version v2.27.0-desktop.2
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi2026lab2-api-1 mtusi2026lab2-api "sh -c 'exec uvicorn…" api 2 minutes ago Up 2 minutes (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi2026lab2-cache-1 redis:7.4.3-bookworm "docker-entrypoint.s…" cache 16 minutes ago Up 3 minutes (healthy) 6379/tcp
|
||||
mtusi2026lab2-db-1 postgres:16.9-bookworm "docker-entrypoint.s…" db 16 minutes ago Up 3 minutes (healthy) 5432/tcp
|
||||
Python 3.12.10
|
||||
version
|
||||
---------------------------------------------------------------------------------------------------------------------
|
||||
PostgreSQL 16.9 (Debian 16.9-1.pgdg120+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 12.2.0-14) 12.2.0, 64-bit
|
||||
(1 row)
|
||||
|
||||
shared_buffers
|
||||
----------------
|
||||
128MB
|
||||
(1 row)
|
||||
|
||||
work_mem
|
||||
----------
|
||||
4MB
|
||||
(1 row)
|
||||
|
||||
fsync
|
||||
-------
|
||||
on
|
||||
(1 row)
|
||||
|
||||
synchronous_commit
|
||||
--------------------
|
||||
on
|
||||
(1 row)
|
||||
|
||||
Redis server v=7.4.3 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=33b32145ce3464c9
|
||||
@@ -0,0 +1,2 @@
|
||||
docker compose run --rm -T --no-deps --user "1000:1000" -v "/home/kitsune/visotka/mtusi2026lab2/evidence:/app/evidence" api python -m scripts.experiment
|
||||
PASS: measured two indexes, two queries, write cost; raw evidence saved
|
||||
@@ -0,0 +1,11 @@
|
||||
bash scripts/test_expiry.sh
|
||||
Container mtusi2026lab2-api-1 Recreate
|
||||
Container mtusi2026lab2-api-1 Recreated
|
||||
Container mtusi2026lab2-api-1 Starting
|
||||
Container mtusi2026lab2-api-1 Started
|
||||
API ready
|
||||
PASS: short TTL expiry
|
||||
Container mtusi2026lab2-api-1 Recreate
|
||||
Container mtusi2026lab2-api-1 Recreated
|
||||
Container mtusi2026lab2-api-1 Starting
|
||||
Container mtusi2026lab2-api-1 Started
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,2 @@
|
||||
BASE_URL="http://localhost:8080" python3 scripts/wait_ready.py
|
||||
API ready
|
||||
@@ -0,0 +1,4 @@
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi2026lab2-api-1 mtusi2026lab2-api "sh -c 'exec uvicorn…" api 10 seconds ago Up 8 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi2026lab2-cache-1 redis:7.4.3-bookworm "docker-entrypoint.s…" cache 4 minutes ago Up 4 minutes (healthy) 6379/tcp
|
||||
mtusi2026lab2-db-1 postgres:16.9-bookworm "docker-entrypoint.s…" db 4 minutes ago Up 4 minutes (healthy) 5432/tcp
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,10 @@
|
||||
python3 student-tests/checks.py --base-url "http://localhost:8080"
|
||||
PASS: registration race, invalid input, cursor scope, read-after-write, logout
|
||||
python3 student-tests/test_api.py --base-url "http://localhost:8080"
|
||||
PASS: malformed JSON/media type, duplicate username, blank message, outsider access, pagination
|
||||
PASS: 10 clients created exactly 100 unique messages
|
||||
docker compose exec -T api python student-tests/database.py
|
||||
PASS: rollback of chat + members; migration reapplied twice
|
||||
docker compose exec -T api python student-tests/test_lifecycle.py
|
||||
PASS: SIGTERM completed in 0.166s (limit 10s); listener closed
|
||||
PASS: user and existing Bearer session survived API process restart
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"counts": {
|
||||
"users": 1,
|
||||
"chats": 5,
|
||||
"chat_members": 5,
|
||||
"messages": 100000,
|
||||
"sessions": 0
|
||||
},
|
||||
"sample_messages_matched": 5,
|
||||
"status": "PASS"
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,73 @@
|
||||
# Трек 2: измерения
|
||||
|
||||
Исходных сообщений: 100000. Прогрев: 5; повторов: 30.
|
||||
|
||||
| Чат | Позиция | Индекс | Запрос | p50, мс | p95, мс |
|
||||
|---:|---:|---|---|---:|---:|
|
||||
| 100 | 0 | chat_only | keyset | 0.458 | 1.033 |
|
||||
| 100 | 0 | chat_only | offset | 0.595 | 3.031 |
|
||||
| 100 | 0 | history | keyset | 0.827 | 0.988 |
|
||||
| 100 | 0 | history | offset | 0.916 | 1.616 |
|
||||
| 100 | 49 | chat_only | keyset | 0.648 | 0.844 |
|
||||
| 100 | 49 | chat_only | offset | 0.577 | 0.891 |
|
||||
| 100 | 49 | history | keyset | 0.481 | 0.519 |
|
||||
| 100 | 49 | history | offset | 0.423 | 0.531 |
|
||||
| 100 | 89 | chat_only | keyset | 0.439 | 0.999 |
|
||||
| 100 | 89 | chat_only | offset | 0.390 | 0.601 |
|
||||
| 100 | 89 | history | keyset | 0.189 | 0.276 |
|
||||
| 100 | 89 | history | offset | 0.208 | 0.704 |
|
||||
| 900 | 0 | chat_only | keyset | 0.588 | 0.975 |
|
||||
| 900 | 0 | chat_only | offset | 0.538 | 0.784 |
|
||||
| 900 | 0 | history | keyset | 0.697 | 0.834 |
|
||||
| 900 | 0 | history | offset | 0.847 | 0.965 |
|
||||
| 900 | 449 | chat_only | keyset | 0.621 | 1.117 |
|
||||
| 900 | 449 | chat_only | offset | 0.661 | 0.996 |
|
||||
| 900 | 449 | history | keyset | 0.452 | 0.644 |
|
||||
| 900 | 449 | history | offset | 0.522 | 0.699 |
|
||||
| 900 | 809 | chat_only | keyset | 0.966 | 1.164 |
|
||||
| 900 | 809 | chat_only | offset | 0.968 | 1.112 |
|
||||
| 900 | 809 | history | keyset | 0.396 | 0.767 |
|
||||
| 900 | 809 | history | offset | 0.602 | 2.982 |
|
||||
| 9000 | 0 | chat_only | keyset | 2.414 | 3.626 |
|
||||
| 9000 | 0 | chat_only | offset | 2.415 | 2.716 |
|
||||
| 9000 | 0 | history | keyset | 0.573 | 0.969 |
|
||||
| 9000 | 0 | history | offset | 0.617 | 0.825 |
|
||||
| 9000 | 4499 | chat_only | keyset | 2.262 | 3.937 |
|
||||
| 9000 | 4499 | chat_only | offset | 2.456 | 3.302 |
|
||||
| 9000 | 4499 | history | keyset | 0.394 | 0.845 |
|
||||
| 9000 | 4499 | history | offset | 1.126 | 1.725 |
|
||||
| 9000 | 8099 | chat_only | keyset | 2.697 | 3.257 |
|
||||
| 9000 | 8099 | chat_only | offset | 2.488 | 3.299 |
|
||||
| 9000 | 8099 | history | keyset | 0.381 | 0.635 |
|
||||
| 9000 | 8099 | history | offset | 1.337 | 1.553 |
|
||||
| 20000 | 0 | chat_only | keyset | 4.656 | 6.722 |
|
||||
| 20000 | 0 | chat_only | offset | 3.398 | 4.022 |
|
||||
| 20000 | 0 | history | keyset | 0.365 | 0.726 |
|
||||
| 20000 | 0 | history | offset | 0.376 | 0.652 |
|
||||
| 20000 | 9999 | chat_only | keyset | 4.222 | 5.626 |
|
||||
| 20000 | 9999 | chat_only | offset | 9.230 | 10.648 |
|
||||
| 20000 | 9999 | history | keyset | 0.565 | 0.710 |
|
||||
| 20000 | 9999 | history | offset | 1.455 | 1.614 |
|
||||
| 20000 | 17999 | chat_only | keyset | 4.339 | 6.111 |
|
||||
| 20000 | 17999 | chat_only | offset | 9.855 | 11.566 |
|
||||
| 20000 | 17999 | history | keyset | 0.470 | 0.660 |
|
||||
| 20000 | 17999 | history | offset | 2.578 | 5.871 |
|
||||
| 70000 | 0 | chat_only | keyset | 12.649 | 14.819 |
|
||||
| 70000 | 0 | chat_only | offset | 11.156 | 12.819 |
|
||||
| 70000 | 0 | history | keyset | 0.508 | 1.204 |
|
||||
| 70000 | 0 | history | offset | 0.375 | 0.594 |
|
||||
| 70000 | 34999 | chat_only | keyset | 13.197 | 16.115 |
|
||||
| 70000 | 34999 | chat_only | offset | 35.551 | 279.058 |
|
||||
| 70000 | 34999 | history | keyset | 0.370 | 0.435 |
|
||||
| 70000 | 34999 | history | offset | 4.444 | 5.365 |
|
||||
| 70000 | 62999 | chat_only | keyset | 12.574 | 16.630 |
|
||||
| 70000 | 62999 | chat_only | offset | 39.608 | 46.870 |
|
||||
| 70000 | 62999 | history | keyset | 0.741 | 0.982 |
|
||||
| 70000 | 62999 | history | offset | 10.017 | 14.338 |
|
||||
|
||||
Цена записи: 5 транзакций по 1000 строк (COPY + COMMIT).
|
||||
|
||||
| Индекс | Медиана партии, мс | Размер, байт |
|
||||
|---|---:|---:|
|
||||
| chat_only | 29.870 | 720896 |
|
||||
| history | 33.735 | 5914624 |
|
||||
@@ -0,0 +1,36 @@
|
||||
-- Сначала схема и ограничения, затем запросы приложения.
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY,
|
||||
username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name varchar(100) NOT NULL CHECK (length(btrim(display_name)) > 0),
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title varchar(100) NOT NULL CHECK (length(btrim(title)) > 0),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX chat_members_user_idx ON chat_members(user_id, chat_id);
|
||||
CREATE INDEX chats_order_idx ON chats(created_at, id);
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
sender_id uuid NOT NULL,
|
||||
text varchar(4000) NOT NULL CHECK (length(btrim(text)) > 0),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
|
||||
);
|
||||
-- Equality по chat_id и range/order по двум полям курсора.
|
||||
CREATE INDEX messages_history_idx ON messages(chat_id, created_at, id);
|
||||
CREATE TABLE sessions (
|
||||
token_hash char(64) PRIMARY KEY,
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
expires_at timestamptz NOT NULL
|
||||
);
|
||||
CREATE INDEX sessions_expiry_idx ON sessions(expires_at);
|
||||
@@ -0,0 +1,16 @@
|
||||
annotated-types==0.8.0
|
||||
anyio==4.15.1
|
||||
click==8.5.0
|
||||
fastapi==0.115.12
|
||||
h11==0.16.0
|
||||
idna==3.20
|
||||
pydantic==2.11.5
|
||||
pydantic_core==2.33.2
|
||||
starlette==0.46.2
|
||||
typing-inspection==0.4.4
|
||||
typing_extensions==4.16.0
|
||||
uvicorn==0.34.2
|
||||
psycopg[binary]==3.2.9
|
||||
psycopg-pool==3.3.3
|
||||
redis==5.2.1
|
||||
argon2-cffi==23.1.0
|
||||
Executable
+40
@@ -0,0 +1,40 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
# Каждое восстановление использует новый project/volume, без drop основной БД.
|
||||
project="lab2-restore-$(date +%s)-$$"
|
||||
mkdir -p backups evidence
|
||||
start=$(date +%s%N)
|
||||
docker compose exec -T db pg_dump -U messenger -d messenger -Fc > backups/lab2.dump
|
||||
backed=$(date +%s%N)
|
||||
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml up -d --wait restored
|
||||
up=$(date +%s%N)
|
||||
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml exec -T restored \
|
||||
pg_restore -U messenger -d restored --no-owner --exit-on-error < backups/lab2.dump
|
||||
restored=$(date +%s%N)
|
||||
# Вычисляем URL из существующего secret, не выводя пароль в команду/журнал.
|
||||
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml run --build --rm -T --no-deps --user "$(id -u):$(id -g)" \
|
||||
-v "$PWD/evidence:/app/evidence" api python -c '
|
||||
from pathlib import Path
|
||||
from psycopg.conninfo import make_conninfo
|
||||
from src.config import DATABASE_URL
|
||||
import os, runpy
|
||||
os.environ.pop("DATABASE_URL_FILE", None)
|
||||
os.environ["DATABASE_URL"] = make_conninfo(DATABASE_URL, host="restored", dbname="restored")
|
||||
# config уже импортирован, обновляем значение для сценария сверки.
|
||||
import src.config
|
||||
src.config.DATABASE_URL = os.environ["DATABASE_URL"]
|
||||
runpy.run_module("scripts.verify_restore", run_name="__main__")'
|
||||
python3 - "$start" "$backed" "$up" "$restored" "$project" <<'PY'
|
||||
import sys, json
|
||||
from pathlib import Path
|
||||
start, backed, up, restored = map(int, sys.argv[1:5])
|
||||
result = {'backup_seconds': (backed-start)/1e9, 'new_server_start_seconds': (up-backed)/1e9,
|
||||
'restore_seconds': (restored-up)/1e9, 'restore_project': sys.argv[5],
|
||||
'backup_bytes': Path('backups/lab2.dump').stat().st_size,
|
||||
'stand': 'Docker Compose, PostgreSQL 16.9'}
|
||||
Path('evidence/backup_restore.json').write_text(json.dumps(result, indent=2))
|
||||
PY
|
||||
# Сервер останавливаем, volume остаётся доступным для проверки преподавателем.
|
||||
docker compose -p "$project" -f compose.yaml -f compose.restore.yaml stop restored
|
||||
printf 'PASS: restored into separate PostgreSQL and volume; project=%s\n' "$project"
|
||||
@@ -0,0 +1,141 @@
|
||||
"""Трек 2: два индекса и OFFSET/keyset на 100 000 сообщений.
|
||||
|
||||
Только синтетические данные в отдельной схеме. Не меняет таблицы API.
|
||||
EXPLAIN включает BUFFERS, планировщику не навязывается тип плана.
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import platform
|
||||
import random
|
||||
import statistics
|
||||
import time
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from pathlib import Path
|
||||
from uuid import uuid4
|
||||
|
||||
import psycopg
|
||||
from psycopg import sql
|
||||
from psycopg.rows import dict_row
|
||||
from src.config import DATABASE_URL
|
||||
|
||||
SEED = 42
|
||||
SIZES = [70000, 20000, 9000, 900, 100]
|
||||
REPEATS = 30
|
||||
|
||||
|
||||
def percentile(values, p):
|
||||
return sorted(values)[max(0, int(len(values) * p + 0.9999) - 1)]
|
||||
|
||||
|
||||
def measure(db, query, params):
|
||||
for _ in range(5):
|
||||
db.execute(query, params).fetchall()
|
||||
raw = []
|
||||
for _ in range(REPEATS):
|
||||
start = time.perf_counter()
|
||||
db.execute(query, params).fetchall()
|
||||
raw.append((time.perf_counter() - start) * 1000)
|
||||
plan = db.execute('EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) ' + query, params).fetchone()[0][0]
|
||||
return {'latency_ms': raw, 'p50_ms': statistics.median(raw),
|
||||
'p95_ms': percentile(raw, .95), 'p99_ms': percentile(raw, .99), 'plan': plan}
|
||||
|
||||
|
||||
def main():
|
||||
schema = 'research_' + uuid4().hex[:12]
|
||||
rng = random.Random(SEED)
|
||||
out = {'seed': SEED, 'schema': schema, 'message_count': sum(SIZES), 'sizes': SIZES,
|
||||
'repeats': REPEATS, 'warmup': 5, 'concurrency': 1,
|
||||
'platform': platform.platform(), 'cpu_count': os.cpu_count(), 'results': []}
|
||||
Path('evidence').mkdir(exist_ok=True)
|
||||
with psycopg.connect(DATABASE_URL, autocommit=True) as db:
|
||||
out['postgres_version'] = db.execute('SHOW server_version').fetchone()[0]
|
||||
out['settings'] = {k: db.execute('SHOW ' + k).fetchone()[0] for k in
|
||||
['shared_buffers', 'work_mem', 'fsync', 'synchronous_commit']}
|
||||
db.execute(sql.SQL('CREATE SCHEMA {}').format(sql.Identifier(schema)))
|
||||
db.execute(sql.SQL('SET search_path TO {}').format(sql.Identifier(schema)))
|
||||
# Точная схема приложения; другой search_path изолирует эксперимент.
|
||||
db.execute(Path('migrations/001_initial.sql').read_text())
|
||||
user = uuid4()
|
||||
db.execute('INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s)',
|
||||
(user, 'research_user', 'Synthetic research', 'not-a-login-account'))
|
||||
chats = [uuid4() for _ in SIZES]
|
||||
start_date = datetime(2026, 1, 1, tzinfo=timezone.utc)
|
||||
for chat, size in zip(chats, SIZES):
|
||||
db.execute('INSERT INTO chats(id,title) VALUES (%s,%s)', (chat, 'Synthetic ' + str(size)))
|
||||
db.execute('INSERT INTO chat_members VALUES (%s,%s)', (chat, user))
|
||||
with db.cursor().copy('COPY messages(id,chat_id,sender_id,text,created_at) FROM STDIN') as copy:
|
||||
for n in range(size):
|
||||
copy.write_row((uuid4(), chat, user, 'message ' + str(n) + ' x' * (n % 80),
|
||||
start_date + timedelta(microseconds=n)))
|
||||
samples = []
|
||||
for chat in chats:
|
||||
for fraction in [0, .5, .9]:
|
||||
count = db.execute('SELECT count(*) FROM messages WHERE chat_id=%s', (chat,)).fetchone()[0]
|
||||
offset = int((count - 1) * fraction)
|
||||
cursor = db.execute('SELECT created_at,id FROM messages WHERE chat_id=%s '
|
||||
'ORDER BY created_at,id OFFSET %s LIMIT 1', (chat, offset)).fetchone()
|
||||
samples.append((chat, offset, cursor))
|
||||
db.execute('DROP INDEX messages_history_idx')
|
||||
# Порядок фиксирован, но обе конфигурации прогреваются и имеют 30 повторов.
|
||||
for name, columns in [('chat_only', 'chat_id'), ('history', 'chat_id,created_at,id')]:
|
||||
db.execute('CREATE INDEX research_candidate ON messages(' + columns + ')')
|
||||
db.execute('ANALYZE messages')
|
||||
index_bytes = db.execute("SELECT pg_relation_size('research_candidate')").fetchone()[0]
|
||||
queries = list(samples)
|
||||
rng.shuffle(queries)
|
||||
for chat, offset, cursor in queries:
|
||||
for method in ['offset', 'keyset']:
|
||||
query = 'SELECT * FROM messages WHERE chat_id=%s'
|
||||
if method == 'keyset':
|
||||
query += ' AND (created_at,id)>(%s,%s) ORDER BY created_at,id LIMIT 51'
|
||||
params = (chat, *cursor)
|
||||
else:
|
||||
# Cursor указывает последнюю уже прочитанную строку.
|
||||
query += ' ORDER BY created_at,id OFFSET %s LIMIT 51'
|
||||
params = (chat, offset + 1)
|
||||
result = measure(db, query, params)
|
||||
result.update(index=name, method=method, chat_size=SIZES[chats.index(chat)],
|
||||
offset=offset, index_bytes=index_bytes)
|
||||
out['results'].append(result)
|
||||
write_ms = []
|
||||
for batch in range(5):
|
||||
# Цена 1000 записей + COMMIT; затем откат данных отдельной очисткой.
|
||||
# Исходная история остаётся 100 000 для следующего индекса.
|
||||
batch_ids = [uuid4() for _ in range(1000)]
|
||||
begin = time.perf_counter()
|
||||
with db.transaction():
|
||||
with db.cursor().copy('COPY messages(id,chat_id,sender_id,text,created_at) FROM STDIN') as copy:
|
||||
for n, mid in enumerate(batch_ids):
|
||||
copy.write_row((mid, chats[n % len(chats)], user, 'write-cost ' + 'x' * 128,
|
||||
start_date + timedelta(days=1, microseconds=n)))
|
||||
write_ms.append((time.perf_counter() - begin) * 1000)
|
||||
db.execute('DELETE FROM messages WHERE id=ANY(%s)', (batch_ids,))
|
||||
out.setdefault('writes', {})[name] = {'batch_rows': 1000, 'batch_ms': write_ms,
|
||||
'median_ms': statistics.median(write_ms),
|
||||
'index_bytes': index_bytes}
|
||||
db.execute('DROP INDEX research_candidate')
|
||||
db.execute('VACUUM ANALYZE messages')
|
||||
db.execute('CREATE INDEX messages_history_idx ON messages(chat_id,created_at,id)')
|
||||
with db.cursor(row_factory=dict_row) as cur:
|
||||
out['counts'] = {}
|
||||
for table in ['users', 'chats', 'chat_members', 'messages', 'sessions']:
|
||||
out['counts'][table] = db.execute('SELECT count(*) FROM ' + table).fetchone()[0]
|
||||
cur.execute('SELECT * FROM messages ORDER BY created_at,id LIMIT 5')
|
||||
out['sample_messages'] = [dict(row) for row in cur.fetchall()]
|
||||
Path('evidence/track2_raw.json').write_text(json.dumps(out, ensure_ascii=False, indent=2, default=str))
|
||||
lines = ['# Трек 2: измерения', '', 'Исходных сообщений: 100000. Прогрев: 5; повторов: 30.', '',
|
||||
'| Чат | Позиция | Индекс | Запрос | p50, мс | p95, мс |',
|
||||
'|---:|---:|---|---|---:|---:|']
|
||||
for row in sorted(out['results'], key=lambda r: (r['chat_size'], r['offset'], r['index'], r['method'])):
|
||||
lines.append(f"| {row['chat_size']} | {row['offset']} | {row['index']} | {row['method']} | "
|
||||
f"{row['p50_ms']:.3f} | {row['p95_ms']:.3f} |")
|
||||
lines.extend(['', 'Цена записи: 5 транзакций по 1000 строк (COPY + COMMIT).', '',
|
||||
'| Индекс | Медиана партии, мс | Размер, байт |', '|---|---:|---:|'])
|
||||
for name, row in out['writes'].items():
|
||||
lines.append(f"| {name} | {row['median_ms']:.3f} | {row['index_bytes']} |")
|
||||
Path('evidence/track2_summary.md').write_text('\n'.join(lines) + '\n')
|
||||
print('PASS: measured two indexes, two queries, write cost; raw evidence saved')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,12 @@
|
||||
#!/usr/bin/env python3
|
||||
import json
|
||||
import os
|
||||
import urllib.request
|
||||
|
||||
|
||||
host = "127.0.0.1"
|
||||
port = os.getenv("APP_PORT", "8080")
|
||||
with urllib.request.urlopen(f"http://{host}:{port}/health/ready", timeout=2) as response:
|
||||
payload = json.load(response)
|
||||
if response.status != 200 or payload != {"status": "ok"}:
|
||||
raise SystemExit(1)
|
||||
Executable
+8
@@ -0,0 +1,8 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
# Остановка/запуск всех сервисов; именованные volumes остаются.
|
||||
# API запускаем после готовности хранилищ, иначе миграции могут не подключиться.
|
||||
docker compose stop api cache db
|
||||
docker compose up -d --wait db cache
|
||||
docker compose up -d --wait api
|
||||
Executable
+19
@@ -0,0 +1,19 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
mkdir -p .secrets
|
||||
chmod 700 .secrets
|
||||
python3 - <<'PY'
|
||||
from pathlib import Path
|
||||
import secrets
|
||||
password_file = Path('.secrets/db_password')
|
||||
if not password_file.exists():
|
||||
password_file.write_text(secrets.token_hex(24))
|
||||
password = password_file.read_text().strip()
|
||||
Path('.secrets/database_url').write_text(f'postgresql://messenger:{password}@db:5432/messenger')
|
||||
for file in Path('.secrets').iterdir():
|
||||
file.chmod(0o644 if file.name == "database_url" else 0o600)
|
||||
if not Path('.env').exists():
|
||||
Path('.env').write_text('APP_PORT=8080\nSESSION_TTL_SECONDS=3600\nDB_POOL_MAX=8\n')
|
||||
print('Локальные настройки подготовлены; секреты не выводятся.')
|
||||
PY
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose start cache
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose start db
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop cache
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop db
|
||||
Executable
+11
@@ -0,0 +1,11 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
# Меняем только конфигурацию процесса; сессии и БД остаются на месте.
|
||||
restore() {
|
||||
docker compose up -d --no-deps --force-recreate api
|
||||
}
|
||||
trap restore EXIT
|
||||
SESSION_TTL_SECONDS=2 docker compose up -d --no-deps --force-recreate api
|
||||
python3 scripts/wait_ready.py
|
||||
python3 student-tests/checks.py --expiry
|
||||
@@ -0,0 +1,25 @@
|
||||
"""Сверка восстановленной БД с counts и пятью полными строками из эксперимента."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import psycopg
|
||||
from psycopg import sql
|
||||
from psycopg.rows import dict_row
|
||||
from src.config import DATABASE_URL
|
||||
|
||||
expected = json.loads(Path('evidence/track2_raw.json').read_text())
|
||||
with psycopg.connect(DATABASE_URL, row_factory=dict_row) as db:
|
||||
db.execute(sql.SQL('SET search_path TO {}').format(sql.Identifier(expected['schema'])))
|
||||
counts = {}
|
||||
for table, count in expected['counts'].items():
|
||||
actual = db.execute(sql.SQL('SELECT count(*) AS n FROM {}').format(sql.Identifier(table))).fetchone()['n']
|
||||
assert actual == count, (table, actual, count)
|
||||
counts[table] = actual
|
||||
actual_samples = []
|
||||
for sample in expected['sample_messages']:
|
||||
row = db.execute('SELECT * FROM messages WHERE id=%s', (sample['id'],)).fetchone()
|
||||
actual = json.loads(json.dumps(row, default=str))
|
||||
assert actual == sample, 'Restored message differs'
|
||||
actual_samples.append(actual)
|
||||
result = {'counts': counts, 'sample_messages_matched': len(actual_samples), 'status': 'PASS'}
|
||||
Path('evidence/restore_verification.json').write_text(json.dumps(result, indent=2))
|
||||
print('PASS: restored row counts and selected full messages match backup dataset')
|
||||
@@ -0,0 +1,17 @@
|
||||
"""Ожидание готовности API без сторонних библиотек."""
|
||||
import os
|
||||
import time
|
||||
import urllib.request
|
||||
|
||||
url = os.getenv('BASE_URL', 'http://localhost:8080') + '/health/ready'
|
||||
for attempt in range(90):
|
||||
try:
|
||||
with urllib.request.urlopen(url, timeout=2) as response:
|
||||
if response.status == 200:
|
||||
print('API ready')
|
||||
break
|
||||
except OSError:
|
||||
pass
|
||||
time.sleep(1)
|
||||
else:
|
||||
raise SystemExit('API не стал готов за 90 попыток')
|
||||
@@ -0,0 +1,14 @@
|
||||
"""Настройки из окружения или Docker secrets; секреты не печатаем."""
|
||||
import os
|
||||
from pathlib import Path
|
||||
|
||||
|
||||
def setting(name, default=None):
|
||||
file = os.getenv(name + '_FILE')
|
||||
return Path(file).read_text().strip() if file else os.getenv(name, default)
|
||||
|
||||
|
||||
DATABASE_URL = setting('DATABASE_URL')
|
||||
CACHE_URL = setting('CACHE_URL', 'redis://localhost:6379/0')
|
||||
SESSION_TTL = int(os.getenv('SESSION_TTL_SECONDS', '3600'))
|
||||
POOL_MAX = int(os.getenv('DB_POOL_MAX', '8'))
|
||||
+521
@@ -0,0 +1,521 @@
|
||||
from __future__ import annotations
|
||||
|
||||
import base64
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import re
|
||||
import time
|
||||
import uuid
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from contextlib import asynccontextmanager
|
||||
import hashlib
|
||||
import secrets
|
||||
import psycopg
|
||||
from psycopg.rows import dict_row
|
||||
from psycopg_pool import ConnectionPool, PoolTimeout
|
||||
import redis
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import VerificationError, InvalidHashError
|
||||
from starlette.exceptions import HTTPException
|
||||
from src.config import DATABASE_URL, CACHE_URL, SESSION_TTL, POOL_MAX
|
||||
from src.migrate import migrate
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import Depends, FastAPI, Header, Query, Request
|
||||
from fastapi.exceptions import RequestValidationError
|
||||
from fastapi.responses import JSONResponse, Response
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
|
||||
logging.basicConfig(
|
||||
level=os.getenv("LOG_LEVEL", "INFO").upper(),
|
||||
format="%(asctime)s %(levelname)s %(message)s",
|
||||
)
|
||||
logger = logging.getLogger("messenger")
|
||||
|
||||
|
||||
def utc_now() -> datetime:
|
||||
return datetime.now(timezone.utc)
|
||||
|
||||
|
||||
def as_json(value: BaseModel) -> dict:
|
||||
return value.model_dump(mode="json")
|
||||
|
||||
|
||||
class StrictModel(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
|
||||
class User(StrictModel):
|
||||
id: uuid.UUID
|
||||
username: str
|
||||
display_name: str
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class CreateUser(StrictModel):
|
||||
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
|
||||
display_name: str = Field(min_length=1, max_length=100)
|
||||
password: str = Field(min_length=12, max_length=128)
|
||||
|
||||
@field_validator("password")
|
||||
@classmethod
|
||||
def password_has_visible_characters(cls, value: str) -> str:
|
||||
if not value.strip():
|
||||
raise ValueError("password must not contain only whitespace")
|
||||
return value
|
||||
|
||||
@field_validator("display_name")
|
||||
@classmethod
|
||||
def display_name_has_visible_characters(cls, value: str) -> str:
|
||||
if not value.strip():
|
||||
raise ValueError("display_name must not contain only whitespace")
|
||||
return value
|
||||
|
||||
|
||||
class Chat(StrictModel):
|
||||
id: uuid.UUID
|
||||
title: str
|
||||
member_ids: list[uuid.UUID]
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class CreateChat(StrictModel):
|
||||
title: str = Field(min_length=1, max_length=100)
|
||||
member_ids: list[uuid.UUID] = Field(min_length=1, max_length=100)
|
||||
|
||||
@field_validator("title")
|
||||
@classmethod
|
||||
def title_has_visible_characters(cls, value: str) -> str:
|
||||
if not value.strip():
|
||||
raise ValueError("title must not contain only whitespace")
|
||||
return value
|
||||
|
||||
@field_validator("member_ids")
|
||||
@classmethod
|
||||
def member_ids_are_unique(cls, value: list[uuid.UUID]) -> list[uuid.UUID]:
|
||||
if len(value) != len(set(value)):
|
||||
raise ValueError("member_ids must be unique")
|
||||
return value
|
||||
|
||||
|
||||
class Message(StrictModel):
|
||||
id: uuid.UUID
|
||||
chat_id: uuid.UUID
|
||||
sender_id: uuid.UUID
|
||||
text: str
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class CreateMessage(StrictModel):
|
||||
text: str = Field(min_length=1, max_length=4000)
|
||||
|
||||
@field_validator("text")
|
||||
@classmethod
|
||||
def text_has_visible_characters(cls, value: str) -> str:
|
||||
if not value.strip():
|
||||
raise ValueError("text must not contain only whitespace")
|
||||
return value
|
||||
|
||||
|
||||
class ApiProblem(Exception):
|
||||
def __init__(self, status: int, code: str, message: str, challenge: str | None = None):
|
||||
self.status = status
|
||||
self.code = code
|
||||
self.message = message
|
||||
self.challenge = challenge
|
||||
|
||||
|
||||
class Store:
|
||||
"""Источник истины теперь PostgreSQL. Redis — только кэш профилей."""
|
||||
|
||||
def __init__(self) -> None:
|
||||
self.pool = ConnectionPool(
|
||||
DATABASE_URL, min_size=1, max_size=POOL_MAX, timeout=2, open=False,
|
||||
kwargs={"row_factory": dict_row, "connect_timeout": 2,
|
||||
"options": "-c statement_timeout=3000 -c lock_timeout=2000 -c timezone=UTC"},
|
||||
)
|
||||
self.cache = redis.Redis.from_url(
|
||||
CACHE_URL, decode_responses=True, socket_connect_timeout=0.25, socket_timeout=0.25,
|
||||
)
|
||||
|
||||
def start(self) -> None:
|
||||
migrate()
|
||||
self.pool.open()
|
||||
self.pool.wait(timeout=10)
|
||||
|
||||
def close(self) -> None:
|
||||
self.pool.close()
|
||||
self.cache.close()
|
||||
|
||||
def chat(self, db, chat_id: uuid.UUID) -> Chat | None:
|
||||
row = db.execute("SELECT * FROM chats WHERE id=%s", (chat_id,)).fetchone()
|
||||
if row is None:
|
||||
return None
|
||||
members = db.execute("SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id",
|
||||
(chat_id,)).fetchall()
|
||||
return Chat(**row, member_ids=[member["user_id"] for member in members])
|
||||
|
||||
def chat_messages(self, db, chat_id: uuid.UUID, limit: int, after) -> list[Message]:
|
||||
# В lab1 здесь были общий список/список чата и bisect_right.
|
||||
# Теперь границу ищет B-tree PostgreSQL (chat_id, created_at, id).
|
||||
query = "SELECT * FROM messages WHERE chat_id=%s"
|
||||
params = [chat_id]
|
||||
if after is not None:
|
||||
query += " AND (created_at,id)>(%s,%s)"
|
||||
params.extend(after)
|
||||
rows = db.execute(query + " ORDER BY created_at,id LIMIT %s", params + [limit + 1]).fetchall()
|
||||
return [Message(**row) for row in rows]
|
||||
|
||||
|
||||
store = Store()
|
||||
passwords = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
|
||||
dummy_hash = passwords.hash(secrets.token_urlsafe(32))
|
||||
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(app):
|
||||
store.start()
|
||||
yield
|
||||
store.close()
|
||||
|
||||
|
||||
app = FastAPI(title="MTUCI PostgreSQL messenger", version="2.0.0", lifespan=lifespan,
|
||||
docs_url=None, redoc_url=None, openapi_url=None)
|
||||
|
||||
|
||||
def request_id(request: Request) -> str:
|
||||
return request.state.request_id
|
||||
|
||||
|
||||
def error_response(request: Request, status: int, code: str, message: str, challenge: str | None = None) -> JSONResponse:
|
||||
rid = getattr(request.state, "request_id", str(uuid.uuid4()))
|
||||
headers = {"X-Request-Id": rid}
|
||||
if challenge:
|
||||
headers["WWW-Authenticate"] = challenge
|
||||
return JSONResponse(
|
||||
status_code=status,
|
||||
content={"error": {"code": code, "message": message, "request_id": rid}},
|
||||
headers=headers,
|
||||
)
|
||||
|
||||
|
||||
@app.middleware("http")
|
||||
async def request_context(request: Request, call_next):
|
||||
request.state.request_id = str(uuid.uuid4())
|
||||
started = time.perf_counter()
|
||||
status = 500
|
||||
try:
|
||||
# Без токена отказываем ДО обращения к БД и проверки JSON.
|
||||
if request.url.path.startswith("/api/v1/") and request.url.path not in {
|
||||
"/api/v1/users", "/api/v1/auth/sessions"
|
||||
}:
|
||||
scheme, _, token = request.headers.get("authorization", "").partition(" ")
|
||||
if scheme.lower() != "bearer" or not token or len(token) > 256:
|
||||
status = 401
|
||||
return error_response(request, 401, "unauthorized", "Требуется Bearer",
|
||||
'Bearer realm="messenger"')
|
||||
json_endpoints = {
|
||||
"/api/v1/users",
|
||||
"/api/v1/chats",
|
||||
}
|
||||
requires_json = request.method == "POST" and (
|
||||
request.url.path in json_endpoints
|
||||
or re.fullmatch(r"/api/v1/chats/[^/]+/messages", request.url.path) is not None
|
||||
)
|
||||
media_type = request.headers.get("content-type", "").split(";", 1)[0].strip().lower()
|
||||
if requires_json and media_type != "application/json":
|
||||
status = 415
|
||||
return error_response(
|
||||
request,
|
||||
415,
|
||||
"unsupported_media_type",
|
||||
"Требуется Content-Type: application/json",
|
||||
)
|
||||
if requires_json:
|
||||
# Ограниченный JSON; после body() Starlette повторно отдаёт его маршруту.
|
||||
raw = await request.body()
|
||||
if len(raw) > 65536:
|
||||
status = 413
|
||||
return error_response(request, 413, "payload_too_large", "Запрос слишком большой")
|
||||
response = await call_next(request)
|
||||
status = response.status_code
|
||||
response.headers["X-Request-Id"] = request.state.request_id
|
||||
return response
|
||||
finally:
|
||||
logger.info(
|
||||
"request method=%s path=%s status=%s duration_ms=%.3f request_id=%s",
|
||||
request.method,
|
||||
request.url.path,
|
||||
status,
|
||||
(time.perf_counter() - started) * 1000,
|
||||
request.state.request_id,
|
||||
)
|
||||
|
||||
|
||||
@app.exception_handler(ApiProblem)
|
||||
async def api_problem_handler(request: Request, exc: ApiProblem):
|
||||
return error_response(request, exc.status, exc.code, exc.message, exc.challenge)
|
||||
|
||||
|
||||
@app.exception_handler(RequestValidationError)
|
||||
async def validation_handler(request: Request, exc: RequestValidationError):
|
||||
return error_response(request, 400, "invalid_request", "Запрос не соответствует контракту")
|
||||
|
||||
|
||||
@app.exception_handler(Exception)
|
||||
async def unexpected_error_handler(request: Request, exc: Exception):
|
||||
logger.error("unexpected_error request_id=%s", request_id(request))
|
||||
return error_response(request, 500, "internal_error", "Внутренняя ошибка сервера")
|
||||
|
||||
|
||||
@app.exception_handler(psycopg.Error)
|
||||
@app.exception_handler(PoolTimeout)
|
||||
async def database_error_handler(request: Request, exc: Exception):
|
||||
return error_response(request, 503, "unavailable", "Хранилище временно недоступно")
|
||||
|
||||
|
||||
@app.exception_handler(HTTPException)
|
||||
async def http_error_handler(request: Request, exc: HTTPException):
|
||||
code = "not_found" if exc.status_code == 404 else "invalid_request"
|
||||
return error_response(request, exc.status_code, code, "Неверный маршрут или метод")
|
||||
|
||||
|
||||
def unauthorized(basic=False):
|
||||
challenge = 'Basic realm="messenger", charset="UTF-8"' if basic else 'Bearer realm="messenger"'
|
||||
raise ApiProblem(401, "unauthorized", "Нужна действительная идентификация", challenge)
|
||||
|
||||
|
||||
def token_hash(token: str) -> str:
|
||||
return hashlib.sha256(token.encode()).hexdigest()
|
||||
|
||||
|
||||
def current_user(authorization: Annotated[str | None, Header()] = None) -> User:
|
||||
scheme, _, token = (authorization or "").partition(" ")
|
||||
if scheme.lower() != "bearer" or not token or len(token) > 256:
|
||||
unauthorized()
|
||||
with store.pool.connection() as db:
|
||||
session = db.execute("SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at>now()",
|
||||
(token_hash(token),)).fetchone()
|
||||
if session is None:
|
||||
unauthorized()
|
||||
key = "user:" + str(session["user_id"])
|
||||
cache_available = True
|
||||
try:
|
||||
cached = store.cache.get(key)
|
||||
if cached:
|
||||
user = User.model_validate_json(cached)
|
||||
if user.id == session["user_id"]:
|
||||
return user
|
||||
except (redis.RedisError, ValueError):
|
||||
cache_available = False
|
||||
row = db.execute("SELECT id,username,display_name,created_at FROM users WHERE id=%s",
|
||||
(session["user_id"],)).fetchone()
|
||||
user = User(**row)
|
||||
if cache_available:
|
||||
try:
|
||||
store.cache.setex(key, 60, user.model_dump_json())
|
||||
except redis.RedisError:
|
||||
pass
|
||||
return user
|
||||
|
||||
|
||||
def decode_cursor(cursor: str, expected_scope: str) -> tuple[datetime, uuid.UUID]:
|
||||
try:
|
||||
if not cursor or len(cursor) > 1024:
|
||||
raise ValueError
|
||||
padded = cursor + "=" * (-len(cursor) % 4)
|
||||
payload = json.loads(base64.b64decode(padded.encode(), altchars=b"-_", validate=True).decode())
|
||||
if set(payload) != {"scope", "created_at", "id"} or payload["scope"] != expected_scope:
|
||||
raise ValueError
|
||||
created_at = datetime.fromisoformat(payload["created_at"].replace("Z", "+00:00"))
|
||||
item_id = uuid.UUID(payload["id"])
|
||||
if created_at.tzinfo is None:
|
||||
raise ValueError
|
||||
return created_at, item_id
|
||||
except (ValueError, TypeError, KeyError, json.JSONDecodeError, UnicodeError):
|
||||
raise ApiProblem(400, "invalid_request", "Некорректный cursor") from None
|
||||
|
||||
|
||||
def encode_cursor(scope: str, created_at: datetime, item_id: uuid.UUID) -> str:
|
||||
payload = {
|
||||
"scope": scope,
|
||||
"created_at": created_at.isoformat().replace("+00:00", "Z"),
|
||||
"id": str(item_id),
|
||||
}
|
||||
return base64.urlsafe_b64encode(json.dumps(payload, separators=(",", ":")).encode()).decode().rstrip("=")
|
||||
|
||||
|
||||
def page(items: list, limit: int, scope: str) -> dict:
|
||||
# SQL уже выбрал limit+1 строк после курсора; весь список не загружаем.
|
||||
selected = items[:limit]
|
||||
next_cursor = None
|
||||
if len(items) > limit and selected:
|
||||
last = selected[-1]
|
||||
next_cursor = encode_cursor(scope, last.created_at, last.id)
|
||||
return {"items": [as_json(item) for item in selected], "next_cursor": next_cursor}
|
||||
|
||||
|
||||
def visible_chat(chat_id: uuid.UUID, user: User) -> Chat:
|
||||
with store.pool.connection() as db:
|
||||
member = db.execute("SELECT 1 FROM chat_members WHERE chat_id=%s AND user_id=%s",
|
||||
(chat_id, user.id)).fetchone()
|
||||
if member is None:
|
||||
raise ApiProblem(404, "not_found", "Объект не найден")
|
||||
return store.chat(db, chat_id)
|
||||
|
||||
|
||||
def page_parameters(request: Request, scope: str, limit: int, cursor: str | None):
|
||||
# Query(ge/le) сохранён из lab1, добавлена проверка дублей и формы limit.
|
||||
if set(request.query_params) - {"limit", "cursor"} or any(
|
||||
len(request.query_params.getlist(k)) > 1 for k in request.query_params
|
||||
):
|
||||
raise ApiProblem(400, "invalid_request", "Некорректные параметры страницы")
|
||||
if not re.fullmatch(r"[0-9]{1,3}", request.query_params.get("limit", "50")):
|
||||
raise ApiProblem(400, "invalid_request", "Некорректный limit")
|
||||
return decode_cursor(cursor, scope) if cursor is not None else None
|
||||
|
||||
|
||||
@app.get("/health/live")
|
||||
def liveness():
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@app.get("/health/ready")
|
||||
def readiness():
|
||||
with store.pool.connection() as db:
|
||||
db.execute("SELECT 1")
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@app.post("/api/v1/users", status_code=201)
|
||||
def register_user(body: CreateUser):
|
||||
# Синхронные маршруты FastAPI исполняет в worker thread, не в event loop.
|
||||
hashed = passwords.hash(body.password)
|
||||
try:
|
||||
with store.pool.connection() as db:
|
||||
row = db.execute(
|
||||
"INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) "
|
||||
"RETURNING id,username,display_name,created_at",
|
||||
(uuid.uuid4(), body.username, body.display_name, hashed),
|
||||
).fetchone()
|
||||
except psycopg.errors.UniqueViolation:
|
||||
raise ApiProblem(409, "conflict", "Username уже занят") from None
|
||||
return as_json(User(**row))
|
||||
|
||||
|
||||
@app.post("/api/v1/auth/sessions", status_code=201)
|
||||
def create_session(request: Request, authorization: Annotated[str | None, Header()] = None):
|
||||
if request.headers.get("content-length", "0") != "0" or "transfer-encoding" in request.headers:
|
||||
raise ApiProblem(400, "invalid_request", "Вход не принимает тело запроса")
|
||||
scheme, _, encoded = (authorization or "").partition(" ")
|
||||
try:
|
||||
if scheme.lower() != "basic" or len(encoded) > 2048:
|
||||
raise ValueError
|
||||
username, password = base64.b64decode(encoded, validate=True).decode("utf-8").split(":", 1)
|
||||
if not re.fullmatch(r"[a-z0-9_]{3,32}", username) or not 12 <= len(password) <= 128:
|
||||
raise ValueError
|
||||
except (ValueError, UnicodeError):
|
||||
unauthorized(basic=True)
|
||||
with store.pool.connection() as db:
|
||||
row = db.execute("SELECT * FROM users WHERE username=%s", (username,)).fetchone()
|
||||
try:
|
||||
passwords.verify(row["password_hash"] if row else dummy_hash, password)
|
||||
except (VerificationError, InvalidHashError):
|
||||
unauthorized(basic=True)
|
||||
if row is None:
|
||||
unauthorized(basic=True)
|
||||
token = secrets.token_urlsafe(32)
|
||||
expires_at = utc_now() + timedelta(seconds=SESSION_TTL)
|
||||
with store.pool.connection() as db:
|
||||
db.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES (%s,%s,%s)",
|
||||
(token_hash(token), row["id"], expires_at))
|
||||
user = User(**{k: row[k] for k in ("id", "username", "display_name", "created_at")})
|
||||
return {"token": token, "token_type": "Bearer", "user": as_json(user),
|
||||
"expires_at": expires_at.isoformat().replace("+00:00", "Z")}
|
||||
|
||||
|
||||
@app.delete("/api/v1/auth/sessions/current", status_code=204)
|
||||
def delete_session(user: Annotated[User, Depends(current_user)],
|
||||
authorization: Annotated[str, Header()]):
|
||||
token = authorization.partition(" ")[2]
|
||||
with store.pool.connection() as db:
|
||||
db.execute("DELETE FROM sessions WHERE token_hash=%s", (token_hash(token),))
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
@app.get("/api/v1/users/me")
|
||||
def get_current_user(user: Annotated[User, Depends(current_user)]):
|
||||
return as_json(user)
|
||||
|
||||
|
||||
@app.post("/api/v1/chats", status_code=201)
|
||||
def create_chat(body: CreateChat, user: Annotated[User, Depends(current_user)]):
|
||||
if user.id not in body.member_ids:
|
||||
raise ApiProblem(400, "invalid_request", "Текущий пользователь должен быть участником")
|
||||
with store.pool.connection() as db:
|
||||
found = db.execute("SELECT id FROM users WHERE id=ANY(%s)", (body.member_ids,)).fetchall()
|
||||
if len(found) != len(body.member_ids):
|
||||
raise ApiProblem(400, "invalid_request", "Указан неизвестный участник")
|
||||
row = db.execute("INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING *",
|
||||
(uuid.uuid4(), body.title)).fetchone()
|
||||
with db.cursor() as cur:
|
||||
cur.executemany("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)",
|
||||
[(row["id"], member) for member in body.member_ids])
|
||||
chat = store.chat(db, row["id"])
|
||||
return as_json(chat) # COMMIT уже выполнен для чата и всех участников.
|
||||
|
||||
|
||||
@app.get("/api/v1/chats")
|
||||
def list_chats(
|
||||
request: Request,
|
||||
user: Annotated[User, Depends(current_user)],
|
||||
limit: Annotated[int, Query(ge=1, le=100)] = 50,
|
||||
cursor: Annotated[str | None, Query(min_length=1)] = None,
|
||||
):
|
||||
scope = f"chats:{user.id}"
|
||||
after = page_parameters(request, scope, limit, cursor)
|
||||
query = "SELECT c.* FROM chats c JOIN chat_members m ON m.chat_id=c.id WHERE m.user_id=%s"
|
||||
params = [user.id]
|
||||
if after is not None:
|
||||
query += " AND (c.created_at,c.id)>(%s,%s)"
|
||||
params.extend(after)
|
||||
with store.pool.connection() as db:
|
||||
rows = db.execute(query + " ORDER BY c.created_at,c.id LIMIT %s", params + [limit + 1]).fetchall()
|
||||
chats = [store.chat(db, row["id"]) for row in rows]
|
||||
return page(chats, limit, scope)
|
||||
|
||||
|
||||
@app.get("/api/v1/chats/{chat_id}")
|
||||
def get_chat(chat_id: uuid.UUID, user: Annotated[User, Depends(current_user)]):
|
||||
return as_json(visible_chat(chat_id, user))
|
||||
|
||||
|
||||
@app.post("/api/v1/chats/{chat_id}/messages", status_code=201)
|
||||
def create_message(
|
||||
chat_id: uuid.UUID,
|
||||
body: CreateMessage,
|
||||
user: Annotated[User, Depends(current_user)],
|
||||
):
|
||||
chat = visible_chat(chat_id, user)
|
||||
with store.pool.connection() as db:
|
||||
row = db.execute("INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *",
|
||||
(uuid.uuid4(), chat.id, user.id, body.text)).fetchone()
|
||||
return as_json(Message(**row))
|
||||
|
||||
|
||||
@app.get("/api/v1/chats/{chat_id}/messages")
|
||||
def list_messages(
|
||||
request: Request,
|
||||
chat_id: uuid.UUID,
|
||||
user: Annotated[User, Depends(current_user)],
|
||||
limit: Annotated[int, Query(ge=1, le=100)] = 50,
|
||||
cursor: Annotated[str | None, Query(min_length=1)] = None,
|
||||
):
|
||||
visible_chat(chat_id, user)
|
||||
scope = f"messages:{chat_id}"
|
||||
after = page_parameters(request, scope, limit, cursor)
|
||||
with store.pool.connection() as db:
|
||||
messages = store.chat_messages(db, chat_id, limit, after)
|
||||
return page(messages, limit, scope)
|
||||
@@ -0,0 +1,26 @@
|
||||
"""Версионируемые миграции: один файл = одна атомарная транзакция."""
|
||||
from pathlib import Path
|
||||
import psycopg
|
||||
from src.config import DATABASE_URL
|
||||
|
||||
|
||||
def migrate():
|
||||
with psycopg.connect(DATABASE_URL) as db:
|
||||
# Не даём двум API одновременно применить одну миграцию.
|
||||
db.execute('SELECT pg_advisory_lock(20260002)')
|
||||
db.execute('CREATE TABLE IF NOT EXISTS schema_migrations '
|
||||
'(version text PRIMARY KEY, applied_at timestamptz DEFAULT now())')
|
||||
db.commit()
|
||||
for file in sorted(Path('migrations').glob('*.sql')):
|
||||
with db.transaction():
|
||||
applied = db.execute('SELECT 1 FROM schema_migrations WHERE version=%s',
|
||||
(file.name,)).fetchone()
|
||||
if not applied:
|
||||
db.execute(file.read_text())
|
||||
db.execute('INSERT INTO schema_migrations(version) VALUES (%s)', (file.name,))
|
||||
print('Applied', file.name)
|
||||
db.execute('SELECT pg_advisory_unlock(20260002)')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
migrate()
|
||||
@@ -0,0 +1,64 @@
|
||||
"""Дополнения к публичному smoke. Не печатает и не сохраняет tokens."""
|
||||
import concurrent.futures
|
||||
import json
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
from uuid import uuid4
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
def configure(p):
|
||||
p.add_argument('--expiry', action='store_true', help='API must run with TTL=2')
|
||||
args = arguments('Student API checks', configure)
|
||||
c = Client(args.base_url)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
if args.expiry:
|
||||
time.sleep(2.2)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
print('PASS: short TTL expiry')
|
||||
return
|
||||
registration = {'username': 'race_' + uuid4().hex[:12], 'display_name': 'Гонка',
|
||||
'password': 'Synthetic-password-42'}
|
||||
# Для гонки регистрируем оба допустимых исхода через urllib.
|
||||
import urllib.request
|
||||
import urllib.error
|
||||
def register(_):
|
||||
req = urllib.request.Request(c.base + '/api/v1/users',
|
||||
data=json.dumps(registration).encode(),
|
||||
headers={'Content-Type': 'application/json'})
|
||||
try:
|
||||
with urllib.request.urlopen(req, timeout=10) as response:
|
||||
return response.status
|
||||
except urllib.error.HTTPError as error:
|
||||
return error.code
|
||||
with concurrent.futures.ThreadPoolExecutor(max_workers=8) as executor:
|
||||
codes = list(executor.map(register, range(8)))
|
||||
check(codes.count(201) == 1 and codes.count(409) == 7, 'username race failed')
|
||||
path = '/api/v1/chats/' + chat['id']
|
||||
c.call('POST', '/api/v1/chats', 400, actor=alice,
|
||||
body={'title': 'unknown member', 'member_ids': [alice['id'], str(uuid4())]})
|
||||
for body in [{'text': 'x', 'sender_id': eve['id']}, {'text': 4}, {'text': ' '}]:
|
||||
c.call('POST', path + '/messages', 400, actor=alice, body=body)
|
||||
c.call('GET', path + '/messages?limit=true', 400, actor=alice)
|
||||
c.call('GET', path + '/messages?cursor=not-a-cursor', 400, actor=alice)
|
||||
for n in range(3):
|
||||
c.message(alice, chat, 'read-after-write ' + str(n))
|
||||
page = c.call('GET', path + '/messages?limit=1', actor=alice, schema='MessagePage')['json']
|
||||
other = c.call('POST', '/api/v1/chats', 201, actor=alice,
|
||||
body={'title': 'other', 'member_ids': [alice['id']]}, schema='Chat')['json']
|
||||
from urllib.parse import quote
|
||||
c.call('GET', '/api/v1/chats/' + other['id'] + '/messages?cursor=' +
|
||||
quote(page['next_cursor'], safe=''), 400, actor=alice)
|
||||
history = c.call('GET', path + '/messages', actor=bob, schema='MessagePage')['json']['items']
|
||||
check(len(history) == 3 and history[-1]['text'] == 'read-after-write 2', 'read-after-write failed')
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
print('PASS: registration race, invalid input, cursor scope, read-after-write, logout')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,29 @@
|
||||
"""Проверка реального rollback после вставки чата и первого участника."""
|
||||
import sys
|
||||
from pathlib import Path
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1]))
|
||||
from uuid import uuid4
|
||||
import psycopg
|
||||
from src.config import DATABASE_URL
|
||||
from src.migrate import migrate
|
||||
|
||||
migrate()
|
||||
migrate() # Повтор миграции не создаёт дубликаты.
|
||||
with psycopg.connect(DATABASE_URL) as db:
|
||||
user = db.execute('SELECT id FROM users LIMIT 1').fetchone()
|
||||
assert user, 'Сначала выполните smoke, чтобы создать синтетического пользователя'
|
||||
chat = uuid4()
|
||||
try:
|
||||
with db.transaction():
|
||||
db.execute('INSERT INTO chats(id,title) VALUES (%s,%s)', (chat, 'rollback test'))
|
||||
db.execute('INSERT INTO chat_members VALUES (%s,%s)', (chat, user[0]))
|
||||
# FK прерывает составную операцию ПОСЛЕ двух успешных INSERT.
|
||||
db.execute('INSERT INTO chat_members VALUES (%s,%s)', (chat, uuid4()))
|
||||
except psycopg.errors.ForeignKeyViolation:
|
||||
pass
|
||||
else:
|
||||
raise AssertionError('Expected foreign-key failure')
|
||||
assert db.execute('SELECT count(*) FROM chats WHERE id=%s', (chat,)).fetchone()[0] == 0
|
||||
assert db.execute('SELECT count(*) FROM chat_members WHERE chat_id=%s', (chat,)).fetchone()[0] == 0
|
||||
assert db.execute('SELECT count(*) FROM schema_migrations').fetchone()[0] == 1
|
||||
print('PASS: rollback of chat + members; migration reapplied twice')
|
||||
@@ -0,0 +1,67 @@
|
||||
"""Проверяет отказ Redis/БД. Hook выбирает явно оператор, токен только в памяти."""
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
def configure(p):
|
||||
p.add_argument('--stop-cache', required=True)
|
||||
p.add_argument('--start-cache', required=True)
|
||||
p.add_argument('--stop-db', required=True)
|
||||
p.add_argument('--start-db', required=True)
|
||||
args = arguments('Dependency failures', configure)
|
||||
c = Client(args.base_url, timeout=8)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
def hook(path):
|
||||
subprocess.run([str(Path(path).resolve())], check=True,
|
||||
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL, timeout=40)
|
||||
def wait():
|
||||
for _ in range(90):
|
||||
try:
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
return
|
||||
except AssertionError:
|
||||
time.sleep(.5)
|
||||
raise AssertionError('DB did not recover')
|
||||
result = {}
|
||||
try:
|
||||
hook(args.stop_cache)
|
||||
start = time.monotonic()
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
c.call('GET', '/api/v1/users/me', 401)
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
confirmed = c.message(alice, chat, 'Redis offline')['json']
|
||||
messages = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages',
|
||||
actor=bob, schema='MessagePage')['json']['items']
|
||||
check(confirmed in messages, 'read-after-write failed without Redis')
|
||||
result['redis_offline_scenario_seconds'] = time.monotonic() - start
|
||||
finally:
|
||||
hook(args.start_cache)
|
||||
# Тот же токен работает после восстановления Redis, logout сразу действует.
|
||||
c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
try:
|
||||
hook(args.stop_db)
|
||||
start = time.monotonic()
|
||||
c.call('GET', '/health/ready', 503)
|
||||
c.call('GET', '/health/live', schema='Health')
|
||||
c.call('GET', '/api/v1/users/me', 503, actor=bob)
|
||||
c.call('GET', '/api/v1/users/me', 401)
|
||||
result['db_offline_scenario_seconds'] = time.monotonic() - start
|
||||
finally:
|
||||
hook(args.start_db)
|
||||
wait()
|
||||
c.call('GET', '/api/v1/users/me', actor=bob, schema='User')
|
||||
import json
|
||||
result['status'] = 'PASS'
|
||||
Path('evidence/dependency_failures.json').write_text(json.dumps(result, indent=2))
|
||||
print('PASS: Redis fallback + restart + logout; DB bounded 503 + recovery; anonymous rejected')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,87 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Black-box grading evidence beyond the public smoke test."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import json
|
||||
import sys
|
||||
import uuid
|
||||
from pathlib import Path
|
||||
from urllib.parse import quote
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / "tests"))
|
||||
from client import Client, arguments, check, run # noqa: E402
|
||||
|
||||
|
||||
def collect_messages(client, actor, chat, page_size=17):
|
||||
items = []
|
||||
cursor = None
|
||||
while True:
|
||||
path = f"/api/v1/chats/{chat['id']}/messages?limit={page_size}"
|
||||
if cursor:
|
||||
path += "&cursor=" + quote(cursor, safe="")
|
||||
page = client.call("GET", path, actor=actor, schema="MessagePage")["json"]
|
||||
items.extend(page["items"])
|
||||
cursor = page["next_cursor"]
|
||||
if cursor is None:
|
||||
return items
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments("Student negative, pagination and concurrency tests")
|
||||
client = Client(args.base_url, args.ca_file)
|
||||
alice, bob, outsider, chat = client.bootstrap()
|
||||
|
||||
client.call(
|
||||
"POST",
|
||||
"/api/v1/users",
|
||||
400,
|
||||
raw=b'{"username":',
|
||||
headers={"Content-Type": "application/json"},
|
||||
)
|
||||
client.call(
|
||||
"POST",
|
||||
"/api/v1/users",
|
||||
415,
|
||||
raw=b'{"username":"wrong_media","display_name":"Wrong"}',
|
||||
headers={"Content-Type": "text/plain"},
|
||||
)
|
||||
client.call("POST", "/api/v1/users", 409, body=alice["registration"])
|
||||
client.call(
|
||||
"POST",
|
||||
f"/api/v1/chats/{chat['id']}/messages",
|
||||
400,
|
||||
actor=alice,
|
||||
body={"text": " \t"},
|
||||
)
|
||||
client.call("GET", f"/api/v1/chats/{chat['id']}", 404, actor=outsider)
|
||||
|
||||
prefix = "race-" + uuid.uuid4().hex + "-"
|
||||
|
||||
def send(worker_id):
|
||||
local = Client(args.base_url, args.ca_file)
|
||||
return [
|
||||
local.message(alice, chat, f"{prefix}{worker_id}-{index}")["json"]
|
||||
for index in range(10)
|
||||
]
|
||||
|
||||
with ThreadPoolExecutor(max_workers=10) as pool:
|
||||
created = [message for batch in pool.map(send, range(10)) for message in batch]
|
||||
|
||||
check(len(created) == 100, "not all concurrent requests succeeded")
|
||||
check(len({message["id"] for message in created}) == 100, "duplicate message ids returned")
|
||||
|
||||
history = collect_messages(client, bob, chat)
|
||||
concurrent_history = [message for message in history if message["text"].startswith(prefix)]
|
||||
check(len(concurrent_history) == 100, "history does not contain exactly 100 concurrent messages")
|
||||
check(len({message["id"] for message in concurrent_history}) == 100, "history contains duplicates")
|
||||
check(
|
||||
history == sorted(history, key=lambda message: (message["created_at"], uuid.UUID(message["id"]).int)),
|
||||
"multi-page history is out of order",
|
||||
)
|
||||
|
||||
print("PASS: malformed JSON/media type, duplicate username, blank message, outsider access, pagination")
|
||||
print("PASS: 10 clients created exactly 100 unique messages")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
run(main)
|
||||
@@ -0,0 +1,103 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Из lab1: SIGTERM. Для lab2 проверяем сохранность вместо потери состояния."""
|
||||
import json
|
||||
import base64
|
||||
import os
|
||||
from pathlib import Path
|
||||
import signal
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
BASE = "http://127.0.0.1:18080"
|
||||
|
||||
|
||||
def request(method, path, body=None, token=None, expected=200, extra_headers=None):
|
||||
headers = {"Accept": "application/json"}
|
||||
data = None
|
||||
if body is not None:
|
||||
data = json.dumps(body, ensure_ascii=False).encode()
|
||||
headers["Content-Type"] = "application/json"
|
||||
if token:
|
||||
headers["Authorization"] = "Bearer " + token
|
||||
headers.update(extra_headers or {})
|
||||
req = urllib.request.Request(BASE + path, data=data, headers=headers, method=method)
|
||||
try:
|
||||
response = urllib.request.urlopen(req, timeout=2)
|
||||
except urllib.error.HTTPError as exc:
|
||||
response = exc
|
||||
with response:
|
||||
payload = json.loads(response.read())
|
||||
if response.status != expected:
|
||||
raise AssertionError(f"expected {expected}, received {response.status}: {payload}")
|
||||
return payload
|
||||
|
||||
|
||||
def start_server():
|
||||
env = os.environ.copy()
|
||||
env["LOG_LEVEL"] = "WARNING"
|
||||
process = subprocess.Popen(
|
||||
[sys.executable, "-m", "uvicorn", "src.main:app", "--host", "127.0.0.1", "--port", "18080", "--timeout-graceful-shutdown", "10"],
|
||||
cwd=ROOT,
|
||||
env=env,
|
||||
stdout=subprocess.DEVNULL,
|
||||
stderr=subprocess.DEVNULL,
|
||||
)
|
||||
deadline = time.monotonic() + 10
|
||||
while time.monotonic() < deadline:
|
||||
if process.poll() is not None:
|
||||
raise AssertionError("server exited during startup")
|
||||
try:
|
||||
request("GET", "/health/ready")
|
||||
return process
|
||||
except (OSError, urllib.error.URLError):
|
||||
time.sleep(0.1)
|
||||
process.kill()
|
||||
raise AssertionError("server did not become ready")
|
||||
|
||||
|
||||
def stop_server(process):
|
||||
started = time.monotonic()
|
||||
process.send_signal(signal.SIGTERM)
|
||||
process.wait(timeout=10)
|
||||
elapsed = time.monotonic() - started
|
||||
try:
|
||||
request("GET", "/health/live")
|
||||
except (OSError, urllib.error.URLError):
|
||||
pass
|
||||
else:
|
||||
raise AssertionError("server still accepts requests after shutdown")
|
||||
return elapsed
|
||||
|
||||
|
||||
def main():
|
||||
username = "restart_" + uuid.uuid4().hex[:12]
|
||||
password = "Synthetic-password-42"
|
||||
first = start_server()
|
||||
try:
|
||||
user = request("POST", "/api/v1/users", {
|
||||
"username": username, "display_name": "До перезапуска", "password": password,
|
||||
}, expected=201)
|
||||
basic = base64.b64encode((username + ":" + password).encode()).decode()
|
||||
session = request("POST", "/api/v1/auth/sessions", expected=201,
|
||||
extra_headers={"Authorization": "Basic " + basic})
|
||||
request("GET", "/api/v1/users/me", token=session["token"])
|
||||
finally:
|
||||
elapsed = stop_server(first)
|
||||
second = start_server()
|
||||
try:
|
||||
restored = request("GET", "/api/v1/users/me", token=session["token"])
|
||||
assert restored == user, "User changed after API restart"
|
||||
finally:
|
||||
stop_server(second)
|
||||
print(f"PASS: SIGTERM completed in {elapsed:.3f}s (limit 10s); listener closed")
|
||||
print("PASS: user and existing Bearer session survived API process restart")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user