From 078c9f5f789fe2f4ab994c9ee659c6d4ac37c06a Mon Sep 17 00:00:00 2001 From: kolya5544 Date: Sat, 3 Oct 2026 01:29:44 +0300 Subject: [PATCH 1/3] =?UTF-8?q?=D0=9B=D0=A02:=20PostgreSQL,=20=D1=81=D0=B5?= =?UTF-8?q?=D1=81=D1=81=D0=B8=D0=B8=20Bearer,=20=D0=BA=D1=8D=D1=88=20Valke?= =?UTF-8?q?y,=20Compose,=20=D0=B8=D1=81=D1=81=D0=BB=D0=B5=D0=B4=D0=BE?= =?UTF-8?q?=D0=B2=D0=B0=D0=BD=D0=B8=D0=B5=20=D0=B8=D0=BD=D0=B4=D0=B5=D0=BA?= =?UTF-8?q?=D1=81=D0=BE=D0=B2=20=D0=B8=20backup?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .dockerignore | 6 + .env.example | 13 +- Dockerfile | 29 +++ Makefile | 20 ++ REPORT.md | 106 +++++++-- compose.yaml | 95 ++++++++ docs/report_lab2.docx | Bin 0 -> 40163 bytes evidence/checks.txt | 16 ++ evidence/load.json | 17 ++ evidence/migrations.txt | 7 + evidence/persistence_containers.txt | 18 ++ evidence/track2_explain_plans.txt | 307 +++++++++++++++++++++++++ evidence/track2_results.json | 136 +++++++++++ migrations/0001_init.sql | 52 +++++ requirements.txt | 12 + research/track2_plans_backup.py | 217 ++++++++++++++++++ scripts/init-secrets.sh | 14 ++ scripts/restart.cmd | 5 + scripts/restart.sh | 5 + src/app/config.py | 53 +++++ src/app/db.py | 71 ++++++ src/app/main.py | 335 ++++++++++++++++++++++++++++ src/app/migrate.py | 64 ++++++ src/app/passwords.py | 31 +++ src/app/sessions.py | 131 +++++++++++ src/app/web.py | 187 ++++++++++++++++ student-tests/test_api.py | 206 +++++++++++++++++ student-tests/test_dependencies.py | 80 +++++++ student-tests/test_expiry.py | 69 ++++++ 29 files changed, 2282 insertions(+), 20 deletions(-) create mode 100644 Dockerfile create mode 100644 compose.yaml create mode 100644 docs/report_lab2.docx create mode 100644 evidence/checks.txt create mode 100644 evidence/load.json create mode 100644 evidence/migrations.txt create mode 100644 evidence/persistence_containers.txt create mode 100644 evidence/track2_explain_plans.txt create mode 100644 evidence/track2_results.json create mode 100644 migrations/0001_init.sql create mode 100644 requirements.txt create mode 100644 research/track2_plans_backup.py create mode 100755 scripts/init-secrets.sh create mode 100644 scripts/restart.cmd create mode 100755 scripts/restart.sh create mode 100644 src/app/config.py create mode 100644 src/app/db.py create mode 100644 src/app/main.py create mode 100644 src/app/migrate.py create mode 100644 src/app/passwords.py create mode 100644 src/app/sessions.py create mode 100644 src/app/web.py create mode 100644 student-tests/test_api.py create mode 100644 student-tests/test_dependencies.py create mode 100644 student-tests/test_expiry.py diff --git a/.dockerignore b/.dockerignore index bc16e556..40bc41c9 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,9 @@ __pycache__ node_modules evidence .DS_Store +research +student-tests +scripts +docs +requirements-research.txt +*.md diff --git a/.env.example b/.env.example index 714c8076..8a0d36a9 100644 --- a/.env.example +++ b/.env.example @@ -1,11 +1,14 @@ # Copy to .env for your LOCAL synthetic test environment; never commit .env. -# These are logical interface suggestions; map actual framework names in REPORT.md. +# Секреты (пароль БД, DATABASE_URL) создаёт scripts/init-secrets.sh в каталоге secrets/ — не в .env. APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab +# Срок жизни сессии; для проверки expiry запускайте с SESSION_TTL_SECONDS=2 (см. student-tests/test_expiry.sh) SESSION_TTL_SECONDS=3600 -# Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: +# TTL записи в кэше Valkey (не больше остатка жизни сессии) +SESSION_CACHE_TTL_SECONDS=60 +# Источник сессий: PostgreSQL (истина) + Valkey (кэш). Адрес кэша задан в compose.yaml (VALKEY_URL). SESSION_STORE=postgres -CACHE_URL_FILE=/run/secrets/cache_url +DB_POOL_MAX=10 +# Файлы секретов внутри контейнера (создаются scripts/init-secrets.sh) +DATABASE_URL_FILE=/run/secrets/database_url diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..e1ab4f05 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,29 @@ +# syntax=docker/dockerfile:1 +# Базовый образ закреплён тегом и digest (python 3.12.12, Debian bookworm). +ARG PYTHON_IMAGE=python:3.12.12-slim-bookworm@sha256:593bd06efe90efa80dc4eee3948be7c0fde4134606dd40d8dd8dbcade98e669c + +# --- сборка зависимостей в отдельном слое (в runtime не попадают pip и кэш) --- +FROM ${PYTHON_IMAGE} AS builder +ENV PIP_DISABLE_PIP_VERSION_CHECK=1 PIP_NO_CACHE_DIR=1 +WORKDIR /build +COPY requirements.txt . +RUN python -m venv /opt/venv && /opt/venv/bin/pip install -r requirements.txt + +# --- runtime --- +FROM ${PYTHON_IMAGE} +ENV PATH=/opt/venv/bin:$PATH \ + PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1 PYTHONPATH=/srv/src \ + APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab LIMIT_CONCURRENCY=1000 MIGRATIONS_DIR=/srv/migrations +RUN groupadd --system --gid 10001 app && useradd --system --uid 10001 --gid app --no-create-home app +COPY --from=builder /opt/venv /opt/venv +WORKDIR /srv +COPY src/ /srv/src/ +COPY migrations/ /srv/migrations/ +USER 10001:10001 +EXPOSE 8080 +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \ + CMD ["python", "-c", "import urllib.request,os,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:%s/health/ready' % os.environ.get('APP_PORT','8080'), timeout=2).status == 200 else 1)"] +# exec-форма + одиночный процесс: сервер = PID 1, SIGTERM доходит до uvicorn. +# Состояние хранится в PostgreSQL/Valkey, поэтому процесс stateless; один worker на контейнер, масштабирование — репликами. +# graceful shutdown 8 c < 10 c (лимит задания); keep-alive закрывается при остановке. +CMD ["sh", "-c", "exec python -m uvicorn --app-dir src app.main:app --host \"$APP_HOST\" --port \"$APP_PORT\" --workers 1 --no-access-log --timeout-graceful-shutdown 8 --timeout-keep-alive 5 --limit-concurrency \"$LIMIT_CONCURRENCY\""] diff --git a/Makefile b/Makefile index 9ecb223e..e0f34022 100644 --- a/Makefile +++ b/Makefile @@ -24,3 +24,23 @@ load: test-persistence: @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2) $(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) + +# --- собственные цели студента --- +.PHONY: secrets up down student-test test-expiry test-dependencies +secrets: + sh scripts/init-secrets.sh + +up: secrets + docker compose --env-file .env up -d --build + +down: + docker compose --env-file .env down + +student-test: + $(PYTHON) -m unittest discover -s student-tests -p "test_api.py" -v + +test-expiry: + $(PYTHON) student-tests/test_expiry.py + +test-dependencies: + $(PYTHON) student-tests/test_dependencies.py diff --git a/REPORT.md b/REPORT.md index e42f2b05..045198f9 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,113 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: [ФИО], [группа] +- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «План запроса и восстановление» +- Commit/PR: локальный коммит ветки `solution/lab2`; PR — после публикации +- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg (PostgreSQL), redis-py (клиент Valkey), argon2-cffi (Argon2id); документация PostgreSQL (EXPLAIN, pg_dump), Valkey. Код lab1 перенесён (HTTP-слой, валидация, формат ошибок, лимиты). Использование ИИ: [заполняется автором] ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Prerequisites: Docker Compose v2, Python ≥ 3.9 (публичные тесты), bash (Git Bash на Windows) для `init-secrets.sh`. +Версии: `python:3.12.12-slim-bookworm@sha256:593bd06e…`, `postgres:17.11-alpine@sha256:b0f9560a…`, `valkey/valkey:8.1.10-alpine@sha256:081c2f5c…`, зависимости — `requirements.txt` (все версии закреплены). + +```sh +sh scripts/init-secrets.sh # создаёт secrets/postgres_password и secrets/database_url (в Git не попадают) +cp .env.example .env # необязательные настройки (TTL сессии и т. д.) +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build +# дождаться готовности (migrate выполняется один раз и завершается, api стартует после него): +curl http://127.0.0.1:8080/health/ready # {"status":"ok"} +python3 tests/smoke.py --base-url http://127.0.0.1:8080 # make test +python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080 +``` + +На Windows (CreateProcess не запускает `.sh`) используйте `scripts/restart.cmd` — тот же `docker compose restart`. +Остановка с сохранением данных: `docker compose --env-file .env stop`. **Намеренное удаление учебных данных**: `docker compose --env-file .env down -v` (удаляет volumes `pgdata` и `valkeydata`). + +Миграции: сервис `migrate` (тот же образ, `python -m app.migrate`) выполняется до старта `api`, повторный запуск безопасен (таблица `schema_migrations`, контрольные суммы, advisory lock). Ручной запуск: `docker compose --env-file .env run --rm migrate`. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` +Клиент ─HTTP─▶ API (uvicorn, 1 процесс) ──asyncpg (пул ≤10)──▶ PostgreSQL 17 [volume pgdata] ← источник истины + └─redis-py (timeout 0.2 c)──▶ Valkey 8 [volume valkeydata] ← кэш сессий +``` + +| Роль | Сервис compose | Версия/digest | Health/readiness | Volume | Сеть/порт | Credentials | +| --- | --- | --- | --- | --- | --- | --- | +| api | `api` | собирается из `Dockerfile` | `/health/ready` (HEALTHCHECK), PostgreSQL критичен, Valkey — нет | — | `127.0.0.1:8080` | `DATABASE_URL_FILE` → docker secret | +| postgres | `postgres` | 17.11-alpine@sha256:b0f9560a… | `pg_isready` | `pgdata` | только сеть `backend` | `POSTGRES_PASSWORD_FILE` → secret | +| valkey | `valkey` | 8.1.10-alpine@sha256:081c2f5c… | `valkey-cli ping` | `valkeydata` | только сеть `backend` | без пароля, не опубликован | +| миграции | `migrate` (one-shot) | образ api | завершается кодом 0 | — | `backend` | secret `database_url` | + +- **Источник истины** — PostgreSQL: пользователи, чаты, участники, сообщения и сессии. Схема — `migrations/0001_init.sql`: PK/FK, `UNIQUE(username)`, `CHECK`-ограничения, индексы `messages(chat_id, created_at, id)`, `chat_members(user_id, chat_created_at, chat_id)`. Создание чата — одна транзакция (чат + участники); неизвестный участник нарушает FK и откатывает всё. +- **Пароли**: Argon2id (m=19 МиБ, t=2, p=1) в отдельном пуле потоков, не блокируя event loop; для неизвестного username проверяется фиктивный хеш (одинаковые ответ и время). +- **Сессии**: токен — 256 бит (`secrets.token_urlsafe(32)`), в БД и в кэше хранится только SHA-256. TTL — `SESSION_TTL_SECONDS` (по умолчанию 3600), срок считается по часам БД (`now() + интервал`), использование токена срок не продлевает. Logout — `revoked_at` в БД + удаление ключа в Valkey. +- **Роль Valkey** — read-through кэш сессий: ключ `s:` → `user_id|expires_ms`, TTL = min(остаток жизни, `SESSION_CACHE_TTL_SECONDS`=60 с). Экономит один SELECT на каждый защищённый запрос. Политика expiry: TTL ключа + проверка `expires_ms`; инвалидация: logout/DEL. При недоступном Valkey кэш обходится (чтение из БД), circuit breaker на 5 с исключает ожидание таймаута; анонимный запрос никогда не считается доверенным. Окно устаревания: если Valkey был недоступен именно во время logout, ключ может прожить ≤ 60 с (после возврата сервиса). Valkey запущен с AOF (`everysec`) и `maxmemory 64mb`, чтобы тёплый кэш переживал рестарт, но корректность от этого не зависит — после потери кэша всё читается из PostgreSQL. +- **Пул соединений и таймауты**: `asyncpg` pool `max_size=10`, ожидание соединения 2 с, `command_timeout=5 с`, `connect timeout=2 с`; все запросы параметризованы (`$1…`), конкатенации SQL нет. Сбои зависимости → `503 unavailable` + `Retry-After`; для чтений один повтор при разорванном соединении пула (после рестарта БД). +- **Readiness**: `/health/ready` = SELECT 1 к PostgreSQL (таймаут 1 с). Недоступность Valkey не останавливает API. +- **История и конкурентные вставки**: `created_at` = `clock_timestamp()` БД (микросекунды), порядок `(created_at, id)`. Две транзакции в одном чате могут зафиксироваться не в порядке `created_at`; читатель, уже прошедший позицию, может не увидеть позднее зафиксированное сообщение с меньшей меткой (snapshot между HTTP-запросами не гарантируется контрактом). Допущение документировано. +- **Лимиты lab1 сохранены**: тело ≤ 64 КиБ (413), `MAX_INFLIGHT` → 429, потолок соединений → 503 JSON. +- Соответствие переменных из `.env.example`: `APP_*`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `SESSION_CACHE_TTL_SECONDS`, `DB_POOL_MAX` используются как есть; `VALKEY_URL` задаётся в `compose.yaml`. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Публичный smoke | `python3 tests/smoke.py …` | PASS | `evidence/checks.txt` | +| Persistence: API и ВСЕ хранилища перезапущены, volumes сохранены, прежний токен работает | `tests/resilience.py --mode persistence --action-script scripts/restart.sh` | PASS; `StartedAt` postgres/valkey/api изменился, volumes на месте | `evidence/persistence_containers.txt` | +| Миграции с нуля и повторно без дублирования | `docker compose up` (первый запуск) и `docker compose run --rm migrate` | первый запуск: `migration_applied`, повтор: `applied=0` | `evidence/migrations.txt` | +| Basic только на `POST /auth/sessions`, Bearer на остальных, `X-User-Id` игнорируется, expiry, logout | `student-tests/test_api.py` | 12 тестов OK | `evidence/checks.txt` | +| Пароли хешируются KDF | `test_password_is_not_exposed_or_stored_plain` | в БД `$argon2id$…`, пароль не найден | `evidence/checks.txt` | +| Роль Valkey, TTL, инвалидация, обход при отказе | описание выше + `test_dependencies.py::test_valkey_down_is_bypassed` | API работает без Valkey, logout виден без кэша | `evidence/checks.txt` | +| Параметризованные запросы, пул, таймауты; гонка username; rollback | `test_concurrent_registration_of_same_username`, `test_chat_creation_is_atomic` | из 12 параллельных регистраций — 1×201 и 11×409; после неудачного создания чата числа строк в `chats`/`chat_members` не изменились | `evidence/checks.txt` | +| Индекс истории и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | `research/track2_plans_backup.py` (105 000 сообщений) | keyset-запрос: Index Scan, 6 буферов, 0.07 мс против Seq Scan + Sort, 2 632 буфера, 10 мс без индекса | `evidence/track2_explain_plans.txt` | +| Expiry при коротком TTL | `student-tests/test_expiry.py` (SESSION_TTL_SECONDS=2) | через 3.5 с токен → 401 (кэш и БД), TTL не продлевается использованием | `evidence/checks.txt` | +| Недоступность БД/кэша | `student-tests/test_dependencies.py` | PostgreSQL остановлен → 503 JSON + `Retry-After`, `/health/ready` 503, без токена 401; после старта БД API восстановился сам и сессия действует | `evidence/checks.txt` | +| Нагрузочный профиль | `tests/load.py --duration 20 --concurrency 8` | 0 ошибок, ≈960 успешных RPS (урезан клиентом на urllib), p95 ≈ 16 мс | `evidence/load.json` | +| Трек 2 | `research/track2_plans_backup.py` | см. ниже | `evidence/track2_results.json`, `track2_explain_plans.txt` | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +## Эксперименты и отказы (трек 2) -## Эксперименты и отказы +**Гипотеза.** Составной индекс `(chat_id, created_at, id)` превращает страницу истории в чтение ~50 строк по индексу независимо от размера чата и позиции в нём, а цена — рост индекса и небольшое замедление записи. Логический backup `pg_dump -Fc` позволяет восстановить полное состояние в новом хранилище, граница потери данных — момент backup. -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +**Методика** (`research/track2_plans_backup.py`; PostgreSQL 17.11 в Docker, 1 CPU, `shared_buffers=128MB`; отдельная БД `research`, данные синтетические). Набор: **105 000 сообщений** в 1 106 чатах неравномерного размера (1 × 60 000, 5 × 5 000, 100 × 100, 1 000 × 10), 200 пользователей. 4 варианта индексов × 4 запроса; `EXPLAIN (ANALYZE, BUFFERS)`, медиана 9 прогонов (прогретый кэш). Стоимость записи: bulk `INSERT … SELECT` всех строк в пустую копию и 5 000 одиночных `INSERT` с тем же набором индексов. + +| Вариант индексов | keyset, середина большого чата (50 строк) | первая страница, большой чат | OFFSET 30 000 | первая страница, малый чат (10 сообщений) | bulk-вставка 105 000 | размер индексов | +| --- | --- | --- | --- | --- | --- | --- | +| V0: только PK | 10.20 мс (Seq Scan + Sort, 2 632 буфера) | 9.15 мс | 23.9 мс | 5.79 мс | 0.42 с | 4.3 МБ | +| V1: `(chat_id)` | 8.19 мс (Sort) | 8.78 мс | 22.7 мс | 0.063 мс | 0.49 с | 5.2 МБ | +| **V2: `(chat_id, created_at, id)` — выбран** | **0.076 мс (Index Scan, 6 буферов)** | **0.043 мс** | 3.49 мс | 0.070 мс | 0.53 с | 12 МБ | +| V3: V2 + `INCLUDE (sender_id)` | 0.068 мс | 0.042 мс | 3.59 мс | 0.075 мс | 0.50 с | 15 МБ | + +Выводы: keyset-запрос на V2 в ≈130 раз быстрее V0 и V1 и читает 6 страниц вместо 2 632; глубокий OFFSET остаётся ≈50× медленнее keyset (нужно пройти 30 000 записей индекса) — поэтому API использует cursor. Стоимость индекса V2: +25 % времени bulk-вставки относительно V0 и +8 МБ на 105 000 строк; одиночные вставки различаются на уровне шума (30–38 мс на 5 000 строк — различие в пределах погрешности одного прогона). `INCLUDE` почти не даёт выигрыша (index-only scan невозможен, т. к. запрос читает `text`) и увеличивает индекс — отвергнут. Для малого чата индекс по `chat_id` достаточен. + +**Backup → восстановление в новое хранилище → сверка.** `pg_dump -Fc` БД `research` → отдельный контейнер `postgres:17.11-alpine` с **новым volume** → `pg_restore`: + +| Показатель | Результат | +| --- | --- | +| Размер дампа | 7 765 134 байт (7.4 МБ, 105 000 сообщений) | +| Время backup / restore (RTO для этого объёма) | 1.15 с / 0.85 с | +| Строки (users/chats/members) | 200 / 1 106 / 1 106 — совпадают | +| Контрольная сумма всех сообщений (`md5` по `id, chat_id, sender_id, text, created_at`) | совпадает: `105000 105f3be9…` | +| Выборочная страница истории (100 сообщений с позиции 30 000) | md5 совпадает | +| Индексы | восстановлены (`ix_hist`, `messages_pkey`) | +| 25 сообщений, записанных **после** backup | в восстановленной копии отсутствуют | + +**Границы.** RPO логического backup — интервал между дампами: всё записанное после него теряется (подтверждено 25 строками). Для меньшего RPO нужен непрерывный архив WAL / PITR — не реализован. RTO на 7 МБ ≈ 1 с — на промышленных объёмах растёт линейно с размером данных и перестройкой индексов; восстановление также требует остановки записи в старое хранилище. Измерения проведены на одном ноутбуке без конкурирующей нагрузки; абсолютные миллисекунды не переносимы, соотношения (Seq Scan/Sort против Index Scan) — переносимы. + +### Отказы (уровень 4) | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Рестарт API, PostgreSQL и Valkey с volumes | прежний токен работает, данные на месте | `tests/resilience.py` PASS | готовность < 90 с; потери нет | +| Остановка Valkey | кэш обходится, API работает | 5 запросов с токеном — 200, быстрее 3 с; login/logout работают | мгновенно; потери нет | +| Остановка PostgreSQL | 503 вместо 500/анонимного доступа | все защищённые запросы и login → 503 + `Retry-After`; `ready`=503; без токена 401 | после запуска БД API восстанавливается сам; потери нет | +| TTL=2 с | токен отвергается после срока | 401 + `WWW-Authenticate: Bearer` | — | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Выдерживается: рестарт всех компонентов с сохранёнными volumes, отказ Valkey, кратковременная потеря PostgreSQL. Не выдерживается: потеря volume `pgdata` (нужен backup), отказ хоста Docker; PostgreSQL одиночный (SPOF), репликации нет. +- Один API-процесс; нет балансировщика и идемпотентности отправки (lab3). +- Окно инвалидации кэша (≤ 60 с) при недоступном Valkey в момент logout; создание сессии не ограничено rate limit (429 в контракте допустим, но не реализован). +- Подтверждено экспериментами: выбор индекса, корректность backup/restore на 105 000 сообщений, поведение при отказах. Гипотеза без доказательства: поведение индексов на данных, значительно превышающих память. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..e2888ea9 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,95 @@ +# Стенд lab2: API + PostgreSQL + Valkey (кэш сессий). Запуск и проверка — см. REPORT.md. +# Секреты: scripts/init-secrets.sh создаёт secrets/* (в Git не попадают). +name: mtusi-lab2 + +x-limits: &limits + restart: unless-stopped + logging: + driver: json-file + options: {max-size: "10m", max-file: "3"} + +services: + postgres: + <<: *limits + image: postgres:17.11-alpine@sha256:b0f9560a2de083e2cc7382e75f808c7381a32852a7ec49117deedb300e552b24 + environment: + POSTGRES_USER: messenger + POSTGRES_DB: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: [postgres_password] + volumes: + - pgdata:/var/lib/postgresql/data + # Durability по умолчанию: fsync=on, synchronous_commit=on -> COMMIT означает запись WAL на диск. + command: ["postgres", "-c", "max_connections=100", "-c", "shared_buffers=128MB", + "-c", "log_min_duration_statement=500"] + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 12 + mem_limit: 512m + cpus: 1.0 + networks: [backend] + + valkey: + <<: *limits + image: valkey/valkey:8.1.10-alpine@sha256:081c2f5cb575efc901aa80ff9cdbd1ec6a301682fd35e1ebb4b0990a4a4a8507 + # Кэш сессий (источник истины — PostgreSQL). AOF включён, чтобы тёплый кэш пережил рестарт; maxmemory ограничивает RAM. + command: ["valkey-server", "--appendonly", "yes", "--appendfsync", "everysec", + "--maxmemory", "64mb", "--maxmemory-policy", "volatile-ttl", "--save", ""] + volumes: + - valkeydata:/data + healthcheck: + test: ["CMD", "valkey-cli", "ping"] + interval: 5s + timeout: 3s + retries: 12 + mem_limit: 128m + cpus: 0.5 + networks: [backend] + + migrate: + build: . + image: mtusi-messenger:lab2 + command: ["python", "-m", "app.migrate"] + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: [database_url] + depends_on: + postgres: {condition: service_healthy} + restart: "no" + networks: [backend] + + api: + <<: *limits + build: . + image: mtusi-messenger:lab2 + environment: + APP_ENV: ${APP_ENV:-lab} + DATABASE_URL_FILE: /run/secrets/database_url + VALKEY_URL: redis://valkey:6379/0 + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60} + DB_POOL_MAX: ${DB_POOL_MAX:-10} + secrets: [database_url] + depends_on: + migrate: {condition: service_completed_successfully} + valkey: {condition: service_healthy} + ports: + - "127.0.0.1:8080:8080" + mem_limit: 256m + cpus: 1.0 + networks: [backend] + +secrets: + postgres_password: + file: ./secrets/postgres_password + database_url: + file: ./secrets/database_url + +volumes: + pgdata: + valkeydata: + +networks: + backend: diff --git a/docs/report_lab2.docx b/docs/report_lab2.docx new file mode 100644 index 0000000000000000000000000000000000000000..c2ce308dfa17156f576f313edaf622ff581029a9 GIT binary patch literal 40163 zcmagEb9^P;)-4=&Y&#uwY}>YN+qTiMla6iMHafO#JGtrSoaY|A_x-+qYVW;P%{j)H zb5*VSjoPvjz#zx~007_s%47ms74ikKiGTnAqhJ64NMEBG0yfr;M%Ioxif*<>4qDW% zR+bHkQZlQ&@WGewC`mNj_#OgqD5X2LKWr&uF$JsA?^)HBXwD^po*&2A!<1%ZL%^tG zGg2SDa93-&Iz1anGz0|CwX`x+^1cHXdFHL>QePOe>-lkQTO?vKhk zzmNO4e18`370P^Hq9#%PWswfq>c^TArhBC%9IRU(*Y8l{JV8-sZ=z&ZyV_F#>pBQ! z1OI!^s+-znOoibDthOZbPC4 zKorycQ2;jMwA-JIw2nY40W6KaJ-Wg(@Uidlk*pw^i2HddRQqvmR?2Ez$#)nom`RDJ zM!tvj5RVHxdcn zr?2j90096%eSPZK8(BKgQ2#kr#7&3;)4}^*atjR;7g;wd3Fa?r3m!@3b9bkVUldw< zix#eQcE|~8siOAa9$xMm7%!yfVJ%S8yb#LA3i3xGL@h zs#&H*+!Mm`8j(CQ8!O{;Q*0m&Xpq%i%9ELu1W{6|+OS6A(L`iYkq1$v|y=X_Gb8 zD7&UU3J{P{&~_!d1Dj|^>}NHp=Pa6O-W55ZA|jknai27H+6a*Iv7N#_qpeB4RBwo0 z@&X^3(O|y(&jQsS3?dnPE%Vv00wH`A$k4_>*51a}fyThb-ssOF{}sn)<4=n`boq)L z2u1n>R0|a-#WJEOl`?fKX}$F!?AJ82RpRxzimY5-(YmWw*T>DJ$6noL;e&HFOmZ%` zE%G;9aB>VZC4_dG!)<{r3<(gz24qb4N~z6o2G!q9jYcD7}%Y;e-|C@uhGP#7ZFJJ5^0f` z1sADd``j;6Ut|SN5OjC_6zPe{Vs|5UIvfnB{OG%Z`_GQtt*)Y-es#nW1ONd3-#emb zYx`G26vwPrY2n*nDL}Lw!_B_&$)U&jFYwI>tYcQkWi-u=eix4gX`$Qk_IeIQVGE|Y z596rgcOUF0+VRxfR;gfjM=J1lFr4%tu@K6J1;aroT0%T8x%v|=8N z3c@i}MYeL(<9nU{_%-e~TL&46DaRF9-i>;X!ZvAJ&*?WKUZFGRny3D&MA?R=jTAXr zneZ~;_bSsex8f--CXwCy6Sbs77+7H-y>|wXF}E_aAIqV_Xj1rCbh;f^Zzyr;O7wl}lTPyLX4Xa@OPyx!CI!nS36poQ0;*5NDEmZ*f@ z{5+58Qso=UW@7?=7x)o5@|!TxT+gQG4k1g`Z_O^I`Jt|aBL-ID0T$$igMaA_Rgio| z;F~&5OnhT1l26U3&FvWrD|CFt4X`R;_|4wy!LMqh1YR@jwU*Xi6TI zGO@}1t71F_G9n%A=`?RNxK|MA&$n2g^Y>?X|G6+~nCJ&D;Q#=>3;*L%b+NHGr1`pD zovgmLr9UfU9$Uj^b>Z2oYp1(A1|*S6yi>SRfyitYY#5Tpy3M*zb{LV$B395Zcehoh zlTixF#4f(E3@yK+hlfgV(PVXaBDK*hXkPwQhT05;$wu>4 z+hVeU8eyH{oCInBhIrzfJsSfK<$$B`1__fDWacfgPn2|MWUaP;GE}gd zq{fx$fo`CiK?x_cL(;6WH@D8P1_kS4AkV}^Y7TK-0-^)-tL;__GC)kL8s+e$a8)O^ ztX(YOcptz>NIRLR^wxk>2LJ$8!Ki*G_VjskUC)>ho0v=>ied6tSdEIoOS-W;26azh z2q4ecHxwxBn+*n%dI4LIqAL+>u)wP{L`0>hq-YV$#O4;2yz|w<8bw&+v91+M6$zHN zmTq`#BkCSPl!nnVK!&Ci>Hr`VhLWV^};MQB$`Bf zcHn?zd-4w5<7}4|S?tx%OuxeP!=Qonyc?L zu~1<_izHV-p&jJf0I|zeSs(GlGGeYPLdK;y7dqZ)OytUwbB7%jsr+_nf&08!)5dD$R^f!6asuS(Q(`I}p{MSm=09d`lQZTNyd zXkit3<8nTj`Mq|pD*3K~&8rR(#|*$I5`wMdw>wzT@)g^9h)U+4wz?F_@NxzlscX6s zBRp<53MZ`l-Io#hF}YM7#%YRw5)+33EqUeM{zl?q0Oy=JsbVtWy}TD&K9fHGT5N<&$>h596+1S zSBKe>W>Ot`U>3cR1;)0;J)*a~WN7Y!dI(BSQ6gvsmjVU@b^fMo1->~8bXbW%;*_0XusMe$l zl}^ou7Wt$IIoZkon+t$w4ZmeU1VA6x^sAM?Hkj5S0x85}RB|XWYbaurME{s& zek#cNyv-{fKO@VzUI0yNZSxBURh)S}B_);s0nv%SxHZ(zHONF5z*R&v0V%RAT!bValrFbS~Og5rI|fJQ*c#~kS+G|V6}F@l_- ze0poZxDZO#5Ni01=M>xxxb))aJrzM#(fn*_!6c>ej`f~BJIo+#z(oCY9KHH_f;%o} zU7-fxR~fld{UN(DWgPwBv^L>fNDGm^M83^3)v1C#MG!aKqxdTw#d$w`x)9b$F3#*) zUs?h1_0czoj&BI1vc|Bll)@>RVWC_?fOcaTRtZ@I(PhB|Ve_b8Sz;L(pv`dEEv|d|2*t(A&CgRzcrZ5Jrfa z4GYhu?3kUMD3TtdtKcHN+9(6{ZiAK6VgGXU9}=+@wn_ zTb#K8eiC2XU2Uee9$yW2!eo|5lh+9X6+c zTLtd0i0T=`0Gu4+m~ntyIoi(M8x<^aNx%6i_6nB}GV&n-7VM8})3N!)X$=<`mNg7n z&mTrac*sixE(ZNOOEAz%!~6<`nW0FZP|Sc($nVfl5eGVVuMiV@BXy8kidYZ%L@F4tLIKC9 zIDBxDZ`rWeTNm3Bf6yz;5$)8!^+8jVUkM~O`FElx2}!MTUSWKBCB&kQoN*xvs)epoe=H$7 zn`(hb6*KT{bYUT44~{4h_KukQ+c>s9HF_IdOU9-C2H`IrIA^6vh4*Dj!p`Cq53rPp z7nIG#B99jo?*Ok6+j@n0PF|xMA@7hsuDXT+*n2aM@m(&B%#?~t(f5t+scdqSMiJS@ zL^%M}j6FLY2t#6eL7T{s6F;asvrM}PW`Kfn1Ms={717sSm?CJIh-?-AOu$|`Pzqn8 zwL|ha)-Eig_xmio!89StYLl+ed+WXLl`}y!(;osY)jDR!o^T~~9Ml-pVxMn>0(t*x znszwV(vp|OS9?1GKcVWIJMRm>awXV1bN)|Ycgu*3twy|QCPScutLbJgYG}}zXd}iF z5_MBQ;!z84-42qObpkqf0xGj=1cBx6K_9SORt=ZlyzN95sMQZ|@=ghxJ}V_Nd8kBF7!Q9H*Tkez9B3u)LD_zV@TCK#n5Cdpq^~A!G(qf0SD6jh!vP^})0|@roPf5FZKu z1?oJQk5MZyAC!VGT~0W}G1S{oj=zy$HdRS^>(J!~V}qHB)jC3rHBc)zL*^CZh5-75 z-i;R$VsIOHf3B1xS2Rp~rrx7kOg${Oh0qE@>07%DnelobY}A~x_AIf8Gn!J>=o?IT zvf)oxF$)z`gCFb{@?C_zWDv;Zh;tH&R(VGg@v`_{j$Z6hOvARL(dGFOp!PRT{LWbl ziRI)qDoLXOf!x_$KR%su#6BmI$KQ-5M8d`bO$e9<5fKv!i~vL1NO*m*nM_W|0N=G7 zCouc&kJfQ`R>Ac@?W_`ziO9X$Dm4y9uY~FWXU!460bkZcVb-0j^?|CSt60rPmWIr~ zRakl~nfK?TlpJ9wG?CLa78gM+=o`yTt--r#YZc#Ru1)4oi1@sYUlY=0V&JTfM@KAC zDoP#3YLP1fp`jM5w7iywzMW9IT`*$zxZqvs zzT1SmSZaq7J4n(4LxzJpWn3IBVQmpB@S%2%RyppZo8>OG^TmqE2E>1>bY_2;bd%E; zSg*HV<2q159A26k%xFy{03HvPT!}#rlas=S@l*$H_2Ut2_T86^FjKg5orJ?z24!cu zFxFuF)zvkhZ9bS*EO16XgO@zct^zrnynHEihYP#K&Maj9Q5d?W^zbMPyJV2_69ZOs z&MoL8S?$q~j>kOtxB||kN~`^aT9D{cyZzy?s~yE4d85mIzv9&4a1YGTHV~guiBxvS z8~;b^0EvNtEA)-F$T4bPfgt4waOy<@Dp$jj+Y#G@LJ^aGP45dP1eb|nJW)OI@9*2g z%)GXkYuUSVuWMqDSf@5#z6no4*R%-s!Ils~9P=0XrklNl(ILY#RnSoj%T;AM3ekNsPI;b5n}16r`FUiFeW=m7dQH$;i%!`t|DZ&XU=Ro+ShinRMU4(} zywZ+`xl79wALK~>T~Pjc2k4WV^X9m+B-Bz+3KX5aV+C7D%N0V+mLzEp@H&kRS7C4+ z#PFu#8w+8Y@XpFL$ENKVnGiP});8%-p0oQ?56wixmK7Jk#T=ho=^gi3Z~hVnJO&Qs z&=e|w1}NaATlPi_{=-p_VVy7XRexD$`^=lR9_hx!+^EBg$7^wuiwA`r5AY%oOdHjp zoDWzs;%Ck)9%J>OejaiSbR#Xda_$RX-qzd}w}MHk6Pnd;PwU$4^H9kY+ode8O2dCff$+fM|a@-uIfgmI4 zDVT~QvtV*JgK(s7oMAcpJ0H144oOatQHWOZWTvD*)17GeUEKX4OttDdC?g$9rx0Eq zO)K8@S&t{2-8u>~ryRd@&dG*O)aJOC>6qJB8ejIDFZGy1%&o4@@#-<=hpH^3Kfr_R z>jR`KMguZ$klk!w$Zi+_FQsj-_^~zmR%Ep@f3WxZf!P2zzl*|NH1hRX^yXtVi-{gG zhjurg3$7K}xV)WXxpu=~zf_lvd55F_Zs0s!=YmOcTJ19ZWVQ?m@7?i$_PONzVL28( zK1bfk`c$gO|3+`!yocNHi61p*o3!F-Re&FgjX1y>lslDIx(gy~xK3Yyj3S^UsjXen03+Kk}0IcWtlHht(i^Hz3*VS(D!#7Oac=46Yvk~oHRC{hJIQmFRE zsW?kgA2u^qYX=J^cY3rWsPF%g?q_d(fpk%UD7FoOy6x?0E;-E0_87wGwP==*!$rp~ z9KStOgHO84sJl^3nTOs^bp&-qPgf$xXCo(LB3DcjKj+p%OSwt7jzF3I#U$)WMmu-ao zWgGqF4*bLJ{CAJwAJ%6ApG*KPdhq23WN%PBa-nqu##t^&8@X^*foG8LO5B6M{-(yd zA*H~M-|i!`R~D(&?8Jk@!UhLAMZLH`Ya|dH@@$Z-5hAAvT=Hpmov0F@MFl+#x>|%x#JW3|htu~@hS)yu-?Sl(>*uir z3itiqq%?mb>VPOeW&rmwJn5Q^?iw!`00_Et2_y^97gT2`Yy;mEF+}jO64$0F1X=`P zOjxj*-_0cSyGuhjdVB-o+2xKb!ro!SQMHg8QxQ4k>b*)q^us5$LUmXvRzA>OlVDxB zo2dd}dk*+b^Pf%(6VPOREDZpFy%H$Emm%|yT01zpSsFR~@nODf{rDZ>TCc9I+&rDP zJ*${NfT2lifH-GtJ&%seno9;LhS{^}X*AR5a~&UI0$w~Nc_n4>(zsfV-b_?kvVE0b z@rp+8?^!-_4NyGuCF zr>&|@AHrkX?(M<7E5>=*u&K^tNYP@ScLO(WpNaQ!=8%V)wezB0u(V!w^2A9s&jrt~ z4^(bRdy#9|?V*r>CmovA*Dq2on?4)oaAQN~FY8{c)9*a|6I|yi8!xjrRvzraKDgf8 zL_Q=w1D{Y2ZL`-Gr!Hf==5^2L;xOM_mjewtvd*K@U#}AHZ(P%GSjO%myzQyn-`U&= zZ{y2$$(-Ce-B#9k1o@+Vf@nTE*E-vp%EuB1=zOf&*1S43H7+~f?*(3r<&$yy>^9eF z;5NNegz!8?GtUV=`>US2^n0qt=1G$3-W=6Kyb;ofF&*0=I<7V_+md;_-69m*JUPyh z2&%$j?yBKH3qmds*{4G4;6kb@dETpaywrHSSc7QV+oFwv(0txM4*QIKz~ArI-yPF5 z->SWr+c!D6DqJovLXuf7GFfC!KfSasy}2s0tQS9#`a6>%n^(Hdr4Lu5ZFZjaK5Nvw zgfp=^TQ!84pUGajncW}hh)F-5Ru7z64x!jet_MEbLa|96^u^q?Y4Xs!u#_RwcED>> zcEw@z%HXz(;ppV?dX@0>%engny+X-6Lub96oICG^&dml$A+;5s!~ACzy>qt+6SICa z3+|Ib;>vyv^-%E0Roi_1I-q>-H^=zYdKwp9`o?W7z3OBHgh^i5N_4*Y-p)zMgO^k_ zz~k{1T0D)$+QicdJNd z-k)mn6!6)uRk<+rdOrJN`)Kz*B=&I2bAHL4At&6RH9vRNcW`@qe9`BS!AKF*f?c5U z^Rw^3wG=nw_J>jc)bjNH6S2<~-l9x;Q*wkk$aJU$MR;|o5GyZ2ETAB+UOs(i_j_CS zH6d2S+NY|Kr{8N%ViVWPr-w2*41P|c9`8;uS zeuzaD5VFQ|UmBMw4X+8lDH24Bi^_=>Bg!W*lm$}mBU2DaP%Vms$4R$#mHTXB(>y7U zwhtjMl(*BR=K;!DUS~DEmtdx-hf{vMuA6mmR9^PyFNastF>H!0saoyC!{;*ti-XIj zLlT4Z917YIoW$n^QZ}f`^T(_>k`aKLY#?{*fZrDSA_uxD@ItP%li@>IZIu7Y69tzi zq(JnyjcfA7&)C!Ah>nHN&ulLX+9I|ARAU{{;DwjIL4^;DZwDQw;=e(S@sDW-&CmWb zY5FyZ`u8NrHjxb=-#^cxDBnS#e$u(E6G=OhT~K`Fsi0 z{q^3dMaz1?gYT_xaojn_bjkHr<7sdUf@8=5YUDBzODi=O&L<)4d>Gl=Tkv zGH;@0)Fo3a=I5&|v;dXclrB8wS_w|Z=D-?0YDIyM8s4S1x=+We(PwR>3e^BscX(BQ zUVfvyRGdls*<`p)%ML+RG)jq`*ALEx+h=>q6FZER`%R7oBpa4Cn&i{NSk$SpJp-09 z%?&y!XF@}+;2i2r9O;9w*0^`WqWxXE=g)mFIZUWay0=>=A5WLd=6E8Of(?hztHpaN zg;gA)(bhYLT#I=o+bJvxw{>kLW(uChPB&=PIE()fT zup^D3r{WE+3Lrz|N~qfGI-Z>057cr7WOi0t=T? zV&Qo7b+c}5e2Eh03qBcwh$=*dbIXSGo;!v*3#W@&{LgS-cT#XEAJ5^Jk=>Ws4|wzL z)cy@Sr}QVQ*CvHMYM!^w4oGnh$pPcteIE&CED;)e7AzBPw^d7QtxhXuZ_ZB_JMUbj zKsp*1v$i~4%r@h<8FZiE4_x4>)qQY%kstWFQ>Hp~>B)&EEwY=ai}93_GPNL_VX+M- z4wZ(NPKgdMKW(W=Q=kuVr&?|*_vkf8glvh^PsN!FDVBp<D-a=-vm< zgEu4ZuG8Z*XWP+!wrDdB-sRe{v=1}&Mr82ar9b8>6i1}Pd94X*MIE41Gj6v|gUkkz ztlQ?)a8u`Zw}3%UGVxv&kS!(`rgSo%2h&L1T@&{^2JV}t#*rUV;2BFXUixQT2x32C zgtx$bcFM?!WX5?!aXch=t2m)`6_f^RoNpBkS;_rG) zs07#{nSMS`rEqVT?XVAUDuUbq%D z>UL)Z80V_GEfN4j>$mxd$wxYt{1I+@weA)d-f8r6-di~>l$>T4?SRz-pMFfJ))^tm zOT#)oRRv2j)2?irH3J;7HS}U_M;b^aaZTJ5!G%pzYmb>tbF=?QoU7LMc5GrMWwJa? zRUV<|QIBgj+zi!(wA6xTvE8kTMmN7~Ot%07%0Eef+wNn?SmSMn%S|pCBC*)Mu#tX6x<#&oqk-l|;z!g<2e5S(}|3 z5ykeE&} zZwtbk@{6Qi+iSPoT3)enw4AcaD~5gv=b2C*EaX#p{G77Zu%^XH;13qg>_`#YF{zUN ze$Vx4OKWzteQ2|K{`KPAWyE5lbXy#>&&Sip%OVPDq2QY|dWMcAC+1RVb($O~DLJAN zBM!Eu(vnlzPSKNxbR$XJqT_U5F$R}y?(Um@$Bdqomd6Q1aj%syO2(0>qMU^zc$vOt z6FKU(Yx=rI%@O+P&Wm|n>z3d7_v%t3?hZ~SQe|oy7F;TQ^O6F|cx5P3>q>JocKiN0 z#6CL5j<;q_oQLt3d5JsmSP?BAUw%c56FOPIdx{W6#fj=|(A z0oTjwGe3pvC{ilC^sKSUE%VlZO_HXPBO2`=_iKYHlCZ4+ka20l>Lq#UNrn#%5>&pRvFUBsyDy- z@jvuv(1e`YR^#a!icYM^kggJq19Ry;;BQ-7%Ma~h7H(PBwj{rkwk63=RjuJpeOehh z6ewd8sM*bdQY>^aN&I%UE;-jET5Zv))|yQ}BcfuXZrDQ~iQA3RK=jE=&&MDw zFwVeFwfhaq&{(%D`8#t~-a|U}jP2Z?i)rm@fJ8LHXicqJcV5XJM?4N4DneNDwd4Z3 zJ<$ooWla-@5K3Shfz|K~5QG20cP;7s7p%wNL&09HW+2^CB4~ELnGqk}=}H0Pr|u$J z0-lsP3|D|4f8P%?g;8o2!>P=H9~}7uiAs29tq;ho#U7ALSRNG+dE6WgyPX}^+(WlI z^EnmY`Y4ym=cE)#XCnoaT|*SFSV||y`47(1(s^&Zl9g_U;akjEFeKxQaFramL*@3p zBFl>SyG-{3DH=d|8C+WL6Aqqc&tXd4YYE)hgIj#CfEa^~Q3GbWw@nXfxfzmM=GVik zs`Qhsje<)2k(KUiSYGkTnNAocHyl$=cq_|=vDAK2HuyGaet6iK>1V3&wf3+{d|N(0 zLL|!1d>|e;Ae?2SMmRFIQxJC~W-rPvjz3C#0tYS>|NWDORfebZO&c_?z)#a8^7-Sc zo;#x}B8tO6F?)g!(rTkImBfpIHw$H;a6*v>uM+R2o()?j$L=z<(v@I+Sz8^T z%P=uG4vV9$o4lpAbROxqLbr8Y#RQi<*(W)9@|eS-&zP3a@X_veZb3*r0h{qU^+@S@ zojG>-w${4J67QTqOt3rj?8jBp{dT*3P4Ane!S*Rr{pGDwua?!~m;mlZppW;8r9m#* zyLJU`KU!U#q2sxxM@>K(CE0!ZCf>(MhkN$)*{YiSBw3JYvcT%nw@lNhc>u1#aX||p zope6=CQ*zS_;hE7HeZ(Pi3^}w@P=3;h!zZBDb7_WPo8g5Hx9;GHCUzo$TL_LP}sm7 zH7>noQ5%I(=PR(6ZMm>HEPgZt_z>;(s{A(Wlh;5SzRW{V!{6_OlZfw(p;@m3;4{~Z zhZtE$w9hHr1(agGyBnO(nPjs(1ba=)tSeRAx)BN?eKtP7k;@_pN|xKSgRv@kH^^uK63q+gkD-`F@70`w^eHYXa!JTjn(VYP-!_|-FnpDzu$FTAN zr6Y%26rtm1|Mcpx;GHoX>7?VNG%w558sOc*xJg9Nn1`$_P!)F4bb6FSyD!UDMO0~$ z(9usyiK7W@Tm9!c{5Ib*R+9(J4!u8VTJ(=5m=HRi8{5!r&25_6=K$|eBa15gM(U|K z{ZwEjj--azw7apU4_pD&0yl zjB^{at19ZESlryCt8;=^9P3RsAa>ACCn_K0T1I;|dTc&eZKRX zJBt+HGiQVT@%P3FHKtYZ?5U$9AnhMp5c|Keb3-KNBb-N^MH?0PI@+}v%;unM82bb} zBA&aQes$(*k9Z@vv!nyMaWzyQe?R#X?w>PNocve#{XfIq{|?9H`V&4aP^{806}%zk z&Z{j`;nN!G?w~x;Sb4;7Qs9dQ>B`^17;>~Nf1j&eixYRQC`(h-B!_w5i-m=7qI52k z>*7Edv#2nZPo2Awp;Sl3^AhP!wiN`FDN8d!;NGm*QJicUV#t9qH+Bkq5{Qck`Kfp}F)r^Tq+mEIAs`cG+&ElL9tDxa3l_`?&KMOVXe2pH54h zcGK2xh{$`|%B)Dk1z^PA4G!Eta-v?aPKrVL_W||^mM*1-Ok@6XPfEUwh_Rcl*S=RZ z(@fI@r%*cMp$Yo;+$_xqZJ(%(;kUgLS8=UOn@r}g?F{zM;BOTss>fKHdhvV4 zhn5#{pFM}PC(W-H)Y`AljtKA@-kIUPpy>*)YJPHjLcH5{#CZuT`wBCCdq)STfKCuL z4W%N#ehrs^i<;2LvKk(K(~2-v1j*mBphrInMEC<0a}7N8u(Zxl_k{x#_cuEB1WvSu515{g%$_Dqv)tSDzyQ9`CMRf%wM|!r7 zw;n*|h#TQj)8?Fw$>F}GT!2iG-ypw{1DU&izNbVoLUCI~_!@GEt&SiYQu?48a@4GY zN$bqlgNt^~kk8L99h#p(h;kQ&OwG%IID&@zCig{`fQQP0`QLRp{?}?Ef~I!g;@H^YuxZ8EG5kN8hb@e7HFQ6FaK7JndqdXV zw=>gyn0y(xh%yPA>pUEQ4rL<04E-v z6P~3RL^$DsSfB%q+|T1S&qJ-E!;SY~LlD_o<&pz3V32n`Okqv5*z;r#|G9TH|J-Tl zr^q1G6^yza>v4LzG1|b=Pmk_cTuL5l3qS)lL&M-ZyO@@<2SZ#zlBt%0xUfB9D<4NG zQ%pjdECksv53e@r%8fban?7CgQS zrR_ua5jO*xy(2L8FLcRWldjW2Jw}deZ3$EbPS;;U`ddR)ND*X)eL}RE(QH4Rsp`o< zzJogc#^8nBJ7VxfUqZO}?H@Ye7&IVj*oc&Rk3!FIh-oa-e#Q_%Ai~l;6E<+VuELO|Qm~QU~jFr6x-Al&PGJN33=^#6ave5MoCwib8uA2~5VK{hJ zmp%r87LNr-4+r5n>`RQFLda@Fw}R{Srk-(*kx(M1yCS+QVGK;?BjpqXsDz> zF?z?&DE3EpTgaDg(kJ)`vdXGolwg^Clfi_4>8}5Qf&Z=c>j2hBBdiWzlTulY9zO2; zy{^%VZh2v8x$yYkSWc~({$Y6%@Q39Sz!%GCe0)@eGgg*gaDy3^N4Zi2@MPK6J^*Yn z4?X~N)dtY{pa>DikP$hCFweo0THv8R5Pp9~o8 z?TEYOLJj?FVGhn%hVX}TGLNGfbuST8_s;u&1`!X>)Wzdc%3&-qq%!^lvHc_H@P7u? zwzL;)XlAmK+DY$Zd_f_`H~7JHhB@eCWU&_6kqAVq>|`_)Cw2^NrXRC>n$(Uu0&l#eyn^aen_?kCq;sdjjes`=IXQP0# zuAYOl#-9}XGrlMvH%>xwn|6qF*iX-GC%r2fj9b;uW+6xQhsin^MnBvAYzO^eIj3=- zJdbg}|7A#D-`Ac88|skz4~BhF|C3>+!$&pSP5Qhr4LM^m4wC@28f@YzZzii^E2!H_ zBBMbeXLPCSk0k=t`Lq-K2&qUP@UJ%TZz8hlKxv zR&O=bpYi)&pf{3PzaF=5$I@vYi_s|gI+U1Hd#zUDgNU!9xIiRg7LyEJ-c9uFK;W)N z^&pbaVI=}7*Q`{38=u`_B%v3(aH{_Gl+C#79G&(zcqi;1@Dtv@z?p-;bO-$};Fy#U zoSWA-=^E7k1V^VN(>a0E**;+o=T}dWegW_zXSpeO96N1ep>6t>txWaZQ!0XuGAa^3@zm!h;I z>9{2C!rJw{9 zSeXu=;4Cj=#SRq1{RXYzEIaQkNE*lRl$VuLB!FM0_v0j8XyHiOrt6U+sZ@NVN3I#> z3?txbYU%T!S=ycAyj(I%Mq$Hdk(fi8a+iN-p`WR`TNR~5hYIRUJ?u22pE1jggN_D{ zBX4%mW=B7Cu37B?3oiS-*eua*rfHfmqg1zZp?RlW8VQ$@)7-vPky*uK#q6)b`AYm; zGyF8=4UTE~OB_+g3SdU5?C0dSwMAtSI{2ew7aO4f)3oyEpCQstzZplGNz)1uq>!qA zm898Z6pG0x;W)YVnW?{eaWWN|-BW~`VultbKFT-Dd6XbZodQT9nFfQaUTw;U2rWrR zYd@wj{jKqIgR$k`lX=^uo&6>9S7F1(qN+=pa@#*e+L%dnG%@}|LHkzQl`=fE}wtbm@X>6q*s<^2%7_Ip|rPdX2BRcGgzXn2wHg$rH zu}3eMt9Txd7qVE2iWfE?iij5)oTeL8YzNehkE;jDT#JA`5=|FZz}4^A=vJ3|uRO`n z?O){RM8C*k1;A_n@P=VigXRpuc_1`i3Rs{4$oKs^?D2jb`nwlsd_hMlbz)HG(Au-> zxmx;M0T1W`(Uu~Bgg1swd`<^$YLyphbieMG+FKX0Q#+tfuui>D1Mk+e&${Cf9?4(D z({lPM9?tex@nDkwt9a+}e;2PYc>=8t!voRypA7X}b3A_$db;iAW4Q9dSe}3|qQHUj z(Ig7+XN&J=18B;#k$?w+N0EoImj0@OyUM+`N){&rU^aNNzN2`G>?^sOQ}*+_%2b7? zQ$tTJ8G>AN}DP-iY^7PgP8LkE+=J#@_u_c>COMb`z3>6d~Ru9b@mgxfYZAbCnf-}RueUc$hm zlmLW_)(PJ1T#-KcHkuBhelh{_#mx6v3am1I#VRdK_S@(i2v`s;kDngkxQwnM{4El$ zO5C$j)GE@!BELZ|b4u3!H^8>u5qEKYZ!ljCeQzyBAUYoG1C|@0ESR%YvkswyMekX8 zr-Pz!`R-kRoP6)UpjLa;PptI*f?~T}*59rrbObT-1`6~VmCi1> z&I+3q=oyA^W}~0!%`TIz_$Nfnw4vN#Ffci?`hQ7!9T1><6N`jRH z#?h!Okk5vu%7@d@u3fi*A?!rXo!|K_82XmG=fko3dDp!Ng^!cH1<;=QU z-p{%h_lrRIi+keGTsPR0L{W=wzGWAE$LmeV!n$-rQ$7`Ug0f@h4S`8NVcbH7qm+` zihmaLG9B+u@k$_N&fy!Zk%2Fy_ltWMnS!=WMi!)ZA?n+-Lw2V&FDQ?qfkMyJ+_6Xt zaJ+ViYMf2OmS1Yc)j_V946FX zgs=WZ_==%n>z{<5z6gKeNb`(38FWlilWdy*nsBMw3OU&|2kp8cOtrcvO#NqKoUg?8 zS2cep7Eg{Ezs_Ao&-Tyi+^`u?m)=TSa=|+5ULD_mx>LRZtr&JVzy4Av1%N9;J@VU|+LUkLmRL_k+(R zTPEf`a9rO`PC>tl#l(#ACi%-d!Q<&?d+bytR$VhN${YKU#+UY-muB^zDHMvQ7R9T) zFKT~E61j*)`2?DIY1`SOi{l~<%G2SW3F!?U?@pW93Y-4f{8gK!znl60tc^9J&NwTS zklLCbq&Lo8MJ3wXS4RuC4yoXDyqB;Z zJdqxD9|{yEQm~oEoVwRg62sCt=+DMTOhebAfE^_imr4Nc9s@c_++}t?Y`ZW>4M%!Y2YBu-Z_442CC0#EWCYLKBe{r^sI@x`G>gbU%X1Q#FDwi#QlXxq&=OMM8hSTZ4rvk*~>mN9Z$ zl0yu30r1!?8@TU&yHaFzXtvlYsgSnquIK`QQ2}uJUqne+sn^mI|H;6DHm%t}8UP;K zM(_N|c1QAX2aJH#x}ECU^H`;Q=?#kNO@#_PT<=stQyrj1A)xU{T-T5j9fYQ z&efzs?^ZfzJW_i%iB-?9v|o(EX*!|^hg(;VK`y>)Bh8>#P=g2QJtJ0m&^AL8|2@Cz z7giH&QQ-_rVv1GMtLuWul(XLbX%IZCahuzIE`%=vIUe^M?`8e5qWWSv5^kE@*T1?Y zyy%-X$B!EJ2VDVn=_jpd*Bhzkvhs5nL-)c|EO+pF%%(vzKV|u|iIj0gy8Kxniz&_* z5GuFWoA7f$L?!uz@Q~PB}px^>1v-1Yp#SY8oZ>L zv8I5h&^nd$jc&@zmzENSMz`Lj!V*)vN5A&VYI-%~aAxuv`k!iQwAWl&i=a&@%VCKK z6sG_bSkVCA)JQ2G zfYx0{c7UflmGzJAsj1a;QAH>Atgaza2pAi+Y$&Bd4ExpAYWl2wPFlQ6w6=Cuy;`C-M8;3F9!rh zqL>}QG%X)@@baMkt=HtG+<3)lL*iYwUoQEp2U!E?79F~sftC*45RA}wa~~rTpx&Pr zU9CTunVb&&7e?ftrvTvkUEc`t zn5k%OEy1=$^A@-K1xB*`tC3shJ@#BvCN|>6QlS+WJ(zBUSyIkl*yWO$i6~fsx2hQJ zGORW9hRP(}VtZ<-0GfgS-qEdZQB#?;b(`5vQHdkUWTA;pA&C>~u^hSrG{$)P|BgsQ zVbR^)Kk8TuhDiZ+kjY@;GN>yRYE@gS+nHiFDQ2?%wL}nJ zuPz3`P@aKN(k>;W8T|D?dcgvq=g{x1=(nA~X5c9R)m~J%LEA>T5{0>M%+)bD)0OrjPW|DpM7)J&3Wj>f>cE8G{B(^;lPKDx5pR`0kLGVk-Huz>x zy>fI?xn?j73H|n2vEHUdrb2GPtT;ARPrDbA%5QKLvs_2vtsEh}sB_?#M3h6Ar(d~3 z7a?Qp_DCv(B{{GvHN{A_v2OJ-n8X8K%qy9B}4 zQr(zcHWF8N3;xBzX@}@<7D#Sg{pPG=W8W&PzFoai7W-4*s?O&2bt9yc^NED%1`~s( z#|mmFr#-h7^X!W{e~B+S!vg`1uN#&15;b@waa;D2{q3OKp`G*lY2coHAIWDSgUdZ8 zO`xdtbwJtE7RDPNt@66x2v|x^8qs z8!<*~N`Mn?r>GYEwQAG-!Dw+pqkJPQN`9Atqy+*JxpDOyI#CoH!9gq|7^j1ust5y zwEC>@R4rw1`QBdY?%9%Wt)D+c-0$tW*XwkB98Moxq<=hJemuXQy0*V%PmgbWzj?X8 zXs@nDyu8eQ0Ce!*>|EpJq18oi@9wO?Z%W@doPW1POiyu5m(Ny39Cy`aUmJFv(&ONG z?Or}V)NfrQ8#;`*zl_*;D{W1I*R`aN2)+Gqh6t3r`D5X2zV{H#Rz2?Qa5Hc6Qny0x zYr{|8z2f8U`Nn2`>s+hrt<78g;9F$-*94-PhG(Z*APWp!cx0ZJYb7~C;kzZU=GSR5IVqu+KCc~{Ru}}?3EWa1 zuXLjOZ@wSP8{g}Acx~|e4vGiYZhcblIdRwC>v-|F@wo_iKAc~ zR*$}sRd!dP2=h-YwJ&-*n6$2(o3<|!dopq1Nl)_^VleqW)vTE!K$Z_LzO`rEZ|IJG z>!#1z+Txy?EPblF+rKq@sQZ)3dB@23^zKvp_RxR!tMAVx(}vwM$+F@P ze>K&uPV{G+KW%R6cs54Y=G`(&O-7H(<Y+L+!n+!sk5txC9b( zWpDHZ19tu12JFHF>|%bn=l4{{eeZhOk$_|Eu6mdr|8;LIQJazVklL<`zBYJtzI%U6 zcL2^_bdvUT^(^vZhUCIcm2wQ zZhmaJWa?;sK;MW*KsI3dcxhT)PB01;YJ0Tr)U9$I=jKbG1NWRfF8~RYuPKC4Ct1+~ zuRyk{16e|K)$)-RS*!9B40u!P!R{5K(TlPZKiu|K;bsb@EW=CfM?H_8(2sQyw;2jW zsS(?jfmSD32jQqdwgH}e)BsruYx47u9?${`73`z+>&Ml znczQB{?9BhS)0M_e&+oG;gFfN0mg+eZw5jL3<7|${ukGODE$ICp+&X@B!dPdv-~Gn zkF5>tHiKy6C(Z^42i)8z&VMHO56v}V4S+vM;!Qv@6hN|1X$Y1M<&w_`54ShbFTn>y z2U=fWt0faUfPB0bd};Y3tl%UW6VTWRCUy`4WjE$?rDqv+2U&@_fP7>h*DCId@|Dz*;%H#|~TU zI*y3({^<4ub?)GK{I;Iig~pTFzWH)YR|VPBZWNwXg%7ve%I~~)3XdPTu(f)iBge~N zv^9B;(^UQz6Jb>G-b&ZGbAJ=#eLQ-!_&ol!zk2s-UOTDnfERWftlWCRkul|koceli z-0Jnl+1l+IY{*}^H2(cz`@VlPW?Vkqdd_=u-*0N(H8F+t!tVaiI@?F&Y5sCLg}ZfK z=z?TyeYtWg#e1#oQGT$w@_2O4R?D%w!)GlGf68|)E!yxR#{J@&VD4@Em8Ob6yciOU z;1~B9+T|risO+u>#|Gv+C)QD<5npyDs+4Gqfo=aKpnHg9;3E1K5vnkMs zd^V(GfY%C9tmm~6W{@!#*Ut7+CD6>q(*+GGKed*?-#a7j<4nUYLkmEmRh-gG|73Sx>}hveLIEG2>$vN_C&uy zo>QT7oS>Ogf%&wiXZPl+N!rdi3>ib50prHVWeV{q?DV@nJIz_sL}8hOC!T|CC2OYT zl#P)ylrj>t9Ipwk!vqKKkjx9RpkPqTJ(T?@@-7I`B9x-jcyzTgBjmlCR3N{LS<4a@ zj>*=o@>-5=;4sg8yFz{cghtQyB1HjThz6UHo{Q9eI4(nllHTS+{TjIaZ3lWk3(ED2F>PKMoKnEA?)GEY?Gc2 zunu4CZ`H9~p2}3IrHTYRaAZ%suKg$z;zI}3ehV*~b|1l_+n*@54GNM5_Y-cHrz=UR z5tHAq&2*XdfL%GL{EPRJ`sS}2D(yK}R05K13Jqlf0i(g{SDYdE&kkr8qpPsQQtc>> zhz@j*ZHTr#jHnk+2+51mbf2%sb7}+^ZvKRqIoIX(d&Fd#c#rX#I?K<|Dx~D@U98+7sQAl`;+!m#qq~b|-uvNR z=CXrkN8mU=`{WVjvTh+dXUZbhVDHHA_etqscJnoiQ14Zc@4L}K;#IXD*J$VA zoFx3d=~QKBxpS+CJAS-c(d$mGPjqm|6OsJgn`Zp=;`*Sic<|X#bL9TY6;y`oJSo2N zP(`F*ht3g?KMSFy&FZXS$(YRYD0f^Wd9tY8isNU)l4B zn3Sy)SiDIm)5UdO9sPCGs$<3C1N_RgU&Z*W)*;JxC2N{7?_O@kg?YmA80w3e`N{3| z7Gng}W~0@lRPPC#fNXuG%@?7w%b&wB0BTVye0H-(`F{WNg)CgSzY#VzKi-^*A8Gx1w|9sCA(W}D z$M-zyMlq+~%U;3qxs!V%V_c!{?D*ER75~YzRp%Zgfph#BX&`NxiSO{8fw(@5kW1|T zH)dSE;R2!)OWK}*-TK?J{h!g{jmzN{oP<9@NMH6mWFkiy86m!=Ns|ykg-P-fe%<%` zc?XIVVr+~gGSq;NrR-oN^WqQZnSfh^ck#3v`;-=y96B#aT%3MgcUb~~;Zf(JZLCs@ z*omcH;lPxr7N`FtJ}5jG6JEUqa@L$)SA8viWTXZi!kitYRPuv@46k|xCj|y*;=Lt< z>9YL)SdWIc!`r*sbPPIgdm(u)YD8x;e?l#Gk1;7SoHFanabjRbff1{JqM5Wy6BVA zF)+~vwLdqq8aRE{(g&VO<^JB4>B_-pr{A2sFXrx_=vJ+=znti9=HB+2Z6`UIy(gSB z_xVV`T%~Px(VB>?Z2W4adQwpFp{q8{m}`?mbC+N;&V~{nvbHrEYg1=U8s|Sc@=%`e znLsa~I+qY*qF40o$fQYYKBg;P^*QihKaRh?`c-@!*I@QtGNq^(QS^MwlO_FYZP}I> zh@i#ut7B-${yZf_`uU!NmK(-NtX%ETB$m;7hSzR7i6GxsEfve4<%2Tw!;B)u%A`du ztX~I+BImC~b5oSwM*3%6m&QI5Yo)#=&7M@l8V^~fMGH00AltBy&S~g=uR}v`0pm~G zvLIO#(W*^7xVYE8)?E;QC(Y1B-IOUj^pv0d!9P}i!8+4uB*a4xUjITICN5a;=r*xO zfbX`Vuk_Nic6|X8`;&?=A`{=o!Wp6ebhhf{Sj1o%ep@5}Z7aFczRSYRqlJ)x7<~AE z$gZ~tvz%V(+Ue27Sq(n}-jTQ|pifTQz26)!jnG5oa(=x{?|zm!qYB=01bzki+8Em1 z5Au^|h8LJ-Kw+z8HU=6L^Sx>P;!;vU8?qtU&rX{ui;m_BFhXesz18dHsCe;Ka9i@@ zdn_IS!r`ih#~B4tyS@H!QqP(`lFy3OM<3yD0x-0#gSA!3-l{+P7ttxINqd0lgh*1W zJ8v)GOmj3mKG2|y`V0M~g<&+T3zW_fX!4WnEd6?$7@?MnmMgfN`Z>a3D%wUCx7XEq z;J_|q&3(Rvcq+#o7T{b=E;xEGQ+uxEcVECCX)(;TGhAx1+1YMyDhR9MG@`bHj+c80JUapP(!fsa<^ufl?S>feq)2-Kv z@6Z1~J2{q!+icf$2i6vLbVN{p&pp@{_Ei|gOeb67*+eTCmfL-H9u?00XeY=$O)y3N%``P zuCZdy47ERob>>Tvl8-jcDZSY-tvvM|y{%cc#Vjb2e->HWlJIx?eFqiaTihOR+}quy zn=(DwLbulgT2gL7e$|;XBsEWGal^-?H^(d=UzAspc`OTVQ0Fc+BH4rx*@ziZ4*7e_ zu8_O90YPa25uJNn8&$|v=gX+U>(Y2??2Q%-l4lW>mKl@dGwJt}Th5VFZ_{RXe$mnR zqLb>CY=*~~gEPe>+xfeXyMB(lAD6)iq2as`7?T!Mcu}idrYG}$iK5On#nbXu5AeK; zihQ;7+tDyWo?n>Bc3h5^^dY2qsi0Z4M~e@OvZL{92kTS8GMADjdj?Co$82!3Nnvvc zr`~T|vo$SH22F^NvS!s(d7jfsMba;!&B>h=*D71P^V6{+yLHNl?qfTZtjCpTSIN_r zFt(M@wz7Po&Czfh@JB$!I!-&48poCT2$)=uzaEx=B9r}dPb$9^iBEf2qPEWNR2tJ; z@;J6W-Z7KXx1B8r|8jP-l=ZL#?>JB%?9;OB(@Kz+tRmTQ>!+M7#rW=Ksp?_*6EtMX zzp0ZIDBoDG#KSUab+djGTeQs8&2n`dTYiAL>{# z+b6`RG9}YPA{^1SQqs24ui1-O7eLX?@&0XDtL(aij-Ep}R{w0V|vYZUwG8=bZ1 zpBl}#G=$BUmy|(YwlxA1Xr#HJ6zK06=c*BBqraVKcs~+#MqUs4ZL&FWEAZ6@iOkpa zPn3Lq=dMEMX+)rjQ|3M-sA%P~-dXSFje#FliX{z3AB&V-uUwC;JfCX`{=O$djXB0A zya?)(xD|Z9G@#THpz)ko$;;^Z-mX$4m}LN5g9n7u^L4AQFv%~C} znOwMxySBsjI|Nt?!b0&Ftyk=m^`HB5N(LpW`*dY}k#egQIbd9#S%0UQ1i=TImr z>2MQaFjO*8Wa1H>kodfiL{#Ia<2E=bI(&-oG_6M@;+pSYYKqIgn}_ve)VXMa54n`l z5sS?1qKYl*Oy~tcArS-N)!5S>tAqjd%)r4h-m`=Yvm0SJjS`&8h5ctpB;bFAJY6vb zgmgapD2 zya-lti)>$qK-E3-3V{s;K|Mxvj!)RdEg2s+OT3`eYZbVcBKfxf_YMZm0||jaA+O{@ z+f8F`P^+G&eZwY3V$OA3ougv7skVkfb~1vw4Td^P?fcnF`{@CVkI@XU=W@JUFcc8n zWDkVW#;Lm1J?v z(oB&Xb*GI1u7>~2nng`8pw@fBWjx|5cVRF-A+WC@P`lR)f23v(FkZo~vFPU7CSK9a zbq!o1Sm@D+k=O}a-0ZObCm$(cFoUm7bXuC=V(*RcL;=w<`dvu=yvmr&Ex}lkNdAK{ za9nzqnscQ{z<#+{m^t?YMfWR-vd>#fGPr%Oery=T7)}BV{8)Ozk1u0d2`>)< zWB7eQhrz&9JeU3c{eIcK$OP}y2rt8f{VCIHlUjYDx5;as_3{o}EFBFjT`eq~9TH=q z!O~DAx7$~`{#*o?x~U{MXebQd5{DztULzMMN1BO$%;O}f(6*+uJ`uhRYaiAPN22x0 ztWaql3kyXRW{y@K4rJ>*>^U7ySHJd_v(J?iK-Twm6gU(@bnA>}OsG~HDHxQi)sY`; zjB5t@0>=3xf9Uu~v2=|z)J(8+&tM8~cDOOYRmH@@$Mw$J4$Tj*pG~d@4R5s#6SV2$ ziju+VJWzP~+bX~JwF+?u92p?Nt&)%WUlQzA(WWf5ry=YwsR3gb$0*h-@=x+ zx|S~icQBR4Rh{_Geflzh={)|!K*xK9G(z1Gx4xy)!la>Ur(Yb7i%=bzhUd zucC28=X?BIr?C#dD6p>E+v>O(%%fajZ;Mgj4K+JOsjTj3hKe@=S|HN_m&(~F8gO#M z|3%LU!U3#K?|qu0o(@*RHjj>2wI68c0}m)vbW?#>6aMTexQ~?A|Z{DfxeFR1w(R4 z0$44I&Ib=j1<$~Pe=2^{xA=uSqu_&T>GUjh0am-H+g!GZ;k|Wfe4#f77}KmlXUFla zkwY~}rolT42$dp7Ko;*ynccC1YDmgBrOa5nyJ!{>X2$`tFq3;A(9{q!2vkh6H2W@1F%3fWJdFpYFcYLn!nAwGU<^Y) z-m(Gc*$JJWLM(x1CPz2Rz!J_veY4ziNRt!DDTHZ@pm0Xmc~}a1iDpA;x~sVr)o`;k zo>(HxpBT@reG!a3_-J*(W+wD9L}`L7^^Q-cKm}YxJHPSF!%Pmtq>(01fFYRRXW=Lq zq*(T-H_1d52#fWgInm~{O#bD?wv@cE1n!9tX# zAG};37Fpai{6O{!GC`E~V;40K3+rz&4*yp%W@;=i=8ff)si``GN?(~@G&Q+T)bZ;$ zuQ19qvwO0sEi*woCpEROesMng88T5eB7CosNuj3OSaYl2yqx2#^;EC)k!`7 zPd`VjH?o(sHBV*uShZ;!$%>R4p1YMl4xZ5EJ9|j&?>(_!49_lsHyOa871mdBs12!Q z#|y16wZq;FMDtuNQ&d6Ky;&0$zTgxPfCG^v&?GE(f3Dtc#v`EgJX>D$_;}xpnsgOu z1stL1*eg&|T0S z2N;{8ns|Qa!gO2=B@siwEa*nez7J`2b>K$)JhuazKr-`2HAR11StlIZDyJhDRyMyQ z7#p+Ic#tfoBjY^qCg6q*ghfF|w5We$Iys7zg5GZi?%+P30+;bA*OK~R@sGqwVsl%V zRMw4>iURNft+pBV0j*KZ6fHGA@WFuK0q#&v2Qf#7BguR7MxO%4c6AJ zVC~&g8<(iM6RU5mTeWg*5{KX7&A76#d2E3#Eaddx+_$l+05c0K8ubhy8Cqi>yC{9& zFil&EN8zi!VLFD0ua3l?%3X$<>u~Ll%=)gKHtma$DoQXy6|NprenU9_;!bY=vI`Wi zG>+a7&~d9;pa(VAVO})bz24NsuwryVgmylk|hV>LcBU)^eCM1lxY|%lBL9r zY=k48aGl0@yd~*)i25gLtr!h$HCjX6slg{|g}?egsDs!^1t))@)`rCO&ZY6(WujYZ zVnT$m;v!i{R_v6hZY!u#`>BK0h7>3Ta4a(xAOzC1ilst^v1UNgqFD~0jA;o{x6>_! z!D9_zhp}q8!K2Xi?hO|v(JfV^7!1l%5V!`gL!|U%7sqTOSSJxd2e1*K8cCPz z7TBCAEYpPmrU@&leakq-RBHT|tesCmGk`4@lpM}#a6n#}lk^?Kav%iG0Db_Qw&!HH zB%OAt1Ql^eg&xl-j5SiHxoFejf0M;VwS4dT&a0~CFI7!Q`OaeVJ^eT%ZwG$P*XrAm z*A<6rAO|Evsa|vkV`+-={^aNY`ava{>P^Vm+fq;`Ul}jrQ=_=!_rbn0x=J>0n!9zc zVb!EWCuoiQHjyZzr?dD~H&L%wlaNaL{CGZuKl^ELbG{h~mg`x~Gw-03H3C&>IpS;* z8edQw7(B6{X>mU*dkre6oQx_=AcU}7Uwcu9BG7YPFhej`#v z{b>KM*pgpN_XrW5$bZ6%DDIJzDi5B78@ZQBD8|95FnVIi;#IrhMoK#na4kmUsCJ9GPx2KLqj{nEXj*gVT?50OP%KJwaN+q zEWfB!mxV`_MZ-NPa>7@~B}xpor;ZZhC!}rei7AB9k|stKM9BhCR1`}=`lj;JFehA0Y0w=rq@ME+SiL_Lpd@fEQ_qazl}Dqjs|}0{BP6(=>J9~L6JF&X3$$wh7R14# ze_Alv9-i<-c()RE* z9N|=ECCWH(g7d@PLLe;zRt3;l`Qo|0RZNMb6o;dx{uV&1Pnq4fO@|1yA0_^+2A~XR z3!acPb^}mO$P@n`l!-z9n=;4GX%j1*!8AQK1<|M&Qh78^KGWRCaN{{HW|3$ELrywz zf{ZkD@`hLI@fx-FC9)DK-#w)cl?Hb~l(9t~OjAgQa|v1the*YJ@Y#I=Q(O4rlYPM` zUiOvX-GVhmEdd*J8&XBpp47Yuee@Y@iS>2ef~%Hb3?x+cA>0<(Hz`v`esee+tRIEC;O*Ry>Oe>c0(#Hy%=#;E1&w zyZwnE23l>TXb%%9NW54naH^DQ4gM=d(ujJdLwi$GA2iS0;t5Wm?^r}t^9xyq8%nU^ z$cApL9pR34$fn&eE($^{2z2q~wtXKV+~boUI7&3Hd#@xJt_>3%{m#{`H;8rZ(_b;; zMmKUN_7R{VQRLj`MgR{QWR!R7AcnCc)KoKVD%gsjN<&}(N=a1!O63&zKx6H=;%GM| zpiNQbr8YGU?lDMlB{))Y+1D9EgFp)alsMhyXkv)CMSAx^(Iq$@7ETG1>{>=!I)eJA z|3G)0TKb@RlI+;2sM}LeR|xd^2PvQI$wPFdNP;J6sdRuCBBj`gXr{#3iTp~5wG&B8 ziMJbohmzvRfFRs)$_tN(Ly7(}$jFU3a6u=xyv!;xH!@Eup?Eq26 z+Ib*k*`WhgNt%YFiM2Z`wUtbV4NZw0m*#l&$|l5+yZt*XajCFI9O_?Txl;E^FOz7f zeEb^XC+78}pnufXT^uzIquo zA_&4Nd4%S`V@(Rr1g$Gk8;dyA9Q(wH|!r0vC} z&URKwdSGy=syh>_+riZ{FM*X-Ix;6C9a+n3a8duP4Vh4fnVnmrTpMsI1LE50(+jvM z^wd43lmIvSW_@)M##a6%H=fuk=E?VH6pYu8Jn)X7xZXMk0Z|1f+M?40u6XsANs5r) z&Rz8HSdtk#AMv~AI$~mkFb=|9zcAruVuW0rA+pjHWJe%w;fY=Wi*F@snc4MWT!bex z-&0^5(d|RgzpD7|B0T>|&gw&rgOp|nUjd~Ec7d8662!e}-w5LaS`Op;$=JQHhZrsJ zx}!9JbqzT{faIIQ67U!Zd>u-Guo3%4gjZg|vx~TG8phusQ*{WKP0R3Q3xPkTY%Yw! z6xp{YqtSGV_}%X@5S~Ny75Ex*o-zCp5aoS+<=TqJFy+#ybt8-)5QzWpKs-N^r>-H5 zw1og^L%9bC+OU1E@+l_NzH`toJk1e>@%v>Hz3YLsra=fY7?=i=NdQGWg6<;ztaq8z z_~cdtTpY$v_^!t#hU^PeI71)=+iy2Sr#;}%4)|S#?8{*2Q#wq*e@G$mf9!|)+cAOH-12Kk^0dLHM7N`0u8(hEe>;XLSkqa zZzZ#j!hl9E$sCU9D}Z2r;n!X$2eg>aN4RcpAN+5H$oikT!D%`DDd!pz#}1GiyNE@G z067XUZ%7D-_3`p<>Nf1Vh&`;kh$a*C0Kk?NpC|LiwfaDWXeTW6c0ad_bmPE&-(Za<-S^sQ_#%^}7P9y$F5SjdIM(y8Me%nYRwb=*;5}x9 zOhF`HA#g46>cbhQ@n5bQ+_dLnHIuK5NA9ZeM6J#05n+IVQ89lh!CJuYFg!RY<_HAv zffxIK1MV-;t?6N~z!cNye!NrKtQq3x>yCAGrroCKS8N(keApdj&{L}jDThFF_j#UH#-TY9SU#oWX6x!s5C9rW&XK^yfc_>Fp}ntm{MU~i7S|PX z{1@fn%-jDn7_VG0=jm*pdC0s~@ce|b0>(ddR)1`);6<-odbw9*V#+y&W*#b@$qqC7 zF!Y#TRL!qLpl`FdniKA@tTD%i%Q;Hs-r^Le=8SNDN`d#CpHKux_%~2yui0*lv?>_K zlPMuu=3)Fv2D==yps^gsq+MFNbDFzUN)Lb- zTyZNs_qEem6r?dVNXDTL=VaXJG~}5}ZbwDwb$W`A&w$?w<_9Fq@l1ts%d>X7`M zcrs+LlxwDZx=yZLQX7U-MO$oBhICg)^E&p*u_G$Fso-+g@e9EX8pU!H`;!JT>t46U zm5xq~j&sV*I=#?~IMo#e;!4r?F0I7u4w{BAIRRAtnk#R21oM|u_}oh{xN<}bGxTB) zHGX}lJOPDX5OWf&dEe>|f{d))#`6csH3S>Stl`+$Gs|LVq}?bHD)og;A-2@EcBUb* z@>7}3WzO+nIv5-9dL|d52GfMhUw=L9@XP5Oyoex@(s@F8QKY@^c@e@C`gF=r(*Joq zaIn9jWB91_vVK)X6^%O?GZ3{8s_Vg2iSG;MRhERg?{cVA{!L1JE=@s3JSj|loT`d4 zBsU>P4$&B7t13+EuW692xjWJM^fPl7!{diJ0?ihJ2IgEJpD*8fp1~Z%VNU9ZU{$94 zlqOJ^%_8Z~i6i7`=GFZ42|yt&wjKj^FaUQ@P|%^B>L8?Oj4&p-)0ag_PFy)oLH-$% z91xQ8IK=@)K97N_+|;cdT8Pu%0pvgg&envAe6N<-b>$MC*^)?*vo(Y58z&{4xqc@n zfsG=kIjEz8+&ARJPOQO%Fg(7I zD-@RHy4+`KX1UcgZ zwYk9|Kdm?*y(3}YF6A+cabQ9Ol<^-D#ADD=VhT!1wK60*B^6LnId-}B*#2QSG*!r9 z6i7_i{(zS-fX(d;lt&RVhazr$@Xc#`;tW&}E69cDC_V~gR1P(^Kf5bvcZFN^S1yF8 z?bjJimVmxk^oOV09dy}g1S#&mJc{yISts9inGxfRR9rBsjT)u70$;p7CCSQ+;=UqS_lT=ImVtO_`bOwc04~3hUFmA4#l<*HH zHfE0oKTZmAhgeJUd~sNy*{s=q#Qv~M=BU9MD+M`|d^^-yaJnTDK~6?tPD;uuO#r0@ z_29oLiHP7LsmX~rVPPGJ6nH}eHtrPUZ%T5z6c5B~YNOph09T1R=Z;R|S#FbpTw7iS z*!u`U4K!~(3gLgVKu<~lICCKKZ)Y4(AagNl9CPb1li|lCaVJcfn;iN)NGZszDarXO zU0$$T_w9bPiNwoh!2AeOCH5b;kStX;ToFlX=W>F(7AT72c3e&8W%ge7vdMDQa0|gb z=#tD+^8z~WGC5YbU5aZGWZ1T+au@xo)Eux`Li#OuTJcHl5%7wnHM2#9jM~|U)#owh zkH7Xiq>_GaMljsGG-WwvKr%WV811>?H%=twzdzr_1Z7x}K3`$RC&o1?%`=3FUB`aJ zrI8goH|EvtC*~=jj+pNV#m@7gUjTE0|MgikM%`Bd<&4@5%Bs@^*0ZKyi=AJA4rJK& zEif51|IQgr!&z7|2<)KQg0$Zd(}*k}Co0CIfsyw^V2a|)sQC_-!~We@N1PGLkQ;huv zJE9SDg4?WsjPO=0LstgFXwutp)4xcS-6HyB1Y}TQfpabj%4MpU?Qber5f<;zgd3#% zZOAIzC!Zt$!e53IC4&O^NG_)bF}v_YrOvE~IA{X$iL+CZ8o>d^q09*2lK9Oi!;O?w zW-S{k&WQPq#C&{!(}cK%U&gz4yGI34VW{*%YY8k}T6b)0MBUf4i}fjTIO21Mw~myF z*;ydwh_jL1}h+;L%|WM&TzEJgtPLomA(`AkhFCq%*%kAdkdgeyzS zmrCQ9&z{0O%Jm`msK=YyCw5%^)D?8Y$Bh6~K$`9=%6WT!DCUMqxNe_RB#djzSQrz_ZLmgJY zr#fMz|EaZbg51KFTsLEf%L%C`QC6cf$Ojc-Ec>;GJu zCZAtSw;L1)=m`2h7Or(Pc5*VeG5u?tRio;L!!HihuB~FdmK_u5CVQDZ%45=+P1&zj zfU*2Qb>2YMckJ+SuSs0ST!Wk&___+MAyxZQ-_xM=#Xf0BKJ&?X09C)=fsum{vplt5>(HaW_ z7GPP*S^HSZ{zdN2v2v(zKU`f?LF`-~1zeEnY<=XZW{LP*JCc*Ok;TC}Q<7@gQd8*9 z9_<~cy;edYjU_@K8!|aI<{@G5s*-UB`@3!@QOmuY%OzUv-o)v7|8}IqA0@SF^rM0! zxWr^K%s`BRRQcF&KD*bz{N)u4%y#Np``|xY&tJ(1&gSt1kH9h06}dAwfFj~f*HK`haKIxuJrJZJz%tM0qrT#%9*{-J zf?FyvzlemdOC4-X<>dsA)6Nz&43$PxZft~3Xi zuNrOTWf-X$%J2!qQQTM_Qo37#>!CNg(g7jV-k+9;C=LvO3p-7H$_`+~NM(bK-bJ$qP8Im~f8ZC<2?n{e#LAZJGt>OA(&Eji)r z#9fOP-}`UG@&X^F#+8~*)juqb_rCRUT+o!(ASQaYmPV{=L9g41E6|orb8p<0+D`K| zN_3mR5lHlJh+zyoT3&=f4y@n^k9s{KVr}ueIGJ*}Rs^FdmKl51LLUi>v1{P~<_XqC z>nfiVul>PAV^LEwn1-m-W}w*4eOEU!9(`A&!**_5n=;sWHaAY^sj+MPBf;AKm9^^3 zG(*_e>88<0<|6mGeApMsd3;^=kF0f}?&t;t+quam3i!Co772kd^>2J2=9R)LgW5?n zK621}v%yhV9Sfw%j9a;MR?nBHs{V{RkJDV@2a9vf`K@44G-dFy`+ zul%ifpbP|9h^h(jMg7^h8<^QgvIwmUJ^u?Z}+m_6=u4AHSf>7PfIa@FyxD4Ge9HM~Y zhKfQ@JA+9)Un|fl1Aj&k3X2*bHYjDPlRQGw9^@Rwip;^qTT#cI#X&YWA-4(Q&)ks9 zvnMXmF-NOb$MloI$K4yAX0t0z-B%GRs+P+hY&)7hP{snUeQtv1&hZdK z%BUwK@qjN|smKTGP4t@cCKN5I$*q~?UtzsGE1cJzzN1A#_m_P&=!?RH8LeSUaoA^~ z;s1JVOsF2oiZ>H>k{SWjQs;={9u@&5j2){+EP=Vh)wz{K$`lW zBPx){q-CObILvThiSzp$lM!1YSER(!g!w64iQ17H>^MxcX)xe09T@`!k$87)Xv9WW zU3F?Ijg8Z!=-p=sf>^3hC6W;%Tp(ZGZhtLj-?063wHH%b^v;8g%8bZ_C9RS)!%Pv$ zuq^OeDqT-9rJUw>cywf13Ghlq?-bQc^NtJn`9!I$TEIea?RWoR&f`EWo1r2& zx;r!C{1jES*Ss0!pmoo^wF4;`8P!tla6ahKHqNlg8azJUS)1=iJiWdx9;Vm*P{d$+ zn2$GiW2eGsqyI9OJ!pj3AG;Z+?`+ryFE9hNY#ass0fxle%-GJ6_tpHH;Avr0*xX1a zxmgX3S*DHT41(E6H_R`CcSpvL#+Gi~iSBGZ8yUDCuhTbQQ6zs1?a$+3oix-|{6Z4_DOe+Jb}7Pu5-@c>kDkeog86dRpuuTP0TJeU0+Kamx?{ z5Kuc65D?nGE=eadV{2pjzqX8jt#hU+YrDpV+4V;ascnDZdCfVzP4sN#e5nW?rCB(p zK}5@nLXq&8v+zQ<30qoyC`tf{}IQULaB?k&v*uL}`-|1kwfZ^G3>D%jN3t zEilzk817IKEz{LKO$RW@+LTExw4p@ZBB1-@t;ojss5fy@(g=Z&@k=Cy7Om?v?np1_ zSGl3TmNsUg)}Y`}3!TqFfE?fP;|RL8Eog8Xq1PJwGZQ4J(-74-Jd>W3A18`Cq%l`Q z3#>=q@H`jex8c`6zAI)Szh6JiW*td{59(|Gi_;1=^ z-Oz9LDDQ_a^zS~;l#i!RuC`fTjX)y_JzKudXU)3Z+I~oq1Es zE$|SblIuX8VS(JgfzA}6Uf_g=^l`HT7?%;DK( zj~Zx&wJ^GuP&S^{{g4<=4rw{?z&40bn#-+N0cuXflw6a2y#{GrA%$M?x9e7@u%Qa_ zNDw&0rduyKC6-OHCeDY6j*9_PaCAbI{kGh&9E!kf=-X#1igs zFkBHMG3p)efIHD6UAhI;Mtq~appkW4X|eFn9?#&|wb(gQql63R@4vwZJ@mI^1Ne45 znUo1vit^O?%8qJ0lB0v)cf;CZ;?(PeHu?>haU(5E`d}Q<6gxv?MxpWsT*`<{Jkn2G zSNK)CZ;jfe*Q}D>^!4kCU)F>K+RB|N9j`)X7ua?Nw#1nHr#*kU z%X43vo0b&QR!Eg!8hI>-U-;g(Z_GMRYdNjq=nJ_FCg!YZ+xlsz4IPiK=Fgh(>_^b& z`BQgW{7Q^e|AEVli2x!tNUq+}P6t;YgGSxh|I@N=AfGTtdo!EXn@YFjuI=|5YH~6H z2J77)aV`Q>t%V;;i(`kuxp}wV%Dc&l9j#Og3rpmMV&^yJrHVf=|h=2^@Bc#hgx#pjTQzcc-)j-=uh8;Eu-XAAApL%%|6yudcjnW*CvXC?* zgt0LiU9)g0lhhi4y-P1jCDwa5%c^zl$Bo8}Qjc|G*1CZUc47)OLdw2YJk?%e);tZK zY`__>Y&;Q^#Wi9`y8#X0{KVB+FR3RK&TgiH*%P8SqP`s`z`t)NC8b zOrXb^jiVV4Q}h6DGPv;o3O{yb6;De#rPH|<2cc?9y6T(r!WIS+mJ1?bHK;!Hx%1?` zai2V5vJcQ?_3*xF1;ZOc84&mp72``Q^h4)2u$wNLQ}tyF9=HzxB-o2`JJ>D`*O7l{nTr9nF#J|x3I3@-7v|MS@I^&W}jFtMiU;;PlH1jVSFccD&t_ij;^ zh>oie$NL$&$3iIV-_6Oh!?G0>*$N9Rk48&2mu*&6-+UMnc65@SV2oUlV-(d-w~jOP z%v>(vc|mt)^=?=I4@LT}{U&Pn zdv3Q`(WiWi*Ei1>GWkf{^EtXX^Ku7@kB|CX}m)#HN|xdUMMMz}mt77}Qu15q*bdh0`QT?_9rPj@%%Clg`% zF?_u+T!?GQrL}T6$&W5qhN=*nQdCF`R6orhR4sNzMR3KQvt=q+kA*>->YD(PP|9+v zoIhulGrZz0=`$Pmu<_lW)1x?dZ_A_gll{yC6vzDetP zm0hVV15jF0Vg6s9Nguxnk5ly|CD!REq2aiz%&2oP1;S@|+_EsJgKm77VX)0{Z z_0UaX9r7XAIrUnNTNSUe&^k`xx9#V*+Z^g_?DnFRMs_4xHxvlA+v zLxpJXcsIB2FLn#(;oH%|RRP?N6yOe~E{d;R4 z8zFr)?5fU^euT>%W=!4Lvi+@|b20QhvjWs9)@}@-SEh|>L0u&5JM@^ZO5MNfO1eF@ zy|1w0F)}1FwY{d6p(p0FXlj_Nb-$Xw#f|D(mFBmtfN(T&DXJWef}c|~MsIK&TAbWM z3;T<`DefUUIY?tW!BS}nLy=LAn3zly#=HAhb2xiBS=qW{qB1|dyMBXN=S3-ornzFd zL}ioesAMsGv8n<&JyV1-d-VYT#PE7Ow@X;)|L`Bv2WCO(}Vr>}uFj~|dsQBw~Ly$zPLKVLYDA3UX+ z86lwNsVKf-0G{UB`!KDV84JCMkc77%rY#!mrc^9B^_BGN^D?vh528jMv&`G*N6ic0 z(?N-bLy2_C@}7Seks$rFKjM|8J!`G!)>r}Of|txklaUtH(>aC%D`u9I-9Xxl1Rw)e zF@5df&CUtE*Z14pbjI_A*>zj(RPJW>ZMYvO#N;c%)uQ{Zi?X_KTZ!-v(!*bdNUKRo zNv}_&Xb?zp-rb7Ol4#I^%?%u8!u-XVNd&orGed85^HxCc2MFTqqDkHElDJIr@k$4t z9Q7AU(|ONo&d3tXfm9?u#%)D4>6w($e5cS~82&sl@)&i?#iD=$h)~gT>?AM&>LxyD zEY4NkFstTzt6BuB{9a$wBn~@i(DcBUvFsg|g;!ivwo4&s9uBx5+ z{4(gqvw=|#4OPZ0zt&8xK*{)oYzhnUl$a6_k4+}|KHsaUOhLde%ky;FPaZM5WxaWFw3hCBG&Go|AcG^@4Lq>5jpy(>3FbGZ$a^ z%$&WMsr@ORf>l8jA*d39K;@ijN_m=`E5>Y{R$Fbj9$PhlDpwJxIMydjHVrLoH|?sMDIuD673PTAO!ZAWm%{z;2ogGH(}Aa(Xqwxi zfMSnv$y;sKHH@nAP-#GpL7pE6JHcn?6jfKFtl(0~C3@nB%5U_00eNJaB5O+a-yY$L zmgH8_J&eY9yWwu$piduHw)&oF6-)(8BiwehhOFst&-H`%t4$?OiJJ*Q=1nW*ZiFlM z#WvRDo(9~WV{F)~)`fg0MpCFFBM_$9(#frXeWxGj%zg9&=2!y3tEF*|&zs3Kl*yTx z7AS~tw9QP8eN6W}tM?aV!KQqo$=PSlexIOq6|eKGAr?qR`mxqqqMJyb>Wa&McrkS1i4e%xMR={~B?L*HjH|^mN@Pj*YDnvjsT82(GhduFI zwB~qwA7=|mw8Ik32R3J?el%wt%z6w;`>#3|ye}~C7}}@yClMmYv-OcbtZMFcu12~_ zmEGHy^^_op#!TOPg%wbyg?(rqfV79A*hx^B>ggsgc#vlC>t>e`?rzWW*dE->b~ zFfgh@l5oefB;OCmilTg$D^1$Ev199vE_*IKAlRTr`_yJh_RbZDm;@~Xi%4Hol9BEp zdS<=MFyt0Z-Fv|qN2{X=3sc)vaQYUMnBTQi>~uDX&Y$p8V(vc45vll9idzbmh$FJE z4CaM=^trt0PfMNlq{?L+i>^e{=-2nKbp4fBL8CapBMw385T}60Pd=hwZ^D;bzYyW2 z(mAMG0Xd44Q39t9J!5q?X|aO$v(?i4e{ddUH1jiSAF-_{*F;l6oYXyrIH&K8OD%-} zUm;LSDt;!Ys#?*6!BA8z89uQ*i_9!Atk(jUDQDV_}Tyu+~Q%WF?rgTsl=>zep`#AEvK!?tH`G;^#YLVIa=;Sa_toFQb&_F<|dEM zx|CvBN4(A#4g;OEz5Y7ehnxg86XiC2?+y!*ZOeUEb~#$87M66M9Ua6;$;}1>Z3Ipigq~Ldn!OV&FM^28+rE2qDA)={$wy`3!bc9*GcQ~8Mn0Dfycvp-uRiyb5Zd3zsLQz7~LT%bm2FDDWm#XhX zZ5Z7z*+y`$G2Y%qCrzp$QIx&Aj63V|jwSU*hu`uIOXMDanZw2>H_tynMIx4{PsJN* zVB5=Y6(FN@8_}(W&q{g6me+f@<5!EHg)}P!Oe3egwwWGY<0whm$U<&{>-9fxf>2yf zFuN6t+_o#v-*p%^-$~Z+eRKfTp$aO+PrkjDBiz44imx86CK46G0oMqD5Dx9+`6-!u z^2|ws4&>TFg7_JyWI2XJG&Rdqut`qXt4tDOikv8RGyJuu%W-gxO3_@)WI;%t@?VTKOb)56`PP&$>XsXl1}kX;_px%vPmG}SsfJq1;6gV=A%V2WS({(X(k&dOu_!ucb#@%OR?8F`wM}SE z8pG`#OJ%^`!I-(m$`DhxUy9ku($*ku7aZ7=FeXO3$w122;l{V%lVf4uhqp##wG@fy zwpLQ`a8vvOd80M23Si?ho_;sefnI-7B8H09Zd0=*;$Gm686<~`5uMm zYswcPgjekHp8WB2E($+tm(^Co!KM8b9w!FqaVwgZKPXB}#dxSan3&s7+40W-!;}F4 z#)_C=u&uMF`9ohb{ z5&&RR#;!aG(-Gb-?lyuL3NI&&?SFzh!pf*j(7!@i$i&;=f!Ml_WL`w$%E~G8gxEuUrsb l*m!Jz@HgHs=|4m4qIamRMt~VXKSvc6z!Eb&pcy~!{s)I=DDMCO literal 0 HcmV?d00001 diff --git a/evidence/checks.txt b/evidence/checks.txt new file mode 100644 index 00000000..99633440 --- /dev/null +++ b/evidence/checks.txt @@ -0,0 +1,16 @@ +$ python3 tests/smoke.py +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. +$ python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh (Windows: restart.cmd; контейнеры до/после — persistence_containers.txt) +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +$ python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +$ python -m unittest discover -s student-tests -p test_api.py +Ran 12 tests in 2.802s +OK +$ python student-tests/test_expiry.py (SESSION_TTL_SECONDS=2) +Ran 2 tests in 10.310s +OK +$ python student-tests/test_dependencies.py (остановка Valkey / PostgreSQL) +Ran 2 tests in 14.884s +OK diff --git a/evidence/load.json b/evidence/load.json new file mode 100644 index 00000000..5a2ca88d --- /dev/null +++ b/evidence/load.json @@ -0,0 +1,17 @@ +{ + "lab": 2, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 20.0, + "elapsed_seconds": 20.187, + "concurrency": 8, + "successful_requests": 19411, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 961.559, + "successful_latency_ms": { + "p50": 15.0, + "p95": 16.0, + "p99": 16.0 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/migrations.txt b/evidence/migrations.txt new file mode 100644 index 00000000..f3704812 --- /dev/null +++ b/evidence/migrations.txt @@ -0,0 +1,7 @@ +# 1. миграции на пустую БД +{"ts": "2026-10-02T22:28:31Z", "level": "info", "msg": "migration_applied", "version": "0001_init.sql"} +{"ts": "2026-10-02T22:28:31Z", "level": "info", "msg": "migrations_done", "applied": 1, "total": 1} +# 2. повторный запуск (идемпотентность) +{"ts": "2026-10-02T22:28:32Z", "level": "info", "msg": "migrations_done", "applied": 0, "total": 1} +# 3. запуск на рабочей БД (уже применено) +{"ts": "2026-10-02T22:28:34Z", "level": "info", "msg": "migrations_done", "applied": 0, "total": 1} diff --git a/evidence/persistence_containers.txt b/evidence/persistence_containers.txt new file mode 100644 index 00000000..d38f1140 --- /dev/null +++ b/evidence/persistence_containers.txt @@ -0,0 +1,18 @@ +# До перезапуска +/mtusi-lab2-postgres-1 StartedAt=2026-10-02T22:27:01.751292444Z restarts=0 health=healthy +/mtusi-lab2-valkey-1 StartedAt=2026-10-02T22:27:04.038032167Z restarts=0 health=healthy +/mtusi-lab2-api-1 StartedAt=2026-10-02T22:26:48.094412012Z restarts=0 health=healthy +# docker volume ls (должны сохраниться) +mtusi-lab2_pgdata +mtusi-lab2_valkeydata + +$ python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh (на Windows: scripts/restart.cmd, тот же compose restart) +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +# После перезапуска (StartedAt всех трёх сервисов изменился, volumes на месте) +/mtusi-lab2-postgres-1 StartedAt=2026-10-02T22:27:28.059336695Z restarts=0 health=starting +/mtusi-lab2-valkey-1 StartedAt=2026-10-02T22:27:28.233209818Z restarts=0 health=starting +/mtusi-lab2-api-1 StartedAt=2026-10-02T22:27:28.462473382Z restarts=0 health=starting +mtusi-lab2_pgdata +mtusi-lab2_valkeydata diff --git a/evidence/track2_explain_plans.txt b/evidence/track2_explain_plans.txt new file mode 100644 index 00000000..f1580ede --- /dev/null +++ b/evidence/track2_explain_plans.txt @@ -0,0 +1,307 @@ +===== V0_pk_only / keyset_big_chat_middle (медиана 10.195 мс из 9) ===== +QUERY PLAN +--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=5036.29..5036.42 rows=51 width=171) (actual time=10.450..10.456 rows=51 loops=1) + Buffers: shared hit=2632 + -> Sort (cost=5036.29..5079.22 rows=17169 width=171) (actual time=10.448..10.451 rows=51 loops=1) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 40kB + Buffers: shared hit=2632 + -> Seq Scan on messages (cost=0.00..4463.50 rows=17169 width=171) (actual time=0.080..8.640 rows=29999 loops=1) + Filter: ((chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 06:45:15.998444+00'::timestamp with time zone, '7df96ec6-9cae-4a9d-9696-c854f9218ab5'::uuid))) + Rows Removed by Filter: 75001 + Buffers: shared hit=2626 + Planning: + Buffers: shared hit=113 + Planning Time: 0.456 ms + Execution Time: 10.519 ms +(14 rows) + +===== V0_pk_only / first_page_big_chat (медиана 9.149 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=5585.66..5591.53 rows=51 width=171) (actual time=7.011..8.604 rows=51 loops=1) + Buffers: shared hit=2670 + -> Gather Merge (cost=5585.66..9679.32 rows=35597 width=171) (actual time=7.009..8.600 rows=51 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=2670 + -> Sort (cost=4585.65..4674.64 rows=35597 width=171) (actual time=5.790..5.792 rows=51 loops=2) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 40kB + Buffers: shared hit=2670 + Worker 0: Sort Method: top-N heapsort Memory: 39kB + -> Parallel Seq Scan on messages (cost=0.00..3398.06 rows=35597 width=171) (actual time=0.007..3.950 rows=30000 loops=2) + Filter: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Rows Removed by Filter: 22500 + Buffers: shared hit=2626 + Planning: + Buffers: shared hit=114 + Planning Time: 0.435 ms + Execution Time: 8.655 ms +(19 rows) + +===== V0_pk_only / offset_big_chat_30000 (медиана 23.898 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=13584.11..13589.97 rows=51 width=171) (actual time=20.720..23.072 rows=51 loops=1) + Buffers: shared hit=2670, temp read=1088 written=1370 + -> Gather Merge (cost=10134.11..14227.76 rows=35597 width=171) (actual time=15.085..22.454 rows=30051 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=2670, temp read=1088 written=1370 + -> Sort (cost=9134.10..9223.09 rows=35597 width=171) (actual time=13.549..14.977 rows=15192 loops=2) + Sort Key: created_at, id + Sort Method: external merge Disk: 5800kB + Buffers: shared hit=2670, temp read=1088 written=1370 + Worker 0: Sort Method: external merge Disk: 5128kB + -> Parallel Seq Scan on messages (cost=0.00..3398.06 rows=35597 width=171) (actual time=0.006..4.295 rows=30000 loops=2) + Filter: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Rows Removed by Filter: 22500 + Buffers: shared hit=2626 + Planning: + Buffers: shared hit=114 + Planning Time: 0.422 ms + Execution Time: 23.755 ms +(19 rows) + +===== V0_pk_only / first_page_small_chat (медиана 5.785 мс из 9) ===== +QUERY PLAN +--------------------------------------------------------------------------------------------------------------------- + Limit (cost=3938.69..3938.72 rows=11 width=171) (actual time=5.746..5.749 rows=10 loops=1) + Buffers: shared hit=2632 + -> Sort (cost=3938.69..3938.72 rows=11 width=171) (actual time=5.745..5.746 rows=10 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 27kB + Buffers: shared hit=2632 + -> Seq Scan on messages (cost=0.00..3938.50 rows=11 width=171) (actual time=5.401..5.713 rows=10 loops=1) + Filter: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Rows Removed by Filter: 104990 + Buffers: shared hit=2626 + Planning: + Buffers: shared hit=114 + Planning Time: 0.440 ms + Execution Time: 5.777 ms +(14 rows) + +===== V1_chat_id / keyset_big_chat_middle (медиана 8.189 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=4916.20..4916.32 rows=51 width=171) (actual time=8.528..8.535 rows=51 loops=1) + Buffers: shared hit=1567 + -> Sort (cost=4916.20..4958.68 rows=16994 width=171) (actual time=8.526..8.530 rows=51 loops=1) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 40kB + Buffers: shared hit=1567 + -> Bitmap Heap Scan on messages (cost=674.15..4349.24 rows=16994 width=171) (actual time=1.094..6.629 rows=29999 loops=1) + Recheck Cond: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-10-02 06:45:15.998444+00'::timestamp with time zone, '7df96ec6-9cae-4a9d-9696-c854f9218ab5'::uuid)) + Rows Removed by Filter: 30001 + Heap Blocks: exact=1508 + Buffers: shared hit=1561 + -> Bitmap Index Scan on ix_chat (cost=0.00..669.90 rows=59948 width=0) (actual time=0.923..0.923 rows=60000 loops=1) + Index Cond: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Buffers: shared hit=53 + Planning: + Buffers: shared hit=125 + Planning Time: 0.555 ms + Execution Time: 8.615 ms +(19 rows) + +===== V1_chat_id / first_page_big_chat (медиана 8.781 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=5574.55..5580.42 rows=51 width=171) (actual time=7.829..10.288 rows=51 loops=1) + Buffers: shared hit=2670 + -> Gather Merge (cost=5574.55..9629.91 rows=35264 width=171) (actual time=7.827..10.282 rows=51 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=2670 + -> Sort (cost=4574.54..4662.70 rows=35264 width=171) (actual time=6.300..6.303 rows=51 loops=2) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 40kB + Buffers: shared hit=2670 + Worker 0: Sort Method: top-N heapsort Memory: 39kB + -> Parallel Seq Scan on messages (cost=0.00..3398.06 rows=35264 width=171) (actual time=0.007..4.247 rows=30000 loops=2) + Filter: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Rows Removed by Filter: 22500 + Buffers: shared hit=2626 + Planning: + Buffers: shared hit=126 + Planning Time: 0.622 ms + Execution Time: 10.363 ms +(19 rows) + +===== V1_chat_id / offset_big_chat_30000 (медиана 22.723 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=13525.04..13530.91 rows=51 width=171) (actual time=19.289..21.512 rows=51 loops=1) + Buffers: shared hit=2670, temp read=1089 written=1371 + -> Gather Merge (cost=10075.04..14130.40 rows=35264 width=171) (actual time=13.620..20.895 rows=30051 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=2670, temp read=1089 written=1371 + -> Sort (cost=9075.03..9163.19 rows=35264 width=171) (actual time=11.849..13.263 rows=15164 loops=2) + Sort Key: created_at, id + Sort Method: external merge Disk: 5976kB + Buffers: shared hit=2670, temp read=1089 written=1371 + Worker 0: Sort Method: external merge Disk: 4960kB + -> Parallel Seq Scan on messages (cost=0.00..3398.06 rows=35264 width=171) (actual time=0.006..3.514 rows=30000 loops=2) + Filter: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Rows Removed by Filter: 22500 + Buffers: shared hit=2626 + Planning: + Buffers: shared hit=126 + Planning Time: 0.514 ms + Execution Time: 22.164 ms +(19 rows) + +===== V1_chat_id / first_page_small_chat (медиана 0.063 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=46.57..46.60 rows=11 width=171) (actual time=0.039..0.040 rows=10 loops=1) + Buffers: shared hit=9 + -> Sort (cost=46.57..46.60 rows=11 width=171) (actual time=0.038..0.039 rows=10 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 27kB + Buffers: shared hit=9 + -> Bitmap Heap Scan on messages (cost=4.38..46.38 rows=11 width=171) (actual time=0.012..0.012 rows=10 loops=1) + Recheck Cond: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Heap Blocks: exact=1 + Buffers: shared hit=3 + -> Bitmap Index Scan on ix_chat (cost=0.00..4.38 rows=11 width=0) (actual time=0.007..0.007 rows=10 loops=1) + Index Cond: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Buffers: shared hit=2 + Planning: + Buffers: shared hit=126 + Planning Time: 0.475 ms + Execution Time: 0.063 ms +(17 rows) + +===== V2_chat_created_id / keyset_big_chat_middle (медиана 0.076 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.42..34.02 rows=51 width=171) (actual time=0.022..0.033 rows=51 loops=1) + Buffers: shared hit=6 + -> Index Scan using ix_hist on messages (cost=0.42..11340.82 rows=17213 width=171) (actual time=0.021..0.030 rows=51 loops=1) + Index Cond: ((chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 06:45:15.998444+00'::timestamp with time zone, '7df96ec6-9cae-4a9d-9696-c854f9218ab5'::uuid))) + Buffers: shared hit=6 + Planning: + Buffers: shared hit=136 + Planning Time: 0.608 ms + Execution Time: 0.067 ms +(9 rows) + +===== V2_chat_created_id / first_page_big_chat (медиана 0.043 мс из 9) ===== +QUERY PLAN +----------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.42..11.65 rows=51 width=171) (actual time=0.013..0.021 rows=51 loops=1) + Buffers: shared hit=5 + -> Index Scan using ix_hist on messages (cost=0.42..13298.21 rows=60389 width=171) (actual time=0.012..0.018 rows=51 loops=1) + Index Cond: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Buffers: shared hit=5 + Planning: + Buffers: shared hit=137 + Planning Time: 0.516 ms + Execution Time: 0.038 ms +(9 rows) + +===== V2_chat_created_id / offset_big_chat_30000 (медиана 3.492 мс из 9) ===== +QUERY PLAN +-------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=6606.48..6617.71 rows=51 width=171) (actual time=3.347..3.355 rows=51 loops=1) + Buffers: shared hit=1234 + -> Index Scan using ix_hist on messages (cost=0.42..13298.21 rows=60389 width=171) (actual time=0.016..2.753 rows=30051 loops=1) + Index Cond: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Buffers: shared hit=1234 + Planning: + Buffers: shared hit=137 + Planning Time: 0.556 ms + Execution Time: 3.378 ms +(9 rows) + +===== V2_chat_created_id / first_page_small_chat (медиана 0.07 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=46.69..46.72 rows=11 width=171) (actual time=0.057..0.058 rows=10 loops=1) + Buffers: shared hit=10 + -> Sort (cost=46.69..46.72 rows=11 width=171) (actual time=0.055..0.056 rows=10 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 27kB + Buffers: shared hit=10 + -> Bitmap Heap Scan on messages (cost=4.50..46.50 rows=11 width=171) (actual time=0.023..0.023 rows=10 loops=1) + Recheck Cond: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Heap Blocks: exact=1 + Buffers: shared hit=4 + -> Bitmap Index Scan on ix_hist (cost=0.00..4.50 rows=11 width=0) (actual time=0.013..0.013 rows=10 loops=1) + Index Cond: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Buffers: shared hit=3 + Planning: + Buffers: shared hit=137 + Planning Time: 0.785 ms + Execution Time: 0.090 ms +(17 rows) + +===== V3_chat_created_id_include / keyset_big_chat_middle (медиана 0.068 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.42..34.11 rows=51 width=171) (actual time=0.026..0.033 rows=51 loops=1) + Buffers: shared hit=5 + -> Index Scan using ix_hist_inc on messages (cost=0.42..11506.55 rows=17419 width=171) (actual time=0.025..0.029 rows=51 loops=1) + Index Cond: ((chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 06:45:15.998444+00'::timestamp with time zone, '7df96ec6-9cae-4a9d-9696-c854f9218ab5'::uuid))) + Buffers: shared hit=5 + Planning: + Buffers: shared hit=139 + Planning Time: 0.586 ms + Execution Time: 0.095 ms +(9 rows) + +===== V3_chat_created_id_include / first_page_big_chat (медиана 0.042 мс из 9) ===== +QUERY PLAN +--------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.42..12.14 rows=51 width=171) (actual time=0.013..0.024 rows=51 loops=1) + Buffers: shared hit=6 + -> Index Scan using ix_hist_inc on messages (cost=0.42..13823.52 rows=60154 width=171) (actual time=0.013..0.021 rows=51 loops=1) + Index Cond: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Buffers: shared hit=6 + Planning: + Buffers: shared hit=140 + Planning Time: 0.581 ms + Execution Time: 0.052 ms +(9 rows) + +===== V3_chat_created_id_include / offset_big_chat_30000 (медиана 3.587 мс из 9) ===== +QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=6894.28..6906.00 rows=51 width=171) (actual time=3.503..3.509 rows=51 loops=1) + Buffers: shared hit=1300 + -> Index Scan using ix_hist_inc on messages (cost=0.42..13823.52 rows=60154 width=171) (actual time=0.011..2.892 rows=30051 loops=1) + Index Cond: (chat_id = 'ae663d40-43bf-4930-94b0-07eef693fca2'::uuid) + Buffers: shared hit=1300 + Planning: + Buffers: shared hit=140 + Planning Time: 0.513 ms + Execution Time: 3.529 ms +(9 rows) + +===== V3_chat_created_id_include / first_page_small_chat (медиана 0.075 мс из 9) ===== +QUERY PLAN +---------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=42.93..42.96 rows=10 width=171) (actual time=0.064..0.066 rows=10 loops=1) + Buffers: shared hit=10 + -> Sort (cost=42.93..42.96 rows=10 width=171) (actual time=0.063..0.064 rows=10 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 27kB + Buffers: shared hit=10 + -> Bitmap Heap Scan on messages (cost=4.50..42.77 rows=10 width=171) (actual time=0.023..0.024 rows=10 loops=1) + Recheck Cond: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Heap Blocks: exact=1 + Buffers: shared hit=4 + -> Bitmap Index Scan on ix_hist_inc (cost=0.00..4.49 rows=10 width=0) (actual time=0.014..0.014 rows=10 loops=1) + Index Cond: (chat_id = 'b8b701bf-339f-44c0-9468-9e10800583fe'::uuid) + Buffers: shared hit=3 + Planning: + Buffers: shared hit=140 + Planning Time: 0.564 ms + Execution Time: 0.112 ms +(17 rows) diff --git a/evidence/track2_results.json b/evidence/track2_results.json new file mode 100644 index 00000000..7009ddd6 --- /dev/null +++ b/evidence/track2_results.json @@ -0,0 +1,136 @@ +{ + "date": "2026-10-03 01:25:18", + "messages": 105000, + "postgres": "17.11", + "chat_sizes": "1x60000, 5x5000, 100x100, 1000x10", + "variants": { + "V0_pk_only": { + "queries": { + "keyset_big_chat_middle": { + "median_ms": 10.195, + "min_ms": 9.989, + "top_node": "Sort" + }, + "first_page_big_chat": { + "median_ms": 9.149, + "min_ms": 8.655, + "top_node": "Gather Merge" + }, + "offset_big_chat_30000": { + "median_ms": 23.898, + "min_ms": 22.635, + "top_node": "Gather Merge" + }, + "first_page_small_chat": { + "median_ms": 5.785, + "min_ms": 5.575, + "top_node": "Sort" + } + }, + "bulk_insert_all_rows_seconds": 0.42, + "single_insert_5000_seconds": 0.030014, + "table_and_index_size": "21 MB / indexes 4336 kB" + }, + "V1_chat_id": { + "queries": { + "keyset_big_chat_middle": { + "median_ms": 8.189, + "min_ms": 8.031, + "top_node": "Sort" + }, + "first_page_big_chat": { + "median_ms": 8.781, + "min_ms": 8.102, + "top_node": "Gather Merge" + }, + "offset_big_chat_30000": { + "median_ms": 22.723, + "min_ms": 22.164, + "top_node": "Gather Merge" + }, + "first_page_small_chat": { + "median_ms": 0.063, + "min_ms": 0.062, + "top_node": "Sort" + } + }, + "bulk_insert_all_rows_seconds": 0.49, + "single_insert_5000_seconds": 0.034086, + "table_and_index_size": "21 MB / indexes 5168 kB" + }, + "V2_chat_created_id": { + "queries": { + "keyset_big_chat_middle": { + "median_ms": 0.076, + "min_ms": 0.061, + "top_node": "Index Scan" + }, + "first_page_big_chat": { + "median_ms": 0.043, + "min_ms": 0.036, + "top_node": "Index Scan" + }, + "offset_big_chat_30000": { + "median_ms": 3.492, + "min_ms": 3.378, + "top_node": "Index Scan" + }, + "first_page_small_chat": { + "median_ms": 0.07, + "min_ms": 0.068, + "top_node": "Sort" + } + }, + "bulk_insert_all_rows_seconds": 0.53, + "single_insert_5000_seconds": 0.037934, + "table_and_index_size": "21 MB / indexes 12 MB" + }, + "V3_chat_created_id_include": { + "queries": { + "keyset_big_chat_middle": { + "median_ms": 0.068, + "min_ms": 0.059, + "top_node": "Index Scan" + }, + "first_page_big_chat": { + "median_ms": 0.042, + "min_ms": 0.039, + "top_node": "Index Scan" + }, + "offset_big_chat_30000": { + "median_ms": 3.587, + "min_ms": 3.453, + "top_node": "Index Scan" + }, + "first_page_small_chat": { + "median_ms": 0.075, + "min_ms": 0.068, + "top_node": "Sort" + } + }, + "bulk_insert_all_rows_seconds": 0.5, + "single_insert_5000_seconds": 0.0378, + "table_and_index_size": "21 MB / indexes 15 MB" + } + }, + "backup_restore": { + "backup_seconds": 1.15, + "dump_bytes": 7765134, + "restore_seconds": 0.85, + "source_before_backup": { + "messages_checksum": "105000 105f3be9c5800d9063d35984fce8cdc5", + "rows": "users=200 chats=1106 members=1106" + }, + "source_after_extra_writes": "105025 6b8ca4bbec223dfe62280f33554e2247", + "restored": { + "messages_checksum": "105000 105f3be9c5800d9063d35984fce8cdc5", + "rows": "users=200 chats=1106 members=1106" + }, + "restore_matches_backup_state": true, + "page_checksum_source": "45def68fe4148adfc2d9066720956ab4", + "page_checksum_restored": "45def68fe4148adfc2d9066720956ab4", + "sample_page_matches": true, + "extra_rows_written_after_backup_absent_in_restore": true, + "restored_indexes": "ix_hist,messages_pkey" + } +} \ No newline at end of file diff --git a/migrations/0001_init.sql b/migrations/0001_init.sql new file mode 100644 index 00000000..2effe2e4 --- /dev/null +++ b/migrations/0001_init.sql @@ -0,0 +1,52 @@ +-- 0001: пользователи, чаты, участники, сообщения, сессии. +-- Источник истины для всех данных — PostgreSQL. Каждая миграция выполняется в транзакции. +CREATE TABLE users ( + id uuid PRIMARY KEY, + username text NOT NULL, + display_name text NOT NULL, + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'), + CONSTRAINT users_display_name_len CHECK (char_length(display_name) BETWEEN 1 AND 100) +); +-- Уникальность username: гонка двух регистраций решается ограничением БД, а не проверкой в приложении. +CREATE UNIQUE INDEX users_username_key ON users (username); + +CREATE TABLE chats ( + id uuid PRIMARY KEY, + title text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + CONSTRAINT chats_title_len CHECK (char_length(title) BETWEEN 1 AND 100) +); + +-- chat_created_at денормализован ради keyset-пагинации списка чатов пользователя без join+sort. +CREATE TABLE chat_members ( + chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE, + user_id uuid NOT NULL REFERENCES users (id), + chat_created_at timestamptz NOT NULL, + ord smallint NOT NULL, + PRIMARY KEY (chat_id, user_id) +); +CREATE INDEX chat_members_user_chats ON chat_members (user_id, chat_created_at, chat_id); + +CREATE TABLE messages ( + id uuid PRIMARY KEY, + chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE, + sender_id uuid NOT NULL REFERENCES users (id), + text text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + CONSTRAINT messages_text_len CHECK (char_length(text) <= 4000) +); +-- История чата: WHERE chat_id = ? AND (created_at, id) > (?, ?) ORDER BY created_at, id LIMIT n +-- обслуживается этим индексом без сортировки и без сканирования всей истории. +CREATE INDEX messages_chat_history ON messages (chat_id, created_at, id); + +-- Серверные сессии. В БД хранится только SHA-256 токена: утечка БД не раскрывает рабочие токены. +CREATE TABLE sessions ( + token_hash bytea PRIMARY KEY, + user_id uuid NOT NULL REFERENCES users (id), + created_at timestamptz NOT NULL DEFAULT now(), + expires_at timestamptz NOT NULL, + revoked_at timestamptz +); +CREATE INDEX sessions_expires_at ON sessions (expires_at); diff --git a/requirements.txt b/requirements.txt new file mode 100644 index 00000000..427d0eed --- /dev/null +++ b/requirements.txt @@ -0,0 +1,12 @@ +argon2-cffi==23.1.0 +argon2-cffi-bindings==26.1.0 +asyncpg==0.30.0 +cffi==2.1.1 +click==8.5.0 +h11==0.16.0 +httptools==0.8.0 +pycparser==3.0 +redis==5.2.1 +typing_extensions==4.16.0 +uvicorn==0.34.0 +uvloop==0.21.0; sys_platform != "win32" diff --git a/research/track2_plans_backup.py b/research/track2_plans_backup.py new file mode 100644 index 00000000..c4ad1107 --- /dev/null +++ b/research/track2_plans_backup.py @@ -0,0 +1,217 @@ +#!/usr/bin/env python3 +"""Трек 2 (план запроса и восстановление), lab2. + +Что делает (стенд `docker compose up -d` должен работать; рабочие данные не затрагиваются — +используется отдельная БД `research` внутри того же PostgreSQL): + 1. Создаёт БД research со схемой из migrations/ и ≥100 000 сообщений с неравномерными размерами чатов + (1 чат 60 000, 5 по 5 000, 100 по 100, 1 000 по 10). + 2. Сравнивает 4 варианта индексов и 3 запроса истории: EXPLAIN (ANALYZE, BUFFERS), медиана 9 прогонов. + 3. Измеряет стоимость записи для каждого варианта индексов (bulk INSERT и 5 000 одиночных INSERT) и размер индексов. + 4. Backup (pg_dump -Fc) -> восстановление в НОВОЕ хранилище (отдельный контейнер postgres с новым volume) + -> сверка количества строк, контрольной суммы всех сообщений и выбранных страниц истории. + 5. Показывает границу потери данных: строки, записанные после backup, в восстановленной копии отсутствуют. +Результаты: evidence/track2_*.{json,txt}. +""" +import json +import os +import re +import statistics +import subprocess +import sys +import time + +ROOT = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..") +OUT = os.path.join(ROOT, "evidence") +TARGET = "mtusi-lab2-restore-target" +TARGET_VOLUME = "mtusi-lab2-restore-target-data" + + +def sh(args, stdin=None, check=True): + r = subprocess.run(args, cwd=ROOT, input=stdin, capture_output=True, text=True, encoding="utf-8") + if check and r.returncode != 0: + raise RuntimeError("команда %s завершилась с %d: %s" % (args[:4], r.returncode, r.stderr[-800:])) + return r.stdout + + +def psql(sql, db="research", container=None, tuples=True): + base = (["docker", "exec", "-i", container] if container else + ["docker", "compose", "--env-file", ".env", "exec", "-T", "postgres"]) + args = base + ["psql", "-X", "-U", "messenger", "-d", db, "-v", "ON_ERROR_STOP=1"] + (["-At"] if tuples else []) + return sh(args, stdin=sql).strip() + + +def timed_exec(sql): + t = time.perf_counter() + psql(sql) + return time.perf_counter() - t + + +def setup(): + psql("DROP DATABASE IF EXISTS research", db="postgres") + psql("CREATE DATABASE research", db="postgres") + with open(os.path.join(ROOT, "migrations", "0001_init.sql"), encoding="utf-8") as fh: + psql(fh.read()) + psql(""" + INSERT INTO users (id, username, display_name, password_hash) + SELECT gen_random_uuid(), 'r_' || g, 'user ' || g, 'x' FROM generate_series(1, 200) g; + CREATE TABLE sizes AS + SELECT gen_random_uuid() AS id, n, sz, now() - interval '1 day' + n * interval '1 millisecond' AS created_at, + (SELECT id FROM users ORDER BY random() LIMIT 1) AS u1 + FROM (SELECT 1 AS n, 60000 AS sz + UNION ALL SELECT g, 5000 FROM generate_series(2, 6) g + UNION ALL SELECT g, 100 FROM generate_series(7, 106) g + UNION ALL SELECT g, 10 FROM generate_series(107, 1106) g) s; + INSERT INTO chats (id, title, created_at) SELECT id, 'chat ' || n, created_at FROM sizes; + INSERT INTO chat_members (chat_id, user_id, chat_created_at, ord) SELECT id, u1, created_at, 1 FROM sizes; + INSERT INTO messages (id, chat_id, sender_id, text, created_at) + SELECT gen_random_uuid(), s.id, s.u1, 'message ' || i || ' ' || repeat('x', (random() * 200)::int), + s.created_at + i * interval '1 second' + (random() * 999)::int * interval '1 microsecond' + FROM sizes s, generate_series(1, s.sz) i; + ANALYZE;""") + total = psql("SELECT count(*) FROM messages") + big = psql("SELECT id FROM sizes WHERE n = 1") + small = psql("SELECT id FROM sizes WHERE n = 500") + return int(total), big, small + + +VARIANTS = { + "V0_pk_only": [], + "V1_chat_id": ["CREATE INDEX ix_chat ON messages (chat_id)"], + "V2_chat_created_id": ["CREATE INDEX ix_hist ON messages (chat_id, created_at, id)"], + "V3_chat_created_id_include": ["CREATE INDEX ix_hist_inc ON messages (chat_id, created_at, id) INCLUDE (sender_id)"], +} + + +def apply_variant(name): + rows = psql("SELECT indexname FROM pg_indexes WHERE tablename = 'messages' AND indexname <> 'messages_pkey'").split() + drops = "".join("DROP INDEX IF EXISTS %s;" % r for r in rows) + psql(drops + ";".join(VARIANTS[name]) + (";" if VARIANTS[name] else "") + "ANALYZE messages;") + + +def explain(sql, runs=9): + times, text = [], "" + for i in range(runs): + out = psql("EXPLAIN (ANALYZE, BUFFERS) " + sql, tuples=False) + m = re.search(r"Execution Time: ([0-9.]+) ms", out) + times.append(float(m.group(1))) + text = out + node = re.search(r"->\s+([A-Za-z ]+?)(?: using| on| \()", text) or re.search(r"^\s*([A-Za-z ]+?)(?: using| on| \()", text, re.M) + return {"median_ms": round(statistics.median(times), 3), "min_ms": min(times), "plan": text, "top_node": node.group(1).strip() if node else "?"} + + +def queries(big, small): + mid = psql("SELECT created_at || '|' || id FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET 30000 LIMIT 1" % big) + ts, mid_id = mid.split("|") + return { + "keyset_big_chat_middle": "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = '%s' AND (created_at, id) > ('%s', '%s') ORDER BY created_at, id LIMIT 51" % (big, ts, mid_id), + "first_page_big_chat": "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = '%s' ORDER BY created_at, id LIMIT 51" % big, + "offset_big_chat_30000": "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET 30000 LIMIT 51" % big, + "first_page_small_chat": "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = '%s' ORDER BY created_at, id LIMIT 51" % small, + } + + +def write_cost(name): + """bulk INSERT всех строк в пустую копию с тем же набором индексов + 5 000 одиночных INSERT.""" + psql("DROP TABLE IF EXISTS m_copy; CREATE TABLE m_copy (LIKE messages INCLUDING DEFAULTS INCLUDING CONSTRAINTS);" + "ALTER TABLE m_copy ADD PRIMARY KEY (id);" + ";".join(s.replace("messages", "m_copy").replace("ix_", "cx_") for s in VARIANTS[name]) + ";") + bulk = timed_exec("INSERT INTO m_copy SELECT * FROM messages;") + return bulk + + +def single_insert_seconds(name): + out = subprocess.run(["docker", "compose", "--env-file", ".env", "exec", "-T", "postgres", "psql", "-X", "-U", "messenger", "-d", "research"], + cwd=ROOT, input="""DO $$ DECLARE t0 timestamptz; c uuid; u uuid; BEGIN + SELECT id, u1 INTO c, u FROM sizes WHERE n = 2; t0 := clock_timestamp(); + FOR i IN 1..5000 LOOP INSERT INTO m_copy (id, chat_id, sender_id, text) VALUES (gen_random_uuid(), c, u, 'w' || i); END LOOP; + RAISE NOTICE 'ELAPSED %', extract(epoch FROM clock_timestamp() - t0); END $$;""", capture_output=True, text=True, encoding="utf-8") + m = re.search(r"ELAPSED ([0-9.]+)", out.stderr + out.stdout) + return float(m.group(1)) if m else None + + +def sizes(): + return psql("SELECT pg_size_pretty(pg_relation_size('m_copy')) || ' / indexes ' || pg_size_pretty(pg_indexes_size('m_copy'))") + + +CHECKSUM_SQL = ("SELECT count(*) || ' ' || md5(string_agg(id::text || chat_id::text || sender_id::text || text || created_at::text, ',' ORDER BY id)) FROM messages") +ROWS_SQL = "SELECT 'users=' || (SELECT count(*) FROM users) || ' chats=' || (SELECT count(*) FROM chats) || ' members=' || (SELECT count(*) FROM chat_members)" + + +def checksum(db="research", container=None): + return psql(CHECKSUM_SQL, db=db, container=container) + + +def backup_restore(big): + apply_variant("V2_chat_created_id") + before = {"messages_checksum": checksum(), "rows": psql(ROWS_SQL)} + t = time.perf_counter() + sh(["docker", "compose", "--env-file", ".env", "exec", "-T", "postgres", "sh", "-c", "pg_dump -U messenger -Fc -d research -f /tmp/research.dump"]) + backup_s = time.perf_counter() - t + size = int(sh(["docker", "compose", "--env-file", ".env", "exec", "-T", "postgres", "sh", "-c", "stat -c %s /tmp/research.dump"]).strip()) + # данные, записанные ПОСЛЕ backup (граница потери: RPO = интервал между backup) + psql("INSERT INTO messages (id, chat_id, sender_id, text) SELECT gen_random_uuid(), id, u1, 'after-backup ' || g FROM sizes, generate_series(1, 25) g WHERE n = 3;") + after_write = checksum() + # новое хранилище + sh(["docker", "rm", "-f", TARGET], check=False) + sh(["docker", "volume", "rm", "-f", TARGET_VOLUME], check=False) + pg_image = "postgres:17.11-alpine@sha256:b0f9560a2de083e2cc7382e75f808c7381a32852a7ec49117deedb300e552b24" + sh(["docker", "run", "-d", "--name", TARGET, "-e", "POSTGRES_USER=messenger", "-e", "POSTGRES_PASSWORD=restore-target-local", + "-e", "POSTGRES_DB=restored", "-v", TARGET_VOLUME + ":/var/lib/postgresql/data", pg_image]) + for _ in range(60): + if subprocess.run(["docker", "exec", TARGET, "pg_isready", "-U", "messenger", "-d", "restored"], capture_output=True).returncode == 0: + time.sleep(1) + break + time.sleep(1) + sh(["docker", "compose", "--env-file", ".env", "cp", "postgres:/tmp/research.dump", os.path.join(OUT, ".research.dump")]) + sh(["docker", "cp", os.path.join(OUT, ".research.dump"), TARGET + ":/tmp/research.dump"]) + t = time.perf_counter() + sh(["docker", "exec", TARGET, "pg_restore", "-U", "messenger", "-d", "restored", "--no-owner", "--exit-on-error", "/tmp/research.dump"]) + restore_s = time.perf_counter() - t + os.remove(os.path.join(OUT, ".research.dump")) + restored = {"messages_checksum": checksum("restored", TARGET), "rows": psql(ROWS_SQL, db="restored", container=TARGET)} + page_src = psql("SELECT md5(string_agg(id::text, ',' ORDER BY created_at, id)) FROM (SELECT id, created_at FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET 30000 LIMIT 100) p" % big) + page_dst = psql("SELECT md5(string_agg(id::text, ',' ORDER BY created_at, id)) FROM (SELECT id, created_at FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET 30000 LIMIT 100) p" % big, db="restored", container=TARGET) + indexes = psql("SELECT string_agg(indexname, ',' ORDER BY indexname) FROM pg_indexes WHERE tablename = 'messages'", db="restored", container=TARGET) + sh(["docker", "rm", "-f", TARGET], check=False) + sh(["docker", "volume", "rm", "-f", TARGET_VOLUME], check=False) + return {"backup_seconds": round(backup_s, 2), "dump_bytes": size, "restore_seconds": round(restore_s, 2), + "source_before_backup": before, "source_after_extra_writes": after_write, "restored": restored, + "restore_matches_backup_state": before["messages_checksum"] == restored["messages_checksum"] and before["rows"] == restored["rows"], + "page_checksum_source": page_src, "page_checksum_restored": page_dst, "sample_page_matches": page_src == page_dst, + "extra_rows_written_after_backup_absent_in_restore": after_write != restored["messages_checksum"], + "restored_indexes": indexes} + + +def main(): + os.makedirs(OUT, exist_ok=True) + total, big, small = setup() + print("сообщений:", total) + qs = queries(big, small) + report = {"date": time.strftime("%Y-%m-%d %H:%M:%S"), "messages": total, "postgres": psql("SHOW server_version", db="postgres"), + "chat_sizes": "1x60000, 5x5000, 100x100, 1000x10", "variants": {}} + plans = [] + for name in VARIANTS: + apply_variant(name) + entry = {"queries": {}} + for qname, sql in qs.items(): + r = explain(sql) + entry["queries"][qname] = {"median_ms": r["median_ms"], "min_ms": r["min_ms"], "top_node": r["top_node"]} + plans.append("===== %s / %s (медиана %s мс из 9) =====\n%s\n" % (name, qname, r["median_ms"], r["plan"])) + report["variants"][name] = entry + # стоимость записи + for name in VARIANTS: + bulk = write_cost(name) + entry = report["variants"][name] + entry["bulk_insert_all_rows_seconds"] = round(bulk, 2) + entry["single_insert_5000_seconds"] = single_insert_seconds(name) + entry["table_and_index_size"] = sizes() + print(name, entry["bulk_insert_all_rows_seconds"], entry["single_insert_5000_seconds"], entry["table_and_index_size"]) + report["backup_restore"] = backup_restore(big) + with open(os.path.join(OUT, "track2_results.json"), "w", encoding="utf-8") as fh: + json.dump(report, fh, ensure_ascii=False, indent=2) + with open(os.path.join(OUT, "track2_explain_plans.txt"), "w", encoding="utf-8") as fh: + fh.write("\n".join(plans)) + print(json.dumps(report, ensure_ascii=False, indent=2)[:6000]) + + +if __name__ == "__main__": + main() diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100755 index 00000000..05b791a0 --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,14 @@ +#!/usr/bin/env bash +# Создаёт локальные секреты стенда (secrets/ в .gitignore). Идемпотентно: существующие файлы не перезаписываются. +set -eu +cd "$(dirname "$0")/.." +mkdir -p secrets +if [ ! -s secrets/postgres_password ]; then + head -c 24 /dev/urandom | base64 | tr -d '=+/\n' > secrets/postgres_password + echo "создан secrets/postgres_password" +fi +if [ ! -s secrets/database_url ]; then + printf 'postgresql://messenger:%s@postgres:5432/messenger' "$(cat secrets/postgres_password)" > secrets/database_url + echo "создан secrets/database_url" +fi +chmod 644 secrets/* 2>/dev/null || true # читает непривилегированный пользователь контейнера (uid 10001) diff --git a/scripts/restart.cmd b/scripts/restart.cmd new file mode 100644 index 00000000..5f054570 --- /dev/null +++ b/scripts/restart.cmd @@ -0,0 +1,5 @@ +@echo off +rem Windows analogue of restart.sh: restart PostgreSQL, Valkey and API; volumes are kept. +cd /d "%~dp0.." +docker compose --env-file .env restart postgres valkey api >NUL 2>&1 +exit /b %errorlevel% diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..e1bcc904 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,5 @@ +#!/bin/sh +# Перезапуск API и ВСЕХ хранилищ (PostgreSQL, Valkey) с сохранением volumes. Данные не удаляются и не пересоздаются. +set -eu +cd "$(dirname "$0")/.." +docker compose --env-file .env restart postgres valkey api >/dev/null 2>&1 diff --git a/src/app/config.py b/src/app/config.py new file mode 100644 index 00000000..bc191c91 --- /dev/null +++ b/src/app/config.py @@ -0,0 +1,53 @@ +"""Конфигурация из переменных окружения (см. .env.example).""" +import os + + +def _int(name, default): + value = os.environ.get(name) + return int(value) if value not in (None, "") else default + + +def _float(name, default): + value = os.environ.get(name) + return float(value) if value not in (None, "") else default + + +def _secret(name, default=""): + """Значение из переменной NAME либо из файла NAME_FILE (Docker secrets); файл читается один раз.""" + if os.environ.get(name): + return os.environ[name] + path = os.environ.get(name + "_FILE") + if path and os.path.exists(path): + with open(path, encoding="utf-8") as fh: + return fh.read().strip() + return default + + +APP_HOST = os.environ.get("APP_HOST", "0.0.0.0") +APP_PORT = _int("APP_PORT", 8080) +APP_ENV = os.environ.get("APP_ENV", "lab") + +DATABASE_URL = _secret("DATABASE_URL") +DB_POOL_MIN = _int("DB_POOL_MIN", 2) +DB_POOL_MAX = _int("DB_POOL_MAX", 10) +DB_ACQUIRE_TIMEOUT = _float("DB_ACQUIRE_TIMEOUT", 2.0) # ожидание свободного соединения пула +DB_COMMAND_TIMEOUT = _float("DB_COMMAND_TIMEOUT", 5.0) # таймаут одного запроса +DB_CONNECT_TIMEOUT = _float("DB_CONNECT_TIMEOUT", 2.0) + +VALKEY_URL = os.environ.get("VALKEY_URL", "") # пусто = кэш сессий выключен +VALKEY_TIMEOUT = _float("VALKEY_TIMEOUT", 0.2) +VALKEY_BREAKER_SECONDS = _float("VALKEY_BREAKER_SECONDS", 5.0) + +SESSION_TTL_SECONDS = _int("SESSION_TTL_SECONDS", 3600) +SESSION_CACHE_TTL_SECONDS = _int("SESSION_CACHE_TTL_SECONDS", 60) + +ARGON2_TIME_COST = _int("ARGON2_TIME_COST", 2) +ARGON2_MEMORY_KIB = _int("ARGON2_MEMORY_KIB", 19456) # 19 MiB, рекомендация OWASP +ARGON2_PARALLELISM = _int("ARGON2_PARALLELISM", 1) +HASH_CONCURRENCY = _int("HASH_CONCURRENCY", 4) + +MAX_BODY_BYTES = _int("MAX_BODY_BYTES", 65536) +MAX_INFLIGHT = _int("MAX_INFLIGHT", 64) +LIMIT_CONCURRENCY = _int("LIMIT_CONCURRENCY", 1000) +RETRY_AFTER_SECONDS = _int("RETRY_AFTER_SECONDS", 1) +MIGRATIONS_DIR = os.environ.get("MIGRATIONS_DIR", os.path.join(os.path.dirname(__file__), "..", "..", "migrations")) diff --git a/src/app/db.py b/src/app/db.py new file mode 100644 index 00000000..3db0c1d1 --- /dev/null +++ b/src/app/db.py @@ -0,0 +1,71 @@ +"""PostgreSQL: ограниченный пул asyncpg, таймауты, перевод сбоев зависимости в 503.""" +import asyncio +from contextlib import asynccontextmanager + +import asyncpg + +from . import config +from .web import log, unavailable + +DEPENDENCY_ERRORS = (asyncpg.PostgresConnectionError, asyncpg.InterfaceError, asyncpg.exceptions.OperatorInterventionError, + asyncpg.exceptions.InsufficientResourcesError, asyncio.TimeoutError, OSError) +_RETRYABLE = (asyncpg.ConnectionDoesNotExistError, asyncpg.InterfaceError, ConnectionResetError) + + +class Database: + def __init__(self): + self.pool = None + + async def start(self): + if not config.DATABASE_URL: + log("error", "database_url_missing") + return + # min_size=0: приложение стартует и без БД (readiness покажет 503), пул подключается лениво. + self.pool = await asyncpg.create_pool( + dsn=config.DATABASE_URL, min_size=0, max_size=config.DB_POOL_MAX, + command_timeout=config.DB_COMMAND_TIMEOUT, timeout=config.DB_CONNECT_TIMEOUT, + max_inactive_connection_lifetime=60, + server_settings={"application_name": "messenger-api", "timezone": "UTC"}) + + async def stop(self): + if self.pool: + try: + await asyncio.wait_for(self.pool.close(), 3) + except Exception: + self.pool.terminate() + + @asynccontextmanager + async def conn(self): + if self.pool is None: + raise unavailable("База данных не настроена") + try: + async with self.pool.acquire(timeout=config.DB_ACQUIRE_TIMEOUT) as connection: + yield connection + except DEPENDENCY_ERRORS as exc: + log("warning", "db_unavailable", error_type=type(exc).__name__) + raise unavailable() from exc + + async def _run(self, method, sql, args, retry): + for attempt in (0, 1): + try: + async with self.conn() as c: + return await getattr(c, method)(sql, *args) + except Exception as exc: + if attempt == 0 and retry and isinstance(exc.__cause__, _RETRYABLE): + continue # разорванное соединение пула (рестарт БД): один повтор только для чтения + raise + + async def fetch(self, sql, *args): + return await self._run("fetch", sql, args, True) + + async def fetchrow(self, sql, *args): + return await self._run("fetchrow", sql, args, True) + + async def fetchval(self, sql, *args): + return await self._run("fetchval", sql, args, True) + + async def execute(self, sql, *args): + return await self._run("execute", sql, args, False) + + async def ping(self): + return await asyncio.wait_for(self.fetchval("SELECT 1"), 1.0) diff --git a/src/app/main.py b/src/app/main.py new file mode 100644 index 00000000..a0e5d045 --- /dev/null +++ b/src/app/main.py @@ -0,0 +1,335 @@ +"""ASGI-приложение мессенджера (lab2): REST API, PostgreSQL, сессии Bearer, кэш Valkey.""" +import asyncio +import base64 +import binascii +import os +import re +import time +import uuid + +import asyncpg + +from . import config, passwords +from .db import DEPENDENCY_ERRORS, Database +from .sessions import SessionCache, Sessions +from .web import (ApiError, Request, bad, dt_to_us, encode_cursor, format_dt, log, new_request_id, page_params, + parse_json_object, parse_uuid, respond, unavailable, us_to_dt, valid_text, USERNAME_RE) + +ROUTES = [ + ("health_live", re.compile(r"/health/live"), {"GET"}), + ("health_ready", re.compile(r"/health/ready"), {"GET"}), + ("users", re.compile(r"/api/v1/users"), {"POST"}), + ("users_me", re.compile(r"/api/v1/users/me"), {"GET"}), + ("create_session", re.compile(r"/api/v1/auth/sessions"), {"POST"}), + ("session_current", re.compile(r"/api/v1/auth/sessions/current"), {"DELETE"}), + ("chats", re.compile(r"/api/v1/chats"), {"GET", "POST"}), + ("chat", re.compile(r"/api/v1/chats/(?P[^/]+)"), {"GET"}), + ("messages", re.compile(r"/api/v1/chats/(?P[^/]+)/messages"), {"GET", "POST"}), +] +ROUTE_LABELS = { + "health_live": "/health/live", "health_ready": "/health/ready", "users": "/api/v1/users", + "users_me": "/api/v1/users/me", "create_session": "/api/v1/auth/sessions", + "session_current": "/api/v1/auth/sessions/current", "chats": "/api/v1/chats", + "chat": "/api/v1/chats/{chat_id}", "messages": "/api/v1/chats/{chat_id}/messages", +} +TOKEN_RE = re.compile(r"[A-Za-z0-9_-]{32,128}") +BEARER = 'Bearer realm="messenger"' +BASIC = 'Basic realm="messenger", charset="UTF-8"' +INSTANCE_ID = os.environ.get("INSTANCE_ID") or uuid.uuid4().hex[:12] + +CHAT_SELECT = ("SELECT c.id, c.title, c.created_at, " + "(SELECT array_agg(m2.user_id ORDER BY m2.ord) FROM chat_members m2 WHERE m2.chat_id = c.id) AS member_ids ") + + +def user_json(row): + return {"id": str(row["id"]), "username": row["username"], "display_name": row["display_name"], + "created_at": format_dt(row["created_at"])} + + +def chat_json(row): + return {"id": str(row["id"]), "title": row["title"], "member_ids": [str(x) for x in row["member_ids"]], + "created_at": format_dt(row["created_at"])} + + +def message_json(row): + return {"id": str(row["id"]), "chat_id": str(row["chat_id"]), "sender_id": str(row["sender_id"]), + "text": row["text"], "created_at": format_dt(row["created_at"])} + + +def unauthorized(challenge=BEARER, message="Требуется действительная сессия"): + return ApiError(401, "unauthorized", message, {"www-authenticate": challenge}) + + +class Messenger: + def __init__(self): + self.db = Database() + self.cache = SessionCache() + self.sessions = Sessions(self.db, self.cache) + self.inflight = 0 + self.draining = False + + # --- аутентификация ------------------------------------------------------ + @staticmethod + def bearer_token(req): + header = req.headers.get("authorization", "") + scheme, _, token = header.partition(" ") + if scheme.lower() != "bearer" or not TOKEN_RE.fullmatch(token.strip()): + raise unauthorized() + return token.strip() + + async def authenticate(self, req): + token = self.bearer_token(req) + user_id = await self.sessions.resolve(token) + if user_id is None: + raise unauthorized() + req.user_id, req.token = user_id, token + return user_id + + # --- обработчики ----------------------------------------------------------- + async def health_live(self, req, params): + return 200, {"status": "ok"} + + async def health_ready(self, req, params): + # Критичная зависимость — PostgreSQL. Valkey — необязательный кэш: его отказ не останавливает API. + if self.draining: + raise unavailable("Сервис останавливается") + try: + await self.db.ping() + except ApiError: + raise + except Exception: + raise unavailable() from None + return 200, {"status": "ok"} + + async def users(self, req, params): + req.require_json_media_type() + data = parse_json_object(await req.body(), {"username", "display_name", "password"}, + {"username", "display_name", "password"}) + username = data["username"] + if not isinstance(username, str) or not USERNAME_RE.fullmatch(username): + raise bad("username должен соответствовать [a-z0-9_]{3,32}") + display_name = valid_text(data["display_name"], "display_name", 100) + password = valid_text(data["password"], "password", 128, allow_empty=True) + if len(password) < 12: + raise bad("password должен содержать от 12 до 128 символов") + pw_hash = await passwords.hash_password(password) + row = await self.db.fetchrow( + "INSERT INTO users (id, username, display_name, password_hash) VALUES ($1, $2, $3, $4) " + "ON CONFLICT (username) DO NOTHING RETURNING id, username, display_name, created_at", + uuid.uuid4(), username, display_name, pw_hash) + if row is None: + raise ApiError(409, "conflict", "username уже занят") + return 201, user_json(row) + + async def users_me(self, req, params): + user_id = await self.authenticate(req) + row = await self.db.fetchrow("SELECT id, username, display_name, created_at FROM users WHERE id = $1", user_id) + if row is None: + raise unauthorized() + return 200, user_json(row) + + async def create_session(self, req, params): + header = req.headers.get("authorization", "") + scheme, _, value = header.partition(" ") + if scheme.lower() != "basic" or not value.strip(): + raise unauthorized(BASIC, "Неверные учётные данные") + try: + decoded = base64.b64decode(value.strip(), validate=True).decode("utf-8") + username, sep, password = decoded.partition(":") + if not sep: + raise ValueError + except (binascii.Error, ValueError, UnicodeDecodeError): + raise unauthorized(BASIC, "Неверные учётные данные") from None + row = None + if USERNAME_RE.fullmatch(username): + row = await self.db.fetchrow("SELECT id, username, display_name, created_at, password_hash FROM users " + "WHERE username = $1", username) + ok = await passwords.verify_password(row["password_hash"] if row else None, password) + if not ok: + raise unauthorized(BASIC, "Неверные учётные данные") + token, expires_at = await self.sessions.create(row["id"]) + return 201, {"token": token, "token_type": "Bearer", "expires_at": format_dt(expires_at), "user": user_json(row)} + + async def session_current(self, req, params): + await self.authenticate(req) + await self.sessions.revoke(req.token) + return 204, None + + async def chats(self, req, params): + user_id = await self.authenticate(req) + if req.method == "GET": + limit, after = page_params(req.query, "c", user_id) + if after is None: + rows = await self.db.fetch( + CHAT_SELECT + "FROM chat_members m JOIN chats c ON c.id = m.chat_id WHERE m.user_id = $1 " + "ORDER BY m.chat_created_at, m.chat_id LIMIT $2", user_id, limit + 1) + else: + rows = await self.db.fetch( + CHAT_SELECT + "FROM chat_members m JOIN chats c ON c.id = m.chat_id WHERE m.user_id = $1 " + "AND (m.chat_created_at, m.chat_id) > ($2, $3) ORDER BY m.chat_created_at, m.chat_id LIMIT $4", + user_id, us_to_dt(after[0]), uuid.UUID(after[1]), limit + 1) + more = len(rows) > limit + rows = rows[:limit] + cursor = encode_cursor("c", user_id, (dt_to_us(rows[-1]["created_at"]), str(rows[-1]["id"]))) if more else None + return 200, {"items": [chat_json(r) for r in rows], "next_cursor": cursor} + req.require_json_media_type() + data = parse_json_object(await req.body(), {"title", "member_ids"}, {"title", "member_ids"}) + title = valid_text(data["title"], "title", 100) + members = data["member_ids"] + if not isinstance(members, list) or not 1 <= len(members) <= 100: + raise bad("member_ids должен содержать от 1 до 100 элементов") + ids = [parse_uuid(m, "member_id") for m in members] + if len(set(ids)) != len(ids): + raise bad("member_ids содержит дубликаты") + if user_id not in ids: + raise bad("Создатель должен быть в member_ids") + chat_id = uuid.uuid4() + uuids = [uuid.UUID(i) for i in ids] + try: + async with self.db.conn() as c: + async with c.transaction(): # чат и участники создаются атомарно + # Существование участников проверяет внешний ключ chat_members.user_id: при неизвестном + # участнике вставка падает и откатывается вся транзакция, включая уже созданный чат. + created = await c.fetchval("INSERT INTO chats (id, title) VALUES ($1, $2) RETURNING created_at", + chat_id, title) + await c.execute( + "INSERT INTO chat_members (chat_id, user_id, chat_created_at, ord) " + "SELECT $1, u, $2, o FROM unnest($3::uuid[]) WITH ORDINALITY AS t(u, o)", + chat_id, created, uuids) + except asyncpg.ForeignKeyViolationError: + raise bad("Неизвестный участник") from None + return 201, {"id": str(chat_id), "title": title, "member_ids": ids, "created_at": format_dt(created)} + + async def _require_member(self, user_id, params): + chat_id = parse_uuid(params["chat_id"], "chat_id") + ok = await self.db.fetchval("SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2", chat_id, user_id) + if not ok: + raise ApiError(404, "not_found", "Чат не найден") + return chat_id + + async def chat(self, req, params): + user_id = await self.authenticate(req) + chat_id = parse_uuid(params["chat_id"], "chat_id") + row = await self.db.fetchrow( + CHAT_SELECT + "FROM chats c JOIN chat_members m ON m.chat_id = c.id AND m.user_id = $2 WHERE c.id = $1", + chat_id, user_id) + if row is None: + raise ApiError(404, "not_found", "Чат не найден") + return 200, chat_json(row) + + async def messages(self, req, params): + user_id = await self.authenticate(req) + chat_id = await self._require_member(user_id, params) + if req.method == "GET": + limit, after = page_params(req.query, "m", chat_id) + if after is None: + rows = await self.db.fetch( + "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = $1 " + "ORDER BY created_at, id LIMIT $2", chat_id, limit + 1) + else: + rows = await self.db.fetch( + "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = $1 " + "AND (created_at, id) > ($2, $3) ORDER BY created_at, id LIMIT $4", + chat_id, us_to_dt(after[0]), uuid.UUID(after[1]), limit + 1) + more = len(rows) > limit + rows = rows[:limit] + cursor = encode_cursor("m", chat_id, (dt_to_us(rows[-1]["created_at"]), str(rows[-1]["id"]))) if more else None + return 200, {"items": [message_json(r) for r in rows], "next_cursor": cursor} + req.require_json_media_type() + data = parse_json_object(await req.body(), {"text"}, {"text"}) + text = valid_text(data["text"], "text", 4000) + row = await self.db.fetchrow( + "INSERT INTO messages (id, chat_id, sender_id, text) VALUES ($1, $2, $3, $4) " + "RETURNING id, chat_id, sender_id, text, created_at", uuid.uuid4(), chat_id, user_id, text) + return 201, message_json(row) + + # --- ASGI ---------------------------------------------------------------------- + async def __call__(self, scope, receive, send): + if scope["type"] == "lifespan": + return await self.lifespan(receive, send) + if scope["type"] != "http": + return + started = time.perf_counter() + request_id = new_request_id() + route_name, status, headers = "unknown", 500, {} + try: + req = Request(scope, receive, request_id) + handler, params, route_name = self.route(req.method, req.path) + if not route_name.startswith("health") and self.inflight >= config.MAX_INFLIGHT: + raise ApiError(429, "rate_limited", "Слишком много одновременных запросов", + {"retry-after": str(config.RETRY_AFTER_SECONDS)}) + self.inflight += 1 + try: + await asyncio.sleep(0) + status, body = await handler(req, params) + finally: + self.inflight -= 1 + except ApiError as exc: + status, headers = exc.status, exc.headers + body = {"error": {"code": exc.code, "message": exc.message, "request_id": request_id}} + except DEPENDENCY_ERRORS as exc: + log("warning", "dependency_error", request_id=request_id, error_type=type(exc).__name__) + status, headers = 503, {"retry-after": str(config.RETRY_AFTER_SECONDS)} + body = {"error": {"code": "unavailable", "message": "Зависимость временно недоступна", "request_id": request_id}} + except Exception as exc: + log("error", "unhandled_exception", request_id=request_id, error_type=type(exc).__name__) + status = 500 + body = {"error": {"code": "internal_error", "message": "Внутренняя ошибка", "request_id": request_id}} + await respond(send, status, body, request_id, headers, INSTANCE_ID) + if os.environ.get("ACCESS_LOG", "1") != "0": + log("info", "request", request_id=request_id, method=scope.get("method"), + route=ROUTE_LABELS.get(route_name, "unmatched"), status=status, + duration_ms=round((time.perf_counter() - started) * 1000, 3)) + + def route(self, method, path): + for name, pattern, methods in ROUTES: + m = pattern.fullmatch(path) + if m: + if method not in methods: + raise ApiError(405, "invalid_request", "Метод не поддерживается", {"allow": ", ".join(sorted(methods))}) + return getattr(self, name), m.groupdict(), name + raise ApiError(404, "not_found", "Ресурс не найден") + + async def lifespan(self, receive, send): + while True: + event = await receive() + if event["type"] == "lifespan.startup": + await self.db.start() + await self.cache.start() + log("info", "startup", env=config.APP_ENV, instance=INSTANCE_ID, cache=bool(config.VALKEY_URL), + session_ttl=config.SESSION_TTL_SECONDS, pool_max=config.DB_POOL_MAX) + await send({"type": "lifespan.startup.complete"}) + elif event["type"] == "lifespan.shutdown": + self.draining = True + await self.cache.stop() + await self.db.stop() + log("info", "shutdown") + await send({"type": "lifespan.shutdown.complete"}) + return + + +async def overloaded_app(scope, receive, send): + """Ответ uvicorn при превышении --limit-concurrency в контрактном формате.""" + if scope["type"] != "http": + return + request_id = new_request_id() + body = {"error": {"code": "unavailable", "message": "Сервер перегружен: слишком много соединений", + "request_id": request_id}} + await respond(send, 503, body, request_id, {"retry-after": str(config.RETRY_AFTER_SECONDS), "connection": "close"}, INSTANCE_ID) + + +def _install_overload_response(): + for name in ("uvicorn.protocols.http.httptools_impl", "uvicorn.protocols.http.h11_impl"): + try: + module = __import__(name, fromlist=["service_unavailable"]) + except ImportError: + continue + module.service_unavailable = overloaded_app + + +def create_app(): + _install_overload_response() + return Messenger() + + +app = create_app() diff --git a/src/app/migrate.py b/src/app/migrate.py new file mode 100644 index 00000000..e979d89c --- /dev/null +++ b/src/app/migrate.py @@ -0,0 +1,64 @@ +"""Применение версионируемых SQL-миграций: python -m app.migrate + +Свойства: + * повторный запуск ничего не делает (таблица schema_migrations); + * одновременный запуск нескольких экземпляров безопасен (advisory lock); + * каждая миграция — одна транзакция вместе с записью о применении; + * ждёт готовности PostgreSQL до MIGRATE_WAIT_SECONDS. +""" +import asyncio +import hashlib +import os +import sys +import time + +import asyncpg + +from . import config +from .web import log + +LOCK_ID = 7352001 + + +async def connect(deadline): + while True: + try: + return await asyncpg.connect(config.DATABASE_URL, timeout=3) + except (OSError, asyncpg.PostgresError, asyncio.TimeoutError) as exc: + if time.monotonic() > deadline: + raise + log("info", "waiting_for_database", error_type=type(exc).__name__) + await asyncio.sleep(1) + + +async def main(): + wait = float(os.environ.get("MIGRATE_WAIT_SECONDS", "60")) + conn = await connect(time.monotonic() + wait) + try: + await conn.execute("SELECT pg_advisory_lock($1)", LOCK_ID) + await conn.execute("CREATE TABLE IF NOT EXISTS schema_migrations (" + "version text PRIMARY KEY, checksum text NOT NULL, applied_at timestamptz NOT NULL DEFAULT now())") + applied = {r["version"]: r["checksum"] for r in await conn.fetch("SELECT version, checksum FROM schema_migrations")} + directory = os.path.abspath(config.MIGRATIONS_DIR) + files = sorted(f for f in os.listdir(directory) if f.endswith(".sql")) + count = 0 + for name in files: + sql = open(os.path.join(directory, name), encoding="utf-8").read() + checksum = hashlib.sha256(sql.encode("utf-8")).hexdigest() + if name in applied: + if applied[name] != checksum: + log("error", "migration_modified", version=name) + sys.exit(2) + continue + async with conn.transaction(): + await conn.execute(sql) + await conn.execute("INSERT INTO schema_migrations (version, checksum) VALUES ($1, $2)", name, checksum) + count += 1 + log("info", "migration_applied", version=name) + log("info", "migrations_done", applied=count, total=len(files)) + finally: + await conn.close() + + +if __name__ == "__main__": + asyncio.run(main()) diff --git a/src/app/passwords.py b/src/app/passwords.py new file mode 100644 index 00000000..650e7b39 --- /dev/null +++ b/src/app/passwords.py @@ -0,0 +1,31 @@ +"""Хеширование паролей: Argon2id (библиотека argon2-cffi), вычисления вне event loop.""" +import asyncio +from concurrent.futures import ThreadPoolExecutor + +from argon2 import PasswordHasher +from argon2.exceptions import InvalidHashError, VerificationError, VerifyMismatchError + +from . import config + +_hasher = PasswordHasher(time_cost=config.ARGON2_TIME_COST, memory_cost=config.ARGON2_MEMORY_KIB, + parallelism=config.ARGON2_PARALLELISM) +_pool = ThreadPoolExecutor(max_workers=config.HASH_CONCURRENCY, thread_name_prefix="argon2") +# Для неизвестного username проверяем фиктивный хеш: время ответа не выдаёт существование пользователя. +_DUMMY = _hasher.hash("dummy-password-for-timing-equalisation") + + +async def hash_password(password): + return await asyncio.get_running_loop().run_in_executor(_pool, _hasher.hash, password) + + +def _verify(stored, password): + try: + return _hasher.verify(stored, password) + except (VerifyMismatchError, VerificationError, InvalidHashError): + return False + + +async def verify_password(stored, password): + """stored=None -> проверка фиктивного хеша, результат всегда False.""" + ok = await asyncio.get_running_loop().run_in_executor(_pool, _verify, stored or _DUMMY, password) + return ok and stored is not None diff --git a/src/app/sessions.py b/src/app/sessions.py new file mode 100644 index 00000000..b07117c0 --- /dev/null +++ b/src/app/sessions.py @@ -0,0 +1,131 @@ +"""Сессии: PostgreSQL — источник истины; Valkey — кэш с TTL (read-through). + +Политики: + * токен — 256 бит из secrets; в БД и Valkey хранится только SHA-256 токена; + * expiry: expires_at в БД (по часам БД). В кэше TTL = min(остаток жизни, SESSION_CACHE_TTL_SECONDS); + * инвалидация: logout помечает revoked_at в БД и удаляет ключ в Valkey; + * Valkey недоступен -> кэш обходится (чтение из БД), анонимный запрос никогда не считается доверенным; + circuit breaker не даёт каждому запросу ждать таймаут; + * окно устаревания: если Valkey был недоступен во время logout, ключ может прожить до SESSION_CACHE_TTL_SECONDS. +""" +import hashlib +import secrets +import time + +from . import config +from .web import log + +try: + import redis.asyncio as aioredis +except ImportError: # кэш опционален + aioredis = None + + +def token_hash(token): + return hashlib.sha256(token.encode("ascii")).digest() + + +class SessionCache: + def __init__(self): + self.client = None + self.down_until = 0.0 + self.stats = {"hit": 0, "miss": 0, "error": 0} + + async def start(self): + if config.VALKEY_URL and aioredis: + self.client = aioredis.Redis.from_url(config.VALKEY_URL, socket_timeout=config.VALKEY_TIMEOUT, + socket_connect_timeout=config.VALKEY_TIMEOUT) + + async def stop(self): + if self.client: + await self.client.aclose() + + def _usable(self): + return self.client is not None and time.monotonic() >= self.down_until + + def _fail(self, exc): + self.stats["error"] += 1 + if time.monotonic() >= self.down_until: + log("warning", "session_cache_unavailable", error_type=type(exc).__name__) + self.down_until = time.monotonic() + config.VALKEY_BREAKER_SECONDS + + async def get(self, key): + if not self._usable(): + return None + try: + value = await self.client.get(b"s:" + key) + except Exception as exc: + self._fail(exc) + return None + self.stats["hit" if value is not None else "miss"] += 1 + return value + + async def put(self, key, value, ttl): + if not self._usable() or ttl <= 0: + return + try: + await self.client.set(b"s:" + key, value, ex=max(1, int(ttl))) + except Exception as exc: + self._fail(exc) + + async def delete(self, key): + if not self._usable(): + return + try: + await self.client.delete(b"s:" + key) + except Exception as exc: + self._fail(exc) + + async def ping(self): + if self.client is None: + return None + try: + return bool(await self.client.ping()) + except Exception: + return False + + +class Sessions: + def __init__(self, db, cache): + self.db, self.cache = db, cache + + @staticmethod + def _cache_value(user_id, expires_at): + return ("%s|%d" % (user_id, int(expires_at.timestamp() * 1000))).encode() + + async def create(self, user_id): + token = secrets.token_urlsafe(32) # 256 бит энтропии + digest = token_hash(token) + row = await self.db.fetchrow( + "INSERT INTO sessions (token_hash, user_id, expires_at) " + "VALUES ($1, $2, now() + make_interval(secs => $3)) RETURNING expires_at", + digest, user_id, float(config.SESSION_TTL_SECONDS)) + remaining = row["expires_at"].timestamp() - time.time() + await self.cache.put(digest, self._cache_value(user_id, row["expires_at"]), + min(remaining, config.SESSION_CACHE_TTL_SECONDS)) + return token, row["expires_at"] + + async def resolve(self, token): + """token -> user_id (str) либо None, если сессии нет/истекла/отозвана.""" + digest = token_hash(token) + cached = await self.cache.get(digest) + if cached is not None: + user_id, _, expires_ms = cached.decode().partition("|") + if int(expires_ms) > time.time() * 1000: + return user_id + await self.cache.delete(digest) + row = await self.db.fetchrow( + "SELECT user_id, expires_at FROM sessions " + "WHERE token_hash = $1 AND revoked_at IS NULL AND expires_at > now()", digest) + if row is None: + return None + user_id = str(row["user_id"]) + remaining = row["expires_at"].timestamp() - time.time() + await self.cache.put(digest, self._cache_value(user_id, row["expires_at"]), + min(remaining, config.SESSION_CACHE_TTL_SECONDS)) + return user_id + + async def revoke(self, token): + digest = token_hash(token) + await self.db.execute("UPDATE sessions SET revoked_at = now() WHERE token_hash = $1 AND revoked_at IS NULL", digest) + await self.cache.delete(digest) diff --git a/src/app/web.py b/src/app/web.py new file mode 100644 index 00000000..f463b5d8 --- /dev/null +++ b/src/app/web.py @@ -0,0 +1,187 @@ +"""Общий HTTP-слой: ошибки, запрос, валидация, курсоры, ответы, журнал.""" +import base64 +import json +import re +import sys +import time +import uuid +from datetime import datetime, timedelta, timezone +from urllib.parse import parse_qsl + +from . import config + +UUID_RE = re.compile(r"[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}") +USERNAME_RE = re.compile(r"[a-z0-9_]{3,32}") +LIMIT_RE = re.compile(r"[0-9]{1,9}") +EPOCH = datetime(1970, 1, 1, tzinfo=timezone.utc) + + +class ApiError(Exception): + def __init__(self, status, code, message, headers=None): + super().__init__(message) + self.status, self.code, self.message, self.headers = status, code, message, headers or {} + + +def bad(message): + return ApiError(400, "invalid_request", message) + + +def unavailable(message="Зависимость временно недоступна"): + return ApiError(503, "unavailable", message, {"retry-after": str(config.RETRY_AFTER_SECONDS)}) + + +def log(level, msg, **fields): + record = {"ts": time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime()), "level": level, "msg": msg} + record.update(fields) + sys.stdout.write(json.dumps(record, ensure_ascii=False) + "\n") + sys.stdout.flush() + + +# --- время ------------------------------------------------------------------- +def format_dt(value): + value = value.astimezone(timezone.utc) + return value.strftime("%Y-%m-%dT%H:%M:%S.") + "%06dZ" % value.microsecond + + +def dt_to_us(value): + return (value - EPOCH) // timedelta(microseconds=1) + + +def us_to_dt(us): + return EPOCH + timedelta(microseconds=us) + + +# --- валидация --------------------------------------------------------------- +def parse_uuid(value, what="id"): + if not isinstance(value, str) or not UUID_RE.fullmatch(value): + raise bad("Некорректный %s" % what) + return value.lower() + + +def valid_text(value, field, maximum, allow_empty=False): + if not isinstance(value, str): + raise bad("Поле %s должно быть строкой" % field) + try: + value.encode("utf-8") + except UnicodeEncodeError: + raise bad("Поле %s содержит некорректные символы" % field) from None + if "\x00" in value: + raise bad("Поле %s содержит NUL" % field) + if len(value) > maximum: + raise bad("Поле %s слишком длинное" % field) + if not allow_empty and not value.strip(): + raise bad("Поле %s не может быть пустым" % field) + return value + + +def _reject_constant(name): + raise ValueError(name) + + +def parse_json_object(raw, required, allowed): + try: + data = json.loads(raw.decode("utf-8"), parse_constant=_reject_constant) + except (UnicodeDecodeError, ValueError, RecursionError): + raise bad("Тело запроса — некорректный JSON") from None + if not isinstance(data, dict): + raise bad("Ожидается JSON-объект") + if set(data) - allowed: + raise bad("Лишние поля в запросе") + if any(key not in data for key in required): + raise bad("Не хватает обязательных полей") + return data + + +def encode_cursor(kind, resource, key): + payload = json.dumps({"k": kind, "r": resource, "t": key[0], "i": key[1]}, separators=(",", ":")) + return base64.urlsafe_b64encode(payload.encode()).decode().rstrip("=") + + +def decode_cursor(text, kind, resource): + try: + data = json.loads(base64.urlsafe_b64decode(text + "=" * (-len(text) % 4)).decode()) + if (not isinstance(data, dict) or data.get("k") != kind or data.get("r") != resource + or not isinstance(data.get("t"), int) or isinstance(data.get("t"), bool) + or not isinstance(data.get("i"), str) or not UUID_RE.fullmatch(data["i"]) + or not -62135596800000000 < data["t"] < 253402300799000000): + raise ValueError + return data["t"], data["i"] + except (ValueError, UnicodeError): + raise bad("Некорректный cursor") from None + + +def page_params(query, kind, resource): + limit, cursor = 50, None + if "limit" in query: + if len(query["limit"]) != 1 or not LIMIT_RE.fullmatch(query["limit"][0]): + raise bad("limit должен быть целым числом 1–100") + limit = int(query["limit"][0]) + if not 1 <= limit <= 100: + raise bad("limit должен быть целым числом 1–100") + if "cursor" in query: + if len(query["cursor"]) != 1 or not query["cursor"][0]: + raise bad("Некорректный cursor") + cursor = decode_cursor(query["cursor"][0], kind, resource) + return limit, cursor + + +def parse_query(raw): + result = {} + if raw: + for key, value in parse_qsl(raw.decode("latin-1"), keep_blank_values=True): + result.setdefault(key, []).append(value) + return result + + +class Request: + def __init__(self, scope, receive, request_id): + self.method = scope["method"] + self.path = scope["path"] + self.query = parse_query(scope.get("query_string", b"")) + self.headers = {k.decode("latin-1").lower(): v.decode("latin-1") for k, v in scope["headers"]} + self.receive = receive + self.request_id = request_id + self.user_id = None + + async def body(self): + declared = self.headers.get("content-length") + if declared is not None: + if not declared.isdigit(): + raise bad("Некорректный Content-Length") + if int(declared) > config.MAX_BODY_BYTES: + raise ApiError(413, "payload_too_large", "Тело запроса слишком большое", {"connection": "close"}) + chunks, size = [], 0 + while True: + event = await self.receive() + if event["type"] == "http.disconnect": + raise bad("Соединение закрыто клиентом") + chunk = event.get("body", b"") + size += len(chunk) + if size > config.MAX_BODY_BYTES: + raise ApiError(413, "payload_too_large", "Тело запроса слишком большое", {"connection": "close"}) + chunks.append(chunk) + if not event.get("more_body"): + return b"".join(chunks) + + def require_json_media_type(self): + media = self.headers.get("content-type", "").split(";")[0].strip().lower() + if media != "application/json": + raise ApiError(415, "unsupported_media_type", "Ожидается Content-Type: application/json") + + +async def respond(send, status, body, request_id, extra=None, instance_id=None): + payload = b"" if status == 204 else json.dumps(body, ensure_ascii=False, separators=(",", ":")).encode("utf-8") + headers = [(b"x-request-id", request_id.encode())] + if status != 204: + headers += [(b"content-type", b"application/json"), (b"content-length", str(len(payload)).encode())] + else: + headers.append((b"content-length", b"0")) + if instance_id: + headers.append((b"x-instance-id", instance_id.encode())) + headers += [(k.encode(), v.encode()) for k, v in (extra or {}).items()] + await send({"type": "http.response.start", "status": status, "headers": headers}) + await send({"type": "http.response.body", "body": payload}) + + +def new_request_id(): + return uuid.uuid4().hex diff --git a/student-tests/test_api.py b/student-tests/test_api.py new file mode 100644 index 00000000..d8ee951c --- /dev/null +++ b/student-tests/test_api.py @@ -0,0 +1,206 @@ +"""Собственные тесты lab2 против запущенного стенда (docker compose up -d). + + python -m unittest discover -s student-tests -v # BASE_URL по умолчанию http://127.0.0.1:8080 +Тесты используют только синтетические данные и ничего не удаляют. Проверки expiry и недоступности +зависимостей лежат отдельно (test_expiry.py, test_dependencies.py): они управляют контейнерами. +""" +import base64 +import json +import os +import subprocess +import unittest +import urllib.error +import urllib.request +import uuid +from concurrent.futures import ThreadPoolExecutor +from urllib.parse import quote + +BASE = os.environ.get("BASE_URL", "http://127.0.0.1:8080").rstrip("/") +ROOT = os.path.join(os.path.dirname(__file__), "..") + + +def call(method, path, body=None, token=None, headers=None, raw=None): + h = dict(headers or {}) + data = raw + if body is not None: + data = json.dumps(body, ensure_ascii=False).encode("utf-8") + h.setdefault("Content-Type", "application/json") + if token: + h["Authorization"] = "Bearer " + token + req = urllib.request.Request(BASE + path, data=data, headers=h, method=method) + try: + with urllib.request.urlopen(req, timeout=10) as resp: + status, hdrs, payload = resp.status, resp.headers, resp.read() + except urllib.error.HTTPError as err: + status, hdrs, payload = err.code, err.headers, err.read() + return status, hdrs, (json.loads(payload) if payload else None) + + +def basic(username, password): + return {"Authorization": "Basic " + base64.b64encode((username + ":" + password).encode("utf-8")).decode()} + + +def register(prefix="u"): + name = "%s_%s" % (prefix, uuid.uuid4().hex[:12]) + password = "Pa55:word-" + uuid.uuid4().hex # двоеточие в пароле допустимо + status, _, user = call("POST", "/api/v1/users", {"username": name, "display_name": "Имя " + name, "password": password}) + assert status == 201, user + status, _, session = call("POST", "/api/v1/auth/sessions", headers=basic(name, password)) + assert status == 201, session + return {"user": user, "password": password, "token": session["token"], "session": session} + + +def psql(sql): + out = subprocess.run(["docker", "compose", "--env-file", ".env", "exec", "-T", "postgres", "psql", "-U", "messenger", + "-d", "messenger", "-Atc", sql], cwd=ROOT, capture_output=True, text=True, check=True) + return out.stdout.strip() + + +class AuthTest(unittest.TestCase): + def assertError(self, result, status, code): + self.assertEqual(result[0], status, result[2]) + self.assertEqual(result[2]["error"]["code"], code) + self.assertEqual(result[2]["error"]["request_id"], result[1]["X-Request-Id"]) + + def test_register_validation(self): + base = {"username": "val_" + uuid.uuid4().hex[:8], "display_name": "x", "password": "p" * 12} + for patch in ({"password": "short"}, {"password": "p" * 129}, {"password": 12345678901234}, {"extra": 1}, + {"username": "BAD"}, {"display_name": " "}): + body = dict(base, **patch) + self.assertError(call("POST", "/api/v1/users", body), 400, "invalid_request") + missing = {k: v for k, v in base.items() if k != "password"} + self.assertError(call("POST", "/api/v1/users", missing), 400, "invalid_request") + self.assertEqual(call("POST", "/api/v1/users", dict(base, password="я" * 12))[0], 201) # 12 code points + + def test_password_is_not_exposed_or_stored_plain(self): + actor = register() + self.assertEqual(set(actor["user"]), {"id", "username", "display_name", "created_at"}) + stored = psql("SELECT password_hash FROM users WHERE username = '%s'" % actor["user"]["username"]) + self.assertTrue(stored.startswith("$argon2id$"), stored[:12]) + self.assertNotIn(actor["password"], stored) + + def test_wrong_password_and_unknown_user_are_indistinguishable(self): + actor = register() + wrong = call("POST", "/api/v1/auth/sessions", headers=basic(actor["user"]["username"], "wrong-password-123")) + unknown = call("POST", "/api/v1/auth/sessions", headers=basic("nobody_" + uuid.uuid4().hex[:8], "wrong-password-123")) + for r in (wrong, unknown): + self.assertError(r, 401, "unauthorized") + self.assertEqual(r[1]["WWW-Authenticate"], 'Basic realm="messenger", charset="UTF-8"') + self.assertEqual(wrong[2]["error"]["message"], unknown[2]["error"]["message"]) + for bad in ({}, {"Authorization": "Basic !!!"}, {"Authorization": "Basic " + base64.b64encode(b"nocolon").decode()}, + {"Authorization": "Bearer abc"}): + self.assertEqual(call("POST", "/api/v1/auth/sessions", headers=bad)[0], 401) + + def test_bearer_rules(self): + actor = register() + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[2], actor["user"]) + for headers in ({}, basic(actor["user"]["username"], actor["password"]), {"X-User-Id": actor["user"]["id"]}, + {"Authorization": "Bearer " + "A" * 43}, {"Authorization": "Bearer short"}): + r = call("GET", "/api/v1/users/me", headers=headers) + self.assertError(r, 401, "unauthorized") + self.assertEqual(r[1]["WWW-Authenticate"], 'Bearer realm="messenger"') + other = register() + me = call("GET", "/api/v1/users/me", token=actor["token"], headers={"X-User-Id": other["user"]["id"]})[2] + self.assertEqual(me["id"], actor["user"]["id"]) # X-User-Id игнорируется + + def test_session_shape_entropy_and_logout(self): + actor = register() + s = actor["session"] + self.assertEqual(s["token_type"], "Bearer") + self.assertGreaterEqual(len(s["token"]), 43) # 32 байта в base64url = 256 бит + self.assertNotIn(actor["user"]["id"], s["token"]) + self.assertNotEqual(register()["token"], s["token"]) + self.assertEqual(call("DELETE", "/api/v1/auth/sessions/current", token=s["token"])[0], 204) + self.assertError(call("GET", "/api/v1/users/me", token=s["token"]), 401, "unauthorized") + self.assertError(call("DELETE", "/api/v1/auth/sessions/current", token=s["token"]), 401, "unauthorized") + + def test_logout_revokes_in_database_and_cache(self): + actor = register() + call("GET", "/api/v1/users/me", token=actor["token"]) # прогреваем кэш + call("DELETE", "/api/v1/auth/sessions/current", token=actor["token"]) + revoked = psql("SELECT count(*) FROM sessions s JOIN users u ON u.id = s.user_id " + "WHERE u.username = '%s' AND s.revoked_at IS NOT NULL" % actor["user"]["username"]) + self.assertEqual(revoked, "1") + + def test_token_only_stored_as_hash(self): + actor = register() + count = psql("SELECT count(*) FROM sessions WHERE token_hash = '\\x00'::bytea OR encode(token_hash,'escape') = '%s'" % actor["token"]) + self.assertEqual(count, "0") + + def test_concurrent_registration_of_same_username(self): + name = "race_" + uuid.uuid4().hex[:10] + body = {"username": name, "display_name": "x", "password": "racing-password-1"} + with ThreadPoolExecutor(12) as pool: + codes = sorted(pool.map(lambda _: call("POST", "/api/v1/users", body)[0], range(12))) + self.assertEqual(codes, [201] + [409] * 11) + self.assertEqual(psql("SELECT count(*) FROM users WHERE username = '%s'" % name), "1") + + +class DataTest(unittest.TestCase): + def test_chat_creation_is_atomic(self): + a = register() + before = psql("SELECT (SELECT count(*) FROM chats) || '/' || (SELECT count(*) FROM chat_members)") + ghost = str(uuid.uuid4()) + r = call("POST", "/api/v1/chats", {"title": "откат", "member_ids": [a["user"]["id"], ghost]}, token=a["token"]) + self.assertEqual(r[0], 400) + after = psql("SELECT (SELECT count(*) FROM chats) || '/' || (SELECT count(*) FROM chat_members)") + self.assertEqual(before, after, "после неудачного создания не должно остаться чата или участников") + ok = call("POST", "/api/v1/chats", {"title": "ок", "member_ids": [a["user"]["id"]]}, token=a["token"]) + self.assertEqual(ok[0], 201) + + def test_foreign_chat_empty_message_bad_json(self): + a, b, eve = register(), register(), register() + chat = call("POST", "/api/v1/chats", {"title": "ЛС", "member_ids": [a["user"]["id"], b["user"]["id"]]}, a["token"])[2] + path = "/api/v1/chats/%s/messages" % chat["id"] + self.assertEqual(call("POST", path, {"text": "чужое"}, eve["token"])[0], 404) + self.assertEqual(call("GET", path, token=eve["token"])[0], 404) + self.assertEqual(call("POST", path, {"text": " "}, a["token"])[0], 400) + self.assertEqual(call("POST", path, raw=b"{oops", token=a["token"], headers={"Content-Type": "application/json"})[0], 400) + self.assertEqual(call("POST", path, {"text": "x", "sender_id": b["user"]["id"]}, a["token"])[0], 400) + sent = call("POST", path, {"text": "Привет 👋"}, a["token"])[2] + self.assertEqual(sent["sender_id"], a["user"]["id"]) + + def test_multi_page_history_and_cursor_binding(self): + a, b = register(), register() + chat = call("POST", "/api/v1/chats", {"title": "стр", "member_ids": [a["user"]["id"], b["user"]["id"]]}, a["token"])[2] + other = call("POST", "/api/v1/chats", {"title": "др", "member_ids": [a["user"]["id"]]}, a["token"])[2] + path = "/api/v1/chats/%s/messages" % chat["id"] + sent = [call("POST", path, {"text": "m%d" % i}, (a if i % 2 else b)["token"])[2] for i in range(23)] + walked, cursor, pages = [], None, 0 + while True: + q = "?limit=%d" % (5 if pages % 2 == 0 else 8) + ("&cursor=" + quote(cursor, safe="") if cursor else "") + page = call("GET", path + q, token=b["token"])[2] + walked += page["items"] + pages += 1 + cursor = page["next_cursor"] + if not cursor: + break + self.assertEqual(walked, sent) + self.assertGreaterEqual(pages, 3) + first = call("GET", path + "?limit=1", token=a["token"])[2]["next_cursor"] + r = call("GET", "/api/v1/chats/%s/messages?cursor=%s" % (other["id"], quote(first, safe="")), token=a["token"]) + self.assertEqual(r[0], 400) + + def test_parallel_writes_from_many_clients(self): + users = [register() for _ in range(5)] + chat = call("POST", "/api/v1/chats", {"title": "гонки", "member_ids": [u["user"]["id"] for u in users]}, users[0]["token"])[2] + path = "/api/v1/chats/%s/messages" % chat["id"] + + def client(u): + return [call("POST", path, {"text": "%s-%d" % (u["user"]["username"], i)}, u["token"])[0] for i in range(20)] + + with ThreadPoolExecutor(5) as pool: + codes = [c for part in pool.map(client, users) for c in part] + self.assertEqual(codes, [201] * 100) + total, cursor = [], None + while True: + page = call("GET", path + "?limit=100" + ("&cursor=" + quote(cursor, safe="") if cursor else ""), token=users[0]["token"])[2] + total += page["items"] + cursor = page["next_cursor"] + if not cursor: + break + self.assertEqual(len({m["id"] for m in total}), 100) + + +if __name__ == "__main__": + unittest.main() diff --git a/student-tests/test_dependencies.py b/student-tests/test_dependencies.py new file mode 100644 index 00000000..7235777c --- /dev/null +++ b/student-tests/test_dependencies.py @@ -0,0 +1,80 @@ +"""Поведение при недоступности зависимостей: Valkey (кэш) и PostgreSQL (источник истины). + + python student-tests/test_dependencies.py +Контейнеры останавливаются и запускаются обратно (volumes сохраняются). Ожидания: + * Valkey остановлен -> кэш обходится, API работает (чтение сессии из PostgreSQL), logout работает; + * PostgreSQL остановлен -> 503 в контрактном формате с Retry-After (не 500, не «анонимный» доступ), + /health/ready = 503, запрос без токена по-прежнему 401; после запуска БД API восстанавливается сам. +""" +import os +import subprocess +import sys +import time +import unittest + +sys.path.insert(0, os.path.dirname(__file__)) +from test_api import ROOT, basic, call, register # noqa: E402 + + +def compose(*args): + return subprocess.run(["docker", "compose", "--env-file", ".env", *args], cwd=ROOT, check=True, capture_output=True, text=True) + + +def wait(predicate, seconds=60): + deadline = time.time() + seconds + while time.time() < deadline: + try: + if predicate(): + return + except Exception: + pass + time.sleep(0.5) + raise RuntimeError("условие не выполнено за %d с" % seconds) + + +class DependencyTest(unittest.TestCase): + def tearDown(self): + compose("start", "postgres", "valkey") + wait(lambda: call("GET", "/health/ready")[0] == 200) + + def test_valkey_down_is_bypassed(self): + actor = register("dep") + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) + compose("stop", "valkey") + started = time.time() + for _ in range(5): + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) + self.assertLess(time.time() - started, 3, "circuit breaker не должен давать каждому запросу ждать таймаут") + # вход и выход работают без кэша + s = call("POST", "/api/v1/auth/sessions", headers=basic(actor["user"]["username"], actor["password"])) + self.assertEqual(s[0], 201) + self.assertEqual(call("DELETE", "/api/v1/auth/sessions/current", token=s[2]["token"])[0], 204) + self.assertEqual(call("GET", "/api/v1/users/me", token=s[2]["token"])[0], 401) # отзыв виден без кэша + self.assertEqual(call("GET", "/health/ready")[0], 200) # кэш не критичен для readiness + + def test_postgres_down_gives_bounded_503_never_anonymous_access(self): + actor = register("dep") + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) # токен в кэше + compose("stop", "postgres") + time.sleep(1) + for method, path, body, token in (("GET", "/api/v1/users/me", None, actor["token"]), + ("GET", "/api/v1/chats", None, actor["token"]), + ("POST", "/api/v1/chats", {"title": "x", "member_ids": [actor["user"]["id"]]}, actor["token"]), + ("GET", "/api/v1/users/me", None, "Z" * 43)): # неизвестный токен: кэш пуст -> БД -> 503 + r = call(method, path, body, token) + self.assertEqual(r[0], 503, (path, r)) + self.assertEqual(r[2]["error"]["code"], "unavailable") + self.assertGreaterEqual(int(r[1]["Retry-After"]), 1) + self.assertEqual(r[2]["error"]["request_id"], r[1]["X-Request-Id"]) + r = call("POST", "/api/v1/auth/sessions", headers=basic(actor["user"]["username"], actor["password"])) + self.assertEqual(r[0], 503) + self.assertEqual(call("GET", "/health/ready")[0], 503) + self.assertEqual(call("GET", "/health/live")[0], 200) + self.assertEqual(call("GET", "/api/v1/users/me")[0], 401) # без токена — по-прежнему 401 + compose("start", "postgres") + wait(lambda: call("GET", "/health/ready")[0] == 200) + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) # сессия пережила простой БД + + +if __name__ == "__main__": + unittest.main() diff --git a/student-tests/test_expiry.py b/student-tests/test_expiry.py new file mode 100644 index 00000000..293fd059 --- /dev/null +++ b/student-tests/test_expiry.py @@ -0,0 +1,69 @@ +"""Проверка срока жизни сессии при коротком SESSION_TTL_SECONDS (по умолчанию 2). + + python student-tests/test_expiry.py +Скрипт пересоздаёт только контейнер api с SESSION_TTL_SECONDS=2, проверяет expiry и возвращает настройки +по умолчанию. Данные и volumes не затрагиваются. +""" +import os +import subprocess +import sys +import time +import unittest + +sys.path.insert(0, os.path.dirname(__file__)) +from test_api import ROOT, call, register # noqa: E402 + +TTL = 2 + + +def compose(*args, env=None): + return subprocess.run(["docker", "compose", "--env-file", ".env", *args], cwd=ROOT, check=True, + capture_output=True, text=True, env=dict(os.environ, **(env or {}))) + + +def wait_ready(seconds=60): + deadline = time.time() + seconds + while time.time() < deadline: + try: + if call("GET", "/health/ready")[0] == 200: + return + except Exception: + pass + time.sleep(0.5) + raise RuntimeError("api не стал ready") + + +class ExpiryTest(unittest.TestCase): + @classmethod + def setUpClass(cls): + compose("up", "-d", "--no-deps", "--force-recreate", "api", env={"SESSION_TTL_SECONDS": str(TTL)}) + wait_ready() + + @classmethod + def tearDownClass(cls): + compose("up", "-d", "--no-deps", "--force-recreate", "api") + wait_ready() + + def test_session_expires_after_ttl(self): + actor = register("exp") + session = actor["session"] + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) # валидна, кэш прогрет + time.sleep(TTL + 1.5) + r = call("GET", "/api/v1/users/me", token=actor["token"]) + self.assertEqual(r[0], 401, "после TTL токен должен быть отвергнут (и кэшем, и БД)") + self.assertEqual(r[1]["WWW-Authenticate"], 'Bearer realm="messenger"') + self.assertEqual(r[2]["error"]["code"], "unauthorized") + self.assertEqual(call("DELETE", "/api/v1/auth/sessions/current", token=actor["token"])[0], 401) + self.assertIn("expires_at", session) + + def test_expiry_is_not_extended_by_use(self): + actor = register("exp") + for _ in range(3): + call("GET", "/api/v1/users/me", token=actor["token"]) + time.sleep(0.5) + time.sleep(1.5) + self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 401) + + +if __name__ == "__main__": + unittest.main() -- 2.54.0 From 8ac31438dc805bcf53691fffcc56b6196f4afb1f Mon Sep 17 00:00:00 2001 From: kolya5544 Date: Thu, 29 Oct 2026 22:04:03 +0300 Subject: [PATCH 2/3] =?UTF-8?q?=D0=9B=D0=A02:=20=D0=B7=D0=B0=D0=BF=D0=BE?= =?UTF-8?q?=D0=BB=D0=BD=D0=B8=D1=82=D1=8C=20=D0=BE=D1=82=D1=87=D1=91=D1=82?= =?UTF-8?q?=20=D0=B8=20=D1=83=D0=BA=D0=B0=D0=B7=D0=B0=D1=82=D1=8C=20=D0=B2?= =?UTF-8?q?=D0=B5=D1=82=D0=BA=D1=83=20=D1=80=D0=B5=D1=88=D0=B5=D0=BD=D0=B8?= =?UTF-8?q?=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 116 +++++++++++++++++++++++++++--------------------------- 1 file changed, 58 insertions(+), 58 deletions(-) diff --git a/REPORT.md b/REPORT.md index 045198f9..8e3e9ad8 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,9 +1,9 @@ # Отчёт — лабораторная 2 -- Автор, группа: [ФИО], [группа] -- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «План запроса и восстановление» -- Commit/PR: локальный коммит ветки `solution/lab2`; PR — после публикации -- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg (PostgreSQL), redis-py (клиент Valkey), argon2-cffi (Argon2id); документация PostgreSQL (EXPLAIN, pg_dump), Valkey. Код lab1 перенесён (HTTP-слой, валидация, формат ошибок, лимиты). Использование ИИ: [заполняется автором] +- Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302 +- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «План запроса и восстановление» +- Commit/PR: ветка `solution/bpi2302-kushnarenko`; коммит реализации `078c9f5` (`078c9f5f789fe2f4ab994c9ee659c6d4ac37c06a`); PR — из форка `kolya/mtusi2026lab2` в `mtusi2026/mtusi2026lab2` после публикации +- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg (PostgreSQL), redis-py (клиент Valkey), argon2-cffi (Argon2id); документация PostgreSQL (EXPLAIN, pg_dump), Valkey. Код lab1 перенесён (HTTP-слой, валидация, формат ошибок, лимиты). Использование ИИ: Codex был использован для помощи с написанием кода, выполнением некоторых заданий, и проверки качества. ## Запуск из чистого clone @@ -33,39 +33,39 @@ python3 tests/resilience.py --mode persistence --action-script scripts/restart.s └─redis-py (timeout 0.2 c)──▶ Valkey 8 [volume valkeydata] ← кэш сессий ``` -| Роль | Сервис compose | Версия/digest | Health/readiness | Volume | Сеть/порт | Credentials | -| --- | --- | --- | --- | --- | --- | --- | -| api | `api` | собирается из `Dockerfile` | `/health/ready` (HEALTHCHECK), PostgreSQL критичен, Valkey — нет | — | `127.0.0.1:8080` | `DATABASE_URL_FILE` → docker secret | -| postgres | `postgres` | 17.11-alpine@sha256:b0f9560a… | `pg_isready` | `pgdata` | только сеть `backend` | `POSTGRES_PASSWORD_FILE` → secret | -| valkey | `valkey` | 8.1.10-alpine@sha256:081c2f5c… | `valkey-cli ping` | `valkeydata` | только сеть `backend` | без пароля, не опубликован | -| миграции | `migrate` (one-shot) | образ api | завершается кодом 0 | — | `backend` | secret `database_url` | +| Роль | Сервис compose | Версия/digest | Health/readiness | Volume | Сеть/порт | Credentials | +| -------- | -------------------- | ------------------------------ | ---------------------------------------------------------------- | ------------ | --------------------- | ----------------------------------- | +| api | `api` | собирается из `Dockerfile` | `/health/ready` (HEALTHCHECK), PostgreSQL критичен, Valkey — нет | — | `127.0.0.1:8080` | `DATABASE_URL_FILE` → docker secret | +| postgres | `postgres` | 17.11-alpine@sha256:b0f9560a… | `pg_isready` | `pgdata` | только сеть `backend` | `POSTGRES_PASSWORD_FILE` → secret | +| valkey | `valkey` | 8.1.10-alpine@sha256:081c2f5c… | `valkey-cli ping` | `valkeydata` | только сеть `backend` | без пароля, не опубликован | +| миграции | `migrate` (one-shot) | образ api | завершается кодом 0 | — | `backend` | secret `database_url` | -- **Источник истины** — PostgreSQL: пользователи, чаты, участники, сообщения и сессии. Схема — `migrations/0001_init.sql`: PK/FK, `UNIQUE(username)`, `CHECK`-ограничения, индексы `messages(chat_id, created_at, id)`, `chat_members(user_id, chat_created_at, chat_id)`. Создание чата — одна транзакция (чат + участники); неизвестный участник нарушает FK и откатывает всё. -- **Пароли**: Argon2id (m=19 МиБ, t=2, p=1) в отдельном пуле потоков, не блокируя event loop; для неизвестного username проверяется фиктивный хеш (одинаковые ответ и время). -- **Сессии**: токен — 256 бит (`secrets.token_urlsafe(32)`), в БД и в кэше хранится только SHA-256. TTL — `SESSION_TTL_SECONDS` (по умолчанию 3600), срок считается по часам БД (`now() + интервал`), использование токена срок не продлевает. Logout — `revoked_at` в БД + удаление ключа в Valkey. -- **Роль Valkey** — read-through кэш сессий: ключ `s:` → `user_id|expires_ms`, TTL = min(остаток жизни, `SESSION_CACHE_TTL_SECONDS`=60 с). Экономит один SELECT на каждый защищённый запрос. Политика expiry: TTL ключа + проверка `expires_ms`; инвалидация: logout/DEL. При недоступном Valkey кэш обходится (чтение из БД), circuit breaker на 5 с исключает ожидание таймаута; анонимный запрос никогда не считается доверенным. Окно устаревания: если Valkey был недоступен именно во время logout, ключ может прожить ≤ 60 с (после возврата сервиса). Valkey запущен с AOF (`everysec`) и `maxmemory 64mb`, чтобы тёплый кэш переживал рестарт, но корректность от этого не зависит — после потери кэша всё читается из PostgreSQL. -- **Пул соединений и таймауты**: `asyncpg` pool `max_size=10`, ожидание соединения 2 с, `command_timeout=5 с`, `connect timeout=2 с`; все запросы параметризованы (`$1…`), конкатенации SQL нет. Сбои зависимости → `503 unavailable` + `Retry-After`; для чтений один повтор при разорванном соединении пула (после рестарта БД). -- **Readiness**: `/health/ready` = SELECT 1 к PostgreSQL (таймаут 1 с). Недоступность Valkey не останавливает API. -- **История и конкурентные вставки**: `created_at` = `clock_timestamp()` БД (микросекунды), порядок `(created_at, id)`. Две транзакции в одном чате могут зафиксироваться не в порядке `created_at`; читатель, уже прошедший позицию, может не увидеть позднее зафиксированное сообщение с меньшей меткой (snapshot между HTTP-запросами не гарантируется контрактом). Допущение документировано. -- **Лимиты lab1 сохранены**: тело ≤ 64 КиБ (413), `MAX_INFLIGHT` → 429, потолок соединений → 503 JSON. -- Соответствие переменных из `.env.example`: `APP_*`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `SESSION_CACHE_TTL_SECONDS`, `DB_POOL_MAX` используются как есть; `VALKEY_URL` задаётся в `compose.yaml`. +- **Источник истины** — PostgreSQL: пользователи, чаты, участники, сообщения и сессии. Схема — `migrations/0001_init.sql`: PK/FK, `UNIQUE(username)`, `CHECK`-ограничения, индексы `messages(chat_id, created_at, id)`, `chat_members(user_id, chat_created_at, chat_id)`. Создание чата — одна транзакция (чат + участники); неизвестный участник нарушает FK и откатывает всё. +- **Пароли**: Argon2id (m=19 МиБ, t=2, p=1) в отдельном пуле потоков, не блокируя event loop; для неизвестного username проверяется фиктивный хеш (одинаковые ответ и время). +- **Сессии**: токен — 256 бит (`secrets.token_urlsafe(32)`), в БД и в кэше хранится только SHA-256. TTL — `SESSION_TTL_SECONDS` (по умолчанию 3600), срок считается по часам БД (`now() + интервал`), использование токена срок не продлевает. Logout — `revoked_at` в БД + удаление ключа в Valkey. +- **Роль Valkey** — read-through кэш сессий: ключ `s:` → `user_id|expires_ms`, TTL = min(остаток жизни, `SESSION_CACHE_TTL_SECONDS`=60 с). Экономит один SELECT на каждый защищённый запрос. Политика expiry: TTL ключа + проверка `expires_ms`; инвалидация: logout/DEL. При недоступном Valkey кэш обходится (чтение из БД), circuit breaker на 5 с исключает ожидание таймаута; анонимный запрос никогда не считается доверенным. Окно устаревания: если Valkey был недоступен именно во время logout, ключ может прожить ≤ 60 с (после возврата сервиса). Valkey запущен с AOF (`everysec`) и `maxmemory 64mb`, чтобы тёплый кэш переживал рестарт, но корректность от этого не зависит — после потери кэша всё читается из PostgreSQL. +- **Пул соединений и таймауты**: `asyncpg` pool `max_size=10`, ожидание соединения 2 с, `command_timeout=5 с`, `connect timeout=2 с`; все запросы параметризованы (`$1…`), конкатенации SQL нет. Сбои зависимости → `503 unavailable` + `Retry-After`; для чтений один повтор при разорванном соединении пула (после рестарта БД). +- **Readiness**: `/health/ready` = SELECT 1 к PostgreSQL (таймаут 1 с). Недоступность Valkey не останавливает API. +- **История и конкурентные вставки**: `created_at` = `clock_timestamp()` БД (микросекунды), порядок `(created_at, id)`. Две транзакции в одном чате могут зафиксироваться не в порядке `created_at`; читатель, уже прошедший позицию, может не увидеть позднее зафиксированное сообщение с меньшей меткой (snapshot между HTTP-запросами не гарантируется контрактом). Допущение документировано. +- **Лимиты lab1 сохранены**: тело ≤ 64 КиБ (413), `MAX_INFLIGHT` → 429, потолок соединений → 503 JSON. +- Соответствие переменных из `.env.example`: `APP_*`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `SESSION_CACHE_TTL_SECONDS`, `DB_POOL_MAX` используются как есть; `VALKEY_URL` задаётся в `compose.yaml`. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | `python3 tests/smoke.py …` | PASS | `evidence/checks.txt` | -| Persistence: API и ВСЕ хранилища перезапущены, volumes сохранены, прежний токен работает | `tests/resilience.py --mode persistence --action-script scripts/restart.sh` | PASS; `StartedAt` postgres/valkey/api изменился, volumes на месте | `evidence/persistence_containers.txt` | -| Миграции с нуля и повторно без дублирования | `docker compose up` (первый запуск) и `docker compose run --rm migrate` | первый запуск: `migration_applied`, повтор: `applied=0` | `evidence/migrations.txt` | -| Basic только на `POST /auth/sessions`, Bearer на остальных, `X-User-Id` игнорируется, expiry, logout | `student-tests/test_api.py` | 12 тестов OK | `evidence/checks.txt` | -| Пароли хешируются KDF | `test_password_is_not_exposed_or_stored_plain` | в БД `$argon2id$…`, пароль не найден | `evidence/checks.txt` | -| Роль Valkey, TTL, инвалидация, обход при отказе | описание выше + `test_dependencies.py::test_valkey_down_is_bypassed` | API работает без Valkey, logout виден без кэша | `evidence/checks.txt` | -| Параметризованные запросы, пул, таймауты; гонка username; rollback | `test_concurrent_registration_of_same_username`, `test_chat_creation_is_atomic` | из 12 параллельных регистраций — 1×201 и 11×409; после неудачного создания чата числа строк в `chats`/`chat_members` не изменились | `evidence/checks.txt` | -| Индекс истории и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | `research/track2_plans_backup.py` (105 000 сообщений) | keyset-запрос: Index Scan, 6 буферов, 0.07 мс против Seq Scan + Sort, 2 632 буфера, 10 мс без индекса | `evidence/track2_explain_plans.txt` | -| Expiry при коротком TTL | `student-tests/test_expiry.py` (SESSION_TTL_SECONDS=2) | через 3.5 с токен → 401 (кэш и БД), TTL не продлевается использованием | `evidence/checks.txt` | -| Недоступность БД/кэша | `student-tests/test_dependencies.py` | PostgreSQL остановлен → 503 JSON + `Retry-After`, `/health/ready` 503, без токена 401; после старта БД API восстановился сам и сессия действует | `evidence/checks.txt` | -| Нагрузочный профиль | `tests/load.py --duration 20 --concurrency 8` | 0 ошибок, ≈960 успешных RPS (урезан клиентом на urllib), p95 ≈ 16 мс | `evidence/load.json` | -| Трек 2 | `research/track2_plans_backup.py` | см. ниже | `evidence/track2_results.json`, `track2_explain_plans.txt` | +| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +| ---------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------- | +| Публичный smoke | `python3 tests/smoke.py …` | PASS | `evidence/checks.txt` | +| Persistence: API и ВСЕ хранилища перезапущены, volumes сохранены, прежний токен работает | `tests/resilience.py --mode persistence --action-script scripts/restart.sh` | PASS; `StartedAt` postgres/valkey/api изменился, volumes на месте | `evidence/persistence_containers.txt` | +| Миграции с нуля и повторно без дублирования | `docker compose up` (первый запуск) и `docker compose run --rm migrate` | первый запуск: `migration_applied`, повтор: `applied=0` | `evidence/migrations.txt` | +| Basic только на `POST /auth/sessions`, Bearer на остальных, `X-User-Id` игнорируется, expiry, logout | `student-tests/test_api.py` | 12 тестов OK | `evidence/checks.txt` | +| Пароли хешируются KDF | `test_password_is_not_exposed_or_stored_plain` | в БД `$argon2id$…`, пароль не найден | `evidence/checks.txt` | +| Роль Valkey, TTL, инвалидация, обход при отказе | описание выше + `test_dependencies.py::test_valkey_down_is_bypassed` | API работает без Valkey, logout виден без кэша | `evidence/checks.txt` | +| Параметризованные запросы, пул, таймауты; гонка username; rollback | `test_concurrent_registration_of_same_username`, `test_chat_creation_is_atomic` | из 12 параллельных регистраций — 1×201 и 11×409; после неудачного создания чата числа строк в `chats`/`chat_members` не изменились | `evidence/checks.txt` | +| Индекс истории и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | `research/track2_plans_backup.py` (105 000 сообщений) | keyset-запрос: Index Scan, 6 буферов, 0.07 мс против Seq Scan + Sort, 2 632 буфера, 10 мс без индекса | `evidence/track2_explain_plans.txt` | +| Expiry при коротком TTL | `student-tests/test_expiry.py` (SESSION_TTL_SECONDS=2) | через 3.5 с токен → 401 (кэш и БД), TTL не продлевается использованием | `evidence/checks.txt` | +| Недоступность БД/кэша | `student-tests/test_dependencies.py` | PostgreSQL остановлен → 503 JSON + `Retry-After`, `/health/ready` 503, без токена 401; после старта БД API восстановился сам и сессия действует | `evidence/checks.txt` | +| Нагрузочный профиль | `tests/load.py --duration 20 --concurrency 8` | 0 ошибок, ≈960 успешных RPS (урезан клиентом на urllib), p95 ≈ 16 мс | `evidence/load.json` | +| Трек 2 | `research/track2_plans_backup.py` | см. ниже | `evidence/track2_results.json`, `track2_explain_plans.txt` | ## Эксперименты и отказы (трек 2) @@ -73,41 +73,41 @@ python3 tests/resilience.py --mode persistence --action-script scripts/restart.s **Методика** (`research/track2_plans_backup.py`; PostgreSQL 17.11 в Docker, 1 CPU, `shared_buffers=128MB`; отдельная БД `research`, данные синтетические). Набор: **105 000 сообщений** в 1 106 чатах неравномерного размера (1 × 60 000, 5 × 5 000, 100 × 100, 1 000 × 10), 200 пользователей. 4 варианта индексов × 4 запроса; `EXPLAIN (ANALYZE, BUFFERS)`, медиана 9 прогонов (прогретый кэш). Стоимость записи: bulk `INSERT … SELECT` всех строк в пустую копию и 5 000 одиночных `INSERT` с тем же набором индексов. -| Вариант индексов | keyset, середина большого чата (50 строк) | первая страница, большой чат | OFFSET 30 000 | первая страница, малый чат (10 сообщений) | bulk-вставка 105 000 | размер индексов | -| --- | --- | --- | --- | --- | --- | --- | -| V0: только PK | 10.20 мс (Seq Scan + Sort, 2 632 буфера) | 9.15 мс | 23.9 мс | 5.79 мс | 0.42 с | 4.3 МБ | -| V1: `(chat_id)` | 8.19 мс (Sort) | 8.78 мс | 22.7 мс | 0.063 мс | 0.49 с | 5.2 МБ | -| **V2: `(chat_id, created_at, id)` — выбран** | **0.076 мс (Index Scan, 6 буферов)** | **0.043 мс** | 3.49 мс | 0.070 мс | 0.53 с | 12 МБ | -| V3: V2 + `INCLUDE (sender_id)` | 0.068 мс | 0.042 мс | 3.59 мс | 0.075 мс | 0.50 с | 15 МБ | +| Вариант индексов | keyset, середина большого чата (50 строк) | первая страница, большой чат | OFFSET 30 000 | первая страница, малый чат (10 сообщений) | bulk-вставка 105 000 | размер индексов | +| -------------------------------------------- | ----------------------------------------- | ---------------------------- | ------------- | ----------------------------------------- | -------------------- | --------------- | +| V0: только PK | 10.20 мс (Seq Scan + Sort, 2 632 буфера) | 9.15 мс | 23.9 мс | 5.79 мс | 0.42 с | 4.3 МБ | +| V1: `(chat_id)` | 8.19 мс (Sort) | 8.78 мс | 22.7 мс | 0.063 мс | 0.49 с | 5.2 МБ | +| **V2: `(chat_id, created_at, id)` — выбран** | **0.076 мс (Index Scan, 6 буферов)** | **0.043 мс** | 3.49 мс | 0.070 мс | 0.53 с | 12 МБ | +| V3: V2 + `INCLUDE (sender_id)` | 0.068 мс | 0.042 мс | 3.59 мс | 0.075 мс | 0.50 с | 15 МБ | Выводы: keyset-запрос на V2 в ≈130 раз быстрее V0 и V1 и читает 6 страниц вместо 2 632; глубокий OFFSET остаётся ≈50× медленнее keyset (нужно пройти 30 000 записей индекса) — поэтому API использует cursor. Стоимость индекса V2: +25 % времени bulk-вставки относительно V0 и +8 МБ на 105 000 строк; одиночные вставки различаются на уровне шума (30–38 мс на 5 000 строк — различие в пределах погрешности одного прогона). `INCLUDE` почти не даёт выигрыша (index-only scan невозможен, т. к. запрос читает `text`) и увеличивает индекс — отвергнут. Для малого чата индекс по `chat_id` достаточен. **Backup → восстановление в новое хранилище → сверка.** `pg_dump -Fc` БД `research` → отдельный контейнер `postgres:17.11-alpine` с **новым volume** → `pg_restore`: -| Показатель | Результат | -| --- | --- | -| Размер дампа | 7 765 134 байт (7.4 МБ, 105 000 сообщений) | -| Время backup / restore (RTO для этого объёма) | 1.15 с / 0.85 с | -| Строки (users/chats/members) | 200 / 1 106 / 1 106 — совпадают | -| Контрольная сумма всех сообщений (`md5` по `id, chat_id, sender_id, text, created_at`) | совпадает: `105000 105f3be9…` | -| Выборочная страница истории (100 сообщений с позиции 30 000) | md5 совпадает | -| Индексы | восстановлены (`ix_hist`, `messages_pkey`) | -| 25 сообщений, записанных **после** backup | в восстановленной копии отсутствуют | +| Показатель | Результат | +| -------------------------------------------------------------------------------------- | ------------------------------------------ | +| Размер дампа | 7 765 134 байт (7.4 МБ, 105 000 сообщений) | +| Время backup / restore (RTO для этого объёма) | 1.15 с / 0.85 с | +| Строки (users/chats/members) | 200 / 1 106 / 1 106 — совпадают | +| Контрольная сумма всех сообщений (`md5` по `id, chat_id, sender_id, text, created_at`) | совпадает: `105000 105f3be9…` | +| Выборочная страница истории (100 сообщений с позиции 30 000) | md5 совпадает | +| Индексы | восстановлены (`ix_hist`, `messages_pkey`) | +| 25 сообщений, записанных **после** backup | в восстановленной копии отсутствуют | **Границы.** RPO логического backup — интервал между дампами: всё записанное после него теряется (подтверждено 25 строками). Для меньшего RPO нужен непрерывный архив WAL / PITR — не реализован. RTO на 7 МБ ≈ 1 с — на промышленных объёмах растёт линейно с размером данных и перестройкой индексов; восстановление также требует остановки записи в старое хранилище. Измерения проведены на одном ноутбуке без конкурирующей нагрузки; абсолютные миллисекунды не переносимы, соотношения (Seq Scan/Sort против Index Scan) — переносимы. ### Отказы (уровень 4) -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| Рестарт API, PostgreSQL и Valkey с volumes | прежний токен работает, данные на месте | `tests/resilience.py` PASS | готовность < 90 с; потери нет | -| Остановка Valkey | кэш обходится, API работает | 5 запросов с токеном — 200, быстрее 3 с; login/logout работают | мгновенно; потери нет | -| Остановка PostgreSQL | 503 вместо 500/анонимного доступа | все защищённые запросы и login → 503 + `Retry-After`; `ready`=503; без токена 401 | после запуска БД API восстанавливается сам; потери нет | -| TTL=2 с | токен отвергается после срока | 401 + `WWW-Authenticate: Bearer` | — | +| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +| ------------------------------------------ | --------------------------------------- | --------------------------------------------------------------------------------- | ------------------------------------------------------ | +| Рестарт API, PostgreSQL и Valkey с volumes | прежний токен работает, данные на месте | `tests/resilience.py` PASS | готовность < 90 с; потери нет | +| Остановка Valkey | кэш обходится, API работает | 5 запросов с токеном — 200, быстрее 3 с; login/logout работают | мгновенно; потери нет | +| Остановка PostgreSQL | 503 вместо 500/анонимного доступа | все защищённые запросы и login → 503 + `Retry-After`; `ready`=503; без токена 401 | после запуска БД API восстанавливается сам; потери нет | +| TTL=2 с | токен отвергается после срока | 401 + `WWW-Authenticate: Bearer` | — | ## Ограничения и следующие шаги -- Выдерживается: рестарт всех компонентов с сохранёнными volumes, отказ Valkey, кратковременная потеря PostgreSQL. Не выдерживается: потеря volume `pgdata` (нужен backup), отказ хоста Docker; PostgreSQL одиночный (SPOF), репликации нет. -- Один API-процесс; нет балансировщика и идемпотентности отправки (lab3). -- Окно инвалидации кэша (≤ 60 с) при недоступном Valkey в момент logout; создание сессии не ограничено rate limit (429 в контракте допустим, но не реализован). -- Подтверждено экспериментами: выбор индекса, корректность backup/restore на 105 000 сообщений, поведение при отказах. Гипотеза без доказательства: поведение индексов на данных, значительно превышающих память. +- Выдерживается: рестарт всех компонентов с сохранёнными volumes, отказ Valkey, кратковременная потеря PostgreSQL. Не выдерживается: потеря volume `pgdata` (нужен backup), отказ хоста Docker; PostgreSQL одиночный (SPOF), репликации нет. +- Один API-процесс; нет балансировщика и идемпотентности отправки (lab3). +- Окно инвалидации кэша (≤ 60 с) при недоступном Valkey в момент logout; создание сессии не ограничено rate limit (429 в контракте допустим, но не реализован). +- Подтверждено экспериментами: выбор индекса, корректность backup/restore на 105 000 сообщений, поведение при отказах. Гипотеза без доказательства: поведение индексов на данных, значительно превышающих память. -- 2.54.0 From 0d6aa8e05227549d29d8e694fbb5eadcbb06e26e Mon Sep 17 00:00:00 2001 From: kolya5544 Date: Thu, 29 Oct 2026 22:12:21 +0300 Subject: [PATCH 3/3] =?UTF-8?q?=D0=9B=D0=A02:=20=D0=B4=D0=BE=D0=B1=D0=B0?= =?UTF-8?q?=D0=B2=D0=B8=D1=82=D1=8C=20=D1=81=D1=81=D1=8B=D0=BB=D0=BA=D1=83?= =?UTF-8?q?=20=D0=BD=D0=B0=20PR=20=D0=B2=20=D0=BE=D1=82=D1=87=D1=91=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/REPORT.md b/REPORT.md index 8e3e9ad8..887f8b81 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,7 +2,7 @@ - Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302 - Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «План запроса и восстановление» -- Commit/PR: ветка `solution/bpi2302-kushnarenko`; коммит реализации `078c9f5` (`078c9f5f789fe2f4ab994c9ee659c6d4ac37c06a`); PR — из форка `kolya/mtusi2026lab2` в `mtusi2026/mtusi2026lab2` после публикации +- Commit/PR: ветка `solution/bpi2302-kushnarenko`; коммит реализации `078c9f5` (`078c9f5f789fe2f4ab994c9ee659c6d4ac37c06a`); PR — https://gitea.privcloud.tech/mtusi2026/mtusi2026lab2/pulls/121 - Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg (PostgreSQL), redis-py (клиент Valkey), argon2-cffi (Argon2id); документация PostgreSQL (EXPLAIN, pg_dump), Valkey. Код lab1 перенесён (HTTP-слой, валидация, формат ошибок, лимиты). Использование ИИ: Codex был использован для помощи с написанием кода, выполнением некоторых заданий, и проверки качества. ## Запуск из чистого clone -- 2.54.0