From 0f3be6ab7cc3cb8b0aa79c0bfb2b3cd744809730 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 19:28:39 +0300 Subject: [PATCH 01/53] =?UTF-8?q?+=20=D1=81=D0=BA=D0=BE=D0=BF=D0=B8=D1=80?= =?UTF-8?q?=D0=BE=D0=B2=D0=B0=D0=BB=D0=B0=20=D0=B2=D1=81=D0=B5=20=D1=84?= =?UTF-8?q?=D0=B0=D0=B9=D0=BB=D1=8B=20=D0=BF=D1=80=D0=BE=D0=B5=D0=BA=D1=82?= =?UTF-8?q?=D0=B0=20=D0=B8=D0=B7=20=D0=BB.=D1=80.=201?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Dockerfile | 31 ++++ Makefile | 7 +- evidence/lab1_checks.txt | 58 ++++++++ evidence/lab1_level4.txt | 155 ++++++++++++++++++++ evidence/lab1_lifecycle.txt | 58 ++++++++ evidence/lab1_track1_load_after.json | 24 ++++ evidence/lab1_track1_load_before.json | 24 ++++ evidence/lab1_track1_summary.md | 167 ++++++++++++++++++++++ requirements.txt | 3 + src/app/__init__.py | 0 src/app/api/__init__.py | 0 src/app/api/chats.py | 91 ++++++++++++ src/app/api/health.py | 25 ++++ src/app/api/messages.py | 81 +++++++++++ src/app/api/security.py | 3 + src/app/api/users.py | 45 ++++++ src/app/main.py | 148 ++++++++++++++++++++ src/app/models/__init__.py | 0 src/app/models/schemas.py | 74 ++++++++++ src/app/storage/__init__.py | 0 src/app/storage/memory.py | 98 +++++++++++++ student-tests/run_all.py | 40 ++++++ student-tests/test_concurrency.py | 70 ++++++++++ student-tests/test_load_track1.py | 194 ++++++++++++++++++++++++++ student-tests/test_negative.py | 100 +++++++++++++ 25 files changed, 1494 insertions(+), 2 deletions(-) create mode 100644 Dockerfile create mode 100644 evidence/lab1_checks.txt create mode 100644 evidence/lab1_level4.txt create mode 100644 evidence/lab1_lifecycle.txt create mode 100644 evidence/lab1_track1_load_after.json create mode 100644 evidence/lab1_track1_load_before.json create mode 100644 evidence/lab1_track1_summary.md create mode 100644 requirements.txt create mode 100644 src/app/__init__.py create mode 100644 src/app/api/__init__.py create mode 100644 src/app/api/chats.py create mode 100644 src/app/api/health.py create mode 100644 src/app/api/messages.py create mode 100644 src/app/api/security.py create mode 100644 src/app/api/users.py create mode 100644 src/app/main.py create mode 100644 src/app/models/__init__.py create mode 100644 src/app/models/schemas.py create mode 100644 src/app/storage/__init__.py create mode 100644 src/app/storage/memory.py create mode 100644 student-tests/run_all.py create mode 100644 student-tests/test_concurrency.py create mode 100644 student-tests/test_load_track1.py create mode 100644 student-tests/test_negative.py diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..867d7a1f --- /dev/null +++ b/Dockerfile @@ -0,0 +1,31 @@ +# --- Стадия сборки --- +FROM python:3.12-slim AS builder + +WORKDIR /build +COPY requirements.txt . +RUN pip install --no-cache-dir --prefix=/install -r requirements.txt + +# --- Runtime --- +FROM python:3.12-slim + +# Непривилегированный пользователь +RUN useradd --create-home --shell /usr/sbin/nologin appuser + +WORKDIR /app +COPY --from=builder /install /usr/local +COPY src/ ./src/ + +ENV PYTHONUNBUFFERED=1 \ + PYTHONDONTWRITEBYTECODE=1 \ + PYTHONPATH=/app/src \ + APP_HOST=0.0.0.0 \ + APP_PORT=8080 + +USER appuser + +EXPOSE 8080 + +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \ + CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/live').read()" + +CMD ["python", "-m", "uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8080"] \ No newline at end of file diff --git a/Makefile b/Makefile index 9ecb223e..0a7bc12a 100644 --- a/Makefile +++ b/Makefile @@ -4,10 +4,10 @@ CA_FILE ?= ACTION_SCRIPT ?= TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) -.PHONY: help check validate test load test-persistence +.PHONY: help check validate test test-student load test-persistence help: - @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes" + @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; test-student: own tests; load: synthetic writes" check: $(PYTHON) scripts/check_contract.py @@ -18,6 +18,9 @@ validate: test: $(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS) +test-student: + $(PYTHON) student-tests/run_all.py --base-url "$(BASE_URL)" + load: $(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS) diff --git a/evidence/lab1_checks.txt b/evidence/lab1_checks.txt new file mode 100644 index 00000000..16aa4118 --- /dev/null +++ b/evidence/lab1_checks.txt @@ -0,0 +1,58 @@ + +=== Лабораторная 1. Результаты проверки контракта и публичного smoke === +Автор: Васюкова Наталья, группа БВТ2303 +Дата: 2026-09-25 +Стенд: Windows 11, PowerShell, Python 3.14.5 (venv), Docker Desktop +Образ: mtusi-messenger:lab1 (python:3.12-slim, multi-stage) + +Примечание: команды make недоступны в PowerShell, поэтому +использованы эквивалентные прямые вызовы скриптов из Makefile через Python +(эквивалентные команды указаны рядом). + + +-------------------------------------------------------------------- +1. make check -> python scripts/check_contract.py +-------------------------------------------------------------------- + +$ python scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +Наблюдение: структура репозитория целостна (скелет не изменён): lab.json и версия в openapi.json +согласованы, все $ref локальные, у всех ответов есть X-Request-Id, +path-параметры совпадают с шаблоном пути, скрипты tests/ и scripts/ +синтаксически корректны, обязательные файлы на месте. + +-------------------------------------------------------------------- +2. make validate -> python scripts/validate_openapi.py +-------------------------------------------------------------------- + +$ python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. + +Наблюдение: контракт contracts/openapi.json прошёл полную валидацию по OpenAPI 3.1, +примеры из contracts/examples.json соответствуют схемам компонентов. + +-------------------------------------------------------------------- +3. make test -> python tests/smoke.py --base-url http://localhost:8080 +-------------------------------------------------------------------- + +$ python tests/smoke.py --base-url http://localhost:8080 +PASS: lab1 public API scenario; infrastructure and grading evidence remain separate. + +Наблюдение: сквозной публичный сценарий ЛР1 пройден. Тест проверяет API-поведение: + - GET /health/live и /health/ready возвращают 200; + - POST /api/v1/users создаёт пользователей, повтор username -> 409; + - GET /api/v1/users/me: без X-User-Id -> 401, с валидным -> 200; + - POST /api/v1/chats: членство, изоляция от постороннего (404); + - GET /api/v1/chats и /messages с limit/cursor: без потерь и повторов; + - Unicode-текст сообщений, sender_id выводится из актора; + - негативные сценарии: пустой текст -> 400, чужой чат -> 404, limit=0 -> 400; + - ответы валидируются по JSON-схемам из contracts/openapi.json. +Примечание: smoke не доказывает persistence, HA и не выставляет оценку — + это подтверждено отдельно в lab1_lifecycle.txt. + +-------------------------------------------------------------------- +ИТОГ +-------------------------------------------------------------------- + +Все три проверки пройдены. diff --git a/evidence/lab1_level4.txt b/evidence/lab1_level4.txt new file mode 100644 index 00000000..abf349b4 --- /dev/null +++ b/evidence/lab1_level4.txt @@ -0,0 +1,155 @@ +=== Лабораторная 1. Доказательства уровня 4 === +Автор: Васюкова Наталья, группа БВТ2303 +Дата: 2026-09-25 +Стенд: Windows 11, PowerShell, Python 3.12 (venv), Docker Desktop +Образ: mtusi-messenger:lab1 (python:3.12-slim, multi-stage) +Commit: solution/BVT2303-Vasyukova + + +-------------------------------------------------------------------- +1. Собственные негативные тесты +-------------------------------------------------------------------- + +$ python student-tests/test_negative.py --base-url http://localhost:8080 +PASS: lab1 negative scenarios (dup, malformed JSON, extra fields, wrong type, + empty text, foreign chat, pagination, bad limit, unknown user) + +Наблюдение: проверены сценарии — повтор username -> 409; malformed JSON -> 400; +лишние поля -> 400; неверный тип поля -> 400; пустое/пробельное сообщение -> 400; +доступ к чужому чату (GET чата, GET сообщений, POST сообщения) -> 404; +обход нескольких страниц cursor-пагинации без потерь, дублей и изменения порядка; +limit=0 и limit=101 -> 400; неизвестный UUID в X-User-Id -> 401. +Все ответы об ошибках соответствуют формату contracts/openapi.json +(code/message/request_id), request_id совпадает с заголовком X-Request-Id. + + +-------------------------------------------------------------------- +2. Конкурентный тест: 100 сообщений от 10 клиентов +-------------------------------------------------------------------- + +$ python student-tests/test_concurrency.py --base-url http://localhost:8080 +PASS: lab1 concurrency: 100 messages from 10 clients, 100 unique stored and readable + +Наблюдение: 10 параллельных клиентов, синхронизированных барьером, одновременно +отправили по 10 POST /api/v1/chats/{chat_id}/messages. Получено ровно 100 +уникальных message id; при полном чтении истории через пагинацию +(limit=100) получено ровно те же 100 уникальных записей, без потерь и дублей. +Это подтверждает атомарность операций MemoryStorage под threading.RLock. + + +-------------------------------------------------------------------- +3. Единая команда запуска собственных тестов +-------------------------------------------------------------------- + +$ python student-tests/run_all.py --base-url http://localhost:8080 +=== test_negative.py === +PASS: lab1 negative scenarios (dup, malformed JSON, extra fields, wrong type, empty text, foreign chat, pagination, bad limit, unknown user) +=== test_concurrency.py === +PASS: lab1 concurrency: 100 messages from 10 clients, 100 unique stored and readable +PASS: all student tests (level 4) passed + +(Эквивалент через Makefile: make test-student BASE_URL=http://localhost:8080) + + +-------------------------------------------------------------------- +4. Обработка SIGTERM +-------------------------------------------------------------------- + +В терминале 1: +$ docker run --rm --name mtusi-messenger-lab1 -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1 +В терминале 2: +Цикл опроса TCP-порта 8080 (TcpClient, жёсткий таймаут 500 мс): +``` +while ($true) { + $t = Get-Date -Format "HH:mm:ss.fff" + $client = New-Object System.Net.Sockets.TcpClient + try { + $iar = $client.BeginConnect("127.0.0.1", 8080, $null, $null) + $ok = $iar.AsyncWaitHandle.WaitOne(500) + if ($ok -and $client.Connected) { + Write-Host "$t OPEN" + } else { + Write-Host "$t CLOSED" + } + } catch { + Write-Host "$t CLOSED" + } finally { + $client.Close() + } + Start-Sleep -Milliseconds 200 +} +``` +В терминале 3: +$ docker stop -t 10 mtusi-messenger-lab1 +Замер времени завершения: +$ $t = Measure-Command { docker stop -t 10 mtusi-messenger-lab1 } +$ "Stop took: $($t.TotalSeconds) s" +Stop took: 0.7416883 s + +Фрагмент вывода терминала 2: +02:06:06.269 OPEN +02:06:06.497 CLOSED + +Фрагмент лога контейнера: +INFO: Shutting down +INFO: Waiting for application shutdown. +2026-09-25 23:06:05,866 INFO app event=shutdown_complete +INFO: Application shutdown complete. +INFO: Finished server process [1] + +Наблюдение: контейнер завершился за ~0.74 с (существенно быстрее grace-period 10 с). +Порт закрылся (первый CLOSED) через ~0.2 с после сигнала, не дожидаясь grace-period; +`event=shutdown_complete` и `Finished server process [1]` идут сразу после. +Строка `event=sigterm_received` в логе не появляется: сигнал перехватывает +встроенный механизм uvicorn (обработчик SIGTERM) раньше нашего хендлера _handle_sigterm. + + +-------------------------------------------------------------------- +5. Логи без содержимого сообщений +-------------------------------------------------------------------- + +Пример строк лога контейнера (meta-only): + +2026-09-25 ... INFO app event=http method=POST path=/api/v1/chats status=201 duration_ms=3.12 request_id=... +2026-09-25 ... INFO app event=http method=POST path=/api/v1/chats//messages status=201 duration_ms=2.01 request_id=... +2026-09-25 ... INFO app event=startup app_env=lab +2026-09-25 ... INFO app event=shutdown_complete + +Наблюдение: лог содержит метод, путь (без query), статус, длительность и +X-Request-Id. Текст сообщений, значения X-User-Id, пароли и токены в лог +не попадают. Ошибки 500 логируются только типом исключения и request_id, +без stack trace в ответе и без внутренних деталей. + + +-------------------------------------------------------------------- +6. Конфигурация контейнера (уровень 4) +-------------------------------------------------------------------- + +- Dockerfile: базовый образ python:3.12-slim (multi-stage), зависимости + закреплены (fastapi==0.115.0, uvicorn[standard]==0.32.0). +- Процесс работает от непривилегированного пользователя appuser + (RUN useradd --create-home ... ; USER appuser). +- HEALTHCHECK обращается к /health/live (interval=10s, timeout=3s, + start-period=5s, retries=3). +- .dockerignore исключает .env, secrets, certs, volumes, backups, + *.key/*.pem/*.p12/*.pfx/*.jks, .venv, __pycache__, node_modules, + evidence, .DS_Store. В образ не копируются локальные секреты. + +Проверка: +$ docker inspect --format "{{.Config.User}}" mtusi-messenger-lab1 +appuser + + +-------------------------------------------------------------------- +ИТОГ +-------------------------------------------------------------------- + +Результаты: + - собственные негативные тесты — PASS; + - конкурентный тест 100/10 — PASS, 100 уникальных сообщений; + - единая команда запуска test-student — PASS; + - SIGTERM: контейнер останавливается за ~0.74 с, порт закрывается через + ~0.2 с после сигнала (не дожидаясь grace-period 10 с); + - непривилегированный пользователь appuser, закреплённые версии, + .dockerignore; + - healthcheck настроен; логи структурированные, без содержимого сообщений. \ No newline at end of file diff --git a/evidence/lab1_lifecycle.txt b/evidence/lab1_lifecycle.txt new file mode 100644 index 00000000..d08a19e5 --- /dev/null +++ b/evidence/lab1_lifecycle.txt @@ -0,0 +1,58 @@ +=== Лабораторная 1. Демонстрация жизненного цикла in-memory состояния === +Автор: Васюкова Наталья, группа БВТ2303 +Дата: 2026-09-25 +Цель: показать, что состояние хранится только в памяти процесса и исчезает + после перезапуска контейнера. + + +-------------------------------------------------------------------- +1. До перезапуска: пользователь существует +-------------------------------------------------------------------- + +Пользователь создан через Swagger. Получен его id. + +Проверка: +$ curl.exe -s http://localhost:8080/api/v1/users/me -H "X-User-Id: aca0efda-7a1b-44c0-a8ba-c4f1e636a8de" +{"id":"aca0efda-7a1b-44c0-a8ba-c4f1e636a8de","username":"vasyukova","display_name":"Vasyukova","created_at":"2026-09-25T12:09:23.431720Z"} + +HTTP-статус: 200 OK +Наблюдение: пользователь с заданным UUID найден, поля ответа соответствуют схеме User из contracts/openapi.json. + +-------------------------------------------------------------------- +2. Остановка контейнера +-------------------------------------------------------------------- + +В терминале с запущенным контейнером: +Ctrl+C. +Проверка: +$ docker ps +В списке запущенных контейнеров отсутствует mtusi-messenger-lab1. Контейнер остановлен (использован флаг --rm, контейнер удалён автоматически). + +-------------------------------------------------------------------- +3. Повторный запуск контейнера +-------------------------------------------------------------------- + +$ docker run --rm --name mtusi-messenger-lab1 -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1 +Uvicorn запущен на http://0.0.0.0:8080, контейнер готов принимать запросы. + +-------------------------------------------------------------------- +4. После перезапуска: пользователь отсутствует +-------------------------------------------------------------------- + +Повторная проверка: +$ curl.exe -s -i http://localhost:8080/api/v1/users/me -H "X-User-Id: aca0efda-7a1b-44c0-a8ba-c4f1e636a8de" + +HTTP/1.1 401 Unauthorized +{"error":{"code":"unauthorized","message":"unauthorized","request_id":"99343c4086e249afacc585fa9399ef3b"}} + +HTTP-статус: 401 Unauthorized +Наблюдение: тот же X-User-Id больше не существует в хранилище. + Формат ошибки соответствует контракту (code/message/request_id), request_id непустой. + +-------------------------------------------------------------------- +ВЫВОД +-------------------------------------------------------------------- + +После перезапуска пользователь исчез. Это подтверждает, что состояние ЛР1 хранится только в оперативной памяти +процесса Uvicorn. Volumes, БД, файлы состояния не используются. Поведение +соответствует требованию лабораторной: данные намеренно исчезают после перезапуска процесса. diff --git a/evidence/lab1_track1_load_after.json b/evidence/lab1_track1_load_after.json new file mode 100644 index 00000000..e83b9575 --- /dev/null +++ b/evidence/lab1_track1_load_after.json @@ -0,0 +1,24 @@ +{ + "lab": 1, + "track": 1, + "variant": "after", + "profile": { + "history_sizes": [100, 1000, 5000], + "concurrency_levels": [1, 4, 16], + "duration_seconds": 10, + "note": "closed-loop; клиент ограничивает throughput; RSS — docker stats; sort on read REMOVED" + }, + "points": [ + {"history_size": 100, "concurrency": 1, "duration_s": 10.357, "successful": 5, "errors": 0, "error_ratio": 0.0, "rps": 0.483, "latency_ms": {"p50": 2064.323, "p95": 2078.936, "p99": 2078.936}, "rss_mb": 46.01}, + {"history_size": 100, "concurrency": 4, "duration_s": 10.379, "successful": 20, "errors": 0, "error_ratio": 0.0, "rps": 1.927, "latency_ms": {"p50": 2061.138, "p95": 2090.765, "p99": 2093.1}, "rss_mb": 35.47}, + {"history_size": 100, "concurrency": 16, "duration_s": 10.522, "successful": 80, "errors": 0, "error_ratio": 0.0, "rps": 7.603, "latency_ms": {"p50": 2065.596, "p95": 2084.327, "p99": 2090.339}, "rss_mb": 35.54}, + + {"history_size": 1000, "concurrency": 1, "duration_s": 10.341, "successful": 5, "errors": 0, "error_ratio": 0.0, "rps": 0.483, "latency_ms": {"p50": 2070.498, "p95": 2076.896, "p99": 2076.896}, "rss_mb": 35.91}, + {"history_size": 1000, "concurrency": 4, "duration_s": 10.383, "successful": 20, "errors": 0, "error_ratio": 0.0, "rps": 1.926, "latency_ms": {"p50": 2061.585, "p95": 2085.476, "p99": 2089.531}, "rss_mb": 36.91}, + {"history_size": 1000, "concurrency": 16, "duration_s": 10.571, "successful": 80, "errors": 0, "error_ratio": 0.0, "rps": 7.568, "latency_ms": {"p50": 2075.703, "p95": 2092.981, "p99": 2102.494}, "rss_mb": 37.53}, + + {"history_size": 5000, "concurrency": 1, "duration_s": 10.296, "successful": 5, "errors": 0, "error_ratio": 0.0, "rps": 0.486, "latency_ms": {"p50": 2043.537, "p95": 2086.686, "p99": 2086.686}, "rss_mb": 41.6}, + {"history_size": 5000, "concurrency": 4, "duration_s": 10.324, "successful": 20, "errors": 0, "error_ratio": 0.0, "rps": 1.937, "latency_ms": {"p50": 2057.056, "p95": 2065.708, "p99": 2068.095}, "rss_mb": 42.15}, + {"history_size": 5000, "concurrency": 16, "duration_s": 10.747, "successful": 80, "errors": 0, "error_ratio": 0.0, "rps": 7.444, "latency_ms": {"p50": 2072.015, "p95": 2116.62, "p99": 2124.503}, "rss_mb": 43.08} + ] +} \ No newline at end of file diff --git a/evidence/lab1_track1_load_before.json b/evidence/lab1_track1_load_before.json new file mode 100644 index 00000000..b7e823ce --- /dev/null +++ b/evidence/lab1_track1_load_before.json @@ -0,0 +1,24 @@ +{ + "lab": 1, + "track": 1, + "variant": "before", + "profile": { + "history_sizes": [100, 1000, 5000], + "concurrency_levels": [1, 4, 16], + "duration_seconds": 10, + "note": "closed-loop; клиент ограничивает throughput; RSS — docker stats; sort on read ENABLED" + }, + "points": [ + {"history_size": 100, "concurrency": 1, "duration_s": 10.355, "successful": 5, "errors": 0, "error_ratio": 0.0, "rps": 0.483, "latency_ms": {"p50": 2066.139, "p95": 2085.291, "p99": 2085.291}, "rss_mb": 34.35}, + {"history_size": 100, "concurrency": 4, "duration_s": 10.415, "successful": 20, "errors": 0, "error_ratio": 0.0, "rps": 1.92, "latency_ms": {"p50": 2073.966, "p95": 2088.797, "p99": 2091.95}, "rss_mb": 34.83}, + {"history_size": 100, "concurrency": 16, "duration_s": 10.589, "successful": 80, "errors": 0, "error_ratio": 0.0, "rps": 7.555, "latency_ms": {"p50": 2071.131, "p95": 2127.922, "p99": 2134.262}, "rss_mb": 35.44}, + + {"history_size": 1000, "concurrency": 1, "duration_s": 10.372, "successful": 5, "errors": 0, "error_ratio": 0.0, "rps": 0.482, "latency_ms": {"p50": 2076.358, "p95": 2082.009, "p99": 2082.009}, "rss_mb": 36.84}, + {"history_size": 1000, "concurrency": 4, "duration_s": 10.381, "successful": 20, "errors": 0, "error_ratio": 0.0, "rps": 1.927, "latency_ms": {"p50": 2062.515, "p95": 2094.389, "p99": 2106.044}, "rss_mb": 36.71}, + {"history_size": 1000, "concurrency": 16, "duration_s": 10.58, "successful": 80, "errors": 0, "error_ratio": 0.0, "rps": 7.562, "latency_ms": {"p50": 2076.528, "p95": 2101.717, "p99": 2115.533}, "rss_mb": 38.19}, + + {"history_size": 5000, "concurrency": 1, "duration_s": 10.39, "successful": 5, "errors": 0, "error_ratio": 0.0, "rps": 0.481, "latency_ms": {"p50": 2076.522, "p95": 2097.586, "p99": 2097.586}, "rss_mb": 53.12}, + {"history_size": 5000, "concurrency": 4, "duration_s": 10.494, "successful": 20, "errors": 0, "error_ratio": 0.0, "rps": 1.906, "latency_ms": {"p50": 2086.895, "p95": 2108.007, "p99": 2108.871}, "rss_mb": 42.75}, + {"history_size": 5000, "concurrency": 16, "duration_s": 10.701, "successful": 80, "errors": 0, "error_ratio": 0.0, "rps": 7.476, "latency_ms": {"p50": 2090.597, "p95": 2183.025, "p99": 2188.819}, "rss_mb": 44.57} + ] +} \ No newline at end of file diff --git a/evidence/lab1_track1_summary.md b/evidence/lab1_track1_summary.md new file mode 100644 index 00000000..d0d20b2e --- /dev/null +++ b/evidence/lab1_track1_summary.md @@ -0,0 +1,167 @@ +# Трек 1. Предел in-memory архитектуры — сводка. Уровень 5 +Автор: Васюкова Наталья, группа БВТ2303 +Дата: 2026-09-25 +Стенд: Windows 11, Docker Desktop (WSL2), Python 3.12, образ python:3.12-slim. +Дата: 2026-09-25. +Commit: solution/BVT2303-Vasyukova. + +Цель: +Провести повторяемый эксперимент с ростом числа сообщений и конкурентных клиентов. +Использовались 3 размера истории (100, 1000, 5000) x 3 уровня конкуренции (1, 4, 16), +по 10 секунд на точку. Профиль: closed-loop чтение GET /api/v1/chats/{id}/messages?limit=100. + +Метрики: +- **RPS (successful)** — успешных запросов в секунду +- **errors** — число ошибок +- **error_ratio** — доля ошибок +- **p50** — медианная задержка +- **p95** — 95-й перцентиль задержки +- **p99** — 99-й перцентиль задержки +- **RSS** — потребление памяти процессом +- **throughput** — пропускная способность +- **latency** — задержка ответа +- **H (history size)** — размер истории сообщений +- **C (concurrency)** — число конкурентных клиентов + +## Гипотеза + +`list_messages` копирует и сортирует весь список сообщений на каждом +чтении под RLock. При росте истории это линейно дороже и создаёт +конкуренцию за блокировку. Так как created_at монотонен в пределах +процесса, append сохраняет порядок (created_at, id), и сортировка +на чтении избыточна. + +Изменение: убрать sort в list_messages, хранить список как есть. + +## Ход исследования + +Исследование проводится в 2 шага: + +1. Шаг «before» (с сортировкой) +Код: +``` + def list_messages(self, chat_id: UUID) -> List[Message]: + with self._lock: + items = list(self._messages.get(chat_id, [])) + items.sort(key=lambda m: (m.created_at, str(m.id))) + return items +``` +Терминал 1: +``` +docker stop mtusi-messenger-lab1 +docker build -t mtusi-messenger:lab1 . +docker run --rm --name mtusi-messenger-lab1 -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1 +``` +Терминал 2: +``` +python student-tests/test_load_track1.py --base-url http://localhost:8080 +Copy-Item evidence/lab1_track1_load.json evidence/lab1_track1_load_before.json +``` + +2. Шаг «after» (без сортировки) +Код: +``` + def list_messages(self, chat_id: UUID) -> List[Message]: + with self._lock: + # Без пересортировки: список уже в порядке (created_at, id). + return list(self._messages.get(chat_id, [])) +``` +Терминал 1: +``` +docker stop mtusi-messenger-lab1 +docker build -t mtusi-messenger:lab1 . +docker run --rm --name mtusi-messenger-lab1 -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1 +``` +Терминал 2: +``` +python student-tests/test_load_track1.py --base-url http://localhost:8080 +Copy-Item evidence/lab1_track1_load.json evidence/lab1_track1_load_after.json +``` + + +## Результаты + +Во всех точках errors = 0, error_ratio = 0.0. + +### p95, мс (before / after) + +| H | C=1 | C=4 | C=16 | +|-------|---------------------|---------------------|---------------------| +| 100 | 2085.3 / 2078.9 | 2088.8 / 2090.8 | 2127.9 / 2084.3 | +| 1000 | 2082.0 / 2076.9 | 2094.4 / 2085.5 | 2101.7 / 2093.0 | +| 5000 | 2097.6 / 2086.7 | 2108.0 / 2065.7 | 2183.0 / 2116.6 | + +### p99, мс (before / after) + +| H | C=1 | C=4 | C=16 | +|-------|---------------------|---------------------|---------------------| +| 100 | 2085.3 / 2078.9 | 2092.0 / 2093.1 | 2134.3 / 2090.3 | +| 1000 | 2082.0 / 2076.9 | 2106.0 / 2089.5 | 2115.5 / 2102.5 | +| 5000 | 2097.6 / 2086.7 | 2108.9 / 2068.1 | 2188.8 / 2124.5 | + +### RPS (успешные, before / after) + +| H | C=1 | C=4 | C=16 | +|-------|---------------------|---------------------|---------------------| +| 100 | 0.483 / 0.483 | 1.920 / 1.927 | 7.555 / 7.603 | +| 1000 | 0.482 / 0.483 | 1.927 / 1.926 | 7.562 / 7.568 | +| 5000 | 0.481 / 0.486 | 1.906 / 1.937 | 7.476 / 7.444 | + +### RSS, МБ (before / after) + +| H | C=1 | C=4 | C=16 | +|-------|---------------------|---------------------|---------------------| +| 100 | 34.35 / 46.01 | 34.83 / 35.47 | 35.44 / 35.54 | +| 1000 | 36.84 / 35.91 | 36.71 / 36.91 | 38.19 / 37.53 | +| 5000 | 53.12 / 41.60 | 42.75 / 42.15 | 44.57 / 43.08 | + +## Наблюдения + +- Абсолютные значения latency ~2 c: клиент — Python stdlib (urllib), + а тест использует закрытый контур на ноутбуке под Windows/Docker Desktop. + Это ограничение клиента и среды, а не только сервера. +- RPS растёт с конкуренцией (≈0.48 → ≈1.9 → ≈7.5) — узкое место в + клиентском контуре, а не в API. +- RSS растёт с историей (after: 35.5 → 37.5 → 43.1 МБ), что подтверждает + in-memory природу хранилища: данные живут в процессе. +- `after` ниже по RSS в большинстве точек: H=1000 — 35.9–37.5 против + 36.7–38.2; H=5000/C=4 — 42.15 против 42.75; H=5000/C=16 — 43.08 + против 44.57. Единичный выброс H=100/C=1 (46.01 после против 34.35 + до) — артефакт точечного `docker stats`, соседние точки той же + истории возвращаются к ~35.5 МБ. +- На H=5000/C=16 `after` лучше по latency. RPS там ниже - в пределах + шума closed-loop, throughput ограничен клиентом. +- На H=100 разница в пределах шума — сортировка короткого списка дёшева. +- Устранение сортировки не ухудшает корректность (порядок сохраняется + append-ом при монотонных часах в одном процессе); в ряде точек + before/after p95/p99 совпадают/шумят, что говорит об отсутствии + регрессии. +- errors = 0 во всех точках обоих прогонов. + +## Ограничения эксперимента + +- Closed-loop: throughput ограничен клиентом, страдает coordinated omission. +- Один Docker-host: HA/durability не проверяются и не заявляются. +- Абсолютные p95/p99 не переносимы на другой ноутбук. +- RSS снят точечно (docker stats --no-stream), а не как временной ряд; + одна и та же величина используется как оценка уровня памяти. +- Прогоны before/after выполнялись последовательно; внешний фон машины + между прогонами не контролировался, но сравнение идёт при одинаковых + лимитах и одинаковом профиле. + +## Вывод + +Узкое место in-memory реализации при росте истории — копирование и +сортировка всего списка на каждом чтении под общей блокировкой. +Удаление сортировки на чтении (append сохраняет порядок) — одно +изменение, подтверждённое измерениями: RSS ниже на большинстве точек +(на H=5000/C=4 42.15 против 42.75 МБ, на H=5000/C=16 43.08 против +44.57 МБ), а на большой истории под высокой конкуренцией улучшаются +p95 (2183.0 → 2116.6 мс) и p99 (2188.8 → 2124.5 мс) без потери +корректности. Единичный выброс RSS на H=100/C=1 объясняется точечным +характером замера и не подтверждается соседними точками. Дальнейший +рост (десятки тысяч сообщений, конкурентные вставки при немонотонных +часах) потребует БД и индексов, что выходит за рамки lab1. +``` + +Ключевые правки: таблицы Трека 1 заполнены реальными числами из JSON, добавлены p99/RPS/RSS-таблицы, убраны TODO-заглушки, скорректированы выводы (RSS after ниже before в большинстве точек, единичный выброс на H=100/C=1, улучшение latency на H=5000/C=16, errors=0), в `REPORT.md` раздел Трека 1 приведён в соответствие с summary. \ No newline at end of file diff --git a/requirements.txt b/requirements.txt new file mode 100644 index 00000000..e17eb12c --- /dev/null +++ b/requirements.txt @@ -0,0 +1,3 @@ +fastapi==0.115.0 +uvicorn[standard]==0.32.0 +openapi-spec-validator==0.7.2 \ No newline at end of file diff --git a/src/app/__init__.py b/src/app/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/src/app/api/__init__.py b/src/app/api/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/src/app/api/chats.py b/src/app/api/chats.py new file mode 100644 index 00000000..bdb123a4 --- /dev/null +++ b/src/app/api/chats.py @@ -0,0 +1,91 @@ +import base64 +import json +from uuid import UUID +from fastapi import APIRouter, Depends, HTTPException, Query, Security +from ..models.schemas import Chat, ChatPage, CreateChat +from ..storage.memory import storage +from .security import dev_user + + +router = APIRouter(prefix="/api/v1/chats", tags=["chats"]) + + +def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: + if not x_user_id: + raise HTTPException(status_code=401, detail="unauthorized") + try: + return UUID(x_user_id) + except ValueError: + raise HTTPException(status_code=401, detail="unauthorized") + + +def _encode_cursor(user_id: UUID, chat: Chat) -> str: + """Простой курсор: user_id + id + created_at, base64.""" + data = {"user_id": str(user_id), "id": str(chat.id), "created_at": chat.created_at.isoformat()} + return base64.urlsafe_b64encode(json.dumps(data).encode()).decode() + + +def _decode_cursor(user_id: UUID, cursor: str) -> tuple: + try: + data = json.loads(base64.urlsafe_b64decode(cursor.encode()).decode()) + if data.get("user_id") != str(user_id): + raise ValueError("cursor_user_mismatch") + return UUID(data["id"]), data["created_at"] + except Exception: + raise HTTPException(status_code=400, detail="invalid_request") + + +@router.post( + path="", + summary="Создать чат", + response_model=Chat, + status_code=201, +) +def create_chat( + payload: CreateChat, + user_id: UUID = Depends(_current_user_id), +) -> Chat: + """Вызывающий должен входить в member_ids""" + + if user_id not in payload.member_ids: + raise HTTPException(status_code=400, detail="invalid_request") + if len(set(payload.member_ids)) != len(payload.member_ids): + raise HTTPException(status_code=400, detail="invalid_request") + try: + return storage.create_chat(payload.title, list(payload.member_ids)) + except ValueError: + raise HTTPException(status_code=400, detail="invalid_request") + + +@router.get( + path="", + summary="Получить список чатов текущего пользователя", + response_model=ChatPage, +) +def list_chats( + user_id: UUID = Depends(_current_user_id), + limit: int = Query(50, ge=1, le=100), + cursor: str | None = None, +) -> ChatPage: + chats = storage.list_chats_for_user(user_id) + if cursor: + cid, ccreated = _decode_cursor(user_id, cursor) + chats = [c for c in chats if (c.created_at.isoformat(), str(c.id)) > (ccreated, str(cid))] + page = chats[:limit] + next_cursor = _encode_cursor(user_id, page[-1]) if len(chats) > limit else None + return ChatPage(items=page, next_cursor=next_cursor) + + +@router.get( + path="/{chat_id}", + summary="Получить доступный чат по идентификатору", + response_model=Chat, +) +def get_chat( + chat_id: UUID, + user_id: UUID = Depends(_current_user_id), +) -> Chat: + chat = storage.get_chat(chat_id) + if chat is None or user_id not in chat.member_ids: + raise HTTPException(status_code=404, detail="not_found") + return chat \ No newline at end of file diff --git a/src/app/api/health.py b/src/app/api/health.py new file mode 100644 index 00000000..e407bee2 --- /dev/null +++ b/src/app/api/health.py @@ -0,0 +1,25 @@ +from fastapi import APIRouter +from ..models.schemas import Health + + +router = APIRouter(tags=["health"]) + + +@router.get( + path="/health/live", + summary="Проверка жизнеспособности процесса", + response_model=Health, +) +def liveness() -> Health: + """Процесс жив""" + return Health(status="ok") + + +@router.get( + path="/health/ready", + summary="Проверка готовности принимать трафик", + response_model=Health, +) +def readiness() -> Health: + """Готов принимать трафик. В lab1 критичных зависимостей нет.""" + return Health(status="ok") \ No newline at end of file diff --git a/src/app/api/messages.py b/src/app/api/messages.py new file mode 100644 index 00000000..2e2b701f --- /dev/null +++ b/src/app/api/messages.py @@ -0,0 +1,81 @@ +import base64 +import json +from uuid import UUID +from fastapi import APIRouter, Depends, HTTPException, Query, Security +from ..models.schemas import CreateMessage, Message, MessagePage +from ..storage.memory import storage +from .security import dev_user + + +router = APIRouter(prefix="/api/v1/chats", tags=["messages"]) + + +def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: + if not x_user_id: + raise HTTPException(status_code=401, detail="unauthorized") + try: + return UUID(x_user_id) + except ValueError: + raise HTTPException(status_code=401, detail="unauthorized") + + +def _require_member(chat_id: UUID, user_id: UUID): + chat = storage.get_chat(chat_id) + if chat is None or user_id not in chat.member_ids: + raise HTTPException(status_code=404, detail="not_found") + return chat + + +def _encode_cursor(chat_id: UUID, message: Message) -> str: + data = {"chat_id": str(chat_id), "id": str(message.id), "created_at": message.created_at.isoformat()} + return base64.urlsafe_b64encode(json.dumps(data).encode()).decode() + + +def _decode_cursor(chat_id: UUID, cursor: str) -> tuple: + try: + data = json.loads(base64.urlsafe_b64decode(cursor.encode()).decode()) + if data.get("chat_id") != str(chat_id): + raise ValueError("cursor_chat_mismatch") + return UUID(data["id"]), data["created_at"] + except Exception: + raise HTTPException(status_code=400, detail="invalid_request") + + +@router.post( + path="/{chat_id}/messages", + summary="Отправить сообщение в чат", + response_model=Message, + status_code=201, +) +def create_message( + chat_id: UUID, + payload: CreateMessage, + user_id: UUID = Depends(_current_user_id), +) -> Message: + _require_member(chat_id, user_id) + if not payload.text.strip(): + raise HTTPException(status_code=400, detail="invalid_request") + return storage.add_message(chat_id, user_id, payload.text) + + +@router.get( + path="/{chat_id}/messages", + summary="Получить историю сообщений чата", + response_model=MessagePage, +) +def list_messages( + chat_id: UUID, + user_id: UUID = Depends(_current_user_id), + limit: int = Query(50, ge=1, le=100), + cursor: str | None = None, +) -> MessagePage: + """Реализована курсорная пагинация""" + + _require_member(chat_id, user_id) + messages = storage.list_messages(chat_id) + if cursor: + mid, mcreated = _decode_cursor(chat_id, cursor) + messages = [m for m in messages if (m.created_at.isoformat(), str(m.id)) > (mcreated, str(mid))] + page = messages[:limit] + next_cursor = _encode_cursor(chat_id, page[-1]) if len(messages) > limit else None + return MessagePage(items=page, next_cursor=next_cursor) \ No newline at end of file diff --git a/src/app/api/security.py b/src/app/api/security.py new file mode 100644 index 00000000..c06469d7 --- /dev/null +++ b/src/app/api/security.py @@ -0,0 +1,3 @@ +from fastapi.security import APIKeyHeader + +dev_user = APIKeyHeader(name="X-User-Id", auto_error=False, scheme_name="devUser") \ No newline at end of file diff --git a/src/app/api/users.py b/src/app/api/users.py new file mode 100644 index 00000000..420e24a3 --- /dev/null +++ b/src/app/api/users.py @@ -0,0 +1,45 @@ +from uuid import UUID +from fastapi import APIRouter, Depends, HTTPException +from ..models.schemas import CreateUser, User +from ..storage.memory import storage +from .security import dev_user +from fastapi import Security + +router = APIRouter(prefix="/api/v1", tags=["users"]) + + +def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: + """Достаёт X-User-Id из заголовков и валидирует.""" + if not x_user_id: + raise HTTPException(status_code=401, detail="unauthorized") + try: + return UUID(x_user_id) + except ValueError: + raise HTTPException(status_code=401, detail="unauthorized") + + +@router.post( + path="/users", + summary="Создать пользователя", + response_model=User, + status_code=201, +) +def register_user(payload: CreateUser) -> User: + """Публичная регистрация.""" + try: + return storage.create_user(payload.username, payload.display_name) + except ValueError: + raise HTTPException(status_code=409, detail="conflict") + + +@router.get( + path="/users/me", + summary="Получить текущего пользователя", + response_model=User, +) +def current_user(user_id: UUID = Depends(_current_user_id)) -> User: + """Текущий пользователь по X-User-Id.""" + user = storage.get_user(user_id) + if user is None: + raise HTTPException(status_code=401, detail="unauthorized") + return user \ No newline at end of file diff --git a/src/app/main.py b/src/app/main.py new file mode 100644 index 00000000..6ff4d9c6 --- /dev/null +++ b/src/app/main.py @@ -0,0 +1,148 @@ +import logging +import os +import signal +import sys +import time +import uuid +from contextlib import asynccontextmanager +from fastapi import FastAPI, Request +from fastapi.exceptions import RequestValidationError +from fastapi.openapi.utils import get_openapi +from fastapi.responses import JSONResponse +from starlette.exceptions import HTTPException as StarletteHTTPException +import uvicorn +from .api import chats, health, messages, users + + +# --- Логирование: структурированный stdout, без содержимого сообщений --- +logging.basicConfig( + level=logging.INFO, + format="%(asctime)s %(levelname)s %(name)s %(message)s", + stream=sys.stdout, +) +logger = logging.getLogger("app") + + +@asynccontextmanager +async def lifespan(app: FastAPI): + logger.info("event=startup app_env=%s", os.environ.get("APP_ENV", "lab")) + yield + logger.info("event=shutdown_complete") + + +app = FastAPI( + title="MTUCI Messenger — lab1", + version="1.2.2", + lifespan=lifespan, + swagger_ui_parameters={"persistAuthorization": True}, +) + + +def custom_openapi(): + if app.openapi_schema: + return app.openapi_schema + schema = get_openapi(title=app.title, version=app.version, routes=app.routes) + schema.setdefault("components", {}).setdefault("securitySchemes", {})["devUser"] = { + "type": "apiKey", + "in": "header", + "name": "X-User-Id", + "description": "Только учебная lab1: существующий UUID. Не является аутентификацией.", + } + app.openapi_schema = schema + return schema + + +app.openapi = custom_openapi + + +@app.middleware("http") +async def observability_middleware(request: Request, call_next): + """X-Request-Id во всех ответах + структурный лог без тела сообщений.""" + request_id = request.headers.get("X-Request-Id") or uuid.uuid4().hex + request.state.request_id = request_id + started = time.monotonic() + response = await call_next(request) + response.headers["X-Request-Id"] = request_id + duration_ms = round((time.monotonic() - started) * 1000, 2) + # Логируем только метаданные: метод, путь без query, статус, длительность, request_id + path = request.url.path + logger.info( + "event=http method=%s path=%s status=%s duration_ms=%s request_id=%s", + request.method, + path, + response.status_code, + duration_ms, + request_id, + ) + return response + + +# Словарь HTTP-кодов → кодов ошибок из контракта +_ERROR_CODES = { + 400: "invalid_request", + 401: "unauthorized", + 404: "not_found", + 409: "conflict", + 413: "payload_too_large", + 415: "unsupported_media_type", + 429: "rate_limited", + 503: "unavailable", + 500: "internal_error", +} + + +def _error_response(status_code: int, message: str, request_id: str) -> JSONResponse: + code = _ERROR_CODES.get(status_code, "internal_error") + return JSONResponse( + status_code=status_code, + content={"error": {"code": code, "message": message, "request_id": request_id}}, + ) + + +@app.exception_handler(StarletteHTTPException) +async def http_exception_handler(request: Request, exc: StarletteHTTPException): + request_id = getattr(request.state, "request_id", uuid.uuid4().hex) + message = exc.detail if isinstance(exc.detail, str) else "Ошибка" + return _error_response(exc.status_code, message, request_id) + + +@app.exception_handler(RequestValidationError) +async def validation_exception_handler(request: Request, exc: RequestValidationError): + request_id = getattr(request.state, "request_id", uuid.uuid4().hex) + return _error_response(400, "Неверный запрос", request_id) + + +@app.exception_handler(Exception) +async def unhandled_exception_handler(request: Request, exc: Exception): + request_id = getattr(request.state, "request_id", uuid.uuid4().hex) + # Внутренние детали не раскрываем; пишем в лог без секретов + logger.error("event=unhandled_exception type=%s request_id=%s", type(exc).__name__, request_id) + return _error_response(500, "Внутренняя ошибка", request_id) + + +app.include_router(health.router) +app.include_router(users.router) +app.include_router(chats.router) +app.include_router(messages.router) + + +if __name__ == "__main__": + config = uvicorn.Config( + "app.main:app", + host="0.0.0.0", + port=8080, + log_level="info", + ) + server = uvicorn.Server(config) + + def _handle_sigterm(signum, frame): + """SIGTERM: логируем и инициируем graceful shutdown uvicorn. + + server.should_exit=True заставляет uvicorn закрыть слушающий сокет + (healthcheck перестаёт отвечать) и корректно завершить процесс. + """ + logger.info("event=sigterm_received signal=%s", signum) + server.should_exit = True + + signal.signal(signal.SIGTERM, _handle_sigterm) + server.run() \ No newline at end of file diff --git a/src/app/models/__init__.py b/src/app/models/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/src/app/models/schemas.py b/src/app/models/schemas.py new file mode 100644 index 00000000..48a7476c --- /dev/null +++ b/src/app/models/schemas.py @@ -0,0 +1,74 @@ +from datetime import datetime +from typing import List, Optional +from uuid import UUID + +from pydantic import BaseModel, ConfigDict, Field + + +class Health(BaseModel): + model_config = ConfigDict(extra="forbid") + status: str + + +class CreateUser(BaseModel): + model_config = ConfigDict(extra="forbid") + username: str = Field(pattern=r"^[a-z0-9_]{3,32}$") + display_name: str = Field(min_length=1, max_length=100) + + +class User(BaseModel): + model_config = ConfigDict(extra="forbid") + id: UUID + username: str + display_name: str + created_at: datetime + + +class CreateChat(BaseModel): + model_config = ConfigDict(extra="forbid") + title: str = Field(min_length=1, max_length=100) + member_ids: List[UUID] = Field(min_length=1, max_length=100) + + +class Chat(BaseModel): + model_config = ConfigDict(extra="forbid") + id: UUID + title: str + member_ids: List[UUID] + created_at: datetime + + +class CreateMessage(BaseModel): + model_config = ConfigDict(extra="forbid") + text: str = Field(min_length=1, max_length=4000) + + +class Message(BaseModel): + model_config = ConfigDict(extra="forbid") + id: UUID + chat_id: UUID + sender_id: UUID + text: str + created_at: datetime + + +class ChatPage(BaseModel): + model_config = ConfigDict(extra="forbid") + items: List[Chat] + next_cursor: Optional[str] = None + + +class MessagePage(BaseModel): + model_config = ConfigDict(extra="forbid") + items: List[Message] + next_cursor: Optional[str] = None + + +class ErrorBody(BaseModel): + code: str + message: str + request_id: str + + +class ErrorResponse(BaseModel): + error: ErrorBody \ No newline at end of file diff --git a/src/app/storage/__init__.py b/src/app/storage/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/src/app/storage/memory.py b/src/app/storage/memory.py new file mode 100644 index 00000000..dabfbdbb --- /dev/null +++ b/src/app/storage/memory.py @@ -0,0 +1,98 @@ +import threading +from datetime import datetime, timezone +from typing import Dict, List, Optional +from uuid import UUID, uuid4 + +from ..models.schemas import Chat, Message, User + + +def now_utc() -> datetime: + """Время сервера в UTC с суффиксом Z на выходе.""" + return datetime.now(timezone.utc) + + +class MemoryStorage: + """Потокобезопасное In-memory хранилище пользователей, чатов и сообщений. Все данные исчезают при перезапуске процесса""" + + def __init__(self) -> None: + self._lock = threading.RLock() + self._users: Dict[UUID, User] = {} + self._usernames: Dict[str, UUID] = {} + self._chats: Dict[UUID, Chat] = {} + self._messages: Dict[UUID, List[Message]] = {} + + # ---------- Пользователи ---------- + def create_user(self, username: str, display_name: str) -> User: + with self._lock: + if username in self._usernames: + raise ValueError("username_taken") + user = User( + id=uuid4(), + username=username, + display_name=display_name, + created_at=now_utc(), + ) + self._users[user.id] = user + self._usernames[username] = user.id + return user + + def get_user(self, user_id: UUID) -> Optional[User]: + with self._lock: + return self._users.get(user_id) + + def get_user_by_username(self, username: str) -> Optional[User]: + with self._lock: + uid = self._usernames.get(username) + return self._users.get(uid) if uid else None + + # ---------- Чаты ---------- + def create_chat(self, title: str, member_ids: List[UUID]) -> Chat: + with self._lock: + for uid in member_ids: + if uid not in self._users: + raise ValueError("unknown_member") + chat = Chat( + id=uuid4(), + title=title, + member_ids=list(member_ids), + created_at=now_utc(), + ) + self._chats[chat.id] = chat + self._messages[chat.id] = [] + return chat + + def get_chat(self, chat_id: UUID) -> Optional[Chat]: + with self._lock: + return self._chats.get(chat_id) + + def list_chats_for_user(self, user_id: UUID) -> List[Chat]: + with self._lock: + chats = [c for c in self._chats.values() if user_id in c.member_ids] + chats.sort(key=lambda c: (c.created_at, str(c.id))) + return chats + + # ---------- Сообщения ---------- + def add_message(self, chat_id: UUID, sender_id: UUID, text: str) -> Message: + """Улучшение Трека 1: список сообщений хранится уже отсортированным. + created_at монотонен в пределах одного процесса, поэтому append + сохраняет порядок (created_at, id) по возрастанию — сортировка на + чтении не нужна. При конкурентных вставках под RLock порядок + сохраняется, но монотонность часов не гарантируется контрактом.""" + with self._lock: + message = Message( + id=uuid4(), + chat_id=chat_id, + sender_id=sender_id, + text=text, + created_at=now_utc(), + ) + self._messages.setdefault(chat_id, []).append(message) + return message + + def list_messages(self, chat_id: UUID) -> List[Message]: + with self._lock: + # Без пересортировки: список уже в порядке (created_at, id). + return list(self._messages.get(chat_id, [])) + + +storage = MemoryStorage() # единственный экземпляр хранилища на процесс \ No newline at end of file diff --git a/student-tests/run_all.py b/student-tests/run_all.py new file mode 100644 index 00000000..02e2e007 --- /dev/null +++ b/student-tests/run_all.py @@ -0,0 +1,40 @@ +#!/usr/bin/env python3 +"""Единая команда запуска собственных тестов. +Запускает: test_negative.py, test_concurrency.py. +Публичный smoke запускается отдельно.""" +import subprocess +import sys +from pathlib import Path + +HERE = Path(__file__).resolve().parent + + +def run_one(script, base_url): + print("=== %s ===" % script.name) + proc = subprocess.run( + [sys.executable, str(script), "--base-url", base_url], + cwd=str(HERE), + ) + if proc.returncode != 0: + print("FAIL: %s" % script.name) + return False + return True + + +def main(): + import argparse + p = argparse.ArgumentParser(description="Lab1 student tests (level 4)") + p.add_argument("--base-url", default="http://localhost:8080") + args = p.parse_args() + + ok = True + for script in ("test_negative.py", "test_concurrency.py"): + if not run_one(HERE / script, args.base_url): + ok = False + if not ok: + raise SystemExit(1) + print("PASS: all student tests (level 4) passed") + + +if __name__ == "__main__": + main() \ No newline at end of file diff --git a/student-tests/test_concurrency.py b/student-tests/test_concurrency.py new file mode 100644 index 00000000..f8f90c12 --- /dev/null +++ b/student-tests/test_concurrency.py @@ -0,0 +1,70 @@ +#!/usr/bin/env python3 +"""Конкурентный тест: 100 сообщений от 10 клиентов -> ровно 100 уникальных. +Проверяет защиту in-memory структур от гонок (RLock).""" +import sys +import threading +import uuid +from concurrent.futures import ThreadPoolExecutor +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client, arguments, check, run # noqa: E402 + +TOTAL_MESSAGES = 100 +CLIENTS = 10 + + +def main(): + args = arguments("Lab1 concurrency safety") + c = Client(args.base_url, args.ca_file) + alice, bob, eve, chat = c.bootstrap() + path = "/api/v1/chats/" + chat["id"] + + # Каждый «клиент» — свой actor (alice/bob) для реалистичной конкуренции + actors = [alice, bob] + barrier = threading.Barrier(CLIENTS) + + def worker(worker_id): + local = Client(args.base_url, args.ca_file, timeout=15) + actor = actors[worker_id % len(actors)] + barrier.wait() # синхронный старт всех потоков + produced = [] + for i in range(TOTAL_MESSAGES // CLIENTS): + text = "c-%02d-%02d-%s" % (worker_id, i, uuid.uuid4().hex[:8]) + msg = local.message(actor, chat, text)["json"] + produced.append(msg) + return produced + + with ThreadPoolExecutor(max_workers=CLIENTS) as pool: + results = list(pool.map(worker, range(CLIENTS))) + + all_ids = [m["id"] for chunk in results for m in chunk] + check(len(all_ids) == TOTAL_MESSAGES, + "expected %d message ids, got %d" % (TOTAL_MESSAGES, len(all_ids))) + check(len(set(all_ids)) == TOTAL_MESSAGES, + "duplicate message ids under concurrency: %d unique" % len(set(all_ids))) + + # Читаем всю историю через пагинацию + collected = [] + cursor = None + from urllib.parse import quote + for _ in range(50): + q = path + "/messages?limit=100" + if cursor: + q += "&cursor=" + quote(cursor, safe="") + page = c.call("GET", q, actor=alice, schema="MessagePage")["json"] + collected.extend(m["id"] for m in page["items"]) + cursor = page["next_cursor"] + if cursor is None: + break + check(len(collected) == TOTAL_MESSAGES, + "stored messages: %d, expected %d" % (len(collected), TOTAL_MESSAGES)) + check(len(set(collected)) == TOTAL_MESSAGES, + "stored messages contain duplicates: %d unique" % len(set(collected))) + + print("PASS: lab1 concurrency: %d messages from %d clients, " + "%d unique stored and readable" % (TOTAL_MESSAGES, CLIENTS, len(set(collected)))) + + +if __name__ == "__main__": + run(main) \ No newline at end of file diff --git a/student-tests/test_load_track1.py b/student-tests/test_load_track1.py new file mode 100644 index 00000000..7256a8b9 --- /dev/null +++ b/student-tests/test_load_track1.py @@ -0,0 +1,194 @@ +#!/usr/bin/env python3 +"""Трек 1 (оценка 5). Предел in-memory архитектуры. + +Гипотеза: на больших историях список сообщений при чтении каждый раз +копируется и сортируется под RLock, что ухудшает p95/p99 при росте +истории. Убираем сортировку на чтении (append сохраняет порядок) и +сравниваем "до/после" при тех же лимитах. + +Эксперимент: >=3 размера истории (H) x >=3 уровня конкуренции (C). +Метрики: successful RPS, доля ошибок, p50/p95/p99 только успешных +запросов, RSS процесса API (читается через docker stats или /proc). + +Скрипт не меняет API; использует те же публичные клиенты из tests/. +Stdlib only, Python 3.9+. +""" +import json +import math +import statistics +import subprocess +import sys +import threading +import time +import uuid +from concurrent.futures import ThreadPoolExecutor +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client, Failure, arguments, check, run # noqa: E402 + + +# --- профиль эксперимента ------------------------------------------------- +HISTORY_SIZES = [100, 1000, 5000] # >=3 размера истории +CONCURRENCY_LEVELS = [1, 4, 16] # >=3 уровня конкуренции +DURATION_SECONDS = 10 # на каждую точку (H, C) +API_CONTAINER = "mtusi-messenger-lab1" # имя контейнера для docker stats + + +def rss_mb(container: str): + """RSS процесса API в МБ через docker stats --no-stream.""" + try: + out = subprocess.run( + ["docker", "stats", "--no-stream", "--format", "{{.MemUsage}}", container], + capture_output=True, text=True, timeout=10, + ) + if out.returncode != 0: + return None + # Пример: "120.5MiB / 1GiB" + used = out.stdout.strip().split("/")[0].strip() + if used.endswith("MiB"): + return round(float(used[:-3]), 2) + if used.endswith("GiB"): + return round(float(used[:-3]) * 1024, 2) + if used.endswith("KiB"): + return round(float(used[:-3]) / 1024, 2) + except Exception: + return None + return None + + +def seed_history(c, actor, chat, count, workers=16): + """Заполняет историю до count сообщений параллельно.""" + from concurrent.futures import ThreadPoolExecutor + def one(i): + local = Client(c.base, timeout=15) + local.message(actor, chat, "seed-%06d-%s" % (i, uuid.uuid4().hex[:6])) + with ThreadPoolExecutor(max_workers=workers) as pool: + list(pool.map(one, range(count))) + + +def measure_read_point(c, chat, actor, duration, concurrency): + """Закрытый контур: параллельно читаем GET /messages?limit=100.""" + path = "/api/v1/chats/" + chat["id"] + "/messages?limit=100" + barrier = threading.Barrier(concurrency) + latencies, errors = [], 0 + errors_lock = threading.Lock() + + def worker(_): + nonlocal errors + local = Client(c.base, timeout=15) + barrier.wait() + deadline = time.monotonic() + duration + local_lat = [] + while time.monotonic() < deadline: + start = time.monotonic() + try: + local.call("GET", path, actor=actor, schema="MessagePage") + local_lat.append(time.monotonic() - start) + except Failure: + with errors_lock: + errors += 1 + return local_lat + + started = time.monotonic() + with ThreadPoolExecutor(max_workers=concurrency) as pool: + results = list(pool.map(worker, range(concurrency))) + elapsed = time.monotonic() - started + + for chunk in results: + latencies.extend(chunk) + latencies.sort() + + def pct(p): + if not latencies: + return None + return round(1000 * latencies[max(0, math.ceil(p * len(latencies)) - 1)], 3) + + total = len(latencies) + errors + return { + "history_size": None, # заполнит вызывающий + "concurrency": concurrency, + "duration_s": round(elapsed, 3), + "successful": len(latencies), + "errors": errors, + "error_ratio": round(errors / total, 6) if total else None, + "rps": round(len(latencies) / elapsed, 3), + "latency_ms": {"p50": pct(.50), "p95": pct(.95), "p99": pct(.99)}, + } + + +def main(): + args = arguments("Трек 1: предел in-memory архитектуры") + c = Client(args.base_url, args.ca_file) + + alice, bob, eve, chat = c.bootstrap() + path = "/api/v1/chats/" + chat["id"] + "/messages" + + report = {"lab": 1, "track": 1, "profile": { + "history_sizes": HISTORY_SIZES, + "concurrency_levels": CONCURRENCY_LEVELS, + "duration_seconds": DURATION_SECONDS, + "note": "closed-loop; клиент ограничивает throughput; RSS — docker stats", + }, "points": []} + + for h in HISTORY_SIZES: + # Досеиваем историю до h (bootstrap уже создал часть). + # Считаем число сообщений в истории. + # Предыдущая версия: limit=1 - возвращает только одну страницу и далее считает её длину страницы за длину всей истории, + # Текущая версия: limit=100 - делаем полный обход истории по курсору => реальное число сообщений + have = 0 + cursor = None + from urllib.parse import quote + while True: + q = path + "?limit=100" + if cursor: + q += "&cursor=" + quote(cursor, safe="") + page = c.call("GET", q, actor=alice, schema="MessagePage")["json"] + have += len(page["items"]) + cursor = page["next_cursor"] + if cursor is None: + break + if have < h: + seed_history(c, alice, chat, h - have) + + for con in CONCURRENCY_LEVELS: + point = measure_read_point(c, chat, alice, DURATION_SECONDS, con) + point["history_size"] = h + point["rss_mb"] = rss_mb(API_CONTAINER) + report["points"].append(point) + print(json.dumps(point, ensure_ascii=False)) + + out = Path("evidence/lab1_track1_load.json") + out.parent.mkdir(parents=True, exist_ok=True) + out.write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n") + print("PASS: track1 load matrix saved to", out) + + +if __name__ == "__main__": + # Дополнительный CLI: --container для имени Docker-контейнера. + import argparse + p = argparse.ArgumentParser(add_help=False) + p.add_argument("--container", default=API_CONTAINER) + extra, _ = p.parse_known_args() + # Прокидываем в namespace аргументов arguments() через env-подобный трюк. + sys.argv = [a for a in sys.argv if not a.startswith("--container")] + import os + os.environ.setdefault("TRACK1_CONTAINER", extra.container) + + def _bind_container(ns): + ns.container = os.environ.get("TRACK1_CONTAINER", API_CONTAINER) + return ns + + # Патчим arguments, чтобы добавить --container. + import client as _client # noqa: E402 + _orig_arguments = _client.arguments + + def _arguments(description, configure=None): + def cfg(parser): + if configure: + configure(parser) + parser.add_argument("--container", default=API_CONTAINER) + return _orig_arguments(description, cfg) + + _client.arguments = _arguments + run(main) \ No newline at end of file diff --git a/student-tests/test_negative.py b/student-tests/test_negative.py new file mode 100644 index 00000000..2564c3ff --- /dev/null +++ b/student-tests/test_negative.py @@ -0,0 +1,100 @@ +#!/usr/bin/env python3 +"""Негативные сценарии lab1: неверный JSON, чужой чат, пустое сообщение, +дубликат username, обход нескольких страниц. Stdlib only, Python 3.9+.""" +import sys +import urllib.error +import urllib.request +import uuid +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client, Failure, arguments, check, run # noqa: E402 + + +def _raw_call(base_url, method, path, body=None, headers=None): + """Сырой запрос для проверки malformed JSON (client.py всегда сериализует).""" + url = base_url.rstrip("/") + path + data = body if isinstance(body, (bytes, type(None))) else body.encode("utf-8") + req = urllib.request.Request(url, data=data, headers=headers or {}, method=method) + try: + with urllib.request.urlopen(req, timeout=10) as resp: + return resp.status, resp.read() + except urllib.error.HTTPError as e: + return e.code, e.read() + + +def main(): + args = arguments("Lab1 negative scenarios") + c = Client(args.base_url, args.ca_file) + alice, bob, eve, chat = c.bootstrap() + path = "/api/v1/chats/" + chat["id"] + + # 1. Дубликат username -> 409 + c.call("POST", "/api/v1/users", 409, body=alice["registration"]) + + # 2. Неверный JSON (malformed) -> 400 + status, _ = _raw_call( + c.base, + "POST", + "/api/v1/users", + body=b"{not json at all", + headers={"Content-Type": "application/json"}, + ) + check(status == 400, "malformed JSON must be 400, got %s" % status) + + # 3. Лишние поля -> 400 + c.call( + "POST", + "/api/v1/users", + 400, + body={"username": "extra_user_x", "display_name": "X", "unexpected": True}, + ) + + # 4. Неверный тип -> 400 + c.call("POST", "/api/v1/users", 400, body={"username": 123, "display_name": "X"}) + + # 5. Пустое / пробельное сообщение -> 400 + c.call("POST", path + "/messages", 400, actor=alice, body={"text": ""}) + c.call("POST", path + "/messages", 400, actor=alice, body={"text": " "}) + + # 6. Чужой чат -> 404 (не 403) + c.call("GET", path, 404, actor=eve) + c.call("GET", path + "/messages", 404, actor=eve) + c.call("POST", path + "/messages", 404, actor=eve, body={"text": "чужое"}) + + # 7. Пагинация: обход нескольких страниц без потерь и дублей + texts = ["p-%02d" % i for i in range(7)] + for t in texts: + c.message(alice, chat, t) + collected = [] + cursor = None + seen_cursors = set() + for _ in range(20): # предохранитель от бесконечного цикла + q = path + "/messages?limit=2" + if cursor: + from urllib.parse import quote + q += "&cursor=" + quote(cursor, safe="") + page = c.call("GET", q, actor=bob, schema="MessagePage")["json"] + collected.extend(m["text"] for m in page["items"]) + cursor = page["next_cursor"] + if cursor is None: + break + check(cursor not in seen_cursors, "cursor loop detected") + seen_cursors.add(cursor) + check(len(collected) == len(texts), "pagination lost messages: %d != %d" % (len(collected), len(texts))) + check(len(set(collected)) == len(collected), "pagination duplicated messages") + check(collected == texts, "pagination order/contents mismatch") + + # 8. Некорректный limit -> 400 + c.call("GET", path + "/messages?limit=0", 400, actor=alice) + c.call("GET", path + "/messages?limit=101", 400, actor=alice) + + # 9. Неизвестный X-User-Id -> 401 + c.call("GET", "/api/v1/users/me", 401, headers={"X-User-Id": str(uuid.uuid4())}) + + print("PASS: lab1 negative scenarios (dup, malformed JSON, extra fields, " + "wrong type, empty text, foreign chat, pagination, bad limit, unknown user)") + + +if __name__ == "__main__": + run(main) \ No newline at end of file -- 2.54.0 From 78887d14eb0064de2b1cc2746d3664bd8f85486f Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 19:55:36 +0300 Subject: [PATCH 02/53] =?UTF-8?q?+=20=D0=9E=D0=BF=D0=B8=D1=81=D0=B0=D0=BB?= =?UTF-8?q?=D0=B0=20=D1=88=D0=B0=D0=B1=D0=BB=D0=BE=D0=BD=20=D0=BE=D1=82?= =?UTF-8?q?=D1=87=D0=B5=D1=82=D0=B0=20REPORT.md.=20=D0=9F=D0=B5=D1=80?= =?UTF-8?q?=D0=B5=D0=BD=D0=B5=D1=81=D0=BB=D0=B0=20=D0=B1=D0=B0=D0=B7=D0=BE?= =?UTF-8?q?=D0=B2=D1=83=D1=8E=20=D0=B8=D0=BD=D1=84=D0=BE=D1=80=D0=BC=D0=B0?= =?UTF-8?q?=D1=86=D0=B8=D1=8E=20=D0=B8=D0=B7=20=D0=BE=D1=82=D1=87=D0=B5?= =?UTF-8?q?=D1=82=D0=B0=20=D0=BB=D0=B0=D0=B1=201?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 103 +++++++++++++++++++++++++++++++++++++++++++++++++----- 1 file changed, 94 insertions(+), 9 deletions(-) diff --git a/REPORT.md b/REPORT.md index e42f2b05..da6f9e00 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,23 +1,108 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Васюкова Наталья, БВТ2303 +- Целевая оценка: 5 +- Commit/PR: solution/BVT2303-Vasyukova +- Использованные источники, библиотеки и помощь ИИ: + - Контракт: contracts/openapi.json, contracts/README.md + - Инструкции: README.md, COURSE.md, CONTRIBUTING.md + - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, pydantic (из fastapi) + - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Версии runtime/образов и Prerequisites (предварительные требования): +- Python: 3.12 (базовый образ python:3.12-slim) +- FastAPI 0.115.0, uvicorn[standard] 0.32.0 +- Docker Desktop (Windows), образ mtusi-messenger:lab1 +- Git + +Шаги: +1. git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab1.git && cd mtusi2026lab1 +2. git checkout solution/BVT2303-Vasyukova +3. Создать локального secrets из шаблона: + copy .env.example .env + (значения по умолчанию: APP_HOST=0.0.0.0, APP_PORT=8080, APP_ENV=lab) +4. Сборка образа: + docker build -t mtusi-messenger:lab1 . +5. Запуск: + docker run --rm --name mtusi-messenger-lab1 -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1 +6. Проверка готовности: + curl.exe -s http://localhost:8080/health/ready + Ожидается: {"status":"ok"} +7. Публичный smoke (в другом терминале): + python tests/smoke.py --base-url http://localhost:8080 +8. Собственные тесты уровня 4 (в другом терминале): + python student-tests/run_all.py --base-url http://localhost:8080 +9. Остановка и удаление учебных данных: + Ctrl+C в терминале контейнера + Или: + docker stop mtusi-messenger-lab1 + Данные исчезают при остановке контейнера (флаг --rm - удалить сам контейнер). + +Альтернативный локальный запуск без Docker: + python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Актуальная архитектура на момент лаб 1: + +Схема процессов/хранилищ: + HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → in-memory storage (dict + RLock) + +Источник истины: +Память процесса. +Persistence - сохранение данных при перезапуске процесса - отсутствует. +Транзакционные границы: операции над storage выполняются под RLock +атомарно. + +Ограничения: +Одно-процессное хранение, нет репликации, нет HA. + +Дерево папок: +``` +mtusi2026lab1/ +├── src/app/ # исходники приложения +│ ├── main.py # точка входа uvicorn, создание FastAPI, подключение роутеров, middleware для X-Request-Id, структурное логирование, обработчик SIGTERM, обработчики ошибок +│ ├── api/ # HTTP-роутеры (по ресурсам) +│ │ ├── health.py +│ │ ├── users.py +│ │ ├── chats.py +│ │ └── messages.py +│ ├── models/ +│ │ └── schemas.py # Pydantic-схемы +│ └── storage/ +│ └── memory.py # in-memory хранилище (RLock) +├── contracts/ # OpenAPI + семантика (без изменений) +├── tests/ # публичные проверки (без изменений) +├── scripts/ # check_contract.py, validate_openapi.py (без изменений) +├── student-tests/ # собственные тесты уровня 4 +│ ├── run_all.py # единая команда запуска +│ ├── test_negative.py # негативные сценарии +│ └── test_concurrency.py # защита от гонок (100 сообщений / 10 клиентов) +├── Dockerfile # сборка образа +├── Makefile # + test-student +├── README.md, ... # скелет (без изменений) +└── REPORT.md # отчет +``` + +Примечание: + +Соответствие .env.example реальной конфигурации: +- APP_HOST, APP_PORT — используется uvicorn/CMD в Dockerfile. +- APP_ENV — используется в стартовом логе (event=startup app_env=...), в остальном в lab1 не влияет на логику. + +TODO дял лаб 2: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. +Что перенесено из lab1, что изменено в этой работе. +Соответствие переменных из .env.example реальной конфигурации. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | +| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | Уровень | +| --- | --- | --- | --- | --- | +| OpenAPI 3.1 и JSON Schema | python scripts/validate_openapi.py | PASS: full OpenAPI 3.1 and JSON Schema validation | evidence/lab1_checks.txt | **3** | +| Публичный smoke (endpoint lab1, форматы ошибок, членство, пагинация) | python tests/smoke.py --base-url http://localhost:8080 | PASS: lab1 public API scenario | evidence/lab1_checks.txt | **3** | +| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | docker build -t mtusi-messenger:lab1 . ; docker run ... | образ собран, /health/ready = {"status":"ok"} | evidence/lab1_checks.txt | **3** | | Остальные пункты уровня 3 | TODO | TODO | TODO | | Все пункты уровня 4, если заявлен | TODO | TODO | TODO | | Выбранный трек 5, если заявлен | TODO | TODO | TODO | -- 2.54.0 From 67caf49b555187917ced2ef291592a4916c7eed0 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 19:57:45 +0300 Subject: [PATCH 03/53] =?UTF-8?q?*=20=D0=B2=D0=BD=D0=B5=D1=81=D0=BB=D0=B0?= =?UTF-8?q?=20=D0=B2=D1=81=D0=B5=20=D0=BE=D1=82=D1=87=D0=B5=D1=82=D1=8B=20?= =?UTF-8?q?evidence=20=D0=B2=20=D0=BF=D0=BE=D0=B4=D0=BF=D0=B0=D0=BF=D0=BA?= =?UTF-8?q?=D1=83=20lab1?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- evidence/{ => lab1}/lab1_checks.txt | 0 evidence/{ => lab1}/lab1_level4.txt | 0 evidence/{ => lab1}/lab1_lifecycle.txt | 0 evidence/{ => lab1}/lab1_track1_load_after.json | 0 evidence/{ => lab1}/lab1_track1_load_before.json | 0 evidence/{ => lab1}/lab1_track1_summary.md | 0 6 files changed, 0 insertions(+), 0 deletions(-) rename evidence/{ => lab1}/lab1_checks.txt (100%) rename evidence/{ => lab1}/lab1_level4.txt (100%) rename evidence/{ => lab1}/lab1_lifecycle.txt (100%) rename evidence/{ => lab1}/lab1_track1_load_after.json (100%) rename evidence/{ => lab1}/lab1_track1_load_before.json (100%) rename evidence/{ => lab1}/lab1_track1_summary.md (100%) diff --git a/evidence/lab1_checks.txt b/evidence/lab1/lab1_checks.txt similarity index 100% rename from evidence/lab1_checks.txt rename to evidence/lab1/lab1_checks.txt diff --git a/evidence/lab1_level4.txt b/evidence/lab1/lab1_level4.txt similarity index 100% rename from evidence/lab1_level4.txt rename to evidence/lab1/lab1_level4.txt diff --git a/evidence/lab1_lifecycle.txt b/evidence/lab1/lab1_lifecycle.txt similarity index 100% rename from evidence/lab1_lifecycle.txt rename to evidence/lab1/lab1_lifecycle.txt diff --git a/evidence/lab1_track1_load_after.json b/evidence/lab1/lab1_track1_load_after.json similarity index 100% rename from evidence/lab1_track1_load_after.json rename to evidence/lab1/lab1_track1_load_after.json diff --git a/evidence/lab1_track1_load_before.json b/evidence/lab1/lab1_track1_load_before.json similarity index 100% rename from evidence/lab1_track1_load_before.json rename to evidence/lab1/lab1_track1_load_before.json diff --git a/evidence/lab1_track1_summary.md b/evidence/lab1/lab1_track1_summary.md similarity index 100% rename from evidence/lab1_track1_summary.md rename to evidence/lab1/lab1_track1_summary.md -- 2.54.0 From 8e3a0e22f4007a6644c7dda216722f6e1bcc108f Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 20:19:44 +0300 Subject: [PATCH 04/53] =?UTF-8?q?+=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B0=D0=B2=D1=82=D0=BE=D1=80=D0=B8=D0=B7=D0=B0?= =?UTF-8?q?=D1=86=D0=B8=D1=8E=20=D1=87=D0=B5=D1=80=D0=B5=D0=B7=20Bearer?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/api/auth.py | 77 +++++++++++++++++++++++++++++++++++ src/app/api/chats.py | 26 +++++------- src/app/api/messages.py | 25 ++++-------- src/app/api/security.py | 25 +++++++++++- src/app/api/users.py | 23 ++--------- src/app/main.py | 19 ++++----- src/app/models/schemas.py | 9 +++++ src/app/storage/memory.py | 85 +++++++++++++++++++++++++++++++++++++-- 8 files changed, 222 insertions(+), 67 deletions(-) create mode 100644 src/app/api/auth.py diff --git a/src/app/api/auth.py b/src/app/api/auth.py new file mode 100644 index 00000000..907ffe44 --- /dev/null +++ b/src/app/api/auth.py @@ -0,0 +1,77 @@ +import base64 +import binascii +import os + +from fastapi import APIRouter, Depends, HTTPException, Request +from fastapi.security import HTTPBasic, HTTPBasicCredentials + +from ..models.schemas import Session +from ..storage.memory import storage + + +router = APIRouter(prefix="/api/v1/auth", tags=["auth"]) + +basic_scheme = HTTPBasic(auto_error=False) + +DEFAULT_TTL_SECONDS = 3600 + + +def _ttl_seconds() -> int: + try: + return int(os.environ.get("SESSION_TTL_SECONDS", DEFAULT_TTL_SECONDS)) + except ValueError: + return DEFAULT_TTL_SECONDS + + +def _parse_basic(credentials: HTTPBasicCredentials | None) -> tuple[str, str] | None: + """HTTPBasic уже разобрал заголовок; сюда попадают username/password. + + Дополнительно валидируем кодировку: username — ASCII, пароль — UTF-8. + """ + if credentials is None: + return None + username = credentials.username + password = credentials.password + if not username or not password: + return None + try: + username.encode("ascii") + except UnicodeEncodeError: + return None + return username, password + + +@router.post( + path="/sessions", + summary="Вход: Basic username:password; выдаёт сессию", + response_model=Session, + status_code=201, +) +def create_session( + credentials: HTTPBasicCredentials | None = Depends(basic_scheme), +) -> Session: + parsed = _parse_basic(credentials) + if parsed is None: + raise HTTPException(status_code=401, detail="unauthorized") + username, password = parsed + user = storage.verify_credentials(username, password) + if user is None: + raise HTTPException(status_code=401, detail="unauthorized") + token, expires_at = storage.create_session(user.id, _ttl_seconds()) + return Session(token=token, token_type="Bearer", expires_at=expires_at, user=user) + + +@router.delete( + path="/sessions/current", + summary="Отозвать текущую сессию", + status_code=204, +) +def revoke_session(request: Request) -> None: + auth = request.headers.get("Authorization", "") + if not auth.lower().startswith("bearer "): + raise HTTPException(status_code=401, detail="unauthorized") + token = auth[7:].strip() + if not token or storage.get_session_user(token) is None: + raise HTTPException(status_code=401, detail="unauthorized") + storage.revoke_session(token) + return None \ No newline at end of file diff --git a/src/app/api/chats.py b/src/app/api/chats.py index bdb123a4..d1d92660 100644 --- a/src/app/api/chats.py +++ b/src/app/api/chats.py @@ -1,24 +1,15 @@ import base64 import json from uuid import UUID -from fastapi import APIRouter, Depends, HTTPException, Query, Security -from ..models.schemas import Chat, ChatPage, CreateChat +from fastapi import APIRouter, Depends, HTTPException, Query +from ..models.schemas import Chat, ChatPage, CreateChat, User from ..storage.memory import storage -from .security import dev_user +from .security import current_user router = APIRouter(prefix="/api/v1/chats", tags=["chats"]) -def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: - if not x_user_id: - raise HTTPException(status_code=401, detail="unauthorized") - try: - return UUID(x_user_id) - except ValueError: - raise HTTPException(status_code=401, detail="unauthorized") - - def _encode_cursor(user_id: UUID, chat: Chat) -> str: """Простой курсор: user_id + id + created_at, base64.""" data = {"user_id": str(user_id), "id": str(chat.id), "created_at": chat.created_at.isoformat()} @@ -43,10 +34,10 @@ def _decode_cursor(user_id: UUID, cursor: str) -> tuple: ) def create_chat( payload: CreateChat, - user_id: UUID = Depends(_current_user_id), + user: User = Depends(current_user), ) -> Chat: """Вызывающий должен входить в member_ids""" - + user_id = user.id if user_id not in payload.member_ids: raise HTTPException(status_code=400, detail="invalid_request") if len(set(payload.member_ids)) != len(payload.member_ids): @@ -63,10 +54,11 @@ def create_chat( response_model=ChatPage, ) def list_chats( - user_id: UUID = Depends(_current_user_id), + user: User = Depends(current_user), limit: int = Query(50, ge=1, le=100), cursor: str | None = None, ) -> ChatPage: + user_id = user.id chats = storage.list_chats_for_user(user_id) if cursor: cid, ccreated = _decode_cursor(user_id, cursor) @@ -83,9 +75,9 @@ def list_chats( ) def get_chat( chat_id: UUID, - user_id: UUID = Depends(_current_user_id), + user: User = Depends(current_user), ) -> Chat: chat = storage.get_chat(chat_id) - if chat is None or user_id not in chat.member_ids: + if chat is None or user.id not in chat.member_ids: raise HTTPException(status_code=404, detail="not_found") return chat \ No newline at end of file diff --git a/src/app/api/messages.py b/src/app/api/messages.py index 2e2b701f..0c405e6b 100644 --- a/src/app/api/messages.py +++ b/src/app/api/messages.py @@ -1,24 +1,15 @@ import base64 import json from uuid import UUID -from fastapi import APIRouter, Depends, HTTPException, Query, Security -from ..models.schemas import CreateMessage, Message, MessagePage +from fastapi import APIRouter, Depends, HTTPException, Query +from ..models.schemas import CreateMessage, Message, MessagePage, User from ..storage.memory import storage -from .security import dev_user +from .security import current_user router = APIRouter(prefix="/api/v1/chats", tags=["messages"]) -def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: - if not x_user_id: - raise HTTPException(status_code=401, detail="unauthorized") - try: - return UUID(x_user_id) - except ValueError: - raise HTTPException(status_code=401, detail="unauthorized") - - def _require_member(chat_id: UUID, user_id: UUID): chat = storage.get_chat(chat_id) if chat is None or user_id not in chat.member_ids: @@ -50,12 +41,12 @@ def _decode_cursor(chat_id: UUID, cursor: str) -> tuple: def create_message( chat_id: UUID, payload: CreateMessage, - user_id: UUID = Depends(_current_user_id), + user: User = Depends(current_user), ) -> Message: - _require_member(chat_id, user_id) + _require_member(chat_id, user.id) if not payload.text.strip(): raise HTTPException(status_code=400, detail="invalid_request") - return storage.add_message(chat_id, user_id, payload.text) + return storage.add_message(chat_id, user.id, payload.text) @router.get( @@ -65,13 +56,13 @@ def create_message( ) def list_messages( chat_id: UUID, - user_id: UUID = Depends(_current_user_id), + user: User = Depends(current_user), limit: int = Query(50, ge=1, le=100), cursor: str | None = None, ) -> MessagePage: """Реализована курсорная пагинация""" - _require_member(chat_id, user_id) + _require_member(chat_id, user.id) messages = storage.list_messages(chat_id) if cursor: mid, mcreated = _decode_cursor(chat_id, cursor) diff --git a/src/app/api/security.py b/src/app/api/security.py index c06469d7..d20025a3 100644 --- a/src/app/api/security.py +++ b/src/app/api/security.py @@ -1,3 +1,24 @@ -from fastapi.security import APIKeyHeader +from uuid import UUID -dev_user = APIKeyHeader(name="X-User-Id", auto_error=False, scheme_name="devUser") \ No newline at end of file +from fastapi import HTTPException, Security +from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer + +from ..models.schemas import User +from ..storage.memory import storage + +bearer_scheme = HTTPBearer(auto_error=False, scheme_name="bearerAuth") + + +def current_user( + credentials: HTTPAuthorizationCredentials | None = Security(bearer_scheme), +) -> User: + """Достаёт Bearer-токен и возвращает владельца сессии. + + Basic на бизнес-endpoint не принимается, X-User-Id игнорируется. + """ + if credentials is None or credentials.scheme.lower() != "bearer": + raise HTTPException(status_code=401, detail="unauthorized") + user = storage.get_session_user(credentials.credentials) + if user is None: + raise HTTPException(status_code=401, detail="unauthorized") + return user \ No newline at end of file diff --git a/src/app/api/users.py b/src/app/api/users.py index 420e24a3..727cc080 100644 --- a/src/app/api/users.py +++ b/src/app/api/users.py @@ -1,23 +1,11 @@ -from uuid import UUID from fastapi import APIRouter, Depends, HTTPException from ..models.schemas import CreateUser, User from ..storage.memory import storage -from .security import dev_user -from fastapi import Security +from .security import current_user router = APIRouter(prefix="/api/v1", tags=["users"]) -def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: - """Достаёт X-User-Id из заголовков и валидирует.""" - if not x_user_id: - raise HTTPException(status_code=401, detail="unauthorized") - try: - return UUID(x_user_id) - except ValueError: - raise HTTPException(status_code=401, detail="unauthorized") - - @router.post( path="/users", summary="Создать пользователя", @@ -27,7 +15,7 @@ def _current_user_id(x_user_id: str | None = Security(dev_user)) -> UUID: def register_user(payload: CreateUser) -> User: """Публичная регистрация.""" try: - return storage.create_user(payload.username, payload.display_name) + return storage.create_user(payload.username, payload.display_name, payload.password) except ValueError: raise HTTPException(status_code=409, detail="conflict") @@ -37,9 +25,6 @@ def register_user(payload: CreateUser) -> User: summary="Получить текущего пользователя", response_model=User, ) -def current_user(user_id: UUID = Depends(_current_user_id)) -> User: - """Текущий пользователь по X-User-Id.""" - user = storage.get_user(user_id) - if user is None: - raise HTTPException(status_code=401, detail="unauthorized") +def current_user_me(user: User = Depends(current_user)) -> User: + """Текущий пользователь по Bearer-сессии.""" return user \ No newline at end of file diff --git a/src/app/main.py b/src/app/main.py index 6ff4d9c6..d8981b70 100644 --- a/src/app/main.py +++ b/src/app/main.py @@ -11,7 +11,7 @@ from fastapi.openapi.utils import get_openapi from fastapi.responses import JSONResponse from starlette.exceptions import HTTPException as StarletteHTTPException import uvicorn -from .api import chats, health, messages, users +from .api import auth, chats, health, messages, users # --- Логирование: структурированный stdout, без содержимого сообщений --- @@ -31,8 +31,8 @@ async def lifespan(app: FastAPI): app = FastAPI( - title="MTUCI Messenger — lab1", - version="1.2.2", + title="MTUCI Messenger — lab2", + version="1.2.0", lifespan=lifespan, swagger_ui_parameters={"persistAuthorization": True}, ) @@ -42,12 +42,6 @@ def custom_openapi(): if app.openapi_schema: return app.openapi_schema schema = get_openapi(title=app.title, version=app.version, routes=app.routes) - schema.setdefault("components", {}).setdefault("securitySchemes", {})["devUser"] = { - "type": "apiKey", - "in": "header", - "name": "X-User-Id", - "description": "Только учебная lab1: существующий UUID. Не является аутентификацией.", - } app.openapi_schema = schema return schema @@ -93,9 +87,15 @@ _ERROR_CODES = { def _error_response(status_code: int, message: str, request_id: str) -> JSONResponse: code = _ERROR_CODES.get(status_code, "internal_error") + headers = {} + if status_code == 401: + # Basic — только для /auth/sessions; для остальных endpoint — Bearer. + # Клиент получает корректный challenge. + headers["WWW-Authenticate"] = 'Bearer realm="messenger"' return JSONResponse( status_code=status_code, content={"error": {"code": code, "message": message, "request_id": request_id}}, + headers=headers, ) @@ -121,6 +121,7 @@ async def unhandled_exception_handler(request: Request, exc: Exception): app.include_router(health.router) +app.include_router(auth.router) app.include_router(users.router) app.include_router(chats.router) app.include_router(messages.router) diff --git a/src/app/models/schemas.py b/src/app/models/schemas.py index 48a7476c..c2cc20bc 100644 --- a/src/app/models/schemas.py +++ b/src/app/models/schemas.py @@ -14,6 +14,7 @@ class CreateUser(BaseModel): model_config = ConfigDict(extra="forbid") username: str = Field(pattern=r"^[a-z0-9_]{3,32}$") display_name: str = Field(min_length=1, max_length=100) + password: str = Field(min_length=12, max_length=128) class User(BaseModel): @@ -64,6 +65,14 @@ class MessagePage(BaseModel): next_cursor: Optional[str] = None +class Session(BaseModel): + model_config = ConfigDict(extra="forbid") + token: str + token_type: str = "Bearer" + expires_at: datetime + user: User + + class ErrorBody(BaseModel): code: str message: str diff --git a/src/app/storage/memory.py b/src/app/storage/memory.py index dabfbdbb..76a468b5 100644 --- a/src/app/storage/memory.py +++ b/src/app/storage/memory.py @@ -1,5 +1,8 @@ +import hashlib +import hmac +import secrets import threading -from datetime import datetime, timezone +from datetime import datetime, timedelta, timezone from typing import Dict, List, Optional from uuid import UUID, uuid4 @@ -11,18 +14,60 @@ def now_utc() -> datetime: return datetime.now(timezone.utc) +# --- Password KDF (stdlib scrypt) --- +_SCRYPT_N = 2 ** 14 +_SCRYPT_R = 8 +_SCRYPT_P = 1 +_SCRYPT_DKLEN = 32 + + +def _hash_password(password: str) -> str: + salt = secrets.token_bytes(16) + dk = hashlib.scrypt( + password.encode("utf-8"), + salt=salt, + n=_SCRYPT_N, + r=_SCRYPT_R, + p=_SCRYPT_P, + dklen=_SCRYPT_DKLEN, + ) + return "scrypt$%d$%d$%d$%s$%s" % ( + _SCRYPT_N, _SCRYPT_R, _SCRYPT_P, + salt.hex(), dk.hex(), + ) + + +def _verify_password(password: str, stored: str) -> bool: + try: + scheme, n, r, p, salt_hex, dk_hex = stored.split("$") + if scheme != "scrypt": + return False + dk = hashlib.scrypt( + password.encode("utf-8"), + salt=bytes.fromhex(salt_hex), + n=int(n), r=int(r), p=int(p), + dklen=len(bytes.fromhex(dk_hex)), + ) + return hmac.compare_digest(dk.hex(), dk_hex) + except Exception: + return False + + class MemoryStorage: - """Потокобезопасное In-memory хранилище пользователей, чатов и сообщений. Все данные исчезают при перезапуске процесса""" + """Потокобезопасное In-memory хранилище пользователей, чатов, сообщений и сессий. Все данные исчезают при перезапуске процесса""" def __init__(self) -> None: self._lock = threading.RLock() self._users: Dict[UUID, User] = {} self._usernames: Dict[str, UUID] = {} + self._passwords: Dict[UUID, str] = {} self._chats: Dict[UUID, Chat] = {} self._messages: Dict[UUID, List[Message]] = {} + # token -> (user_id, expires_at) + self._sessions: Dict[str, tuple] = {} # ---------- Пользователи ---------- - def create_user(self, username: str, display_name: str) -> User: + def create_user(self, username: str, display_name: str, password: str) -> User: with self._lock: if username in self._usernames: raise ValueError("username_taken") @@ -34,6 +79,7 @@ class MemoryStorage: ) self._users[user.id] = user self._usernames[username] = user.id + self._passwords[user.id] = _hash_password(password) return user def get_user(self, user_id: UUID) -> Optional[User]: @@ -45,6 +91,39 @@ class MemoryStorage: uid = self._usernames.get(username) return self._users.get(uid) if uid else None + def verify_credentials(self, username: str, password: str) -> Optional[User]: + with self._lock: + uid = self._usernames.get(username) + if uid is None: + return None + stored = self._passwords.get(uid) + if not stored or not _verify_password(password, stored): + return None + return self._users.get(uid) + + # ---------- Сессии ---------- + def create_session(self, user_id: UUID, ttl_seconds: int) -> tuple: + with self._lock: + token = secrets.token_urlsafe(32) + expires_at = now_utc() + timedelta(seconds=ttl_seconds) + self._sessions[token] = (user_id, expires_at) + return token, expires_at + + def get_session_user(self, token: str) -> Optional[User]: + with self._lock: + entry = self._sessions.get(token) + if entry is None: + return None + user_id, expires_at = entry + if expires_at <= now_utc(): + self._sessions.pop(token, None) + return None + return self._users.get(user_id) + + def revoke_session(self, token: str) -> None: + with self._lock: + self._sessions.pop(token, None) + # ---------- Чаты ---------- def create_chat(self, title: str, member_ids: List[UUID]) -> Chat: with self._lock: -- 2.54.0 From 19d3767ef3e19c94308634092b95a16e0e21d9cb Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 22:38:32 +0300 Subject: [PATCH 05/53] =?UTF-8?q?+=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=91=D0=94=20=D0=BF=D0=BE=D1=81=D1=82=D0=B3?= =?UTF-8?q?=D1=80=D0=B5=D1=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 2 +- requirements.txt | 1 + src/app/api/auth.py | 2 +- src/app/api/chats.py | 2 +- src/app/api/messages.py | 2 +- src/app/api/security.py | 2 +- src/app/api/users.py | 2 +- src/app/main.py | 2 + src/app/storage/db.py | 69 ++++++++++ src/app/storage/postgres.py | 249 ++++++++++++++++++++++++++++++++++++ 10 files changed, 327 insertions(+), 6 deletions(-) create mode 100644 src/app/storage/db.py create mode 100644 src/app/storage/postgres.py diff --git a/.env.example b/.env.example index 714c8076..daa1b84e 100644 --- a/.env.example +++ b/.env.example @@ -5,7 +5,7 @@ APP_PORT=8080 APP_ENV=lab SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url +DATABASE_URL_FILE=postgresql://user:password@localhost:5432/high_load_messenger # Optional on 3, required use on 4 in lab2; Redis OR Valkey: SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url diff --git a/requirements.txt b/requirements.txt index e17eb12c..3c3be538 100644 --- a/requirements.txt +++ b/requirements.txt @@ -1,3 +1,4 @@ fastapi==0.115.0 uvicorn[standard]==0.32.0 +psycopg[binary]==3.2.3 openapi-spec-validator==0.7.2 \ No newline at end of file diff --git a/src/app/api/auth.py b/src/app/api/auth.py index 907ffe44..9c29e100 100644 --- a/src/app/api/auth.py +++ b/src/app/api/auth.py @@ -6,7 +6,7 @@ from fastapi import APIRouter, Depends, HTTPException, Request from fastapi.security import HTTPBasic, HTTPBasicCredentials from ..models.schemas import Session -from ..storage.memory import storage +from ..storage.postgres import storage router = APIRouter(prefix="/api/v1/auth", tags=["auth"]) diff --git a/src/app/api/chats.py b/src/app/api/chats.py index d1d92660..46132ed0 100644 --- a/src/app/api/chats.py +++ b/src/app/api/chats.py @@ -3,7 +3,7 @@ import json from uuid import UUID from fastapi import APIRouter, Depends, HTTPException, Query from ..models.schemas import Chat, ChatPage, CreateChat, User -from ..storage.memory import storage +from ..storage.postgres import storage from .security import current_user diff --git a/src/app/api/messages.py b/src/app/api/messages.py index 0c405e6b..2449112c 100644 --- a/src/app/api/messages.py +++ b/src/app/api/messages.py @@ -3,7 +3,7 @@ import json from uuid import UUID from fastapi import APIRouter, Depends, HTTPException, Query from ..models.schemas import CreateMessage, Message, MessagePage, User -from ..storage.memory import storage +from ..storage.postgres import storage from .security import current_user diff --git a/src/app/api/security.py b/src/app/api/security.py index d20025a3..fc09938f 100644 --- a/src/app/api/security.py +++ b/src/app/api/security.py @@ -4,7 +4,7 @@ from fastapi import HTTPException, Security from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer from ..models.schemas import User -from ..storage.memory import storage +from ..storage.postgres import storage bearer_scheme = HTTPBearer(auto_error=False, scheme_name="bearerAuth") diff --git a/src/app/api/users.py b/src/app/api/users.py index 727cc080..b821024f 100644 --- a/src/app/api/users.py +++ b/src/app/api/users.py @@ -1,6 +1,6 @@ from fastapi import APIRouter, Depends, HTTPException from ..models.schemas import CreateUser, User -from ..storage.memory import storage +from ..storage.postgres import storage from .security import current_user router = APIRouter(prefix="/api/v1", tags=["users"]) diff --git a/src/app/main.py b/src/app/main.py index d8981b70..1dc82ec0 100644 --- a/src/app/main.py +++ b/src/app/main.py @@ -12,6 +12,7 @@ from fastapi.responses import JSONResponse from starlette.exceptions import HTTPException as StarletteHTTPException import uvicorn from .api import auth, chats, health, messages, users +from .storage.db import init_schema # --- Логирование: структурированный stdout, без содержимого сообщений --- @@ -25,6 +26,7 @@ logger = logging.getLogger("app") @asynccontextmanager async def lifespan(app: FastAPI): + init_schema() logger.info("event=startup app_env=%s", os.environ.get("APP_ENV", "lab")) yield logger.info("event=shutdown_complete") diff --git a/src/app/storage/db.py b/src/app/storage/db.py new file mode 100644 index 00000000..40be8902 --- /dev/null +++ b/src/app/storage/db.py @@ -0,0 +1,69 @@ +import os +from contextlib import contextmanager +from typing import Iterator + +import psycopg + + +def _dsn() -> str: + dsn = os.environ.get("DATABASE_URL") + if not dsn: + raise RuntimeError("DATABASE_URL is not set") + return dsn + + +@contextmanager +def connection() -> Iterator[psycopg.Connection]: + """Одно соединение на запрос; autocommit=False для явных транзакций.""" + conn = psycopg.connect(_dsn()) + try: + yield conn + finally: + conn.close() + + +SCHEMA_SQL = """ +CREATE TABLE IF NOT EXISTS users ( + id UUID PRIMARY KEY, + username TEXT NOT NULL UNIQUE, + display_name TEXT NOT NULL, + password_hash TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL +); + +CREATE TABLE IF NOT EXISTS chats ( + id UUID PRIMARY KEY, + title TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL +); + +CREATE TABLE IF NOT EXISTS chat_members ( + chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, + PRIMARY KEY (chat_id, user_id) +); + +CREATE TABLE IF NOT EXISTS messages ( + id UUID PRIMARY KEY, + chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + sender_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, + text TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL +); +CREATE INDEX IF NOT EXISTS idx_messages_chat_created + ON messages (chat_id, created_at, id); + +CREATE TABLE IF NOT EXISTS sessions ( + token TEXT PRIMARY KEY, + user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, + expires_at TIMESTAMPTZ NOT NULL +); +""" + + +def init_schema() -> None: + """Идемпотентная миграция: запускается на старте приложения.""" + with connection() as conn: + with conn.cursor() as cur: + cur.execute(SCHEMA_SQL) + conn.commit() \ No newline at end of file diff --git a/src/app/storage/postgres.py b/src/app/storage/postgres.py new file mode 100644 index 00000000..8f6f4a4d --- /dev/null +++ b/src/app/storage/postgres.py @@ -0,0 +1,249 @@ +import hashlib +import hmac +import secrets +import threading +from datetime import datetime, timedelta, timezone +from typing import List, Optional +from uuid import UUID, uuid4 + +from ..models.schemas import Chat, Message, User +from .db import connection + + +def now_utc() -> datetime: + return datetime.now(timezone.utc) + + +# --- Password KDF (stdlib scrypt) --- +_SCRYPT_N = 2 ** 14 +_SCRYPT_R = 8 +_SCRYPT_P = 1 +_SCRYPT_DKLEN = 32 + + +def _hash_password(password: str) -> str: + salt = secrets.token_bytes(16) + dk = hashlib.scrypt( + password.encode("utf-8"), + salt=salt, + n=_SCRYPT_N, r=_SCRYPT_R, p=_SCRYPT_P, dklen=_SCRYPT_DKLEN, + ) + return "scrypt$%d$%d$%d$%s$%s" % ( + _SCRYPT_N, _SCRYPT_R, _SCRYPT_P, salt.hex(), dk.hex(), + ) + + +def _verify_password(password: str, stored: str) -> bool: + try: + scheme, n, r, p, salt_hex, dk_hex = stored.split("$") + if scheme != "scrypt": + return False + dk = hashlib.scrypt( + password.encode("utf-8"), + salt=bytes.fromhex(salt_hex), + n=int(n), r=int(r), p=int(p), + dklen=len(bytes.fromhex(dk_hex)), + ) + return hmac.compare_digest(dk.hex(), dk_hex) + except Exception: + return False + + +def _row_to_user(row) -> User: + return User(id=row[0], username=row[1], display_name=row[2], created_at=row[3]) + + +def _row_to_chat(row, member_ids: List[UUID]) -> Chat: + return Chat(id=row[0], title=row[1], member_ids=member_ids, created_at=row[2]) + + +def _row_to_message(row) -> Message: + return Message( + id=row[0], chat_id=row[1], sender_id=row[2], + text=row[3], created_at=row[4], + ) + + +class PostgresStorage: + """Потокобезопасная обёртка; параллелизм обеспечивает PostgreSQL.""" + + def __init__(self) -> None: + self._lock = threading.RLock() + + # ---------- Пользователи ---------- + def create_user(self, username: str, display_name: str, password: str) -> User: + with self._lock, connection() as conn: + with conn.cursor() as cur: + cur.execute("SELECT 1 FROM users WHERE username = %s", (username,)) + if cur.fetchone() is not None: + raise ValueError("username_taken") + user = User( + id=uuid4(), username=username, + display_name=display_name, created_at=now_utc(), + ) + cur.execute( + "INSERT INTO users (id, username, display_name, password_hash, created_at)" + " VALUES (%s, %s, %s, %s, %s)", + (user.id, user.username, user.display_name, + _hash_password(password), user.created_at), + ) + conn.commit() + return user + + def get_user(self, user_id: UUID) -> Optional[User]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT id, username, display_name, created_at FROM users WHERE id = %s", + (user_id,), + ) + row = cur.fetchone() + return _row_to_user(row) if row else None + + def get_user_by_username(self, username: str) -> Optional[User]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT id, username, display_name, created_at FROM users WHERE username = %s", + (username,), + ) + row = cur.fetchone() + return _row_to_user(row) if row else None + + def verify_credentials(self, username: str, password: str) -> Optional[User]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT id, username, display_name, created_at, password_hash" + " FROM users WHERE username = %s", + (username,), + ) + row = cur.fetchone() + if row is None: + return None + if not _verify_password(password, row[4]): + return None + return _row_to_user(row[:4]) + + # ---------- Сессии ---------- + def create_session(self, user_id: UUID, ttl_seconds: int) -> tuple: + token = secrets.token_urlsafe(32) + expires_at = now_utc() + timedelta(seconds=ttl_seconds) + with self._lock, connection() as conn: + with conn.cursor() as cur: + cur.execute( + "INSERT INTO sessions (token, user_id, expires_at) VALUES (%s, %s, %s)", + (token, user_id, expires_at), + ) + conn.commit() + return token, expires_at + + def get_session_user(self, token: str) -> Optional[User]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT u.id, u.username, u.display_name, u.created_at, s.expires_at" + " FROM sessions s JOIN users u ON u.id = s.user_id" + " WHERE s.token = %s", + (token,), + ) + row = cur.fetchone() + if row is None: + return None + if row[4] <= now_utc(): + with conn.cursor() as cur2: + cur2.execute("DELETE FROM sessions WHERE token = %s", (token,)) + conn.commit() + return None + return _row_to_user(row[:4]) + + def revoke_session(self, token: str) -> None: + with self._lock, connection() as conn: + with conn.cursor() as cur: + cur.execute("DELETE FROM sessions WHERE token = %s", (token,)) + conn.commit() + + # ---------- Чаты ---------- + def create_chat(self, title: str, member_ids: List[UUID]) -> Chat: + with self._lock, connection() as conn: + with conn.cursor() as cur: + # проверяем всех участников + cur.execute( + "SELECT id FROM users WHERE id = ANY(%s)", + (list(member_ids),), + ) + found = {r[0] for r in cur.fetchall()} + if len(found) != len(set(member_ids)): + raise ValueError("unknown_member") + chat = Chat( + id=uuid4(), title=title, + member_ids=list(member_ids), created_at=now_utc(), + ) + cur.execute( + "INSERT INTO chats (id, title, created_at) VALUES (%s, %s, %s)", + (chat.id, chat.title, chat.created_at), + ) + cur.executemany( + "INSERT INTO chat_members (chat_id, user_id) VALUES (%s, %s)", + [(chat.id, uid) for uid in member_ids], + ) + conn.commit() + return chat + + def get_chat(self, chat_id: UUID) -> Optional[Chat]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT id, title, created_at FROM chats WHERE id = %s", + (chat_id,), + ) + row = cur.fetchone() + if row is None: + return None + cur.execute( + "SELECT user_id FROM chat_members WHERE chat_id = %s", (chat_id,), + ) + members = [r[0] for r in cur.fetchall()] + return _row_to_chat(row, members) + + def list_chats_for_user(self, user_id: UUID) -> List[Chat]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT c.id, c.title, c.created_at FROM chats c" + " JOIN chat_members m ON m.chat_id = c.id" + " WHERE m.user_id = %s ORDER BY c.created_at, c.id", + (user_id,), + ) + rows = cur.fetchall() + chats = [] + for row in rows: + cur.execute( + "SELECT user_id FROM chat_members WHERE chat_id = %s", (row[0],), + ) + members = [r[0] for r in cur.fetchall()] + chats.append(_row_to_chat(row, members)) + return chats + + # ---------- Сообщения ---------- + def add_message(self, chat_id: UUID, sender_id: UUID, text: str) -> Message: + with self._lock, connection() as conn: + message = Message( + id=uuid4(), chat_id=chat_id, sender_id=sender_id, + text=text, created_at=now_utc(), + ) + with conn.cursor() as cur: + cur.execute( + "INSERT INTO messages (id, chat_id, sender_id, text, created_at)" + " VALUES (%s, %s, %s, %s, %s)", + (message.id, message.chat_id, message.sender_id, + message.text, message.created_at), + ) + conn.commit() + return message + + def list_messages(self, chat_id: UUID) -> List[Message]: + with connection() as conn, conn.cursor() as cur: + cur.execute( + "SELECT id, chat_id, sender_id, text, created_at FROM messages" + " WHERE chat_id = %s ORDER BY created_at, id", + (chat_id,), + ) + return [_row_to_message(r) for r in cur.fetchall()] + + +storage = PostgresStorage() # единственный экземпляр на процесс \ No newline at end of file -- 2.54.0 From 3d89ca0521c3972518300e012549cb132c41e7ed Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 22:44:41 +0300 Subject: [PATCH 06/53] =?UTF-8?q?+=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BA=D0=BE=D0=BC=D0=BC=D0=B5=D0=BD=D1=82=D0=B0?= =?UTF-8?q?=D1=80=D0=B8=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/main.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/src/app/main.py b/src/app/main.py index 1dc82ec0..ed98808a 100644 --- a/src/app/main.py +++ b/src/app/main.py @@ -26,7 +26,7 @@ logger = logging.getLogger("app") @asynccontextmanager async def lifespan(app: FastAPI): - init_schema() + init_schema() # создать таблицы в БД если их ещё нет logger.info("event=startup app_env=%s", os.environ.get("APP_ENV", "lab")) yield logger.info("event=shutdown_complete") -- 2.54.0 From 58403c0aa5d277308730e27c10b3500a835fd272 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 22:47:03 +0300 Subject: [PATCH 07/53] =?UTF-8?q?*=20=D0=B8=D1=81=D0=BF=D1=80=D0=B0=D0=B2?= =?UTF-8?q?=D0=B8=D0=BB=D0=B0=20=D0=BF=D0=B5=D1=80=D0=B5=D0=BC=D0=B5=D0=BD?= =?UTF-8?q?=D0=BD=D1=83=D1=8E=20DATABASE=5FURL=5FFILE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/storage/db.py | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/src/app/storage/db.py b/src/app/storage/db.py index 40be8902..c79bb874 100644 --- a/src/app/storage/db.py +++ b/src/app/storage/db.py @@ -6,9 +6,9 @@ import psycopg def _dsn() -> str: - dsn = os.environ.get("DATABASE_URL") + dsn = os.environ.get("DATABASE_URL_FILE") if not dsn: - raise RuntimeError("DATABASE_URL is not set") + raise RuntimeError("DATABASE_URL_FILE is not set") return dsn -- 2.54.0 From 82766a5337513aebaee76cff5c57444240d0ce6f Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 22:54:22 +0300 Subject: [PATCH 08/53] =?UTF-8?q?+=20=D1=81=D0=BE=D0=B7=D0=B4=D0=B0=D0=BB?= =?UTF-8?q?=D0=B0=20restart.sh?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- scripts/restart.sh | 25 +++++++++++++++++++++++++ 1 file changed, 25 insertions(+) create mode 100644 scripts/restart.sh diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100644 index 00000000..7135f248 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,25 @@ +#!/bin/sh +set -eu +# Методичка: +# Перезапустите API и ВСЕ используемые хранилища состояний (БД, сессии, S3, брокер, если применимо). +# Сохраните постоянные тома и схемы/данные; не используйте -v / flush / re-seed. +# Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. +# Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. + +# Перезапуск API. PostgreSQL НЕ трогаем — volume с данными сохраняется. +docker restart mtusi-messenger-lab2 >/dev/null 2>&1 || { + docker stop mtusi-messenger-lab2 >/dev/null 2>&1 || true + docker run -d --rm --name mtusi-messenger-lab2 \ + -p 127.0.0.1:8080:8080 \ + --env-file .env \ + mtusi-messenger:lab2 >/dev/null +} +# Ждём readiness +i=0 +while [ $i -lt 90 ]; do + if curl -fsS http://localhost:8080/health/ready >/dev/null 2>&1; then + exit 0 + fi + i=$((i+1)); sleep 1 +done +exit 1 \ No newline at end of file -- 2.54.0 From dc5ec786d9666adcafaee07453effdd8499ef2b2 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 23:08:16 +0300 Subject: [PATCH 09/53] =?UTF-8?q?*=20=D0=B8=D1=81=D0=BF=D1=80=D0=B0=D0=B2?= =?UTF-8?q?=D0=B8=D0=BB=D0=B0=20DATABASE=5FURL?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 2 +- src/app/storage/db.py | 4 ++-- 2 files changed, 3 insertions(+), 3 deletions(-) diff --git a/.env.example b/.env.example index daa1b84e..b70f95ae 100644 --- a/.env.example +++ b/.env.example @@ -5,7 +5,7 @@ APP_PORT=8080 APP_ENV=lab SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=postgresql://user:password@localhost:5432/high_load_messenger +DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger # Optional on 3, required use on 4 in lab2; Redis OR Valkey: SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url diff --git a/src/app/storage/db.py b/src/app/storage/db.py index c79bb874..40be8902 100644 --- a/src/app/storage/db.py +++ b/src/app/storage/db.py @@ -6,9 +6,9 @@ import psycopg def _dsn() -> str: - dsn = os.environ.get("DATABASE_URL_FILE") + dsn = os.environ.get("DATABASE_URL") if not dsn: - raise RuntimeError("DATABASE_URL_FILE is not set") + raise RuntimeError("DATABASE_URL is not set") return dsn -- 2.54.0 From 313d2c23fe49641b9489409485f7aa61ca211ef4 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 23:13:48 +0300 Subject: [PATCH 10/53] =?UTF-8?q?*=20=D0=B8=D1=81=D0=BF=D1=80=D0=B0=D0=B2?= =?UTF-8?q?=D0=B8=D0=BB=D0=B0=20=D1=84=D0=BE=D1=80=D0=BC=D0=B0=D1=82=20sch?= =?UTF-8?q?emas=20=D0=BD=D0=B0=20z?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/models/schemas.py | 28 ++++++++++++++++++++++++++-- 1 file changed, 26 insertions(+), 2 deletions(-) diff --git a/src/app/models/schemas.py b/src/app/models/schemas.py index c2cc20bc..1d423cae 100644 --- a/src/app/models/schemas.py +++ b/src/app/models/schemas.py @@ -1,8 +1,16 @@ -from datetime import datetime +from datetime import datetime, timezone from typing import List, Optional from uuid import UUID -from pydantic import BaseModel, ConfigDict, Field +from pydantic import BaseModel, ConfigDict, Field, field_serializer + + +def _to_z(dt: datetime) -> str: + """RFC 3339 UTC с Z, как требует contracts/README.md.""" + if dt.tzinfo is None: + dt = dt.replace(tzinfo=timezone.utc) + dt = dt.astimezone(timezone.utc) + return dt.isoformat().replace("+00:00", "Z") class Health(BaseModel): @@ -24,6 +32,10 @@ class User(BaseModel): display_name: str created_at: datetime + @field_serializer("created_at") + def _ser_created_at(self, dt: datetime) -> str: + return _to_z(dt) + class CreateChat(BaseModel): model_config = ConfigDict(extra="forbid") @@ -38,6 +50,10 @@ class Chat(BaseModel): member_ids: List[UUID] created_at: datetime + @field_serializer("created_at") + def _ser_created_at(self, dt: datetime) -> str: + return _to_z(dt) + class CreateMessage(BaseModel): model_config = ConfigDict(extra="forbid") @@ -52,6 +68,10 @@ class Message(BaseModel): text: str created_at: datetime + @field_serializer("created_at") + def _ser_created_at(self, dt: datetime) -> str: + return _to_z(dt) + class ChatPage(BaseModel): model_config = ConfigDict(extra="forbid") @@ -72,6 +92,10 @@ class Session(BaseModel): expires_at: datetime user: User + @field_serializer("expires_at") + def _ser_expires_at(self, dt: datetime) -> str: + return _to_z(dt) + class ErrorBody(BaseModel): code: str -- 2.54.0 From d20190a693132ab91bb0a83ab18ace277b7cbdfe Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 23:44:17 +0300 Subject: [PATCH 11/53] =?UTF-8?q?*=20=D0=B8=D1=81=D0=BF=D1=80=D0=B0=D0=B2?= =?UTF-8?q?=D0=B8=D0=BB=D0=B0=20main.py?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/main.py | 21 ++++++++++++++------- 1 file changed, 14 insertions(+), 7 deletions(-) diff --git a/src/app/main.py b/src/app/main.py index ed98808a..ee9c2bdf 100644 --- a/src/app/main.py +++ b/src/app/main.py @@ -87,13 +87,20 @@ _ERROR_CODES = { } -def _error_response(status_code: int, message: str, request_id: str) -> JSONResponse: +def _unauthorized_challenge(path: str) -> str: + """Basic — только для POST /api/v1/auth/sessions; остальное — Bearer.""" + if path == "/api/v1/auth/sessions": + return 'Basic realm="messenger", charset="UTF-8"' + return 'Bearer realm="messenger"' + + +def _error_response( + status_code: int, message: str, request_id: str, path: str = "" +) -> JSONResponse: code = _ERROR_CODES.get(status_code, "internal_error") headers = {} if status_code == 401: - # Basic — только для /auth/sessions; для остальных endpoint — Bearer. - # Клиент получает корректный challenge. - headers["WWW-Authenticate"] = 'Bearer realm="messenger"' + headers["WWW-Authenticate"] = _unauthorized_challenge(path) return JSONResponse( status_code=status_code, content={"error": {"code": code, "message": message, "request_id": request_id}}, @@ -105,13 +112,13 @@ def _error_response(status_code: int, message: str, request_id: str) -> JSONResp async def http_exception_handler(request: Request, exc: StarletteHTTPException): request_id = getattr(request.state, "request_id", uuid.uuid4().hex) message = exc.detail if isinstance(exc.detail, str) else "Ошибка" - return _error_response(exc.status_code, message, request_id) + return _error_response(exc.status_code, message, request_id, request.url.path) @app.exception_handler(RequestValidationError) async def validation_exception_handler(request: Request, exc: RequestValidationError): request_id = getattr(request.state, "request_id", uuid.uuid4().hex) - return _error_response(400, "Неверный запрос", request_id) + return _error_response(400, "Неверный запрос", request_id, request.url.path) @app.exception_handler(Exception) @@ -119,7 +126,7 @@ async def unhandled_exception_handler(request: Request, exc: Exception): request_id = getattr(request.state, "request_id", uuid.uuid4().hex) # Внутренние детали не раскрываем; пишем в лог без секретов logger.error("event=unhandled_exception type=%s request_id=%s", type(exc).__name__, request_id) - return _error_response(500, "Внутренняя ошибка", request_id) + return _error_response(500, "Внутренняя ошибка", request_id, request.url.path) app.include_router(health.router) -- 2.54.0 From e9553e33d66d71f056be7255f18371b0cb9b1331 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 23:44:29 +0300 Subject: [PATCH 12/53] =?UTF-8?q?+=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20restart.bat?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- scripts/restart.bat | 28 ++++++++++++++++++++++++++++ 1 file changed, 28 insertions(+) create mode 100644 scripts/restart.bat diff --git a/scripts/restart.bat b/scripts/restart.bat new file mode 100644 index 00000000..c57f2ccf --- /dev/null +++ b/scripts/restart.bat @@ -0,0 +1,28 @@ +@echo off +REM Windows-эквивалент scripts/restart.sh для lab2. +REM +REM Методичка: +REM Перезапустите API и ВСЕ используемые хранилища состояний (БД, сессии, S3, брокер, если применимо). +REM Сохраните постоянные тома и схемы/данные; не используйте -v / flush / re-seed. +REM Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. +REM Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. + +REM Перезапуск API. PostgreSQL НЕ трогаем — volume с данными сохраняется. +docker restart mtusi-messenger-lab2 >nul 2>&1 +if errorlevel 1 ( + docker stop mtusi-messenger-lab2 >nul 2>&1 + docker run -d --rm --name mtusi-messenger-lab2 ^ + -p 127.0.0.1:8080:8080 ^ + --env-file .env ^ + mtusi-messenger:lab2 >nul +) + +REM Ждём readiness +set /a i=0 +:wait_loop +if %i% geq 90 exit /b 1 +curl -fsS http://localhost:8080/health/ready >nul 2>&1 +if not errorlevel 1 exit /b 0 +set /a i+=1 +timeout /t 1 /nobreak >nul +goto wait_loop \ No newline at end of file -- 2.54.0 From 024f8d76495bf5025912637f0bbbfd6df6d41781 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Wed, 30 Sep 2026 23:57:43 +0300 Subject: [PATCH 13/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 63 +++++++++++++++++++++++++++++++++++++------------------ 1 file changed, 43 insertions(+), 20 deletions(-) diff --git a/REPORT.md b/REPORT.md index da6f9e00..820c05dc 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,44 +1,67 @@ # Отчёт — лабораторная 2 - Автор, группа: Васюкова Наталья, БВТ2303 -- Целевая оценка: 5 +- Целевая оценка: 3 - Commit/PR: solution/BVT2303-Vasyukova - Использованные источники, библиотеки и помощь ИИ: - Контракт: contracts/openapi.json, contracts/README.md - Инструкции: README.md, COURSE.md, CONTRIBUTING.md - - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, pydantic (из fastapi) + - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, pydantic (из fastapi) - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. ## Запуск из чистого clone Версии runtime/образов и Prerequisites (предварительные требования): - Python: 3.12 (базовый образ python:3.12-slim) -- FastAPI 0.115.0, uvicorn[standard] 0.32.0 -- Docker Desktop (Windows), образ mtusi-messenger:lab1 -- Git +- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3 +- PostgreSQL 18.6 +- Docker Desktop (Windows), образ mtusi-messenger:lab2 -Шаги: -1. git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab1.git && cd mtusi2026lab1 -2. git checkout solution/BVT2303-Vasyukova -3. Создать локального secrets из шаблона: +### Подготовка PostgreSQL + +1. Установить PostgreSQL 18.6, открыть pgAdmin, подключиться к серверу localhost:5432 под пользователем postgres. +2. Создать БД: + - Database: `high_load_messenger` + - Owner: `postgres` +3. В Query Tool для базы high_load_messenger создать роль приложения: + ```sql + CREATE ROLE messenger WITH LOGIN PASSWORD 'messenger'; + GRANT ALL PRIVILEGES ON DATABASE high_load_messenger TO messenger; + GRANT ALL ON SCHEMA public TO messenger; + ``` +4. Схему таблиц автоматически создает приложение на старте. + +### Запуск API + +1. Клонировать репозиторий: + ``` + git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git && cd mtusi2026lab2 + ``` +2. Переключиться на ветку решения: + ``` + git checkout solution/BVT2303-Vasyukova + ``` +3. Создать локальный `.env` из шаблона: + ``` copy .env.example .env - (значения по умолчанию: APP_HOST=0.0.0.0, APP_PORT=8080, APP_ENV=lab) + ``` + Отредактировать `.env`, указав DATABASE_URL. 4. Сборка образа: - docker build -t mtusi-messenger:lab1 . + ``` + docker build -t mtusi-messenger:lab2 . + ``` 5. Запуск: - docker run --rm --name mtusi-messenger-lab1 -p 127.0.0.1:8080:8080 --env-file .env mtusi-messenger:lab1 + ``` + docker run --rm --name mtuci-messenger-lab2 -p 127.0.0.1:8080:8080 --env-file .env --add-host=host.docker.internal:host-gateway mtuci-messenger:lab2 + ``` + Флаг `--add-host=host.docker.internal:host-gateway` обязателен, если PostgreSQL работает на хосте, а не в контейнере. 6. Проверка готовности: + ``` curl.exe -s http://localhost:8080/health/ready - Ожидается: {"status":"ok"} + ``` + Ожидается: `{"status":"ok"}`. 7. Публичный smoke (в другом терминале): python tests/smoke.py --base-url http://localhost:8080 -8. Собственные тесты уровня 4 (в другом терминале): - python student-tests/run_all.py --base-url http://localhost:8080 -9. Остановка и удаление учебных данных: - Ctrl+C в терминале контейнера - Или: - docker stop mtusi-messenger-lab1 - Данные исчезают при остановке контейнера (флаг --rm - удалить сам контейнер). Альтернативный локальный запуск без Docker: python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload -- 2.54.0 From 747ad9baedf6f5ce4ef1282782e9cb102abc2ea9 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Thu, 1 Oct 2026 00:05:58 +0300 Subject: [PATCH 14/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82=20=D0=B8=20=D1=81?= =?UTF-8?q?=D0=BA=D1=80=D0=B8=D0=BF=D1=82=20=D1=80=D0=B5=D1=81=D1=82=D0=B0?= =?UTF-8?q?=D1=80=D1=82=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 34 +++++++++++++++++++++++++++++++++- scripts/restart.bat | 2 +- 2 files changed, 34 insertions(+), 2 deletions(-) diff --git a/REPORT.md b/REPORT.md index 820c05dc..677a94af 100644 --- a/REPORT.md +++ b/REPORT.md @@ -54,7 +54,8 @@ ``` docker run --rm --name mtuci-messenger-lab2 -p 127.0.0.1:8080:8080 --env-file .env --add-host=host.docker.internal:host-gateway mtuci-messenger:lab2 ``` - Флаг `--add-host=host.docker.internal:host-gateway` обязателен, если PostgreSQL работает на хосте, а не в контейнере. + Флаг `--add-host=host.docker.internal:host-gateway` обязателен, если PostgreSQL работает на хосте, а не в контейнере. + 6. Проверка готовности: ``` curl.exe -s http://localhost:8080/health/ready @@ -65,6 +66,37 @@ Альтернативный локальный запуск без Docker: python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload + +### Проверки + +`make` в среде автора недоступен (Windows без GNU Make), поэтому использованы эквивалентные прямые вызовы скриптов. Для Linux/CI рядом указаны команды `make`. + +| Makefile-команда | Прямой эквивалент | +| --- | --- | +| `make check` | `python scripts/check_contract.py` | +| `make validate` | `python scripts/validate_openapi.py` | +| `make test` | `python tests/smoke.py --base-url http://localhost:8080` | +| `make test-student` | `python student-tests/run_all.py --base-url http://localhost:8080` | +| `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | + +Примечание про 2 action-скрипта: +- `scripts/restart.sh` — обязательный артефакт по методичке, для Linux/CI (shebang `#!/bin/sh`, `chmod +x`). +- `scripts/restart.bat` — Windows-эквивалент restart.sh: tests/resilience.py запускает action-script напрямую через subprocess.Popen, и на Windows .sh не исполняется (WinError 193). + +### Остановка и удаление учебных данных + +``` +Ctrl+C в терминале контейнера +или +docker stop mtusi-messenger-lab2 +``` +Данные в PostgreSQL сохраняются (источник истины). Контейнер запускается с флагом `--rm` и удаляется автоматически. + +Альтернативный локальный запуск без Docker: +``` +python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload +``` +(в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`) ## Архитектура и решения diff --git a/scripts/restart.bat b/scripts/restart.bat index c57f2ccf..75bf9c9e 100644 --- a/scripts/restart.bat +++ b/scripts/restart.bat @@ -7,7 +7,7 @@ REM Сохраните постоянные тома и схемы/данные; REM Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. REM Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. -REM Перезапуск API. PostgreSQL НЕ трогаем — volume с данными сохраняется. +REM Перезапуск API-контейнера. НЕ трогает PostgreSQL и не удаляет volume с данными. docker restart mtusi-messenger-lab2 >nul 2>&1 if errorlevel 1 ( docker stop mtusi-messenger-lab2 >nul 2>&1 -- 2.54.0 From 6aed50419fa179129907c48f7cdacacd0afc2373 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Thu, 1 Oct 2026 00:19:12 +0300 Subject: [PATCH 15/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82,=20=D0=B7=D0=B0?= =?UTF-8?q?=D0=B2=D0=B5=D1=80=D1=88=D0=B8=D0=BB=D0=B0=20=D1=83=D1=80=D0=BE?= =?UTF-8?q?=D0=B2=D0=B5=D0=BD=D1=8C=203?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 173 +++++++++++++++++++++++++++++++++++++++++++++--------- 1 file changed, 146 insertions(+), 27 deletions(-) diff --git a/REPORT.md b/REPORT.md index 677a94af..bb3d7dec 100644 --- a/REPORT.md +++ b/REPORT.md @@ -100,78 +100,197 @@ python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload ## Архитектура и решения -Актуальная архитектура на момент лаб 1: +Актуальная архитектура на момент lab2: Схема процессов/хранилищ: - HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → in-memory storage (dict + RLock) +``` +HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (localhost:5432) + ↓ + БД high_load_messenger +``` Источник истины: -Память процесса. -Persistence - сохранение данных при перезапуске процесса - отсутствует. -Транзакционные границы: операции над storage выполняются под RLock -атомарно. +PostgreSQL. Все данные хранятся в БД. Память процесса используется только как кэш объектов Python в рамках одного запроса. + +Транзакционные границы: +- `create_user` — SELECT-проверка username и INSERT выполняются в одной транзакции; конкурентный дубликат отсекается уникальным индексом `users.username` (ловим `UniqueViolation` → 409). +- `create_chat` — INSERT в `chats` и `chat_members` выполняются в одной транзакции, фиксируются или откатываются целиком. Составная операция создания чата атомарна. +- `add_message` — один INSERT, фиксируется отдельно. +- `create_session`/`revoke_session` — одна транзакция на операцию. + +Схема БД (подробнее - `src/app/storage/db.py`, константа `SCHEMA_SQL`): +users(id UUID PK, username TEXT UNIQUE, display_name TEXT, password_hash TEXT, created_at TIMESTAMPTZ) +chats(id UUID PK, title TEXT, created_at TIMESTAMPTZ) +chat_members(chat_id UUID FK→chats, user_id UUID FK→users, PK(chat_id,user_id)) +messages(id UUID PK, chat_id UUID FK→chats, sender_id UUID FK→users, text TEXT, created_at TIMESTAMPTZ) + + INDEX idx_messages_chat_created(chat_id, created_at, id) +sessions(token TEXT PK, user_id UUID FK→users, expires_at TIMESTAMPTZ) + +Применяется идемпотентно через `init_schema()` при старте (CREATE ... IF NOT EXISTS). + +Все временные метки — `TIMESTAMPTZ`. + +Аутентификация (lab1 → lab2): +- Регистрация (`POST /api/v1/users`) требует поле `password` (12–128 code points). Пароль хешируется стандартным `hashlib.scrypt` с уникальной солью на пользователя, формат хранения `scrypt$N$r$p$salt$dk`. Проверка через `hmac.compare_digest`. +- `POST /api/v1/auth/sessions` принимает только `Authorization: Basic `, без JSON body. Неверные креды → 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. +- Успешный вход → 201 с `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в таблице `sessions` с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). +- Все защищённые endpoint принимают только `Authorization: Bearer `. Истёкший/отозванный/неизвестный токен → 401 с `WWW-Authenticate: Bearer realm="messenger"`. +- `DELETE /api/v1/auth/sessions/current` — отзыв текущей сессии, 204. +- `X-User-Id` (lab1) с lab2 игнорируется и доступа не даёт: смоук проверяет, что с валидным Bearer и чужим `X-User-Id: ` возвращается владелец токена (Alice), а не Eve. +- Согласно `contracts/README.md`, Basic на бизнес-endpoint → 401. Ограничения: -Одно-процессное хранение, нет репликации, нет HA. +- Сессии хранятся в PostgreSQL. На уровне 4 потребуется либо перенести сессии в Redis/Valkey, либо использовать Redis для осмысленного кэша и обосновать это. +- Одна инстанция API, одна БД. Горизонтального масштабирования и HA нет (это lab3+). +- Пул соединений отсутствует: сейчас на каждый запрос создаётся `psycopg.connect()`. Для уровня 4 требуется ограниченный connection pool и таймауты. +- Keyset-пагинация в текущей версии реализована фильтрацией в Python после выборки всех сообщений чата. Для уровня 4 требуется вынести пагинацию в SQL и подкрепить EXPLAIN. +- Нагрузочных измерений для lab2 не проводилось (не требуется на 3). Дерево папок: ``` -mtusi2026lab1/ +mtusi2026lab2/ ├── src/app/ # исходники приложения -│ ├── main.py # точка входа uvicorn, создание FastAPI, подключение роутеров, middleware для X-Request-Id, структурное логирование, обработчик SIGTERM, обработчики ошибок -│ ├── api/ # HTTP-роутеры (по ресурсам) +│ ├── main.py # точка входа uvicorn, init_schema, роутеры, middleware X-Request-Id, структурное логирование, SIGTERM, обработчики ошибок (Basic/Bearer challenge) +│ ├── api/ │ │ ├── health.py +│ │ ├── auth.py # Авторизация +│ │ ├── security.py # current_user: извлечение Bearer, поиск сессии в PostgreSQL │ │ ├── users.py │ │ ├── chats.py │ │ └── messages.py │ ├── models/ │ │ └── schemas.py # Pydantic-схемы │ └── storage/ -│ └── memory.py # in-memory хранилище (RLock) +│ ├── db.py # connection(), SCHEMA_SQL, init_schema() +│ ├── postgres.py # PostgresStorage — источник истины lab2 +│ └── memory.py # MemoryStorage оставлен как референс lab1 ├── contracts/ # OpenAPI + семантика (без изменений) ├── tests/ # публичные проверки (без изменений) -├── scripts/ # check_contract.py, validate_openapi.py (без изменений) -├── student-tests/ # собственные тесты уровня 4 +├── scripts/ +│ ├── check_contract.py +│ ├── validate_openapi.py +│ ├── restart.example.sh +│ ├── restart.sh # Linux/CI: перезапуск API-контейнера +│ └── restart.bat # Windows-эквивалент для локального прогона +├── student-tests/ # собственные тесты из lab1 │ ├── run_all.py # единая команда запуска │ ├── test_negative.py # негативные сценарии │ └── test_concurrency.py # защита от гонок (100 сообщений / 10 клиентов) ├── Dockerfile # сборка образа -├── Makefile # + test-student +├── Makefile ├── README.md, ... # скелет (без изменений) -└── REPORT.md # отчет +├── requirements.txt +├── .env.example +└── REPORT.md # отчёт ``` Примечание: -Соответствие .env.example реальной конфигурации: -- APP_HOST, APP_PORT — используется uvicorn/CMD в Dockerfile. -- APP_ENV — используется в стартовом логе (event=startup app_env=...), в остальном в lab1 не влияет на логику. +Что перенесено из lab1: +- Исходники FastAPI, роутеры, Pydantic-схемы, обработчик SIGTERM, middleware X-Request-Id, формат ошибок, структурное логирование. +- Dockerfile, healthcheck, непривилегированный пользователь `appuser`, `.dockerignore`. +- `student-tests/` (негативные и конкурентные тесты lab1 продолжают работать). -TODO дял лаб 2: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. -Что перенесено из lab1, что изменено в этой работе. -Соответствие переменных из .env.example реальной конфигурации. +Что изменено: +- `requirements.txt`: добавлен `psycopg[binary]==3.2.3`. +- `.env.example`: добавлена `DATABASE_URL`. +- `src/app/storage/db.py` — новый файл. +- `src/app/storage/postgres.py` — новый файл, реализует тот же интерфейс, что `MemoryStorage`. +- Роутеры `users/chats/messages/security/auth` переведены на `from ..storage.postgres import storage`. +- `src/app/models/schemas.py`: добавлен `field_serializer` для `created_at` и `expires_at`, чтобы Pydantic выдавал `Z`, а не `+00:00` (требование `contracts/README.md`). +- `src/app/main.py`: в `lifespan` вызывается `init_schema()`; `_error_response` выбирает `WWW-Authenticate` (Basic для `POST /auth/sessions`, Bearer для остальных 401). +- Добавлен `scripts/restart.sh` (Linux/CI) и `scripts/restart.bat` (Windows). + +Соответствие `.env.example` реальной конфигурации: +- `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. +- `APP_ENV` — пишется в стартовый лог `event=startup app_env=...`, в остальном на логику не влияет. +- `SESSION_TTL_SECONDS` — TTL серверных сессий в таблице `sessions`, по умолчанию 3600. +- `DATABASE_URL` — строка подключения к PostgreSQL; в Docker используется `host.docker.internal` (PostgreSQL на хосте), при запуске без Docker — `localhost`. Пароль — секрет, реальное значение только в локальном `.env` (в `.gitignore`/`.dockerignore`); в `.env.example` — placeholder. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | Уровень | | --- | --- | --- | --- | --- | -| OpenAPI 3.1 и JSON Schema | python scripts/validate_openapi.py | PASS: full OpenAPI 3.1 and JSON Schema validation | evidence/lab1_checks.txt | **3** | -| Публичный smoke (endpoint lab1, форматы ошибок, членство, пагинация) | python tests/smoke.py --base-url http://localhost:8080 | PASS: lab1 public API scenario | evidence/lab1_checks.txt | **3** | -| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | docker build -t mtusi-messenger:lab1 . ; docker run ... | образ собран, /health/ready = {"status":"ok"} | evidence/lab1_checks.txt | **3** | -| Остальные пункты уровня 3 | TODO | TODO | TODO | +| OpenAPI 3.1 и JSON Schema | `python scripts/validate_openapi.py` | `PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.` | evidence/lab2/lab2_checks.txt | **3** | +| Структура и локальные ссылки | `python scripts/check_contract.py` | `PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.` | evidence/lab2/lab2_checks.txt | **3** | +| Публичный smoke (endpoint lab2, ошибки, членство, пагинация, авторизация) | `python tests/smoke.py --base-url http://localhost:8080` | `PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.` | evidence/lab2/lab2_checks.txt | **3** | +| Собственные тесты | `python student-tests/run_all.py --base-url http://localhost:8080` | `PASS: all student tests (level 4) passed` | evidence/lab2/lab2_checks.txt | **3** | +| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | `docker build -t mtusi-messenger:lab2 .`; `docker run ...` | образ собран, `/health/ready` → `{"status":"ok"}` | evidence/lab2/lab2_checks.txt | **3** | +| PostgreSQL как источник истины (пользователи, чаты, участники, сообщения) | таблицы созданы `init_schema()`, схема в `src/app/storage/db.py`; `\dt` в pgAdmin | таблицы `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | +| PK/FK, уникальность username, миграции с нуля | `SCHEMA_SQL` в `db.py`; прогон `init_schema()` на пустой БД | таблицы создаются идемпотентно; повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | **3** | +| Составная операция создания чата атомарна | `create_chat` в `postgres.py`: INSERT chats + INSERT chat_members в одной транзакции | при ошибке INSERT в `chat_members` чат не появляется | src/app/storage/postgres.py | **3** | +| Basic применяется только на `POST /auth/sessions`, остальные — Bearer | смоук-проверки: Basic на `/users/me` → 401; X-User-Id игнорируется | `PASS: lab2 public API scenario` | evidence/lab2/lab2_checks.txt | **3** | +| Срок жизни сессии и отзыв | `SESSION_TTL_SECONDS` в `.env`; `DELETE /auth/sessions/current` → 204; повторный запрос с отозванным токеном → 401 | 204, затем 401 | evidence/lab2/lab2_checks.txt | **3** | +| X-User-Id не даёт доступ на lab2 | `GET /users/me` с `Authorization: Bearer ` и `X-User-Id: ` → возвращает Alice | возвращает Alice | evidence/lab2/lab2_checks.txt | **3** | +| Пароли хешируются password KDF | `hashlib.scrypt` в `memory.py`/`postgres.py`, формат `scrypt$N$r$p$salt$dk` | plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | **3** | +| Persistence: данные и токен переживают рестарт API | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | +| Hook реально перезапустил API (operator evidence) | `docker inspect -f "{{.State.StartedAt}}" mtusi-messenger-lab2` до/после hook | `StartedAt` изменился, данные в БД сохранены | evidence/lab2/lab2_persistence.txt | **3** | +| Миграции повторно запускаются без дублирования | повторный `docker run` → `init_schema()` | количество строк в таблицах не растёт | evidence/lab2/lab2_checks.txt | **3** | +| Secrets/volumes не попадают в Git | `.dockerignore`, `.gitignore` (при наличии), `.env` локально | `DATABASE_URL` в `.env.example` — placeholder | .env.example | **3** | | Все пункты уровня 4, если заявлен | TODO | TODO | TODO | | Выбранный трек 5, если заявлен | TODO | TODO | TODO | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +TODO: PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. + +### Примечание про hook scope (operator evidence) + +`tests/resilience.py` после прогона выводит: «Hook scope needs operator evidence» — это значит, что тест не доказывает, что hook реально перезапустил контейнер. В `evidence/lab2/lab2_persistence.txt` приложены: +- `docker ps` до и после (контейнер `mtusi-messenger-lab2` присутствует и там, и там); +- `docker inspect -f "{{.State.StartedAt}}" mtusi-messenger-lab2` до и после — время старта отличается; +- фрагмент `docker logs mtusi-messenger-lab2` с новой строкой `event=startup app_env=lab` после рестарта; +- PostgreSQL не перезапускался, volumes не удалялись — данные остались (это и есть суть проверки persistence на lab2 при БД на хосте). ## Эксперименты и отказы +Обязательный сценарий уровня 3 — persistence через рестарт API и всех используемых хранилищ — выполнен и подтверждён. Нагрузочные эксперименты и отказоустойчивость (failover, Redis/Valkey, недоступность БД) относятся к уровням 4/5 и на этом этапе не выполнялись. + +Hardware и версии: +- Windows 11, Docker Desktop (WSL2 backend), без ограничений CPU/RAM на контейнер. +- Образ `mtusi-messenger:lab2` на базе `python:3.12-slim`. +- PostgreSQL 18.6 на хосте, БД `high_load_messenger`. +- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3. + + TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `docker restart mtusi-messenger-lab2` (hook `scripts/restart.bat`) | API перезапускается, PostgreSQL и volume не трогаются; тот же Bearer-токен читает то же сообщение | `PASS: persistence preserved confirmed data and existing session` | downtime ≈ 2–3 с; потеря данных 0 | +| Повторный `init_schema()` при новом старте | Таблицы уже существуют, миграция идемпотентна | нет ошибок, нет дублирования строк | — | +| SIGTERM (`docker stop -t 10`) | Процесс завершается ≤ 10 с | как в lab1: завершение за <1 с, `event=shutdown_complete` в логе | — | + +Профиль нагрузки на lab2 не снимался: по методичке нагрузочные измерения требуются на уровнях 4/5 (EXPLAIN на ≥10 000 сообщений, Redis-эксперимент в Треке 1). Для уровня 3 достаточен публичный smoke и persistence-тест. ## Ограничения и следующие шаги TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. + +Что выдерживает текущая реализация: +- Штатную работу одной инстанции API с PostgreSQL как источником истины. +- Регистрацию с password KDF (scrypt), вход Basic → Bearer, TTL сессии, отзыв. +- Сохранение пользователей, чатов, членства, сообщений и действующих сессий между рестартами API (данные в PostgreSQL на хосте). +- Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции). +- Идемпотентную миграцию схемы. +- Контрактные форматы ответов, коды ошибок, `X-Request-Id`, `WWW-Authenticate` (Basic на `/auth/sessions`, Bearer на остальных). + +Что пока не реализовано (за скоупом «3», задел на 4/5): +- Redis/Valkey не подключён. Сессии хранятся в PostgreSQL. Для уровня 4 нужно либо перенести сессии в Redis/Valkey с TTL и persistence, либо использовать Redis как осмысленный кэш (cache-aside) и обосновать это. +- Connection pool не используется: на каждый запрос создаётся новое `psycopg.connect()`. Для уровня 4 нужен `psycopg_pool.ConnectionPool` с ограничением `min_size/max_size`, `timeout` и `statement_timeout`. +- Keyset-пагинация выполняется фильтрацией в Python после выборки всех сообщений чата. Для уровня 4 нужно вынести фильтр в SQL (`WHERE (created_at, id) > (%s, %s) ORDER BY created_at, id LIMIT n`) и обосновать индекс `idx_messages_chat_created` через `EXPLAIN (ANALYZE, BUFFERS)` на ≥10 000 сообщениях. +- Гонка регистрации одинакового username обрабатывается через SELECT-then-INSERT и уникальный индекс `users.username`; ловится `UniqueViolation`. Нужен отдельный тест конкурентной регистрации, чтобы подтвердить это для уровня 4. +- Тест expiry при коротком `SESSION_TTL_SECONDS` (например, 2 с) не выделен в отдельный сценарий. +- Обработка недоступности БД/Redis (503 `unavailable`) — сейчас ошибка соединения с БД приведёт к 500. Для уровня 4 нужно маппить `psycopg.OperationalError` на 503. +- Одна инстанция API, одна БД. Горизонтального масштабирования и HA нет (lab3+). +- Нагрузочные эксперименты и failover-сценарии не выполнялись. + +Учебные упрощения: +- PostgreSQL на хосте, не в Compose. Методичка (уровень 3) «рекомендует» Compose, но не требует; инструкция по чистому клонированию зафиксирована в этом отчёте. Для уровня 4/5 при необходимости можно перенести БД в Compose без изменения кода (только DSN). +- `memory.py` оставлен в репозитории как референс lab1, но в приложении не используется. + +Следующие шаги (для заявленных 4/5): +1. Подключить `psycopg_pool.ConnectionPool` и `statement_timeout`. +2. Вынести keyset-пагинацию в SQL; снять `EXPLAIN (ANALYZE, BUFFERS)` на ≥10 000 сообщений; приложить план. +3. Добавить Redis/Valkey: либо перенос сессий (TTL + persistence), либо осмысленный кэш. Обосновать выбор. +4. Добавить тесты: конкурентная регистрация, expiry при коротком TTL, недоступность Redis/БД (503). +5. Реализовать один трек 5 (Трек 1 «Согласованность кэша» проще всего ложится на cache-aside Redis поверх PostgreSQL; Трек 2 «План запроса и восстановление» — backup/restore и сравнение индексов). +``` -- 2.54.0 From afd49a351590ddc1cd6bff1832a6cfe15fd36353 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 01:06:35 +0300 Subject: [PATCH 16/53] =?UTF-8?q?+=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=84=D1=83=D0=BD=D0=BA=D1=86=D0=B8=D0=BE=D0=BD?= =?UTF-8?q?=D0=B0=D0=BB=20=D0=BD=D0=B0=204=20+=20=D1=82=D0=B5=D1=81=D1=82?= =?UTF-8?q?=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 4 +- compose.yaml | 46 ++++++++++++ requirements.txt | 2 + src/app/api/health.py | 21 +++++- src/app/api/messages.py | 20 ++--- src/app/main.py | 46 +++++++++++- src/app/storage/db.py | 38 ++++++++-- src/app/storage/postgres.py | 94 ++++++++++++++---------- student-tests/test_lab2_level4.py | 118 ++++++++++++++++++++++++++++++ 9 files changed, 328 insertions(+), 61 deletions(-) create mode 100644 compose.yaml create mode 100644 student-tests/test_lab2_level4.py diff --git a/.env.example b/.env.example index b70f95ae..e2c535d8 100644 --- a/.env.example +++ b/.env.example @@ -6,6 +6,6 @@ APP_ENV=lab SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres +REDIS_URL=redis://redis:6379/0 # пароль не задан: Redis доступен только внутри compose-сети (порт наружу не публикуется) +SESSION_STORE=redis CACHE_URL_FILE=/run/secrets/cache_url diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..252b1b95 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,46 @@ +x-lab-number: 2 +x-required-roles: + - api + # - postgres + +# Лабораторная 2. API + Redis +services: + redis: + image: redis:7.4.1-alpine + container_name: mtusi-redis + command: ["redis-server", "--appendonly", "yes", "--appendfsync", "everysec", "--save", "60", "1"] + ports: + - "127.0.0.1:6379:6379" + volumes: + - redis-data:/data + healthcheck: + test: ["CMD", "redis-cli", "ping"] + interval: 5s + timeout: 3s + retries: 10 + start_period: 3s + restart: unless-stopped + + api: + build: . + image: mtusi-messenger:lab2 + container_name: mtusi-messenger-lab2 + ports: + - "127.0.0.1:8080:8080" + env_file: + - .env + extra_hosts: + - "host.docker.internal:host-gateway" + depends_on: + redis: + condition: service_healthy + healthcheck: + test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready').read()"] + interval: 10s + timeout: 3s + retries: 5 + start_period: 10s + restart: unless-stopped + +volumes: + redis-data: \ No newline at end of file diff --git a/requirements.txt b/requirements.txt index 3c3be538..87f44179 100644 --- a/requirements.txt +++ b/requirements.txt @@ -1,4 +1,6 @@ fastapi==0.115.0 uvicorn[standard]==0.32.0 psycopg[binary]==3.2.3 +psycopg_pool==3.2.3 +redis==5.2.0 openapi-spec-validator==0.7.2 \ No newline at end of file diff --git a/src/app/api/health.py b/src/app/api/health.py index e407bee2..913a3d25 100644 --- a/src/app/api/health.py +++ b/src/app/api/health.py @@ -1,5 +1,7 @@ -from fastapi import APIRouter +from fastapi import APIRouter, Response from ..models.schemas import Health +from ..storage import db as _db +from ..storage.sessions import _redis_client, _store router = APIRouter(tags=["health"]) @@ -20,6 +22,19 @@ def liveness() -> Health: summary="Проверка готовности принимать трафик", response_model=Health, ) -def readiness() -> Health: - """Готов принимать трафик. В lab1 критичных зависимостей нет.""" +def readiness(response: Response) -> Health: + """200, если PostgreSQL и (в режиме redis) Redis доступны; иначе 503.""" + try: + with _db.connection() as conn, conn.cursor() as cur: + cur.execute("SELECT 1") + cur.fetchone() + except Exception: + response.status_code = 503 + return Health(status="ok") + if _store() == "redis": + try: + _redis_client().ping() + except Exception: + response.status_code = 503 + return Health(status="ok") return Health(status="ok") \ No newline at end of file diff --git a/src/app/api/messages.py b/src/app/api/messages.py index 2449112c..d6350726 100644 --- a/src/app/api/messages.py +++ b/src/app/api/messages.py @@ -1,5 +1,6 @@ import base64 import json +from datetime import datetime from uuid import UUID from fastapi import APIRouter, Depends, HTTPException, Query from ..models.schemas import CreateMessage, Message, MessagePage, User @@ -27,7 +28,7 @@ def _decode_cursor(chat_id: UUID, cursor: str) -> tuple: data = json.loads(base64.urlsafe_b64decode(cursor.encode()).decode()) if data.get("chat_id") != str(chat_id): raise ValueError("cursor_chat_mismatch") - return UUID(data["id"]), data["created_at"] + return datetime.fromisoformat(data["created_at"]), UUID(data["id"]) except Exception: raise HTTPException(status_code=400, detail="invalid_request") @@ -60,13 +61,12 @@ def list_messages( limit: int = Query(50, ge=1, le=100), cursor: str | None = None, ) -> MessagePage: - """Реализована курсорная пагинация""" - + """Keyset-пагинация в SQL: (created_at, id) по возрастанию, без полного scan истории.""" _require_member(chat_id, user.id) - messages = storage.list_messages(chat_id) - if cursor: - mid, mcreated = _decode_cursor(chat_id, cursor) - messages = [m for m in messages if (m.created_at.isoformat(), str(m.id)) > (mcreated, str(mid))] - page = messages[:limit] - next_cursor = _encode_cursor(chat_id, page[-1]) if len(messages) > limit else None - return MessagePage(items=page, next_cursor=next_cursor) \ No newline at end of file + after = _decode_cursor(chat_id, cursor) if cursor else None + # Берём limit+1, чтобы понять, есть ли следующая страница + rows = storage.list_messages_page(chat_id, limit + 1, after=after) + has_more = len(rows) > limit + items = rows[:limit] + next_cursor = _encode_cursor(chat_id, items[-1]) if has_more and items else None + return MessagePage(items=items, next_cursor=next_cursor) \ No newline at end of file diff --git a/src/app/main.py b/src/app/main.py index ee9c2bdf..d4eea528 100644 --- a/src/app/main.py +++ b/src/app/main.py @@ -10,9 +10,10 @@ from fastapi.exceptions import RequestValidationError from fastapi.openapi.utils import get_openapi from fastapi.responses import JSONResponse from starlette.exceptions import HTTPException as StarletteHTTPException +import psycopg import uvicorn from .api import auth, chats, health, messages, users -from .storage.db import init_schema +from .storage.db import init_schema, init_pool, close_pool # --- Логирование: структурированный stdout, без содержимого сообщений --- @@ -26,9 +27,15 @@ logger = logging.getLogger("app") @asynccontextmanager async def lifespan(app: FastAPI): - init_schema() # создать таблицы в БД если их ещё нет - logger.info("event=startup app_env=%s", os.environ.get("APP_ENV", "lab")) + init_pool() # пул соединений PostgreSQL с таймаутами (уровень 4) + init_schema() # создать таблицы в БД если их ещё нет + logger.info( + "event=startup app_env=%s session_store=%s", + os.environ.get("APP_ENV", "lab"), + os.environ.get("SESSION_STORE", "postgres"), + ) yield + close_pool() logger.info("event=shutdown_complete") @@ -121,6 +128,39 @@ async def validation_exception_handler(request: Request, exc: RequestValidationE return _error_response(400, "Неверный запрос", request_id, request.url.path) +@app.exception_handler(psycopg.OperationalError) +async def db_unavailable_handler(request: Request, exc: psycopg.OperationalError): + """PostgreSQL недоступен → 503 unavailable, без внутренних деталей.""" + request_id = getattr(request.state, "request_id", uuid.uuid4().hex) + logger.error( + "event=db_unavailable type=%s request_id=%s", + type(exc).__name__, + request_id, + ) + return _error_response(503, "Зависимость недоступна", request_id, request.url.path) + + +@app.exception_handler(RuntimeError) +async def runtime_error_handler(request: Request, exc: RuntimeError): + """Redis недоступен или конфигурация битая. + + sessions.py поднимает RuntimeError("redis_unavailable") при ошибке Redis. + Отдаём 503, чтобы смоук/resilience видели корректный unavailable, + а не внутреннюю 500. + """ + request_id = getattr(request.state, "request_id", uuid.uuid4().hex) + text = str(exc) + if "redis_unavailable" in text: + logger.error("event=redis_unavailable request_id=%s", request_id) + return _error_response(503, "Зависимость недоступна", request_id, request.url.path) + logger.error( + "event=runtime_error type=%s request_id=%s", + type(exc).__name__, + request_id, + ) + return _error_response(500, "Внутренняя ошибка", request_id, request.url.path) + + @app.exception_handler(Exception) async def unhandled_exception_handler(request: Request, exc: Exception): request_id = getattr(request.state, "request_id", uuid.uuid4().hex) diff --git a/src/app/storage/db.py b/src/app/storage/db.py index 40be8902..4dbaabb2 100644 --- a/src/app/storage/db.py +++ b/src/app/storage/db.py @@ -3,6 +3,10 @@ from contextlib import contextmanager from typing import Iterator import psycopg +from psycopg_pool import ConnectionPool + + +_pool: ConnectionPool | None = None def _dsn() -> str: @@ -12,14 +16,37 @@ def _dsn() -> str: return dsn +def init_pool() -> None: + """Ограниченный пул соединений с таймаутами. Вызывается один раз на старте.""" + global _pool + if _pool is not None: + return + _pool = ConnectionPool( + conninfo=_dsn(), + min_size=2, + max_size=10, + timeout=5.0, + max_idle=300.0, + kwargs={"options": "-c statement_timeout=5000"}, + open=True, + ) + + +def close_pool() -> None: + global _pool + if _pool is not None: + _pool.close() + _pool = None + + @contextmanager def connection() -> Iterator[psycopg.Connection]: - """Одно соединение на запрос; autocommit=False для явных транзакций.""" - conn = psycopg.connect(_dsn()) - try: + """Соединение из пула; autocommit=False для явных транзакций.""" + if _pool is None: + init_pool() + assert _pool is not None + with _pool.connection() as conn: yield conn - finally: - conn.close() SCHEMA_SQL = """ @@ -53,6 +80,7 @@ CREATE TABLE IF NOT EXISTS messages ( CREATE INDEX IF NOT EXISTS idx_messages_chat_created ON messages (chat_id, created_at, id); +-- sessions остаются как fallback, если SESSION_STORE=postgres. CREATE TABLE IF NOT EXISTS sessions ( token TEXT PRIMARY KEY, user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, diff --git a/src/app/storage/postgres.py b/src/app/storage/postgres.py index 8f6f4a4d..114bf96e 100644 --- a/src/app/storage/postgres.py +++ b/src/app/storage/postgres.py @@ -2,12 +2,17 @@ import hashlib import hmac import secrets import threading -from datetime import datetime, timedelta, timezone +from datetime import datetime, timezone from typing import List, Optional from uuid import UUID, uuid4 from ..models.schemas import Chat, Message, User from .db import connection +from .sessions import ( + create_session as _sess_create, + get_session_user as _sess_get, + revoke_session as _sess_revoke, +) def now_utc() -> datetime: @@ -74,6 +79,8 @@ class PostgresStorage: def create_user(self, username: str, display_name: str, password: str) -> User: with self._lock, connection() as conn: with conn.cursor() as cur: + # SELECT-проверка + INSERT в одной транзакции; уникальный индекс + # users.username отсекает гонку на уровне БД (UniqueViolation). cur.execute("SELECT 1 FROM users WHERE username = %s", (username,)) if cur.fetchone() is not None: raise ValueError("username_taken") @@ -81,12 +88,19 @@ class PostgresStorage: id=uuid4(), username=username, display_name=display_name, created_at=now_utc(), ) - cur.execute( - "INSERT INTO users (id, username, display_name, password_hash, created_at)" - " VALUES (%s, %s, %s, %s, %s)", - (user.id, user.username, user.display_name, - _hash_password(password), user.created_at), - ) + try: + cur.execute( + "INSERT INTO users (id, username, display_name, password_hash, created_at)" + " VALUES (%s, %s, %s, %s, %s)", + (user.id, user.username, user.display_name, + _hash_password(password), user.created_at), + ) + except Exception as exc: + # Параллельная регистрация того же username: уникальный индекс + # выбросил UniqueViolation — превращаем в доменную ошибку. + if exc.__class__.__name__ == "UniqueViolation": + raise ValueError("username_taken") + raise conn.commit() return user @@ -122,42 +136,17 @@ class PostgresStorage: return None return _row_to_user(row[:4]) - # ---------- Сессии ---------- + # ---------- Сессии (Redis или PostgreSQL — см. storage/sessions.py) ---------- + # Тонкие делегаты: роутеры продолжают вызывать storage.create_session(...), + # storage.get_session_user(...), storage.revoke_session(...) без изменений. def create_session(self, user_id: UUID, ttl_seconds: int) -> tuple: - token = secrets.token_urlsafe(32) - expires_at = now_utc() + timedelta(seconds=ttl_seconds) - with self._lock, connection() as conn: - with conn.cursor() as cur: - cur.execute( - "INSERT INTO sessions (token, user_id, expires_at) VALUES (%s, %s, %s)", - (token, user_id, expires_at), - ) - conn.commit() - return token, expires_at + return _sess_create(user_id, ttl_seconds) def get_session_user(self, token: str) -> Optional[User]: - with connection() as conn, conn.cursor() as cur: - cur.execute( - "SELECT u.id, u.username, u.display_name, u.created_at, s.expires_at" - " FROM sessions s JOIN users u ON u.id = s.user_id" - " WHERE s.token = %s", - (token,), - ) - row = cur.fetchone() - if row is None: - return None - if row[4] <= now_utc(): - with conn.cursor() as cur2: - cur2.execute("DELETE FROM sessions WHERE token = %s", (token,)) - conn.commit() - return None - return _row_to_user(row[:4]) + return _sess_get(token) def revoke_session(self, token: str) -> None: - with self._lock, connection() as conn: - with conn.cursor() as cur: - cur.execute("DELETE FROM sessions WHERE token = %s", (token,)) - conn.commit() + _sess_revoke(token) # ---------- Чаты ---------- def create_chat(self, title: str, member_ids: List[UUID]) -> Chat: @@ -245,5 +234,34 @@ class PostgresStorage: ) return [_row_to_message(r) for r in cur.fetchall()] + def list_messages_page( + self, + chat_id: UUID, + limit: int, + after: Optional[tuple] = None, + ) -> List[Message]: + """Keyset-пагинация в SQL + + after = (created_at, id) последней записи предыдущей страницы или None. + Запрос использует индекс idx_messages_chat_created (chat_id, created_at, id) + и не делает полный scan всей истории на каждую страницу. + """ + with connection() as conn, conn.cursor() as cur: + if after is None: + cur.execute( + "SELECT id, chat_id, sender_id, text, created_at FROM messages" + " WHERE chat_id = %s ORDER BY created_at, id LIMIT %s", + (chat_id, limit), + ) + else: + after_ts, after_id = after + cur.execute( + "SELECT id, chat_id, sender_id, text, created_at FROM messages" + " WHERE chat_id = %s AND (created_at, id) > (%s, %s)" + " ORDER BY created_at, id LIMIT %s", + (chat_id, after_ts, after_id, limit), + ) + return [_row_to_message(r) for r in cur.fetchall()] + storage = PostgresStorage() # единственный экземпляр на процесс \ No newline at end of file diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py new file mode 100644 index 00000000..f85a0f37 --- /dev/null +++ b/student-tests/test_lab2_level4.py @@ -0,0 +1,118 @@ +#!/usr/bin/env python3 +"""Уровень 4 lab2: конкурентная регистрация, expiry TTL, недоступность Redis, EXPLAIN.""" +import base64 +import os +import subprocess +import sys +import time +import uuid +from concurrent.futures import ThreadPoolExecutor +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client, Failure, arguments, check, run # noqa: E402 + + +def test_concurrent_registration(c): + """Один и тот же username с 8 потоков — ровно одна 201, остальные 409.""" + username = "race_" + uuid.uuid4().hex[:10] + password = "T3st-" + uuid.uuid4().hex + body = {"username": username, "display_name": "Race", "password": password} + results = [] + lock = __import__("threading").Lock() + + def one(_): + local = Client(c.base, timeout=10) + try: + local.call("POST", "/api/v1/users", 201, body=body) + with lock: + results.append(201) + except Failure: + with lock: + results.append(409) + + with ThreadPoolExecutor(max_workers=8) as pool: + list(pool.map(one, range(8))) + check(results.count(201) == 1, "expected exactly one 201, got %s" % results) + check(results.count(409) == 7, "expected seven 409, got %s" % results) + + +def test_short_ttl_expiry(c, base_url): + """Регистрация + сессия с TTL=2с; через 4с токен недействителен.""" + suffix = uuid.uuid4().hex[:10] + username = "ttl_" + suffix + password = "T3st-" + uuid.uuid4().hex + c.call("POST", "/api/v1/users", 201, + body={"username": username, "display_name": "TTL", "password": password}) + cred = base64.b64encode((username + ":" + password).encode()).decode() + session = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred})["json"] + # Работает сразу + c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + session["token"]}) + # Ждём больше TTL + time.sleep(4) + c.call("GET", "/api/v1/users/me", 401, + headers={"Authorization": "Bearer " + session["token"]}) + + +def test_redis_unavailable(c, base_url): + """Останавливаем Redis — /health/ready отдаёт 503, Bearer не проходит.""" + print(" (проверка недоступности Redis: docker stop mtusi-redis на 5 секунд)") + r = subprocess.run(["docker", "stop", "mtusi-redis"], capture_output=True, text=True, timeout=30) + check(r.returncode == 0, "cannot stop Redis container") + try: + time.sleep(3) + ready = c.call("GET", "/health/ready", 503) + check(ready["status"] == 503, "readiness must be 503 without Redis") + c.call("GET", "/api/v1/users/me", 401, + headers={"Authorization": "Bearer " + "x" * 43}) + finally: + subprocess.run(["docker", "start", "mtusi-redis"], capture_output=True, text=True, timeout=30) + time.sleep(4) + c.call("GET", "/health/ready", 200) + + +def test_explain(c): + """EXPLAIN (ANALYZE, BUFFERS) по запросу истории — индекс используется.""" + # Просим psql через docker exec выполнить EXPLAIN. + sql = ( + "EXPLAIN (ANALYZE, BUFFERS) SELECT id, chat_id, sender_id, text, created_at " + "FROM messages WHERE chat_id = (SELECT chat_id FROM messages LIMIT 1) " + "ORDER BY created_at, id LIMIT 51;" + ) + r = subprocess.run( + ["docker", "exec", "-i", "mtusi-messenger-lab2", "python", "-c", + "import os,psycopg;conn=psycopg.connect(os.environ['DATABASE_URL']);" + "cur=conn.cursor();cur.execute(%r);" + "print('\\n'.join(row[0] for row in cur.fetchall()))" % sql], + capture_output=True, text=True, timeout=30, + ) + out = r.stdout + r.stderr + check("Index" in out or "Bitmap Index" in out or "idx_messages_chat_created" in out, + "EXPLAIN не показал использование индекса:\n" + out) + print("EXPLAIN (фрагмент):") + for line in out.splitlines()[:8]: + print(" ", line) + + +def main(): + args = arguments("Lab2 level 4 checks") + c = Client(args.base_url, args.ca_file) + print("=== test_concurrent_registration ===") + test_concurrent_registration(c) + print("PASS: concurrent registration produces exactly one user") + print("=== test_short_ttl_expiry ===") + test_short_ttl_expiry(c, args.base_url) + print("PASS: session expires after SESSION_TTL_SECONDS") + print("=== test_explain ===") + test_explain(c) + print("PASS: EXPLAIN uses idx_messages_chat_created") + print("=== test_redis_unavailable ===") + test_redis_unavailable(c, args.base_url) + print("PASS: readiness 503 без Redis, затем восстановление") + print("PASS: all lab2 level-4 checks passed") + + +if __name__ == "__main__": + run(main) \ No newline at end of file -- 2.54.0 From 2189a5747c344847450949a5655ef96fb78248f9 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 01:06:46 +0300 Subject: [PATCH 17/53] + sessions.py --- src/app/storage/sessions.py | 143 ++++++++++++++++++++++++++++++++++++ 1 file changed, 143 insertions(+) create mode 100644 src/app/storage/sessions.py diff --git a/src/app/storage/sessions.py b/src/app/storage/sessions.py new file mode 100644 index 00000000..4c368f8a --- /dev/null +++ b/src/app/storage/sessions.py @@ -0,0 +1,143 @@ +"""Хранилище сессий. Redis (основной режим, lab2 level 4) или PostgreSQL (fallback). + +Ключевое: при недоступности Redis поднимаем RuntimeError("redis_unavailable"), +чтобы main.py отдал 503 unavailable, а не 500 internal_error. +""" +import json +import os +import secrets +from datetime import datetime, timedelta, timezone +from typing import Optional +from uuid import UUID + +from ..models.schemas import User +from . import db as _db + +try: + import redis as _redis +except ImportError: # pragma: no cover + _redis = None + + +_SESSION_PREFIX = "sess:" + + +def now_utc() -> datetime: + return datetime.now(timezone.utc) + + +def _store() -> str: + return os.environ.get("SESSION_STORE", "redis").strip().lower() + + +def _redis_client(): + """Возвращает подключённый клиент Redis или поднимает RuntimeError. + + RuntimeError("redis_unavailable: ...") ловит main.runtime_error_handler → 503. + """ + if _redis is None: + raise RuntimeError("redis_unavailable: redis library is not installed") + url = os.environ.get("REDIS_URL", "redis://redis:6379/0") + try: + client = _redis.from_url( + url, + decode_responses=True, + socket_timeout=2.0, + socket_connect_timeout=2.0, + ) + client.ping() + return client + except _redis.RedisError as exc: + raise RuntimeError("redis_unavailable: %s" % type(exc).__name__) from exc + + +def _user_key(user_id: UUID) -> str: + return str(user_id) + + +def create_session(user_id: UUID, ttl_seconds: int) -> tuple[str, datetime]: + token = secrets.token_urlsafe(32) + expires_at = now_utc() + timedelta(seconds=ttl_seconds) + if _store() == "redis": + r = _redis_client() + payload = json.dumps({"user_id": _user_key(user_id), "expires_at": expires_at.isoformat()}) + try: + # SETEX: TTL — сама суть Redis-сессий + r.setex(_SESSION_PREFIX + token, ttl_seconds, payload) + except _redis.RedisError as exc: + raise RuntimeError("redis_unavailable: %s" % type(exc).__name__) from exc + else: + with _db.connection() as conn: + with conn.cursor() as cur: + cur.execute( + "INSERT INTO sessions (token, user_id, expires_at) VALUES (%s, %s, %s)", + (token, user_id, expires_at), + ) + conn.commit() + return token, expires_at + + +def get_session_user(token: str) -> Optional[User]: + if _store() == "redis": + r = _redis_client() + try: + raw = r.get(_SESSION_PREFIX + token) + except _redis.RedisError as exc: + raise RuntimeError("redis_unavailable: %s" % type(exc).__name__) from exc + if raw is None: + return None + try: + data = json.loads(raw) + user_id = UUID(data["user_id"]) + expires_at = datetime.fromisoformat(data["expires_at"]) + except Exception: + return None + if expires_at <= now_utc(): + try: + r.delete(_SESSION_PREFIX + token) + except _redis.RedisError: + pass + return None + return _load_user(user_id) + # postgres fallback + with _db.connection() as conn: + with conn.cursor() as cur: + cur.execute( + "SELECT u.id, u.username, u.display_name, u.created_at, s.expires_at" + " FROM sessions s JOIN users u ON u.id = s.user_id" + " WHERE s.token = %s", + (token,), + ) + row = cur.fetchone() + if row is None: + return None + if row[4] <= now_utc(): + cur.execute("DELETE FROM sessions WHERE token = %s", (token,)) + conn.commit() + return None + return User(id=row[0], username=row[1], display_name=row[2], created_at=row[3]) + + +def revoke_session(token: str) -> None: + if _store() == "redis": + r = _redis_client() + try: + r.delete(_SESSION_PREFIX + token) + except _redis.RedisError as exc: + raise RuntimeError("redis_unavailable: %s" % type(exc).__name__) from exc + return + with _db.connection() as conn: + with conn.cursor() as cur: + cur.execute("DELETE FROM sessions WHERE token = %s", (token,)) + conn.commit() + + +def _load_user(user_id: UUID) -> Optional[User]: + with _db.connection() as conn: + with conn.cursor() as cur: + cur.execute( + "SELECT id, username, display_name, created_at FROM users WHERE id = %s", + (user_id,), + ) + row = cur.fetchone() + return User(id=row[0], username=row[1], display_name=row[2], created_at=row[3]) if row else None \ No newline at end of file -- 2.54.0 From 2b794b39aad699b937c212b0fbfe586692c37be8 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 01:08:26 +0300 Subject: [PATCH 18/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=81=D0=BA=D1=80=D0=B8=D0=BF=D1=82=20restart.s?= =?UTF-8?q?h?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- scripts/restart.bat | 13 ++++--------- scripts/restart.sh | 12 +++++------- 2 files changed, 9 insertions(+), 16 deletions(-) diff --git a/scripts/restart.bat b/scripts/restart.bat index 75bf9c9e..1ffc12ee 100644 --- a/scripts/restart.bat +++ b/scripts/restart.bat @@ -7,17 +7,12 @@ REM Сохраните постоянные тома и схемы/данные; REM Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. REM Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. -REM Перезапуск API-контейнера. НЕ трогает PostgreSQL и не удаляет volume с данными. -docker restart mtusi-messenger-lab2 >nul 2>&1 +REM Уровень 4: перезапуск API и Redis. PostgreSQL на хосте не трогаем. +docker compose --env-file .env restart api redis >nul 2>&1 if errorlevel 1 ( - docker stop mtusi-messenger-lab2 >nul 2>&1 - docker run -d --rm --name mtusi-messenger-lab2 ^ - -p 127.0.0.1:8080:8080 ^ - --env-file .env ^ - mtusi-messenger:lab2 >nul + docker restart mtusi-messenger-lab2 >nul 2>&1 + docker restart mtusi-redis >nul 2>&1 ) - -REM Ждём readiness set /a i=0 :wait_loop if %i% geq 90 exit /b 1 diff --git a/scripts/restart.sh b/scripts/restart.sh index 7135f248..6a576984 100644 --- a/scripts/restart.sh +++ b/scripts/restart.sh @@ -6,13 +6,11 @@ set -eu # Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. # Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. -# Перезапуск API. PostgreSQL НЕ трогаем — volume с данными сохраняется. -docker restart mtusi-messenger-lab2 >/dev/null 2>&1 || { - docker stop mtusi-messenger-lab2 >/dev/null 2>&1 || true - docker run -d --rm --name mtusi-messenger-lab2 \ - -p 127.0.0.1:8080:8080 \ - --env-file .env \ - mtusi-messenger:lab2 >/dev/null +# Уровень 4: перезапускаем API и Redis (Redis — хранилище сессий с AOF). +# PostgreSQL на хосте не трогаем: его данные — источник истины, volume не удаляем. +docker compose --env-file .env restart api redis >/dev/null 2>&1 || { + docker restart mtusi-messenger-lab2 >/dev/null 2>&1 || true + docker restart mtusi-redis >/dev/null 2>&1 || true } # Ждём readiness i=0 -- 2.54.0 From eeb18a6389b06d7f234a818b00ba296685e32610 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 01:23:34 +0300 Subject: [PATCH 19/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 161 ++++++++++++++++++++++-------- 1 file changed, 121 insertions(+), 40 deletions(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index f85a0f37..c9d94324 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -1,9 +1,18 @@ #!/usr/bin/env python3 -"""Уровень 4 lab2: конкурентная регистрация, expiry TTL, недоступность Redis, EXPLAIN.""" +"""Уровень 4 lab2: конкурентная регистрация, expiry TTL, EXPLAIN, недоступность Redis. + +Перед запуском теста expiry: + 1) в .env выставить SESSION_TTL_SECONDS=2 + 2) docker compose --env-file .env up -d api + 3) python student-tests/test_lab2_level4.py --base-url http://localhost:8080 + 4) вернуть SESSION_TTL_SECONDS=3600 и снова up -d api +""" import base64 +import datetime as dt import os import subprocess import sys +import threading import time import uuid from concurrent.futures import ThreadPoolExecutor @@ -13,18 +22,19 @@ sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) from client import Client, Failure, arguments, check, run # noqa: E402 +# ---------- 1. Конкурентная регистрация одинакового username ---------- def test_concurrent_registration(c): """Один и тот же username с 8 потоков — ровно одна 201, остальные 409.""" username = "race_" + uuid.uuid4().hex[:10] password = "T3st-" + uuid.uuid4().hex body = {"username": username, "display_name": "Race", "password": password} results = [] - lock = __import__("threading").Lock() + lock = threading.Lock() def one(_): local = Client(c.base, timeout=10) try: - local.call("POST", "/api/v1/users", 201, body=body) + local.call("POST", "/api/v1/users", 201, body=body, schema="User") with lock: results.append(201) except Failure: @@ -37,80 +47,151 @@ def test_concurrent_registration(c): check(results.count(409) == 7, "expected seven 409, got %s" % results) -def test_short_ttl_expiry(c, base_url): - """Регистрация + сессия с TTL=2с; через 4с токен недействителен.""" +# ---------- 2. Expiry при коротком SESSION_TTL_SECONDS ---------- +def test_short_ttl_expiry(c): + """Регистрация + сессия; проверяем, что TTL реально короткий и токен истекает.""" suffix = uuid.uuid4().hex[:10] username = "ttl_" + suffix password = "T3st-" + uuid.uuid4().hex c.call("POST", "/api/v1/users", 201, - body={"username": username, "display_name": "TTL", "password": password}) + body={"username": username, "display_name": "TTL", "password": password}, + schema="User") cred = base64.b64encode((username + ":" + password).encode()).decode() session = c.call("POST", "/api/v1/auth/sessions", 201, - headers={"Authorization": "Basic " + cred})["json"] - # Работает сразу + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + + # Контроль: сервер обязан выдать короткий TTL, иначе тест бессмыслен. + expires_at = dt.datetime.fromisoformat(session["expires_at"].replace("Z", "+00:00")) + ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() + check(ttl_actual <= 6, + "SESSION_TTL_SECONDS не короткий (получено %.1f c). " + "Поставь SESSION_TTL_SECONDS=2 в .env и перезапусти API." % ttl_actual) + + # Сразу работает. c.call("GET", "/api/v1/users/me", 200, - headers={"Authorization": "Bearer " + session["token"]}) - # Ждём больше TTL + headers={"Authorization": "Bearer " + session["token"]}, + schema="User") + + # Ждём больше TTL. time.sleep(4) c.call("GET", "/api/v1/users/me", 401, headers={"Authorization": "Bearer " + session["token"]}) -def test_redis_unavailable(c, base_url): - """Останавливаем Redis — /health/ready отдаёт 503, Bearer не проходит.""" - print(" (проверка недоступности Redis: docker stop mtusi-redis на 5 секунд)") - r = subprocess.run(["docker", "stop", "mtusi-redis"], capture_output=True, text=True, timeout=30) - check(r.returncode == 0, "cannot stop Redis container") - try: - time.sleep(3) - ready = c.call("GET", "/health/ready", 503) - check(ready["status"] == 503, "readiness must be 503 without Redis") - c.call("GET", "/api/v1/users/me", 401, - headers={"Authorization": "Bearer " + "x" * 43}) - finally: - subprocess.run(["docker", "start", "mtusi-redis"], capture_output=True, text=True, timeout=30) - time.sleep(4) - c.call("GET", "/health/ready", 200) - - +# ---------- 3. EXPLAIN на реальной БД ---------- def test_explain(c): - """EXPLAIN (ANALYZE, BUFFERS) по запросу истории — индекс используется.""" - # Просим psql через docker exec выполнить EXPLAIN. + """EXPLAIN (ANALYZE, BUFFERS) истории сообщений — ожидаем индекс. + + Запускаем psql в одноразовом контейнере postgres:18-alpine; + подключаемся к PostgreSQL на хосте через host.docker.internal. + """ + dsn = os.environ.get("DATABASE_URL") + if not dsn: + env_file = Path(__file__).resolve().parents[1] / ".env" + if env_file.is_file(): + for line in env_file.read_text(encoding="utf-8").splitlines(): + line = line.strip() + if line.startswith("DATABASE_URL="): + dsn = line.split("=", 1)[1].strip() + break + check(dsn, "DATABASE_URL не найден ни в окружении, ни в .env") + # Внутри контейнера хост — host.docker.internal, а не localhost. + dsn_in_container = dsn.replace("@localhost:", "@host.docker.internal:") + dsn_in_container = dsn_in_container.replace("@127.0.0.1:", "@host.docker.internal:") + sql = ( - "EXPLAIN (ANALYZE, BUFFERS) SELECT id, chat_id, sender_id, text, created_at " - "FROM messages WHERE chat_id = (SELECT chat_id FROM messages LIMIT 1) " + "EXPLAIN (ANALYZE, BUFFERS) " + "SELECT id, chat_id, sender_id, text, created_at FROM messages " + "WHERE chat_id = (SELECT chat_id FROM messages LIMIT 1) " "ORDER BY created_at, id LIMIT 51;" ) r = subprocess.run( - ["docker", "exec", "-i", "mtusi-messenger-lab2", "python", "-c", - "import os,psycopg;conn=psycopg.connect(os.environ['DATABASE_URL']);" - "cur=conn.cursor();cur.execute(%r);" - "print('\\n'.join(row[0] for row in cur.fetchall()))" % sql], - capture_output=True, text=True, timeout=30, + [ + "docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "postgres:18-alpine", + "psql", dsn_in_container, "-c", sql, + ], + capture_output=True, text=True, timeout=60, ) out = r.stdout + r.stderr check("Index" in out or "Bitmap Index" in out or "idx_messages_chat_created" in out, - "EXPLAIN не показал использование индекса:\n" + out) + "EXPLAIN не показал использования индекса:\n" + out) print("EXPLAIN (фрагмент):") - for line in out.splitlines()[:8]: + for line in out.splitlines()[:10]: print(" ", line) +# ---------- 4. Недоступность Redis ---------- +def _compose(action): + return subprocess.run( + ["docker", "compose", "--env-file", ".env", action, "redis"], + capture_output=True, text=True, timeout=60, + ) + + +def _wait_ready(c, timeout=60): + deadline = time.monotonic() + timeout + while time.monotonic() < deadline: + try: + c.call("GET", "/health/ready", 200) + return + except Failure: + time.sleep(1) + raise Failure("API не вернулся в ready за %d секунд после старта Redis" % timeout) + + +def test_redis_unavailable(c): + """Останавливаем Redis: /health/ready → 503. Возвращаем обратно.""" + print(" (проверка недоступности Redis: docker compose stop redis на ~6 секунд)") + + stopped = _compose("stop") + check(stopped.returncode == 0, + "docker compose stop redis не сработал:\n" + (stopped.stdout + stopped.stderr)) + + try: + time.sleep(3) + # /health/ready должен стать 503. + ready = c.call("GET", "/health/ready", 503) + check(ready["status"] == 503, "readiness must be 503 without Redis") + # Бизнес-запрос с любым Bearer — 401 (сессию не находим) или 503, + # но точно не 200. + r = c.call("GET", "/api/v1/users/me", (401, 503), + headers={"Authorization": "Bearer " + "x" * 43}) + check(r["status"] in (401, 503), + "запрос с недействительным токеном при мёртвом Redis должен быть 401 или 503") + finally: + # Только восстановление. Никаких return/break/continue внутри finally. + started = _compose("start") + check(started.returncode == 0, + "docker compose start redis не сработал:\n" + (started.stdout + started.stderr)) + + # Ждём готовности — УЖЕ ВНЕ finally. + _wait_ready(c, timeout=60) + + +# ---------- main ---------- def main(): args = arguments("Lab2 level 4 checks") c = Client(args.base_url, args.ca_file) + print("=== test_concurrent_registration ===") test_concurrent_registration(c) print("PASS: concurrent registration produces exactly one user") + print("=== test_short_ttl_expiry ===") - test_short_ttl_expiry(c, args.base_url) + test_short_ttl_expiry(c) print("PASS: session expires after SESSION_TTL_SECONDS") + print("=== test_explain ===") test_explain(c) print("PASS: EXPLAIN uses idx_messages_chat_created") + print("=== test_redis_unavailable ===") - test_redis_unavailable(c, args.base_url) + test_redis_unavailable(c) print("PASS: readiness 503 без Redis, затем восстановление") + print("PASS: all lab2 level-4 checks passed") -- 2.54.0 From 017d8c153bce85091248f57fdda72224f6a8277a Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 13:50:12 +0300 Subject: [PATCH 20/53] =?UTF-8?q?=D0=9E=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 107 ++++++++++++++++++------------ 1 file changed, 64 insertions(+), 43 deletions(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index c9d94324..a5f391d9 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -1,11 +1,17 @@ #!/usr/bin/env python3 -"""Уровень 4 lab2: конкурентная регистрация, expiry TTL, EXPLAIN, недоступность Redis. +"""Уровень 4 lab2: expiry TTL, конкурентная регистрация, EXPLAIN, недоступность Redis. -Перед запуском теста expiry: - 1) в .env выставить SESSION_TTL_SECONDS=2 - 2) docker compose --env-file .env up -d api - 3) python student-tests/test_lab2_level4.py --base-url http://localhost:8080 - 4) вернуть SESSION_TTL_SECONDS=3600 и снова up -d api +Перед запуском: + 1) в .env выставить SESSION_TTL_SECONDS=5 + 2) docker compose --env-file .env up -d --force-recreate api + 3) docker exec mtusi-redis redis-cli flushdb + 4) python student-tests/test_lab2_level4.py --base-url http://localhost:8080 + 5) перед smoke/persistence вернуть SESSION_TTL_SECONDS=3600 и снова up -d --force-recreate api + +Про TTL=5. Методичка (contracts/README.md) разрешает короткий TTL именно +для теста истечения. TTL=5 достаточно, чтобы успеть проверить валидность +токена до истечения, и достаточно коротко, чтобы дождаться истечения +в рамках теста. """ import base64 import datetime as dt @@ -22,7 +28,52 @@ sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) from client import Client, Failure, arguments, check, run # noqa: E402 -# ---------- 1. Конкурентная регистрация одинакового username ---------- +def test_short_ttl_expiry(c): + """TTL=5. Проверяем полный цикл: токен валиден -> истекает -> 401.""" + suffix = uuid.uuid4().hex[:10] + username = "ttl_" + suffix + password = "T3st-" + uuid.uuid4().hex + user = c.call("POST", "/api/v1/users", 201, + body={"username": username, "display_name": "TTL", "password": password}, + schema="User")["json"] + cred = base64.b64encode((username + ":" + password).encode()).decode() + session = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + token = session["token"] + + # Контроль: сервер выдал короткий TTL, иначе тест бессмыслен. + expires_at = dt.datetime.fromisoformat(session["expires_at"].replace("Z", "+00:00")) + ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() + check(3.0 <= ttl_actual <= 10, + "SESSION_TTL_SECONDS не короткий (получено %.1f c). " + "Поставь SESSION_TTL_SECONDS=5 в .env и перезапусти API." % ttl_actual) + + # До истечения токен должен работать. + me = c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + token}, + schema="User")["json"] + check(me["id"] == user["id"], "token must identify its owner before expiry") + + # Ждём гарантированного истечения TTL + запас. + remaining = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() + time.sleep(max(remaining, 0.0) + 1.0) + + # Истёкший токен — 401. + c.call("GET", "/api/v1/users/me", 401, + headers={"Authorization": "Bearer " + token}) + + # Второй вход тем же пользователем даёт рабочий токен: истёк именно + # первый токен, а не пользователь/хранилище целиком. + session2 = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + session2["token"]}, + schema="User") + + +# ---------- 2. Конкурентная регистрация одинакового username ---------- def test_concurrent_registration(c): """Один и тот же username с 8 потоков — ровно одна 201, остальные 409.""" username = "race_" + uuid.uuid4().hex[:10] @@ -47,38 +98,6 @@ def test_concurrent_registration(c): check(results.count(409) == 7, "expected seven 409, got %s" % results) -# ---------- 2. Expiry при коротком SESSION_TTL_SECONDS ---------- -def test_short_ttl_expiry(c): - """Регистрация + сессия; проверяем, что TTL реально короткий и токен истекает.""" - suffix = uuid.uuid4().hex[:10] - username = "ttl_" + suffix - password = "T3st-" + uuid.uuid4().hex - c.call("POST", "/api/v1/users", 201, - body={"username": username, "display_name": "TTL", "password": password}, - schema="User") - cred = base64.b64encode((username + ":" + password).encode()).decode() - session = c.call("POST", "/api/v1/auth/sessions", 201, - headers={"Authorization": "Basic " + cred}, - schema="Session")["json"] - - # Контроль: сервер обязан выдать короткий TTL, иначе тест бессмыслен. - expires_at = dt.datetime.fromisoformat(session["expires_at"].replace("Z", "+00:00")) - ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() - check(ttl_actual <= 6, - "SESSION_TTL_SECONDS не короткий (получено %.1f c). " - "Поставь SESSION_TTL_SECONDS=2 в .env и перезапусти API." % ttl_actual) - - # Сразу работает. - c.call("GET", "/api/v1/users/me", 200, - headers={"Authorization": "Bearer " + session["token"]}, - schema="User") - - # Ждём больше TTL. - time.sleep(4) - c.call("GET", "/api/v1/users/me", 401, - headers={"Authorization": "Bearer " + session["token"]}) - - # ---------- 3. EXPLAIN на реальной БД ---------- def test_explain(c): """EXPLAIN (ANALYZE, BUFFERS) истории сообщений — ожидаем индекс. @@ -176,14 +195,16 @@ def main(): args = arguments("Lab2 level 4 checks") c = Client(args.base_url, args.ca_file) + # Expiry-тест запускается первым: при коротком TTL любая подготовка + # (bootstrap, конкурентная регистрация) съедает окно жизни сессии. + print("=== test_short_ttl_expiry ===") + test_short_ttl_expiry(c) + print("PASS: session valid before TTL, expires after TTL, 401 on expired token") + print("=== test_concurrent_registration ===") test_concurrent_registration(c) print("PASS: concurrent registration produces exactly one user") - print("=== test_short_ttl_expiry ===") - test_short_ttl_expiry(c) - print("PASS: session expires after SESSION_TTL_SECONDS") - print("=== test_explain ===") test_explain(c) print("PASS: EXPLAIN uses idx_messages_chat_created") -- 2.54.0 From 1bbd29df44b63395b5516141710e24cc8de0d67f Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 13:54:49 +0300 Subject: [PATCH 21/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 90 ++++++++++++++++++++++++++----- 1 file changed, 76 insertions(+), 14 deletions(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index a5f391d9..b66b2d1d 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -99,12 +99,7 @@ def test_concurrent_registration(c): # ---------- 3. EXPLAIN на реальной БД ---------- -def test_explain(c): - """EXPLAIN (ANALYZE, BUFFERS) истории сообщений — ожидаем индекс. - - Запускаем psql в одноразовом контейнере postgres:18-alpine; - подключаемся к PostgreSQL на хосте через host.docker.internal. - """ +def _read_dsn() -> str: dsn = os.environ.get("DATABASE_URL") if not dsn: env_file = Path(__file__).resolve().parents[1] / ".env" @@ -116,14 +111,81 @@ def test_explain(c): break check(dsn, "DATABASE_URL не найден ни в окружении, ни в .env") # Внутри контейнера хост — host.docker.internal, а не localhost. - dsn_in_container = dsn.replace("@localhost:", "@host.docker.internal:") - dsn_in_container = dsn_in_container.replace("@127.0.0.1:", "@host.docker.internal:") + return dsn.replace("@localhost:", "@host.docker.internal:").replace( + "@127.0.0.1:", "@host.docker.internal:") + + +def _psql(dsn_in_container: str, sql: str) -> str: + r = subprocess.run( + [ + "docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "postgres:18-alpine", + "psql", dsn_in_container, "-tA", "-c", sql, + ], + capture_output=True, text=True, timeout=120, + ) + return r.stdout + r.stderr + + +def _seed_messages(c, chat, actor, count: int): + """Доливает count сообщений в чат через API параллельно, батчами.""" + print(" сидируем %d сообщений в чат %s ..." % (count, chat["id"])) + batch = 64 + + def one(i): + local = Client(c.base, timeout=15) + local.message(actor, chat, "seed-%06d-%s" % (i, uuid.uuid4().hex[:6])) + + done = 0 + with ThreadPoolExecutor(max_workers=16) as pool: + while done < count: + n = min(batch, count - done) + list(pool.map(one, range(done, done + n))) + done += n + if done % 1024 == 0 or done == count: + print(" ... %d/%d" % (done, count)) + + +def test_explain(c): + """EXPLAIN (ANALYZE, BUFFERS) истории сообщений на >=10 000 строк. + + Методичка: индекс истории обоснован запросом и EXPLAIN на >=10 000 + сообщениях. На пустой таблице планировщик выбирает Seq Scan, поэтому + тест сам доводит messages до >=10 000 строк, делает ANALYZE и + проверяет план для самого крупного чата. + """ + dsn_in_container = _read_dsn() + + # Смотрим, сколько строк уже есть. + have_raw = _psql(dsn_in_container, "SELECT count(*) FROM messages;") + have = int(have_raw.strip().splitlines()[-1]) + print(" в таблице messages сейчас: %d строк" % have) + + target_total = 10_000 + if have < target_total: + need = target_total - have + # Один чат для сидинга: берём первый доступный или создаём новый. + alice, bob, eve, chat = c.bootstrap() + _seed_messages(c, chat, alice, need) + # ANALYZE обязателен: без него планировщик не знает реальных размеров. + _psql(dsn_in_container, "ANALYZE messages;") + _psql(dsn_in_container, "ANALYZE chat_members;") + _psql(dsn_in_container, "ANALYZE chats;") + + # EXPLAIN по САМОМУ БОЛЬШОМУ чату, чтобы планировщик имел основания + # выбрать индекс, а не Seq Scan. + biggest = _psql( + dsn_in_container, + "SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC LIMIT 1;", + ).strip().splitlines()[-1] + check(biggest and len(biggest) >= 32, "не удалось выбрать самый большой чат: %r" % biggest) sql = ( "EXPLAIN (ANALYZE, BUFFERS) " "SELECT id, chat_id, sender_id, text, created_at FROM messages " - "WHERE chat_id = (SELECT chat_id FROM messages LIMIT 1) " - "ORDER BY created_at, id LIMIT 51;" + "WHERE chat_id = '%s' " + "ORDER BY created_at, id LIMIT 51;" % biggest ) r = subprocess.run( [ @@ -132,14 +194,14 @@ def test_explain(c): "postgres:18-alpine", "psql", dsn_in_container, "-c", sql, ], - capture_output=True, text=True, timeout=60, + capture_output=True, text=True, timeout=120, ) out = r.stdout + r.stderr + print("EXPLAIN (фрагмент):") + for line in out.splitlines()[:12]: + print(" ", line) check("Index" in out or "Bitmap Index" in out or "idx_messages_chat_created" in out, "EXPLAIN не показал использования индекса:\n" + out) - print("EXPLAIN (фрагмент):") - for line in out.splitlines()[:10]: - print(" ", line) # ---------- 4. Недоступность Redis ---------- -- 2.54.0 From f1fe9d7bebfbdaaeaf15292a24c5a52cb13c5c3e Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 14:02:14 +0300 Subject: [PATCH 22/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82=D1=8B=20=D0=B8=20health?= =?UTF-8?q?.py?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/api/health.py | 28 ++--- student-tests/test_lab2_level4.py | 197 +++++++++++++++++------------- 2 files changed, 128 insertions(+), 97 deletions(-) diff --git a/src/app/api/health.py b/src/app/api/health.py index 913a3d25..1aa43062 100644 --- a/src/app/api/health.py +++ b/src/app/api/health.py @@ -1,4 +1,4 @@ -from fastapi import APIRouter, Response +from fastapi import APIRouter from ..models.schemas import Health from ..storage import db as _db from ..storage.sessions import _redis_client, _store @@ -22,19 +22,17 @@ def liveness() -> Health: summary="Проверка готовности принимать трафик", response_model=Health, ) -def readiness(response: Response) -> Health: - """200, если PostgreSQL и (в режиме redis) Redis доступны; иначе 503.""" - try: - with _db.connection() as conn, conn.cursor() as cur: - cur.execute("SELECT 1") - cur.fetchone() - except Exception: - response.status_code = 503 - return Health(status="ok") +def readiness() -> Health: + """200, если PostgreSQL и (в режиме redis) Redis доступны. + + При недоступности зависимости исключение вылетает наверх, и main.py + конвертирует его в 503 с телом Error из contracts/openapi.json. + """ + with _db.connection() as conn, conn.cursor() as cur: + cur.execute("SELECT 1") + cur.fetchone() if _store() == "redis": - try: - _redis_client().ping() - except Exception: - response.status_code = 503 - return Health(status="ok") + # _redis_client() сам поднимает RuntimeError("redis_unavailable") + # при ошибке; main.runtime_error_handler → 503 Error. + _redis_client().ping() return Health(status="ok") \ No newline at end of file diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index b66b2d1d..d1988503 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -8,10 +8,12 @@ 4) python student-tests/test_lab2_level4.py --base-url http://localhost:8080 5) перед smoke/persistence вернуть SESSION_TTL_SECONDS=3600 и снова up -d --force-recreate api -Про TTL=5. Методичка (contracts/README.md) разрешает короткий TTL именно -для теста истечения. TTL=5 достаточно, чтобы успеть проверить валидность -токена до истечения, и достаточно коротко, чтобы дождаться истечения -в рамках теста. +Порядок тестов: тяжёлые по данным и конкурентные — ДО expiry-теста, +потому что при коротком TTL любой долгий шаг съедает окно жизни сессии. +Expiry-тест запускается последним и использует свежие сессии. + +test_explain не зависит от TTL вообще: он сидирует данные напрямую +через psql и проверяет план SQL-запроса, а не HTTP-слой. """ import base64 import datetime as dt @@ -28,52 +30,7 @@ sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) from client import Client, Failure, arguments, check, run # noqa: E402 -def test_short_ttl_expiry(c): - """TTL=5. Проверяем полный цикл: токен валиден -> истекает -> 401.""" - suffix = uuid.uuid4().hex[:10] - username = "ttl_" + suffix - password = "T3st-" + uuid.uuid4().hex - user = c.call("POST", "/api/v1/users", 201, - body={"username": username, "display_name": "TTL", "password": password}, - schema="User")["json"] - cred = base64.b64encode((username + ":" + password).encode()).decode() - session = c.call("POST", "/api/v1/auth/sessions", 201, - headers={"Authorization": "Basic " + cred}, - schema="Session")["json"] - token = session["token"] - - # Контроль: сервер выдал короткий TTL, иначе тест бессмыслен. - expires_at = dt.datetime.fromisoformat(session["expires_at"].replace("Z", "+00:00")) - ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() - check(3.0 <= ttl_actual <= 10, - "SESSION_TTL_SECONDS не короткий (получено %.1f c). " - "Поставь SESSION_TTL_SECONDS=5 в .env и перезапусти API." % ttl_actual) - - # До истечения токен должен работать. - me = c.call("GET", "/api/v1/users/me", 200, - headers={"Authorization": "Bearer " + token}, - schema="User")["json"] - check(me["id"] == user["id"], "token must identify its owner before expiry") - - # Ждём гарантированного истечения TTL + запас. - remaining = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() - time.sleep(max(remaining, 0.0) + 1.0) - - # Истёкший токен — 401. - c.call("GET", "/api/v1/users/me", 401, - headers={"Authorization": "Bearer " + token}) - - # Второй вход тем же пользователем даёт рабочий токен: истёк именно - # первый токен, а не пользователь/хранилище целиком. - session2 = c.call("POST", "/api/v1/auth/sessions", 201, - headers={"Authorization": "Basic " + cred}, - schema="Session")["json"] - c.call("GET", "/api/v1/users/me", 200, - headers={"Authorization": "Bearer " + session2["token"]}, - schema="User") - - -# ---------- 2. Конкурентная регистрация одинакового username ---------- +# ---------- 1. Конкурентная регистрация одинакового username ---------- def test_concurrent_registration(c): """Один и тот же username с 8 потоков — ровно одна 201, остальные 409.""" username = "race_" + uuid.uuid4().hex[:10] @@ -98,7 +55,7 @@ def test_concurrent_registration(c): check(results.count(409) == 7, "expected seven 409, got %s" % results) -# ---------- 3. EXPLAIN на реальной БД ---------- +# ---------- 2. EXPLAIN на реальной БД ---------- def _read_dsn() -> str: dsn = os.environ.get("DATABASE_URL") if not dsn: @@ -128,32 +85,16 @@ def _psql(dsn_in_container: str, sql: str) -> str: return r.stdout + r.stderr -def _seed_messages(c, chat, actor, count: int): - """Доливает count сообщений в чат через API параллельно, батчами.""" - print(" сидируем %d сообщений в чат %s ..." % (count, chat["id"])) - batch = 64 - - def one(i): - local = Client(c.base, timeout=15) - local.message(actor, chat, "seed-%06d-%s" % (i, uuid.uuid4().hex[:6])) - - done = 0 - with ThreadPoolExecutor(max_workers=16) as pool: - while done < count: - n = min(batch, count - done) - list(pool.map(one, range(done, done + n))) - done += n - if done % 1024 == 0 or done == count: - print(" ... %d/%d" % (done, count)) - - def test_explain(c): """EXPLAIN (ANALYZE, BUFFERS) истории сообщений на >=10 000 строк. Методичка: индекс истории обоснован запросом и EXPLAIN на >=10 000 сообщениях. На пустой таблице планировщик выбирает Seq Scan, поэтому - тест сам доводит messages до >=10 000 строк, делает ANALYZE и - проверяет план для самого крупного чата. + тест сам доводит messages до >=10 000 строк и делает ANALYZE. + + Данные сидируются напрямую через psql, без API: тест не зависит от + SESSION_TTL_SECONDS и скорости scrypt. Это корректно, потому что + EXPLAIN проверяет план SQL-запроса, а не HTTP-слой. """ dsn_in_container = _read_dsn() @@ -165,13 +106,55 @@ def test_explain(c): target_total = 10_000 if have < target_total: need = target_total - have - # Один чат для сидинга: берём первый доступный или создаём новый. - alice, bob, eve, chat = c.bootstrap() - _seed_messages(c, chat, alice, need) + print(" сидируем %d сообщений напрямую через psql ..." % need) + + # Один чат: берём существующий или создаём минимальный. + # gen_random_uuid() доступен в PG13+ без расширений. + seed_sql = """ +DO $$ +DECLARE + v_user UUID; + v_chat UUID; +BEGIN + SELECT id INTO v_user FROM users LIMIT 1; + IF v_user IS NULL THEN + v_user := gen_random_uuid(); + INSERT INTO users (id, username, display_name, password_hash, created_at) + VALUES (v_user, 'seed_' || substr(v_user::text, 1, 8), 'Seed', + 'scrypt$16384$8$1$00$00', now()); + END IF; + + SELECT id INTO v_chat FROM chats LIMIT 1; + IF v_chat IS NULL THEN + v_chat := gen_random_uuid(); + INSERT INTO chats (id, title, created_at) VALUES (v_chat, 'Seed chat', now()); + INSERT INTO chat_members (chat_id, user_id) VALUES (v_chat, v_user); + END IF; + + -- Доливаем ровно need строк в этот чат. + INSERT INTO messages (id, chat_id, sender_id, text, created_at) + SELECT gen_random_uuid(), v_chat, v_user, + 'seed-' || g, now() - (g || ' milliseconds')::interval + FROM generate_series(1, %d) AS g; +END $$; +""" % need + r = subprocess.run( + [ + "docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "postgres:18-alpine", + "psql", dsn_in_container, "-c", seed_sql, + ], + capture_output=True, text=True, timeout=120, + ) + seed_out = r.stdout + r.stderr + check("ERROR" not in seed_out, "сидирование не удалось:\n" + seed_out) + # ANALYZE обязателен: без него планировщик не знает реальных размеров. _psql(dsn_in_container, "ANALYZE messages;") _psql(dsn_in_container, "ANALYZE chat_members;") _psql(dsn_in_container, "ANALYZE chats;") + print(" сидирование завершено") # EXPLAIN по САМОМУ БОЛЬШОМУ чату, чтобы планировщик имел основания # выбрать индекс, а не Seq Scan. @@ -204,7 +187,7 @@ def test_explain(c): "EXPLAIN не показал использования индекса:\n" + out) -# ---------- 4. Недоступность Redis ---------- +# ---------- 3. Недоступность Redis ---------- def _compose(action): return subprocess.run( ["docker", "compose", "--env-file", ".env", action, "redis"], @@ -252,17 +235,63 @@ def test_redis_unavailable(c): _wait_ready(c, timeout=60) +# ---------- 4. Expiry TTL ---------- +def test_short_ttl_expiry(c): + """TTL=5. Проверяем полный цикл: токен валиден -> истекает -> 401. + + Идёт ПОСЛЕДНИМ: при коротком TTL любая долгая подготовка съедает + окно жизни сессии, поэтому соседние тесты работают раньше. + """ + suffix = uuid.uuid4().hex[:10] + username = "ttl_" + suffix + password = "T3st-" + uuid.uuid4().hex + user = c.call("POST", "/api/v1/users", 201, + body={"username": username, "display_name": "TTL", "password": password}, + schema="User")["json"] + cred = base64.b64encode((username + ":" + password).encode()).decode() + session = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + token = session["token"] + + # Контроль: сервер выдал короткий TTL, иначе тест бессмыслен. + expires_at = dt.datetime.fromisoformat(session["expires_at"].replace("Z", "+00:00")) + ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() + check(3.0 <= ttl_actual <= 10, + "SESSION_TTL_SECONDS не короткий (получено %.1f c). " + "Поставь SESSION_TTL_SECONDS=5 в .env и перезапусти API." % ttl_actual) + + # До истечения токен должен работать. + me = c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + token}, + schema="User")["json"] + check(me["id"] == user["id"], "token must identify its owner before expiry") + + # Ждём гарантированного истечения TTL + запас. + remaining = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() + time.sleep(max(remaining, 0.0) + 1.0) + + # Истёкший токен — 401. + c.call("GET", "/api/v1/users/me", 401, + headers={"Authorization": "Bearer " + token}) + + # Второй вход тем же пользователем даёт рабочий токен: истёк именно + # первый токен, а не пользователь/хранилище целиком. + session2 = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + session2["token"]}, + schema="User") + + # ---------- main ---------- def main(): args = arguments("Lab2 level 4 checks") c = Client(args.base_url, args.ca_file) - # Expiry-тест запускается первым: при коротком TTL любая подготовка - # (bootstrap, конкурентная регистрация) съедает окно жизни сессии. - print("=== test_short_ttl_expiry ===") - test_short_ttl_expiry(c) - print("PASS: session valid before TTL, expires after TTL, 401 on expired token") - + # Порядок: сначала тяжёлые/долгие тесты, expiry — последним, + # потому что при коротком TTL он «сжигает» сессии. print("=== test_concurrent_registration ===") test_concurrent_registration(c) print("PASS: concurrent registration produces exactly one user") @@ -275,6 +304,10 @@ def main(): test_redis_unavailable(c) print("PASS: readiness 503 без Redis, затем восстановление") + print("=== test_short_ttl_expiry ===") + test_short_ttl_expiry(c) + print("PASS: session valid before TTL, expires after TTL, 401 on expired token") + print("PASS: all lab2 level-4 checks passed") -- 2.54.0 From 52ff103b60dcaff554ae7eef82c9a4cf88ce3af3 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 14:37:47 +0300 Subject: [PATCH 23/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82=20=D0=BD=D0=B0=20?= =?UTF-8?q?=D0=BE=D1=86=D0=B5=D0=BD=D0=BA=D1=83=204?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 337 +++++++++++++++++++++++++----------------------------- 1 file changed, 153 insertions(+), 184 deletions(-) diff --git a/REPORT.md b/REPORT.md index bb3d7dec..635a9d30 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,77 +1,64 @@ # Отчёт — лабораторная 2 - Автор, группа: Васюкова Наталья, БВТ2303 -- Целевая оценка: 3 +- Целевая оценка: 4 - Commit/PR: solution/BVT2303-Vasyukova - Использованные источники, библиотеки и помощь ИИ: - Контракт: contracts/openapi.json, contracts/README.md - Инструкции: README.md, COURSE.md, CONTRIBUTING.md - - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, pydantic (из fastapi) + - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, pydantic (из fastapi) - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. ## Запуск из чистого clone -Версии runtime/образов и Prerequisites (предварительные требования): -- Python: 3.12 (базовый образ python:3.12-slim) -- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3 -- PostgreSQL 18.6 -- Docker Desktop (Windows), образ mtusi-messenger:lab2 +Версии runtime/образов: +- Python: 3.12 (образ `python:3.12-slim`) +- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0 +- PostgreSQL 18.6 (на хосте), Redis 7.4.1-alpine (в Compose) +- Docker Desktop (Windows) ### Подготовка PostgreSQL -1. Установить PostgreSQL 18.6, открыть pgAdmin, подключиться к серверу localhost:5432 под пользователем postgres. -2. Создать БД: - - Database: `high_load_messenger` - - Owner: `postgres` -3. В Query Tool для базы high_load_messenger создать роль приложения: +1. Установить PostgreSQL 18.6, открыть pgAdmin, подключиться к серверу `localhost:5432` под пользователем `postgres`. +2. Создать БД `high_load_messenger`, owner `postgres`. +3. В Query Tool создать роль приложения: ```sql CREATE ROLE messenger WITH LOGIN PASSWORD 'messenger'; GRANT ALL PRIVILEGES ON DATABASE high_load_messenger TO messenger; GRANT ALL ON SCHEMA public TO messenger; ``` -4. Схему таблиц автоматически создает приложение на старте. +4. Разрешить подключения из docker-сети: в `postgresql.conf` — `listen_addresses = '*'`, в `pg_hba.conf` — строка для `172.16.0.0/12`/`host.docker.internal`. Перезапустить службу PostgreSQL. +5. Схему таблиц автоматически создаёт приложение на старте (`init_schema()`). -### Запуск API +### Запуск стека -1. Клонировать репозиторий: +1. Клонировать репозиторий и переключиться на ветку решения: ``` git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git && cd mtusi2026lab2 - ``` -2. Переключиться на ветку решения: - ``` git checkout solution/BVT2303-Vasyukova ``` -3. Создать локальный `.env` из шаблона: +2. Создать `.env` из шаблона и при необходимости поправить `DATABASE_URL`: ``` copy .env.example .env ``` - Отредактировать `.env`, указав DATABASE_URL. -4. Сборка образа: +3. Собрать и поднять: ``` - docker build -t mtusi-messenger:lab2 . + docker compose --env-file .env up -d --build ``` -5. Запуск: - ``` - docker run --rm --name mtuci-messenger-lab2 -p 127.0.0.1:8080:8080 --env-file .env --add-host=host.docker.internal:host-gateway mtuci-messenger:lab2 - ``` - Флаг `--add-host=host.docker.internal:host-gateway` обязателен, если PostgreSQL работает на хосте, а не в контейнере. - -6. Проверка готовности: +4. Проверить готовность: ``` curl.exe -s http://localhost:8080/health/ready ``` Ожидается: `{"status":"ok"}`. -7. Публичный smoke (в другом терминале): - python tests/smoke.py --base-url http://localhost:8080 - Альтернативный локальный запуск без Docker: python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload - +(в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`) + ### Проверки `make` в среде автора недоступен (Windows без GNU Make), поэтому использованы эквивалентные прямые вызовы скриптов. Для Linux/CI рядом указаны команды `make`. -| Makefile-команда | Прямой эквивалент | +| Makefile-команда | Прямой вызов | | --- | --- | | `make check` | `python scripts/check_contract.py` | | `make validate` | `python scripts/validate_openapi.py` | @@ -80,132 +67,128 @@ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | Примечание про 2 action-скрипта: -- `scripts/restart.sh` — обязательный артефакт по методичке, для Linux/CI (shebang `#!/bin/sh`, `chmod +x`). -- `scripts/restart.bat` — Windows-эквивалент restart.sh: tests/resilience.py запускает action-script напрямую через subprocess.Popen, и на Windows .sh не исполняется (WinError 193). +`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` не исполняет `.sh` на Windows). ### Остановка и удаление учебных данных +docker compose stop # данные Redis и PostgreSQL (источник истины) сохраняются +docker compose down # volumes Redis сохраняются +docker compose down -v # ТОЛЬКО если осознанно стираем данные Redis ``` -Ctrl+C в терминале контейнера -или -docker stop mtusi-messenger-lab2 -``` -Данные в PostgreSQL сохраняются (источник истины). Контейнер запускается с флагом `--rm` и удаляется автоматически. - -Альтернативный локальный запуск без Docker: -``` -python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload -``` -(в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`) ## Архитектура и решения -Актуальная архитектура на момент lab2: +Схема процессов и хранилищ: -Схема процессов/хранилищ: ``` -HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (localhost:5432) - ↓ - БД high_load_messenger +HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (host.docker.internal:5432) + ↘ Redis 7.4.1 (redis:6379, AOF everysec) ``` Источник истины: -PostgreSQL. Все данные хранятся в БД. Память процесса используется только как кэш объектов Python в рамках одного запроса. +- PostgreSQL — пользователи, чаты, членство, сообщения. +- Redis — серверные сессии (TTL, инвалидация через logout). -Транзакционные границы: -- `create_user` — SELECT-проверка username и INSERT выполняются в одной транзакции; конкурентный дубликат отсекается уникальным индексом `users.username` (ловим `UniqueViolation` → 409). -- `create_chat` — INSERT в `chats` и `chat_members` выполняются в одной транзакции, фиксируются или откатываются целиком. Составная операция создания чата атомарна. -- `add_message` — один INSERT, фиксируется отдельно. -- `create_session`/`revoke_session` — одна транзакция на операцию. +Роль Redis на уровне 4: +- Хранилище серверных сессий с TTL (`SETEX sess: SESSION_TTL_SECONDS ...`). +- Persistence: AOF `appendonly yes`, `appendfsync everysec`, RDB `save 60 1` — сессии переживают рестарт Redis. +- Политика expiry: TTL задаёт сам Redis, продления нет. Инвалидация: `DEL sess:` при `DELETE /auth/sessions/current`. +- Источник истины для сессий — Redis. Если Redis недоступен, `/health/ready` → 503, бизнес-запросы не обслуживаются молча как анонимные. Схема БД (подробнее - `src/app/storage/db.py`, константа `SCHEMA_SQL`): +``` users(id UUID PK, username TEXT UNIQUE, display_name TEXT, password_hash TEXT, created_at TIMESTAMPTZ) chats(id UUID PK, title TEXT, created_at TIMESTAMPTZ) -chat_members(chat_id UUID FK→chats, user_id UUID FK→users, PK(chat_id,user_id)) -messages(id UUID PK, chat_id UUID FK→chats, sender_id UUID FK→users, text TEXT, created_at TIMESTAMPTZ) +chat_members(chat_id FK→chats, user_id FK→users, PK(chat_id,user_id)) +messages(id UUID PK, chat_id FK→chats, sender_id FK→users, text TEXT, created_at TIMESTAMPTZ) + INDEX idx_messages_chat_created(chat_id, created_at, id) -sessions(token TEXT PK, user_id UUID FK→users, expires_at TIMESTAMPTZ) +sessions(token TEXT PK, user_id FK→users, expires_at TIMESTAMPTZ) -- fallback SESSION_STORE=postgres +``` +Применяется идемпотентно через `init_schema()` на старте. Все временные метки — `TIMESTAMPTZ`. -Применяется идемпотентно через `init_schema()` при старте (CREATE ... IF NOT EXISTS). +Транзакционные границы: +- `create_user` — SELECT-проверка username и INSERT в одной транзакции; при гонке `UniqueViolation` ловится и превращается в 409. +- `create_chat` — INSERT `chats` + INSERT `chat_members` в одной транзакции, откат целиком. +- `add_message` — один INSERT, отдельная транзакция. +- Создание/отзыв сессии — одна операция. -Все временные метки — `TIMESTAMPTZ`. +Пул соединений и таймауты (уровень 4): +- `psycopg_pool.ConnectionPool(min_size=2, max_size=10, timeout=5.0)`, `statement_timeout=5000 ms` через `options`. Пул инициализируется в `lifespan` и закрывается на shutdown. + +Keyset-пагинация (уровень 4): +- `list_messages_page(chat_id, limit, after)`: `WHERE chat_id = %s AND (created_at, id) > (%s, %s) ORDER BY created_at, id LIMIT %s`. Берётся `limit + 1`, чтобы определить наличие следующей страницы. Полного scan всей истории на страницу нет. Аутентификация (lab1 → lab2): -- Регистрация (`POST /api/v1/users`) требует поле `password` (12–128 code points). Пароль хешируется стандартным `hashlib.scrypt` с уникальной солью на пользователя, формат хранения `scrypt$N$r$p$salt$dk`. Проверка через `hmac.compare_digest`. -- `POST /api/v1/auth/sessions` принимает только `Authorization: Basic `, без JSON body. Неверные креды → 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. -- Успешный вход → 201 с `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в таблице `sessions` с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). -- Все защищённые endpoint принимают только `Authorization: Bearer `. Истёкший/отозванный/неизвестный токен → 401 с `WWW-Authenticate: Bearer realm="messenger"`. -- `DELETE /api/v1/auth/sessions/current` — отзыв текущей сессии, 204. +- Регистрация `POST /api/v1/users` требует поле `password` (12–128 code points). Пароль хешируется стандартным `hashlib.scrypt` с уникальной солью на пользователя, формат хранения `scrypt$N$r$p$salt$dk`. Проверка через `hmac.compare_digest`. +- `POST /api/v1/auth/sessions` принимает только Basic `Authorization: Basic `, без JSON body. Неверные креды → 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. +- Успешный вход → 201 `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в таблице `sessions` с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). +- Защищённые endpoint принимают только `Authorization: Bearer `. Истёкший/отозванный/неизвестный токен → 401 с `WWW-Authenticate: Bearer realm="messenger"`. +- `DELETE /api/v1/auth/sessions/current` → отзыв текущей сессии. 204, повтор → 401. - `X-User-Id` (lab1) с lab2 игнорируется и доступа не даёт: смоук проверяет, что с валидным Bearer и чужим `X-User-Id: ` возвращается владелец токена (Alice), а не Eve. - Согласно `contracts/README.md`, Basic на бизнес-endpoint → 401. -Ограничения: -- Сессии хранятся в PostgreSQL. На уровне 4 потребуется либо перенести сессии в Redis/Valkey, либо использовать Redis для осмысленного кэша и обосновать это. -- Одна инстанция API, одна БД. Горизонтального масштабирования и HA нет (это lab3+). -- Пул соединений отсутствует: сейчас на каждый запрос создаётся `psycopg.connect()`. Для уровня 4 требуется ограниченный connection pool и таймауты. -- Keyset-пагинация в текущей версии реализована фильтрацией в Python после выборки всех сообщений чата. Для уровня 4 требуется вынести пагинацию в SQL и подкрепить EXPLAIN. -- Нагрузочных измерений для lab2 не проводилось (не требуется на 3). +Обработка недоступности зависимостей: +- `psycopg.OperationalError` → 503 `{"error":{"code":"unavailable",...}}` (обработчик в `main.py`). +- Redis-ошибки в `sessions.py` обёрнуты в `RuntimeError("redis_unavailable: ...")`, `main.py` превращает в 503 `unavailable`. +- `/health/ready` пингует PostgreSQL и, в режиме `redis`, Redis; при ошибке исключение вылетает наверх и превращается в 503 с телом `Error`. -Дерево папок: +Дерево проекта (изменения относительно lab1 отмечены `*`): ``` mtusi2026lab2/ -├── src/app/ # исходники приложения -│ ├── main.py # точка входа uvicorn, init_schema, роутеры, middleware X-Request-Id, структурное логирование, SIGTERM, обработчики ошибок (Basic/Bearer challenge) +├── compose.yaml * # API + Redis, PostgreSQL на хосте +├── Dockerfile +├── Makefile +├── README.md, COURSE.md, ... # скелет без изменений +├── requirements.txt * # + psycopg_pool, redis +├── .env.example * # + REDIS_URL, SESSION_STORE +├── src/app/ # исходники приложения +│ ├── main.py * # точка входа uvicorn, init_pool/close_pool, 503-обработчики │ ├── api/ -│ │ ├── health.py +│ │ ├── health.py * # readiness пингует PostgreSQL + Redis │ │ ├── auth.py # Авторизация -│ │ ├── security.py # current_user: извлечение Bearer, поиск сессии в PostgreSQL +│ │ ├── security.py │ │ ├── users.py │ │ ├── chats.py -│ │ └── messages.py -│ ├── models/ -│ │ └── schemas.py # Pydantic-схемы +│ │ └── messages.py * # keyset-пагинация в SQL +│ ├── models/schemas.py # Pydantic-схемы │ └── storage/ -│ ├── db.py # connection(), SCHEMA_SQL, init_schema() -│ ├── postgres.py # PostgresStorage — источник истины lab2 -│ └── memory.py # MemoryStorage оставлен как референс lab1 -├── contracts/ # OpenAPI + семантика (без изменений) -├── tests/ # публичные проверки (без изменений) +│ ├── db.py * # ConnectionPool, SCHEMA_SQL, statement_timeout +│ ├── postgres.py * # PostgresStorage, делегаты сессий, list_messages_page +│ ├── sessions.py * # Redis-сессии, RuntimeError +│ └── memory.py # референс lab1, не используется ├── scripts/ -│ ├── check_contract.py -│ ├── validate_openapi.py -│ ├── restart.example.sh -│ ├── restart.sh # Linux/CI: перезапуск API-контейнера -│ └── restart.bat # Windows-эквивалент для локального прогона -├── student-tests/ # собственные тесты из lab1 -│ ├── run_all.py # единая команда запуска -│ ├── test_negative.py # негативные сценарии -│ └── test_concurrency.py # защита от гонок (100 сообщений / 10 клиентов) -├── Dockerfile # сборка образа -├── Makefile -├── README.md, ... # скелет (без изменений) -├── requirements.txt -├── .env.example -└── REPORT.md # отчёт +│ ├── restart.sh * # Linux/CI: перезапуск API и Redis через compose +│ └── restart.bat * # Windows-эквивалент для локального прогона +├── student-tests/ +│ ├── run_all.py +│ ├── test_negative.py +│ ├── test_concurrency.py +│ └── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down +└── tests/ # публичные проверки, без изменений ``` -Примечание: - -Что перенесено из lab1: -- Исходники FastAPI, роутеры, Pydantic-схемы, обработчик SIGTERM, middleware X-Request-Id, формат ошибок, структурное логирование. -- Dockerfile, healthcheck, непривилегированный пользователь `appuser`, `.dockerignore`. -- `student-tests/` (негативные и конкурентные тесты lab1 продолжают работать). +Что перенесено из lab1 без изменений: FastAPI-роутеры, Pydantic-схемы, middleware `X-Request-Id`, структурное логирование, обработчик SIGTERM, формат ошибок, Dockerfile (multi-stage, non-root, healthcheck), `.dockerignore`, `student-tests/test_negative.py`, `student-tests/test_concurrency.py`. Что изменено: -- `requirements.txt`: добавлен `psycopg[binary]==3.2.3`. -- `.env.example`: добавлена `DATABASE_URL`. -- `src/app/storage/db.py` — новый файл. -- `src/app/storage/postgres.py` — новый файл, реализует тот же интерфейс, что `MemoryStorage`. -- Роутеры `users/chats/messages/security/auth` переведены на `from ..storage.postgres import storage`. -- `src/app/models/schemas.py`: добавлен `field_serializer` для `created_at` и `expires_at`, чтобы Pydantic выдавал `Z`, а не `+00:00` (требование `contracts/README.md`). -- `src/app/main.py`: в `lifespan` вызывается `init_schema()`; `_error_response` выбирает `WWW-Authenticate` (Basic для `POST /auth/sessions`, Bearer для остальных 401). -- Добавлен `scripts/restart.sh` (Linux/CI) и `scripts/restart.bat` (Windows). +- `requirements.txt`: добавлены `psycopg[binary]`, `psycopg_pool`, `redis`. +- `.env.example`: добавлены `REDIS_URL`, `SESSION_STORE`. +- `storage/db.py`: `connection()` берёт соединение из пула; `init_schema()` идемпотентен. +- `src/app/storage/postgres.py` — реализует тот же интерфейс, что `MemoryStorage`, плюс делегаты сессий и `list_messages_page`. +- `storage/sessions.py`: новый файл, хранилище сессий — Redis или PostgreSQL. +- `api/messages.py`: keyset-пагинация вынесена в SQL. +- `api/health.py`: readiness проверяет PostgreSQL и Redis. +- `main.py`: `init_pool`/`close_pool`, обработчики 503. +- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API и Redis. +- `student-tests/test_lab2_level4.py`: тесты уровня 4. Соответствие `.env.example` реальной конфигурации: - `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. - `APP_ENV` — пишется в стартовый лог `event=startup app_env=...`, в остальном на логику не влияет. - `SESSION_TTL_SECONDS` — TTL серверных сессий в таблице `sessions`, по умолчанию 3600. -- `DATABASE_URL` — строка подключения к PostgreSQL; в Docker используется `host.docker.internal` (PostgreSQL на хосте), при запуске без Docker — `localhost`. Пароль — секрет, реальное значение только в локальном `.env` (в `.gitignore`/`.dockerignore`); в `.env.example` — placeholder. +- `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `host.docker.internal` (PostgreSQL на хосте); пароль — в локальном `.env`, в `.env.example` — placeholder. +- `REDIS_URL` — адрес Redis в compose-сети (`redis://redis:6379/0`), не секрет. +- `SESSION_STORE` — `redis` (уровень 4) или `postgres` (fallback). +- `CACHE_URL_FILE` — резервная переменная из скелета, не используется. ## Доказательства критериев @@ -213,84 +196,70 @@ mtusi2026lab2/ | --- | --- | --- | --- | --- | | OpenAPI 3.1 и JSON Schema | `python scripts/validate_openapi.py` | `PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.` | evidence/lab2/lab2_checks.txt | **3** | | Структура и локальные ссылки | `python scripts/check_contract.py` | `PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.` | evidence/lab2/lab2_checks.txt | **3** | -| Публичный smoke (endpoint lab2, ошибки, членство, пагинация, авторизация) | `python tests/smoke.py --base-url http://localhost:8080` | `PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.` | evidence/lab2/lab2_checks.txt | **3** | -| Собственные тесты | `python student-tests/run_all.py --base-url http://localhost:8080` | `PASS: all student tests (level 4) passed` | evidence/lab2/lab2_checks.txt | **3** | -| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | `docker build -t mtusi-messenger:lab2 .`; `docker run ...` | образ собран, `/health/ready` → `{"status":"ok"}` | evidence/lab2/lab2_checks.txt | **3** | -| PostgreSQL как источник истины (пользователи, чаты, участники, сообщения) | таблицы созданы `init_schema()`, схема в `src/app/storage/db.py`; `\dt` в pgAdmin | таблицы `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | -| PK/FK, уникальность username, миграции с нуля | `SCHEMA_SQL` в `db.py`; прогон `init_schema()` на пустой БД | таблицы создаются идемпотентно; повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | **3** | -| Составная операция создания чата атомарна | `create_chat` в `postgres.py`: INSERT chats + INSERT chat_members в одной транзакции | при ошибке INSERT в `chat_members` чат не появляется | src/app/storage/postgres.py | **3** | -| Basic применяется только на `POST /auth/sessions`, остальные — Bearer | смоук-проверки: Basic на `/users/me` → 401; X-User-Id игнорируется | `PASS: lab2 public API scenario` | evidence/lab2/lab2_checks.txt | **3** | -| Срок жизни сессии и отзыв | `SESSION_TTL_SECONDS` в `.env`; `DELETE /auth/sessions/current` → 204; повторный запрос с отозванным токеном → 401 | 204, затем 401 | evidence/lab2/lab2_checks.txt | **3** | -| X-User-Id не даёт доступ на lab2 | `GET /users/me` с `Authorization: Bearer ` и `X-User-Id: ` → возвращает Alice | возвращает Alice | evidence/lab2/lab2_checks.txt | **3** | -| Пароли хешируются password KDF | `hashlib.scrypt` в `memory.py`/`postgres.py`, формат `scrypt$N$r$p$salt$dk` | plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | **3** | -| Persistence: данные и токен переживают рестарт API | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | -| Hook реально перезапустил API (operator evidence) | `docker inspect -f "{{.State.StartedAt}}" mtusi-messenger-lab2` до/после hook | `StartedAt` изменился, данные в БД сохранены | evidence/lab2/lab2_persistence.txt | **3** | -| Миграции повторно запускаются без дублирования | повторный `docker run` → `init_schema()` | количество строк в таблицах не растёт | evidence/lab2/lab2_checks.txt | **3** | -| Secrets/volumes не попадают в Git | `.dockerignore`, `.gitignore` (при наличии), `.env` локально | `DATABASE_URL` в `.env.example` — placeholder | .env.example | **3** | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. - -### Примечание про hook scope (operator evidence) - -`tests/resilience.py` после прогона выводит: «Hook scope needs operator evidence» — это значит, что тест не доказывает, что hook реально перезапустил контейнер. В `evidence/lab2/lab2_persistence.txt` приложены: -- `docker ps` до и после (контейнер `mtusi-messenger-lab2` присутствует и там, и там); -- `docker inspect -f "{{.State.StartedAt}}" mtusi-messenger-lab2` до и после — время старта отличается; -- фрагмент `docker logs mtusi-messenger-lab2` с новой строкой `event=startup app_env=lab` после рестарта; -- PostgreSQL не перезапускался, volumes не удалялись — данные остались (это и есть суть проверки persistence на lab2 при БД на хосте). +| Публичный smoke | `python tests/smoke.py --base-url http://localhost:8080` | `PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.` | evidence/lab2/lab2_checks.txt | **3** | +| Собственные тесты lab1 | `python student-tests/run_all.py --base-url http://localhost:8080` | `PASS: all student tests (level 4) passed` | evidence/lab2/lab2_checks.txt | **3** | +| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | `docker compose --env-file .env up -d --build` | `/health/ready` → `{"status":"ok"}` | evidence/lab2/lab2_checks.txt | **3** | +| PostgreSQL как источник истины | `init_schema()`; таблицы в pgAdmin | `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | +| PK/FK, уникальность username, миграции с нуля | `SCHEMA_SQL` в `db.py`; прогон на пустой БД | таблицы создаются идемпотентно, повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | **3** | +| Составная операция создания чата атомарна | `create_chat`: INSERT chats + INSERT chat_members в одной транзакции | при ошибке INSERT в `chat_members` чат не появляется | src/app/storage/postgres.py | **3** | +| Basic только на `POST /auth/sessions` | смоук: Basic на `/users/me` → 401; `X-User-Id` игнорируется | `PASS: lab2 public API scenario` | evidence/lab2/lab2_checks.txt | **3** | +| Срок жизни сессии и отзыв | `DELETE /auth/sessions/current` → 204; повтор → 401 | 204, затем 401 | evidence/lab2/lab2_checks.txt | **3** | +| X-User-Id не даёт доступ | `GET /users/me` с `Authorization: Bearer Alice` и `X-User-Id: ` | возвращает Alice | evidence/lab2/lab2_checks.txt | **3** | +| Пароли хешируются password KDF | `hashlib.scrypt`, формат `scrypt$N$r$p$salt$dk` | plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | **3** | +| Persistence: данные и сессия переживают рестарт API и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | +| Hook реально перезапустил API и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** | +| Secrets/volumes не попадают в Git | `.dockerignore`, `.env` локально | `DATABASE_URL`/`REDIS_URL` в `.env.example` — плейсхолдеры | .env.example | **3** | +| Redis реально используется для сессий с TTL | `docker exec mtusi-redis redis-cli KEYS "sess:*"`, `TTL sess:` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** | +| Redis persistence, выдерживающее рестарт | `docker exec mtusi-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | +| Параметризованные запросы, ограниченный пул, таймауты | `psycopg_pool.ConnectionPool(2..10, timeout=5)`, `statement_timeout=5000` | нет `psycopg.connect()` на запрос | src/app/storage/db.py | **4** | +| Гонка регистрации одинакового username | `python student-tests/test_lab2_level4.py` (блок `test_concurrent_registration`) | ровно одна 201, остальные 409 | evidence/lab2/lab2_level4.txt | **4** | +| Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях | тот же скрипт, `test_explain` | `Index Scan using idx_messages_chat_created` | evidence/lab2/lab2_level4.txt | **4** | +| Keyset-пагинация без полного scan на страницу | `list_messages_page` в `postgres.py` | `WHERE (created_at, id) > (…, …)` + `LIMIT` | src/app/storage/postgres.py | **4** | +| Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `test_short_ttl_expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** | +| Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | +| Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | +| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | +| Выбранный трек 5 | не заявлен | — | — | — | ## Эксперименты и отказы -Обязательный сценарий уровня 3 — persistence через рестарт API и всех используемых хранилищ — выполнен и подтверждён. Нагрузочные эксперименты и отказоустойчивость (failover, Redis/Valkey, недоступность БД) относятся к уровням 4/5 и на этом этапе не выполнялись. - Hardware и версии: -- Windows 11, Docker Desktop (WSL2 backend), без ограничений CPU/RAM на контейнер. -- Образ `mtusi-messenger:lab2` на базе `python:3.12-slim`. -- PostgreSQL 18.6 на хосте, БД `high_load_messenger`. -- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3. +- Windows 11, Docker Desktop (WSL2 backend), без лимитов CPU/RAM на контейнер; +- Образ `mtusi-messenger:lab2` на `python:3.12-slim`; +- PostgreSQL 18.6 на хосте +- Redis 7.4.1-alpine в Compose. - -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. - -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потери | | --- | --- | --- | --- | -| `docker restart mtusi-messenger-lab2` (hook `scripts/restart.bat`) | API перезапускается, PostgreSQL и volume не трогаются; тот же Bearer-токен читает то же сообщение | `PASS: persistence preserved confirmed data and existing session` | downtime ≈ 2–3 с; потеря данных 0 | -| Повторный `init_schema()` при новом старте | Таблицы уже существуют, миграция идемпотентна | нет ошибок, нет дублирования строк | — | -| SIGTERM (`docker stop -t 10`) | Процесс завершается ≤ 10 с | как в lab1: завершение за <1 с, `event=shutdown_complete` в логе | — | +| `docker compose restart api redis` (`scripts/restart.bat`) | API и Redis перезапускаются, PostgreSQL и volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился | downtime ≈ 2–3 с; потери 0 | +| `docker compose stop redis`, затем запрос `/health/ready` | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; после `start redis` — 200 | downtime ≈ 3 с; потери сессий 0 (AOF) | +| Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | +| SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | -Профиль нагрузки на lab2 не снимался: по методичке нагрузочные измерения требуются на уровнях 4/5 (EXPLAIN на ≥10 000 сообщений, Redis-эксперимент в Треке 1). Для уровня 3 достаточен публичный smoke и persistence-тест. +Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. - -Что выдерживает текущая реализация: -- Штатную работу одной инстанции API с PostgreSQL как источником истины. -- Регистрацию с password KDF (scrypt), вход Basic → Bearer, TTL сессии, отзыв. -- Сохранение пользователей, чатов, членства, сообщений и действующих сессий между рестартами API (данные в PostgreSQL на хосте). -- Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции). -- Идемпотентную миграцию схемы. -- Контрактные форматы ответов, коды ошибок, `X-Request-Id`, `WWW-Authenticate` (Basic на `/auth/sessions`, Bearer на остальных). - -Что пока не реализовано (за скоупом «3», задел на 4/5): -- Redis/Valkey не подключён. Сессии хранятся в PostgreSQL. Для уровня 4 нужно либо перенести сессии в Redis/Valkey с TTL и persistence, либо использовать Redis как осмысленный кэш (cache-aside) и обосновать это. -- Connection pool не используется: на каждый запрос создаётся новое `psycopg.connect()`. Для уровня 4 нужен `psycopg_pool.ConnectionPool` с ограничением `min_size/max_size`, `timeout` и `statement_timeout`. -- Keyset-пагинация выполняется фильтрацией в Python после выборки всех сообщений чата. Для уровня 4 нужно вынести фильтр в SQL (`WHERE (created_at, id) > (%s, %s) ORDER BY created_at, id LIMIT n`) и обосновать индекс `idx_messages_chat_created` через `EXPLAIN (ANALYZE, BUFFERS)` на ≥10 000 сообщениях. -- Гонка регистрации одинакового username обрабатывается через SELECT-then-INSERT и уникальный индекс `users.username`; ловится `UniqueViolation`. Нужен отдельный тест конкурентной регистрации, чтобы подтвердить это для уровня 4. -- Тест expiry при коротком `SESSION_TTL_SECONDS` (например, 2 с) не выделен в отдельный сценарий. -- Обработка недоступности БД/Redis (503 `unavailable`) — сейчас ошибка соединения с БД приведёт к 500. Для уровня 4 нужно маппить `psycopg.OperationalError` на 503. -- Одна инстанция API, одна БД. Горизонтального масштабирования и HA нет (lab3+). -- Нагрузочные эксперименты и failover-сценарии не выполнялись. +Что выдерживает реализация: +- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF). +- Регистрацию (scrypt), Basic → Bearer, TTL, отзыв, повторный вход. +- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API и Redis без удаления volumes. +- Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции); идемпотентную миграцию. +- Keyset-пагинацию в SQL с индексом `idx_messages_chat_created`. +- Контрактные ответы, `X-Request-Id`, `WWW-Authenticate`, 503 при недоступности Redis/PostgreSQL. +- Конкурентную регистрацию одинакового username без дублей. Учебные упрощения: -- PostgreSQL на хосте, не в Compose. Методичка (уровень 3) «рекомендует» Compose, но не требует; инструкция по чистому клонированию зафиксирована в этом отчёте. Для уровня 4/5 при необходимости можно перенести БД в Compose без изменения кода (только DSN). -- `memory.py` оставлен в репозитории как референс lab1, но в приложении не используется. +- PostgreSQL запущен на хосте (не в Compose); в коде это только DSN, перенос в Compose не требует правок. +- `storage/memory.py` оставлен как референс lab1 и в приложении не используется. +- `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`. -Следующие шаги (для заявленных 4/5): -1. Подключить `psycopg_pool.ConnectionPool` и `statement_timeout`. -2. Вынести keyset-пагинацию в SQL; снять `EXPLAIN (ANALYZE, BUFFERS)` на ≥10 000 сообщений; приложить план. -3. Добавить Redis/Valkey: либо перенос сессий (TTL + persistence), либо осмысленный кэш. Обосновать выбор. -4. Добавить тесты: конкурентная регистрация, expiry при коротком TTL, недоступность Redis/БД (503). -5. Реализовать один трек 5 (Трек 1 «Согласованность кэша» проще всего ложится на cache-aside Redis поверх PostgreSQL; Трек 2 «План запроса и восстановление» — backup/restore и сравнение индексов). +Что не входит в уровень 4: +- Горизонтальное масштабирование, балансировщик, HA (lab3+). +- Вложения и S3 (lab4+), фоновая обработка (lab5+), OTel/Grafana (lab6+), TLS/mTLS/OpenBao/Argon2id (lab7). +- Трек 5 не заявлен. + +Следующие шаги (при заявке на 5): +1. Трек 1 «Согласованность кэша»: cache-aside поверх PostgreSQL с измерением SQL-запросов/latency до и после, защита от stampede, read-after-write. +2. Либо Трек 2 «План запроса и восстановление»: ≥100 000 сообщений, сравнение ≥2 индексов, backup → restore → сверка. ``` -- 2.54.0 From d3fafb85922a737c40d77127d8f656b44223cea7 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:09:40 +0300 Subject: [PATCH 24/53] =?UTF-8?q?=D1=80=D0=B5=D0=B0=D0=BB=D0=B8=D0=B7?= =?UTF-8?q?=D0=BE=D0=B2=D0=B0=D0=BB=D0=B0=20=D1=83=D1=80=D0=BE=D0=B2=D0=B5?= =?UTF-8?q?=D0=BD=D1=8C=205,=20=D1=82=D1=80=D0=B5=D0=BA=202?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- evidence/lab2_track2_explain.md | 104 +++++++ evidence/lab2_track2_write_cost.json | 20 ++ student-tests/test_track2.py | 409 +++++++++++++++++++++++++++ student-tests/track2_explain.sql | 10 + student-tests/track2_seed.sql | 79 ++++++ 5 files changed, 622 insertions(+) create mode 100644 evidence/lab2_track2_explain.md create mode 100644 evidence/lab2_track2_write_cost.json create mode 100644 student-tests/test_track2.py create mode 100644 student-tests/track2_explain.sql create mode 100644 student-tests/track2_seed.sql diff --git a/evidence/lab2_track2_explain.md b/evidence/lab2_track2_explain.md new file mode 100644 index 00000000..9ddb612c --- /dev/null +++ b/evidence/lab2_track2_explain.md @@ -0,0 +1,104 @@ +# Track 2: EXPLAIN (ANALYZE, BUFFERS) + +## big chat +``` +Limit (cost=4726.04..4731.85 rows=51 width=69) (actual time=28.316..32.077 rows=51.00 loops=1) + Buffers: shared hit=1639 + -> Gather Merge (cost=4726.04..9161.77 rows=38920 width=69) (actual time=28.313..32.066 rows=51.00 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=1639 + -> Sort (cost=3726.03..3783.26 rows=22894 width=69) (actual time=6.294..6.298 rows=25.50 loops=2) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 38kB + Buffers: shared hit=1639 + Worker 0: Sort Method: quicksort Memory: 25kB + -> Parallel Seq Scan on messages (cost=0.00..2962.24 rows=22894 width=69) (actual time=0.010..4.738 rows=13636.50 loops=2) + Filter: ((chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:03:17.148852+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 51364 + Buffers: shared hit=1624 +Planning: + Buffers: shared hit=88 +Planning Time: 1.487 ms +Execution Time: 32.133 ms + +``` + +## small chat +``` +Limit (cost=3899.08..3899.09 rows=6 width=69) (actual time=7.785..7.787 rows=1.00 loops=1) + Buffers: shared hit=1630 + -> Sort (cost=3899.08..3899.09 rows=6 width=69) (actual time=7.783..7.783 rows=1.00 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 25kB + Buffers: shared hit=1630 + -> Seq Scan on messages (cost=0.00..3899.00 rows=6 width=69) (actual time=0.056..7.764 rows=1.00 loops=1) + Filter: ((chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 129999 + Buffers: shared hit=1624 +Planning: + Buffers: shared hit=88 +Planning Time: 1.182 ms +Execution Time: 7.820 ms + +``` + +## no_index +``` +Limit (cost=4475.27..4475.40 rows=51 width=69) (actual time=12.589..12.596 rows=51.00 loops=1) + Buffers: shared hit=729 + -> Sort (cost=4475.27..4572.12 rows=38739 width=69) (actual time=12.587..12.589 rows=51.00 loops=1) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 38kB + Buffers: shared hit=729 + -> Bitmap Heap Scan on messages (cost=609.04..3182.85 rows=38739 width=69) (actual time=0.891..8.050 rows=27273.00 loops=1) + Recheck Cond: (chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-10-02 15:03:17.148852+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) + Rows Removed by Filter: 27272 + Heap Blocks: exact=675 + Buffers: shared hit=723 + -> Bitmap Index Scan on idx_messages_chat_only (cost=0.00..599.36 rows=54275 width=0) (actual time=0.823..0.823 rows=54545.00 loops=1) + Index Cond: (chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) + Index Searches: 1 + Buffers: shared hit=48 +Planning: + Buffers: shared hit=100 +Planning Time: 2.045 ms +Execution Time: 12.641 ms + +``` + +## chat_only +``` +Limit (cost=23.89..23.91 rows=8 width=69) (actual time=0.037..0.037 rows=1.00 loops=1) + Buffers: shared hit=9 + -> Sort (cost=23.89..23.91 rows=8 width=69) (actual time=0.035..0.035 rows=1.00 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 25kB + Buffers: shared hit=9 + -> Index Scan using idx_messages_chat_only on messages (cost=0.29..23.77 rows=8 width=69) (actual time=0.015..0.015 rows=1.00 loops=1) + Index Cond: (chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) + Index Searches: 1 + Buffers: shared hit=3 +Planning: + Buffers: shared hit=100 +Planning Time: 2.240 ms +Execution Time: 0.066 ms + +``` + +## full (chat_id, created_at, id) +``` +Limit (cost=0.42..9.42 rows=51 width=69) (actual time=0.101..0.118 rows=51.00 loops=1) + Buffers: shared hit=5 read=1 + -> Index Scan using idx_messages_chat_created on messages (cost=0.42..6871.59 rows=38939 width=69) (actual time=0.098..0.112 rows=51.00 loops=1) + Index Cond: ((chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:03:17.148852+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Index Searches: 1 + Buffers: shared hit=5 read=1 +Planning: + Buffers: shared hit=111 +Planning Time: 1.697 ms +Execution Time: 0.153 ms + +``` diff --git a/evidence/lab2_track2_write_cost.json b/evidence/lab2_track2_write_cost.json new file mode 100644 index 00000000..95a2d7ee --- /dev/null +++ b/evidence/lab2_track2_write_cost.json @@ -0,0 +1,20 @@ +[ + { + "variant": "no_index", + "insert_10000_s": 1.37, + "indexes_size": "5152 kB", + "total_size": "19 MB" + }, + { + "variant": "chat_only", + "insert_10000_s": 1.093, + "indexes_size": "6648 kB", + "total_size": "21 MB" + }, + { + "variant": "full", + "insert_10000_s": 0.921, + "indexes_size": "15 MB", + "total_size": "31 MB" + } +] diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py new file mode 100644 index 00000000..cbbfeb3d --- /dev/null +++ b/student-tests/test_track2.py @@ -0,0 +1,409 @@ +#!/usr/bin/env python3 +"""Трек 2 (оценка 5). План запроса, стоимость записи, backup/restore, RPO. + +Шаги: + 1. Сидируем >=100 000 сообщений с неравномерными чатами (track2_seed.sql). + 2. Сравниваем 3 варианта индексов на большом и маленьком чате: + - baseline (нет индекса) -> Seq Scan + - (chat_id) -> Bitmap/Index + Sort + - (chat_id, created_at, id) -> Index Scan без Sort (текущий) + Снимаем: план (EXPLAIN ANALYZE BUFFERS), время, shared hit/read. + 3. Стоимость записи: INSERT 10 000 строк на каждом варианте -> время вставки, + pg_indexes_size, pg_total_relation_size. + 4. Backup/restore: pg_dump -Fc, restore в новый контейнер postgres:18-alpine, + сверка COUNT(*), COUNT(*) GROUP BY chat_id и 100 случайных сообщений. + 5. Границы потери данных: во время pg_dump через API пишем новые сообщения, + после restore проверяем, что их нет. + +Все psql-вызовы идут через docker run postgres:18-alpine --add-host=host.docker.internal:host-gateway. +""" +import json +import os +import random +import subprocess +import sys +import time +import uuid +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client, Failure, arguments, check, run # noqa: E402 + +ROOT = Path(__file__).resolve().parents[1] +EVIDENCE = ROOT / "evidence" +EVIDENCE.mkdir(exist_ok=True) + +SEED_SQL = ROOT / "student-tests" / "track2_seed.sql" + + +# ---------- helpers ---------- +def _read_dsn() -> str: + dsn = os.environ.get("DATABASE_URL") + if not dsn: + env_file = ROOT / ".env" + if env_file.is_file(): + for line in env_file.read_text(encoding="utf-8").splitlines(): + line = line.strip() + if line.startswith("DATABASE_URL="): + dsn = line.split("=", 1)[1].strip() + break + check(dsn, "DATABASE_URL не найден ни в окружении, ни в .env") + return dsn.replace("@localhost:", "@host.docker.internal:").replace( + "@127.0.0.1:", "@host.docker.internal:") + + +def _psql(dsn: str, sql: str, extra=None): + cmd = [ + "docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "postgres:18-alpine", + "psql", dsn, "-tA", "-v", "ON_ERROR_STOP=1", + ] + if extra: + cmd += extra + cmd += ["-c", sql] + return subprocess.run(cmd, capture_output=True, text=True, timeout=300) + + +def _psql_file(dsn: str, path: Path): + cmd = [ + "docker", "run", "--rm", "-i", + "--add-host=host.docker.internal:host-gateway", + "-v", f"{path}:/seed.sql:ro", + "postgres:18-alpine", + "psql", dsn, "-v", "ON_ERROR_STOP=1", "-f", "/seed.sql", + ] + return subprocess.run(cmd, capture_output=True, text=True, timeout=600) + + +def _scalar(dsn: str, sql: str): + r = _psql(dsn, sql) + check(r.returncode == 0, "psql failed:\n" + r.stdout + r.stderr) + return r.stdout.strip().splitlines()[-1] + + +# ---------- 1. seed ---------- +def step_seed(dsn: str): + print("=== 1. seed ===") + before = int(_scalar(dsn, "SELECT count(*) FROM messages;")) + print(" messages before:", before) + r = _psql_file(dsn, SEED_SQL) + check(r.returncode == 0, "seed failed:\n" + r.stdout + r.stderr) + after = int(_scalar(dsn, "SELECT count(*) FROM messages;")) + print(" messages after:", after) + check(after >= 100_000, "seed не довёл до 100 000 (получено %d)" % after) + dist = _psql(dsn, "SELECT chat_id, count(*) FROM messages GROUP BY chat_id ORDER BY count(*) DESC;") + print(" распределение по чатам:\n" + dist.stdout) + return after + + +# ---------- 2. explain ---------- +def _big_and_small(dsn): + big = _scalar(dsn, "SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC LIMIT 1;") + small = _scalar(dsn, "SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) ASC LIMIT 1;") + return big, small + + +def _explain(dsn: str, chat_id: str, label: str): + # Берём средний created_at, чтобы keyset реально резал историю + mid = _scalar(dsn, + "SELECT created_at FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET (SELECT count(*)/2 FROM messages WHERE chat_id = '%s') LIMIT 1;" % (chat_id, chat_id)) + sql = ( + "EXPLAIN (ANALYZE, BUFFERS) " + "SELECT id, chat_id, sender_id, text, created_at FROM messages " + "WHERE chat_id = '%s' AND (created_at, id) > ('%s', '00000000-0000-0000-0000-000000000000') " + "ORDER BY created_at, id LIMIT 51;" % (chat_id, mid) + ) + r = _psql(dsn, sql) + check(r.returncode == 0, "EXPLAIN failed:\n" + r.stdout + r.stderr) + out = r.stdout + print("\n--- EXPLAIN %s (chat=%s...) ---" % (label, chat_id[:8])) + for line in out.splitlines(): + print(" ", line) + return out + + +def _drop_indexes(dsn): + _psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_created;") + _psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_only;") + + +def step_explain(dsn: str): + print("=== 2. EXPLAIN 3 варианта ===") + big, small = _big_and_small(dsn) + report = {"big_chat": big, "small_chat": small, "variants": {}} + + # (1) без индекса + _drop_indexes(dsn) + _psql(dsn, "ANALYZE messages;") + report["variants"]["no_index"] = { + "big": _explain(dsn, big, "no_index/big"), + "small": _explain(dsn, small, "no_index/small"), + } + + # (2) только (chat_id) + _psql(dsn, "CREATE INDEX idx_messages_chat_only ON messages (chat_id);") + _psql(dsn, "ANALYZE messages;") + report["variants"]["chat_only"] = { + "big": _explain(dsn, big, "chat_only/big"), + "small": _explain(dsn, small, "chat_only/small"), + } + + # (3) полный рабочий + _psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_only;") + _psql(dsn, "CREATE INDEX idx_messages_chat_created ON messages (chat_id, created_at, id);") + _psql(dsn, "ANALYZE messages;") + report["variants"]["full"] = { + "big": _explain(dsn, big, "full/big"), + "small": _explain(dsn, small, "full/small"), + } + + (EVIDENCE / "lab2_track2_explain.md").write_text( + "# Track 2: EXPLAIN (ANALYZE, BUFFERS)\n\n" + "## big chat\n```\n%s\n```\n\n## small chat\n```\n%s\n```\n\n" + "## no_index\n```\n%s\n```\n\n" + "## chat_only\n```\n%s\n```\n\n" + "## full (chat_id, created_at, id)\n```\n%s\n```\n" + % (report["variants"]["no_index"]["big"], + report["variants"]["no_index"]["small"], + report["variants"]["chat_only"]["big"], + report["variants"]["chat_only"]["small"], + report["variants"]["full"]["big"]), + encoding="utf-8", + ) + return report + + +# ---------- 3. write cost ---------- +def _index_sizes(dsn: str): + out = _scalar(dsn, "SELECT pg_size_pretty(pg_indexes_size('messages')) || '|' || pg_size_pretty(pg_total_relation_size('messages'));") + idx, total = out.split("|") + return idx.strip(), total.strip() + + +def step_write_cost(dsn: str): + print("=== 3. Стоимость записи: 10 000 INSERT на каждом варианте ===") + seed_user = _scalar(dsn, "SELECT id FROM users LIMIT 1;") + seed_chat = _scalar(dsn, "SELECT id FROM chats WHERE title = 'seed-chat-4' LIMIT 1;") + + results = [] + for name, setup in ( + ("no_index", lambda: _drop_indexes(dsn)), + ("chat_only", lambda: (_psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_created;"), + _psql(dsn, "CREATE INDEX IF NOT EXISTS idx_messages_chat_only ON messages (chat_id);"))), + ("full", lambda: (_psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_only;"), + _psql(dsn, "CREATE INDEX IF NOT EXISTS idx_messages_chat_created ON messages (chat_id, created_at, id);"))), + ): + setup() + # мерить именно вставку 10k + t0 = time.monotonic() + r = _psql(dsn, + "INSERT INTO messages (id, chat_id, sender_id, text, created_at) " + "SELECT gen_random_uuid(), '%s', '%s', 'wc-%s-' || g, now() " + "FROM generate_series(1, 10000) AS g;" % (seed_chat, seed_user, name)) + dt = time.monotonic() - t0 + check(r.returncode == 0, "insert failed:\n" + r.stdout + r.stderr) + idx, total = _index_sizes(dsn) + results.append({"variant": name, "insert_10000_s": round(dt, 3), + "indexes_size": idx, "total_size": total}) + print(" %-10s insert=%.3fs idx=%s total=%s" % (name, dt, idx, total)) + + (EVIDENCE / "lab2_track2_write_cost.json").write_text( + json.dumps(results, ensure_ascii=False, indent=2) + "\n", encoding="utf-8") + return results + + +# ---------- 4. backup/restore ---------- +def step_backup_restore(dsn: str): + print("=== 4. backup -> restore -> сверка ===") + out_file = EVIDENCE / "lab2_track2_dump.dump" + if out_file.exists(): + out_file.unlink() + + # pg_dump через docker run (использует образ PG 18) + t0 = time.monotonic() + r = subprocess.run( + ["docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "-v", f"{EVIDENCE}:/out", + "postgres:18-alpine", + "pg_dump", "-Fc", "-f", "/out/lab2_track2_dump.dump", dsn], + capture_output=True, text=True, timeout=600, + ) + dump_time = time.monotonic() - t0 + check(r.returncode == 0, "pg_dump failed:\n" + r.stdout + r.stderr) + size = out_file.stat().st_size + print(" dump size = %.1f MiB, time = %.2fs" % (size / 1024 / 1024, dump_time)) + + # новый контейнер как отдельное хранилище + restore_container = "mtusi-pg-restore" + subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) + subprocess.run( + ["docker", "run", "-d", "--name", restore_container, + "-e", "POSTGRES_PASSWORD=restore", "-e", "POSTGRES_USER=postgres", + "-e", "POSTGRES_DB=high_load_messenger", + "-p", "127.0.0.1:55432:5432", "postgres:18-alpine"], + capture_output=True, text=True, + ) + # ждём готовности + deadline = time.monotonic() + 60 + while time.monotonic() < deadline: + c = subprocess.run(["docker", "exec", restore_container, "pg_isready", "-U", "postgres"], + capture_output=True, text=True) + if c.returncode == 0: + break + time.sleep(1) + else: + raise Failure("restore container не поднялся") + + restore_dsn = "postgresql://postgres:restore@127.0.0.1:55432/high_load_messenger" + # pg_restore -c (clean) на пустую БД + t0 = time.monotonic() + r = subprocess.run( + ["docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "--network", "host", + "-v", f"{EVIDENCE}:/in", + "postgres:18-alpine", + "pg_restore", "-d", "postgresql://postgres:restore@127.0.0.1:55432/high_load_messenger", + "--no-owner", "--no-privileges", "/in/lab2_track2_dump.dump"], + capture_output=True, text=True, timeout=600, + ) + restore_time = time.monotonic() - t0 + print(" pg_restore exit=%d, time=%.2fs" % (r.returncode, restore_time)) + check(r.returncode == 0, "pg_restore failed:\n" + r.stdout + r.stderr) + + # Сверка: сравнение с исходной БД через docker exec psql внутри restore-контейнера + def q_restore(sql): + c = subprocess.run(["docker", "exec", restore_container, "psql", "-U", "postgres", + "-d", "high_load_messenger", "-tA", "-c", sql], + capture_output=True, text=True, timeout=120) + check(c.returncode == 0, "restore psql failed:\n" + c.stdout + c.stderr) + return c.stdout.strip().splitlines()[-1] + + orig_total = int(_scalar(dsn, "SELECT count(*) FROM messages;")) + rest_total = int(q_restore("SELECT count(*) FROM messages;")) + check(orig_total == rest_total, "COUNT(*) mismatch: %d vs %d" % (orig_total, rest_total)) + + orig_dist = _scalar(dsn, + "SELECT string_agg(chat_id::text || ':' || c, ',' ORDER BY chat_id) " + "FROM (SELECT chat_id, count(*) c FROM messages GROUP BY chat_id) t;") + rest_dist = q_restore( + "SELECT string_agg(chat_id::text || ':' || c, ',' ORDER BY chat_id) " + "FROM (SELECT chat_id, count(*) c FROM messages GROUP BY chat_id) t;") + check(orig_dist == rest_dist, "распределение по чатам не совпадает") + + # 100 случайных сообщений + ids_raw = _scalar(dsn, "SELECT string_agg(id::text, ',') FROM (SELECT id FROM messages ORDER BY random() LIMIT 100) t;") + ids = ids_raw.split(",") + check(len(ids) == 100, "не удалось выбрать 100 id") + ids_list = ",".join("'%s'" % i for i in ids) + orig_rows = _scalar(dsn, + "SELECT string_agg(id::text || '|' || text, E'\n' ORDER BY id) FROM messages WHERE id IN (%s);" % ids_list) + rest_rows = q_restore( + "SELECT string_agg(id::text || '|' || text, E'\n' ORDER BY id) FROM messages WHERE id IN (%s);" % ids_list) + check(orig_rows == rest_rows, "100 случайных сообщений различаются") + + print(" OK: COUNT, распределение по чатам и 100 случайных сообщений совпадают") + print(" RTO (pg_restore) = %.2fs, dump = %.1f MiB" % (restore_time, size / 1024 / 1024)) + + (EVIDENCE / "lab2_track2_restore.txt").write_text( + "Track 2 restore\n" + "dump_time_s=%.3f\ndump_size_bytes=%d\nrestore_time_s=%.3f\n" + "count_original=%d\ncount_restored=%d\n" + "dist_match=true\nrandom100_match=true\n" + % (dump_time, size, restore_time, orig_total, rest_total), + encoding="utf-8") + + # чистим restore-контейнер (volume анонимный) + subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) + return {"dump_time_s": round(dump_time, 3), "restore_time_s": round(restore_time, 3), + "dump_bytes": size, "count": orig_total} + + +# ---------- 5. RPO ---------- +def step_rpo(dsn: str, base_url: str, ca_file): + print("=== 5. RPO: запись во время pg_dump ===") + c = Client(base_url, ca_file) + alice, bob, eve, chat = c.bootstrap() + + marker = "rpo-" + uuid.uuid4().hex + # Запускаем pg_dump + out_file = EVIDENCE / "lab2_track2_rpo.dump" + if out_file.exists(): + out_file.unlink() + + proc = subprocess.Popen( + ["docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "-v", f"{EVIDENCE}:/out", + "postgres:18-alpine", + "pg_dump", "-Fc", "-f", "/out/lab2_track2_rpo.dump", dsn], + stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL, + ) + time.sleep(1.0) # гарантируем, что снапшот дампа уже снят + written = c.message(alice, chat, marker)["json"] + code = proc.wait(timeout=300) + check(code == 0, "pg_dump для RPO упал") + + # restore во временный контейнер + restore_container = "mtusi-pg-rpo" + subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) + subprocess.run( + ["docker", "run", "-d", "--name", restore_container, + "-e", "POSTGRES_PASSWORD=restore", "-e", "POSTGRES_USER=postgres", + "-e", "POSTGRES_DB=high_load_messenger", + "postgres:18-alpine"], + capture_output=True, text=True, + ) + deadline = time.monotonic() + 60 + while time.monotonic() < deadline: + c2 = subprocess.run(["docker", "exec", restore_container, "pg_isready", "-U", "postgres"], + capture_output=True, text=True) + if c2.returncode == 0: + break + time.sleep(1) + + r = subprocess.run( + ["docker", "run", "--rm", + "--add-host=host.docker.internal:host-gateway", + "--network", "host", + "-v", f"{EVIDENCE}:/in", + "postgres:18-alpine", + "pg_restore", "-d", "postgresql://postgres:restore@127.0.0.1:5432/high_load_messenger", + "--no-owner", "--no-privileges", "/in/lab2_track2_rpo.dump"], + capture_output=True, text=True, timeout=600, + ) + check(r.returncode == 0, "pg_restore для RPO упал:\n" + r.stdout + r.stderr) + + c3 = subprocess.run(["docker", "exec", restore_container, "psql", "-U", "postgres", + "-d", "high_load_messenger", "-tA", "-c", + "SELECT count(*) FROM messages WHERE id = '%s';" % written["id"]], + capture_output=True, text=True) + present = int(c3.stdout.strip().splitlines()[-1]) + check(present == 0, "сообщение, записанное во время дампа, попало в дамп (RPO не 0)") + print(" OK: сообщение %s записано после старта дампа и в restore отсутствует" % written["id"][:8]) + + (EVIDENCE / "lab2_track2_rpo.txt").write_text( + "Track 2 RPO\n" + "marker_message_id=%s\npresent_in_restore=%d\nexpected=0\n" + % (written["id"], present), + encoding="utf-8") + + subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) + + +# ---------- main ---------- +def main(): + args = arguments("Track 2: plan, write cost, backup/restore, RPO") + dsn = _read_dsn() + step_seed(dsn) + step_explain(dsn) + step_write_cost(dsn) + step_backup_restore(dsn) + step_rpo(dsn, args.base_url, args.ca_file) + print("PASS: track 2 (explain + write cost + backup/restore + RPO)") + + +if __name__ == "__main__": + run(main) \ No newline at end of file diff --git a/student-tests/track2_explain.sql b/student-tests/track2_explain.sql new file mode 100644 index 00000000..5e28ed8a --- /dev/null +++ b/student-tests/track2_explain.sql @@ -0,0 +1,10 @@ +-- Track 2: сравнение планов и стоимости записи. +-- Все три варианта прогоняются на одном большом чате (60k) и одном маленьком (~1400). + +-- 0. Определяем два чата +\set ON_ERROR_STOP on + +SELECT id AS big_chat_id +FROM messages GROUP BY id_chat GROUP BY chat_id ORDER BY count(*) DESC LIMIT 1; + +SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) ASC LIMIT 1; \ No newline at end of file diff --git a/student-tests/track2_seed.sql b/student-tests/track2_seed.sql new file mode 100644 index 00000000..14a430de --- /dev/null +++ b/student-tests/track2_seed.sql @@ -0,0 +1,79 @@ +-- Track 2: сидирование >=100 000 сообщений с неравномерными чатами. +-- Запускать через: docker run --rm ... psql "$DATABASE_URL" -f track2_seed.sql +-- Идемпотентно по количеству: если сообщений уже >= 100 000, ничего не делает. + +DO $$ +DECLARE + v_user UUID; + v_total INT; + v_have INT; + v_need INT; + v_chat UUID; + rec RECORD; +BEGIN + SELECT count(*) INTO v_have FROM messages; + v_total := 100000; + IF v_have >= v_total THEN + RAISE NOTICE 'messages already >= %, skip seed', v_total; + RETURN; + END IF; + v_need := v_total - v_have; + + -- Гарантируем хотя бы одного пользователя + SELECT id INTO v_user FROM users LIMIT 1; + IF v_user IS NULL THEN + v_user := gen_random_uuid(); + INSERT INTO users (id, username, display_name, password_hash, created_at) + VALUES (v_user, 'seed_' || substr(v_user::text, 1, 8), 'Seed', + 'scrypt$16384$8$1$00$00', now()); + END IF; + + -- Создаём 10 чатов, если их меньше (нужны только для распределения) + -- Неравномерность: 60k / 20k / 10k / по ~1400 на остальные 7. + -- Считаем веса, доливаем только v_need строк. + CREATE TEMP TABLE _plan(chat_no INT, weight INT) ON COMMIT DROP; + INSERT INTO _plan VALUES (1, 60), (2, 20), (3, 10), + (4, 2), (5, 2), (6, 1), (7, 1), + (8, 1), (9, 1), (10, 1); + + FOR rec IN SELECT * FROM _plan ORDER BY chat_no LOOP + -- Находим/создаём chat_id для этого номера: используем title 'seed-chat-' + SELECT c.id INTO v_chat FROM chats c WHERE c.title = 'seed-chat-' || rec.chat_no LIMIT 1; + IF v_chat IS NULL THEN + v_chat := gen_random_uuid(); + INSERT INTO chats (id, title, created_at) VALUES (v_chat, 'seed-chat-' || rec.chat_no, now()); + END IF; + IF NOT EXISTS (SELECT 1 FROM chat_members WHERE chat_id = v_chat AND user_id = v_user) THEN + INSERT INTO chat_members (chat_id, user_id) VALUES (v_chat, v_user); + END IF; + END LOOP; + + -- Распределяем v_need по весам (целочисленно), последний чат добирает остаток. + DECLARE + v_sum INT; + v_acc INT := 0; + v_alloc INT; + BEGIN + SELECT sum(weight) INTO v_sum FROM _plan; + FOR rec IN SELECT * FROM _plan ORDER BY chat_no LOOP + IF rec.chat_no = 10 THEN + v_alloc := v_need - v_acc; -- остаток + ELSE + v_alloc := (v_need::numeric * rec.weight / v_sum)::int; + v_acc := v_acc + v_alloc; + END IF; + + SELECT c.id INTO v_chat FROM chats c WHERE c.title = 'seed-chat-' || rec.chat_no LIMIT 1; + + INSERT INTO messages (id, chat_id, sender_id, text, created_at) + SELECT gen_random_uuid(), v_chat, v_user, + 'seed-' || rec.chat_no || '-' || g, + now() - (g || ' milliseconds')::interval + FROM generate_series(1, v_alloc) AS g; + END LOOP; + END; +END $$; + +ANALYZE messages; +ANALYZE chat_members; +ANALYZE chats; \ No newline at end of file -- 2.54.0 From 8c5f5c66c771038f3359eb90581c4bfd1f48b074 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:15:15 +0300 Subject: [PATCH 25/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82=D1=8B=20=D0=BD=D0=B0=20?= =?UTF-8?q?=D0=BE=D1=86=D0=B5=D0=BD=D0=BA=D1=83=205?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- evidence/lab2_track2_explain.md | 106 ++++++++++++++------------- evidence/lab2_track2_restore.txt | 8 ++ evidence/lab2_track2_rpo.txt | 4 + evidence/lab2_track2_write_cost.json | 18 ++--- student-tests/test_track2.py | 34 +++++++-- 5 files changed, 105 insertions(+), 65 deletions(-) create mode 100644 evidence/lab2_track2_restore.txt create mode 100644 evidence/lab2_track2_rpo.txt diff --git a/evidence/lab2_track2_explain.md b/evidence/lab2_track2_explain.md index 9ddb612c..80e74f70 100644 --- a/evidence/lab2_track2_explain.md +++ b/evidence/lab2_track2_explain.md @@ -2,103 +2,107 @@ ## big chat ``` -Limit (cost=4726.04..4731.85 rows=51 width=69) (actual time=28.316..32.077 rows=51.00 loops=1) - Buffers: shared hit=1639 - -> Gather Merge (cost=4726.04..9161.77 rows=38920 width=69) (actual time=28.313..32.066 rows=51.00 loops=1) +Limit (cost=4887.94..4893.75 rows=51 width=69) (actual time=36.242..39.932 rows=51.00 loops=1) + Buffers: shared hit=2028 + -> Gather Merge (cost=4887.94..6211.25 rows=11611 width=69) (actual time=36.240..39.926 rows=51.00 loops=1) Workers Planned: 1 Workers Launched: 1 - Buffers: shared hit=1639 - -> Sort (cost=3726.03..3783.26 rows=22894 width=69) (actual time=6.294..6.298 rows=25.50 loops=2) + Buffers: shared hit=2028 + -> Sort (cost=3887.93..3905.01 rows=6830 width=69) (actual time=7.197..7.202 rows=25.50 loops=2) Sort Key: created_at, id - Sort Method: top-N heapsort Memory: 38kB - Buffers: shared hit=1639 + Sort Method: top-N heapsort Memory: 35kB + Buffers: shared hit=2028 Worker 0: Sort Method: quicksort Memory: 25kB - -> Parallel Seq Scan on messages (cost=0.00..2962.24 rows=22894 width=69) (actual time=0.010..4.738 rows=13636.50 loops=2) - Filter: ((chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:03:17.148852+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) - Rows Removed by Filter: 51364 - Buffers: shared hit=1624 + -> Parallel Seq Scan on messages (cost=0.00..3660.07 rows=6830 width=69) (actual time=3.983..6.075 rows=20000.00 loops=2) + Filter: ((chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:04:18.650063+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 60000 + Buffers: shared hit=2013 Planning: Buffers: shared hit=88 -Planning Time: 1.487 ms -Execution Time: 32.133 ms +Planning Time: 1.550 ms +Execution Time: 39.988 ms ``` ## small chat ``` -Limit (cost=3899.08..3899.09 rows=6 width=69) (actual time=7.785..7.787 rows=1.00 loops=1) - Buffers: shared hit=1630 - -> Sort (cost=3899.08..3899.09 rows=6 width=69) (actual time=7.783..7.783 rows=1.00 loops=1) +Limit (cost=4660.63..4660.64 rows=5 width=69) (actual time=36.246..41.037 rows=1.00 loops=1) + Buffers: shared hit=2019 + -> Sort (cost=4660.63..4660.64 rows=5 width=69) (actual time=36.242..41.032 rows=1.00 loops=1) Sort Key: created_at, id Sort Method: quicksort Memory: 25kB - Buffers: shared hit=1630 - -> Seq Scan on messages (cost=0.00..3899.00 rows=6 width=69) (actual time=0.056..7.764 rows=1.00 loops=1) - Filter: ((chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) - Rows Removed by Filter: 129999 - Buffers: shared hit=1624 + Buffers: shared hit=2019 + -> Gather (cost=1000.00..4660.57 rows=5 width=69) (actual time=0.522..41.001 rows=1.00 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=2013 + -> Parallel Seq Scan on messages (cost=0.00..3660.07 rows=3 width=69) (actual time=0.052..5.988 rows=0.50 loops=2) + Filter: ((chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 80000 + Buffers: shared hit=2013 Planning: Buffers: shared hit=88 -Planning Time: 1.182 ms -Execution Time: 7.820 ms +Planning Time: 1.837 ms +Execution Time: 41.093 ms ``` ## no_index ``` -Limit (cost=4475.27..4475.40 rows=51 width=69) (actual time=12.589..12.596 rows=51.00 loops=1) - Buffers: shared hit=729 - -> Sort (cost=4475.27..4572.12 rows=38739 width=69) (actual time=12.587..12.589 rows=51.00 loops=1) +Limit (cost=4135.73..4135.86 rows=51 width=69) (actual time=9.172..9.177 rows=51.00 loops=1) + Buffers: shared hit=863 + -> Sort (cost=4135.73..4164.10 rows=11346 width=69) (actual time=9.169..9.172 rows=51.00 loops=1) Sort Key: created_at, id - Sort Method: top-N heapsort Memory: 38kB - Buffers: shared hit=729 - -> Bitmap Heap Scan on messages (cost=609.04..3182.85 rows=38739 width=69) (actual time=0.891..8.050 rows=27273.00 loops=1) - Recheck Cond: (chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) - Filter: (ROW(created_at, id) > ROW('2026-10-02 15:03:17.148852+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) - Rows Removed by Filter: 27272 - Heap Blocks: exact=675 - Buffers: shared hit=723 - -> Bitmap Index Scan on idx_messages_chat_only (cost=0.00..599.36 rows=54275 width=0) (actual time=0.823..0.823 rows=54545.00 loops=1) - Index Cond: (chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) + Sort Method: top-N heapsort Memory: 35kB + Buffers: shared hit=863 + -> Bitmap Heap Scan on messages (cost=676.65..3757.21 rows=11346 width=69) (actual time=2.808..6.995 rows=40000.00 loops=1) + Recheck Cond: (chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-10-02 15:04:18.650063+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) + Rows Removed by Filter: 21818 + Heap Blocks: exact=803 + Buffers: shared hit=857 + -> Bitmap Index Scan on idx_messages_chat_only (cost=0.00..673.82 rows=61003 width=0) (actual time=0.873..0.873 rows=61818.00 loops=1) + Index Cond: (chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) Index Searches: 1 - Buffers: shared hit=48 + Buffers: shared hit=54 Planning: Buffers: shared hit=100 -Planning Time: 2.045 ms -Execution Time: 12.641 ms +Planning Time: 1.562 ms +Execution Time: 9.220 ms ``` ## chat_only ``` -Limit (cost=23.89..23.91 rows=8 width=69) (actual time=0.037..0.037 rows=1.00 loops=1) +Limit (cost=28.62..28.64 rows=11 width=69) (actual time=0.040..0.041 rows=1.00 loops=1) Buffers: shared hit=9 - -> Sort (cost=23.89..23.91 rows=8 width=69) (actual time=0.035..0.035 rows=1.00 loops=1) + -> Sort (cost=28.62..28.64 rows=11 width=69) (actual time=0.038..0.038 rows=1.00 loops=1) Sort Key: created_at, id Sort Method: quicksort Memory: 25kB Buffers: shared hit=9 - -> Index Scan using idx_messages_chat_only on messages (cost=0.29..23.77 rows=8 width=69) (actual time=0.015..0.015 rows=1.00 loops=1) + -> Index Scan using idx_messages_chat_only on messages (cost=0.29..28.43 rows=11 width=69) (actual time=0.017..0.017 rows=1.00 loops=1) Index Cond: (chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) Filter: (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) Index Searches: 1 Buffers: shared hit=3 Planning: Buffers: shared hit=100 -Planning Time: 2.240 ms -Execution Time: 0.066 ms +Planning Time: 1.450 ms +Execution Time: 0.069 ms ``` ## full (chat_id, created_at, id) ``` -Limit (cost=0.42..9.42 rows=51 width=69) (actual time=0.101..0.118 rows=51.00 loops=1) - Buffers: shared hit=5 read=1 - -> Index Scan using idx_messages_chat_created on messages (cost=0.42..6871.59 rows=38939 width=69) (actual time=0.098..0.112 rows=51.00 loops=1) - Index Cond: ((chat_id = '79d37065-bfb0-4cb1-8f1e-e79533f724ff'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:03:17.148852+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) +Limit (cost=0.42..28.88 rows=51 width=69) (actual time=0.072..0.187 rows=51.00 loops=1) + Buffers: shared hit=51 read=1 + -> Index Scan using idx_messages_chat_created on messages (cost=0.42..6391.22 rows=11452 width=69) (actual time=0.070..0.182 rows=51.00 loops=1) + Index Cond: ((chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:04:18.650063+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) Index Searches: 1 - Buffers: shared hit=5 read=1 + Buffers: shared hit=51 read=1 Planning: Buffers: shared hit=111 -Planning Time: 1.697 ms -Execution Time: 0.153 ms +Planning Time: 2.685 ms +Execution Time: 0.214 ms ``` diff --git a/evidence/lab2_track2_restore.txt b/evidence/lab2_track2_restore.txt new file mode 100644 index 00000000..ee2deecc --- /dev/null +++ b/evidence/lab2_track2_restore.txt @@ -0,0 +1,8 @@ +Track 2 restore +dump_time_s=2.880 +dump_size_bytes=5401183 +restore_time_s=1.393 +count_original=190001 +count_restored=190001 +dist_match=true +random100_match=true diff --git a/evidence/lab2_track2_rpo.txt b/evidence/lab2_track2_rpo.txt new file mode 100644 index 00000000..169d7658 --- /dev/null +++ b/evidence/lab2_track2_rpo.txt @@ -0,0 +1,4 @@ +Track 2 RPO +marker_message_id=33458232-3904-49f4-bbff-5cdee7acddad +present_in_restore=0 +expected=0 diff --git a/evidence/lab2_track2_write_cost.json b/evidence/lab2_track2_write_cost.json index 95a2d7ee..bc33168c 100644 --- a/evidence/lab2_track2_write_cost.json +++ b/evidence/lab2_track2_write_cost.json @@ -1,20 +1,20 @@ [ { "variant": "no_index", - "insert_10000_s": 1.37, - "indexes_size": "5152 kB", - "total_size": "19 MB" + "insert_10000_s": 1.085, + "indexes_size": "6896 kB", + "total_size": "24 MB" }, { "variant": "chat_only", - "insert_10000_s": 1.093, - "indexes_size": "6648 kB", - "total_size": "21 MB" + "insert_10000_s": 0.992, + "indexes_size": "8880 kB", + "total_size": "27 MB" }, { "variant": "full", - "insert_10000_s": 0.921, - "indexes_size": "15 MB", - "total_size": "31 MB" + "insert_10000_s": 0.977, + "indexes_size": "19 MB", + "total_size": "38 MB" } ] diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py index cbbfeb3d..2b9af5a5 100644 --- a/student-tests/test_track2.py +++ b/student-tests/test_track2.py @@ -25,6 +25,7 @@ import sys import time import uuid from pathlib import Path +import base64 sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) from client import Client, Failure, arguments, check, run # noqa: E402 @@ -325,14 +326,21 @@ def step_backup_restore(dsn: str): def step_rpo(dsn: str, base_url: str, ca_file): print("=== 5. RPO: запись во время pg_dump ===") c = Client(base_url, ca_file) + + # Данные и сессии готовим заранее, до дампа. alice, bob, eve, chat = c.bootstrap() + # Контроль: сессия должна быть валидна, иначе 401 — это не RPO. + me = c.call("GET", "/api/v1/users/me", 200, actor=alice, schema="User") + check(me["status"] == 200, "сессия должна быть валидна перед RPO-тестом") + marker = "rpo-" + uuid.uuid4().hex # Запускаем pg_dump out_file = EVIDENCE / "lab2_track2_rpo.dump" if out_file.exists(): out_file.unlink() + # pg_dump: тот же приём, что в шаге 4. proc = subprocess.Popen( ["docker", "run", "--rm", "--add-host=host.docker.internal:host-gateway", @@ -341,21 +349,34 @@ def step_rpo(dsn: str, base_url: str, ca_file): "pg_dump", "-Fc", "-f", "/out/lab2_track2_rpo.dump", dsn], stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL, ) - time.sleep(1.0) # гарантируем, что снапшот дампа уже снят - written = c.message(alice, chat, marker)["json"] + time.sleep(1.0) # снапшот уже снят + + # Свежий логин прямо перед записью: не зависим от TTL старой сессии. + cred = base64.b64encode( + (alice["registration"]["username"] + ":" + + alice["registration"]["password"]).encode() + ).decode() + fresh = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + alice_for_write = {"id": alice["id"], "user": alice["user"], "token": fresh["token"]} + + written = c.message(alice_for_write, chat, marker)["json"] code = proc.wait(timeout=300) check(code == 0, "pg_dump для RPO упал") - # restore во временный контейнер + # Временный restore-контейнер: публикуем порт 55433 на хост. restore_container = "mtusi-pg-rpo" subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) subprocess.run( ["docker", "run", "-d", "--name", restore_container, "-e", "POSTGRES_PASSWORD=restore", "-e", "POSTGRES_USER=postgres", "-e", "POSTGRES_DB=high_load_messenger", + "-p", "127.0.0.1:55433:5432", "postgres:18-alpine"], capture_output=True, text=True, ) + deadline = time.monotonic() + 60 while time.monotonic() < deadline: c2 = subprocess.run(["docker", "exec", restore_container, "pg_isready", "-U", "postgres"], @@ -363,14 +384,17 @@ def step_rpo(dsn: str, base_url: str, ca_file): if c2.returncode == 0: break time.sleep(1) + else: + raise Failure("restore container для RPO не поднялся") + # pg_restore идёт в опубликованный порт через host.docker.internal. r = subprocess.run( ["docker", "run", "--rm", "--add-host=host.docker.internal:host-gateway", - "--network", "host", "-v", f"{EVIDENCE}:/in", "postgres:18-alpine", - "pg_restore", "-d", "postgresql://postgres:restore@127.0.0.1:5432/high_load_messenger", + "pg_restore", "-d", + "postgresql://postgres:restore@host.docker.internal:55433/high_load_messenger", "--no-owner", "--no-privileges", "/in/lab2_track2_rpo.dump"], capture_output=True, text=True, timeout=600, ) -- 2.54.0 From e8ce10fdd81cc483525981eedc9ce7733a377e9b Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:24:11 +0300 Subject: [PATCH 26/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 84 ++++++++++++++++++++++++++++++++++++++++++++----------- 1 file changed, 67 insertions(+), 17 deletions(-) diff --git a/REPORT.md b/REPORT.md index 635a9d30..ff7c2cfb 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,7 +1,7 @@ # Отчёт — лабораторная 2 - Автор, группа: Васюкова Наталья, БВТ2303 -- Целевая оценка: 4 +- Целевая оценка: 5 - Commit/PR: solution/BVT2303-Vasyukova - Использованные источники, библиотеки и помощь ИИ: - Контракт: contracts/openapi.json, contracts/README.md @@ -50,7 +50,8 @@ curl.exe -s http://localhost:8080/health/ready ``` Ожидается: `{"status":"ok"}`. -Альтернативный локальный запуск без Docker: + +Альтернативный локальный запуск без Docker: python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload (в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`) @@ -65,6 +66,7 @@ | `make test` | `python tests/smoke.py --base-url http://localhost:8080` | | `make test-student` | `python student-tests/run_all.py --base-url http://localhost:8080` | | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | +| `make test-track2` | `python student-tests/test_track2.py --base-url http://localhost:8080` | Примечание про 2 action-скрипта: `scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` не исполняет `.sh` на Windows). @@ -74,7 +76,6 @@ docker compose stop # данные Redis и PostgreSQL (источник истины) сохраняются docker compose down # volumes Redis сохраняются docker compose down -v # ТОЛЬКО если осознанно стираем данные Redis -``` ## Архитектура и решения @@ -132,12 +133,12 @@ Keyset-пагинация (уровень 4): - Redis-ошибки в `sessions.py` обёрнуты в `RuntimeError("redis_unavailable: ...")`, `main.py` превращает в 503 `unavailable`. - `/health/ready` пингует PostgreSQL и, в режиме `redis`, Redis; при ошибке исключение вылетает наверх и превращается в 503 с телом `Error`. -Дерево проекта (изменения относительно lab1 отмечены `*`): +Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`): ``` mtusi2026lab2/ ├── compose.yaml * # API + Redis, PostgreSQL на хосте ├── Dockerfile -├── Makefile +├── Makefile * ├── README.md, COURSE.md, ... # скелет без изменений ├── requirements.txt * # + psycopg_pool, redis ├── .env.example * # + REDIS_URL, SESSION_STORE @@ -145,8 +146,8 @@ mtusi2026lab2/ │ ├── main.py * # точка входа uvicorn, init_pool/close_pool, 503-обработчики │ ├── api/ │ │ ├── health.py * # readiness пингует PostgreSQL + Redis -│ │ ├── auth.py # Авторизация -│ │ ├── security.py +│ │ ├── auth.py # Авторизация +│ │ ├── security.py │ │ ├── users.py │ │ ├── chats.py │ │ └── messages.py * # keyset-пагинация в SQL @@ -163,7 +164,9 @@ mtusi2026lab2/ │ ├── run_all.py │ ├── test_negative.py │ ├── test_concurrency.py -│ └── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down +│ ├── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down +│ ├── track2_seed.sql ** # сидирование >=100 000 сообщений +│ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO └── tests/ # публичные проверки, без изменений ``` @@ -180,6 +183,8 @@ mtusi2026lab2/ - `main.py`: `init_pool`/`close_pool`, обработчики 503. - `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API и Redis. - `student-tests/test_lab2_level4.py`: тесты уровня 4. +- `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5). +- `Makefile`: цель `test-track2`. Соответствие `.env.example` реальной конфигурации: - `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. @@ -219,7 +224,11 @@ mtusi2026lab2/ | Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | | Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | | Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | -| Выбранный трек 5 | не заявлен | — | — | — | +| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 160 001 сообщение, распределение 61818/54545/18182/…/1 | evidence/lab2_track2_explain.md | **5** | +| Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** | +| Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** | +| Трек 5. Трек 2: backup → restore → сверка | тот же скрипт (шаг 4) | COUNT, распределение по чатам и 100 случайных сообщений совпадают | evidence/lab2_track2_restore.txt | **5** | +| Трек 5. Трек 2: границы потери данных (RPO) | тот же скрипт (шаг 5) | сообщение, записанное после старта дампа, в restore отсутствует | evidence/lab2_track2_rpo.txt | **5** | ## Эксперименты и отказы @@ -236,7 +245,54 @@ Hardware и версии: | Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | | SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | -Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. +Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. Для Трека 2 использован отдельный эксперимент (см. ниже). + +## Трек 5. Трек 2. План запроса и восстановление + +**Гипотеза.** Индекс `(chat_id, created_at, id)` должен ускорять keyset-запрос истории и убирать сортировку; наивный `(chat_id)` потребует сортировки; без индекса — полный скан. Ускорение чтения достигается ценой более медленной записи и роста размера индекса. `pg_dump` даёт снапшот на момент старта, поэтому часть свежих сообщений в restore не попадёт (RPO > 0). + +**Методика.** Скрипт `student-tests/test_track2.py` (шаги): +1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`); +2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~62k) и маленьком (~1) чате для трёх вариантов индексов; +3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы); +4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine`, сверяет COUNT, распределение по чатам и 100 случайных сообщений; +5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore. + +Запуск: `python student-tests/test_track2.py --base-url http://localhost:8080` (эквивалент: `make test-track2`). + +**Результаты.** + +План запроса: +- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате ~40 мс, прочитано ~2013 буферов. +- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате ~9 мс, 863 буфера. +- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате ~0.2 мс, 52 буфера. +- На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: индекс важен там, где строк много. + +Стоимость записи (10 000 INSERT): + +| Вариант | INSERT, с | Индекс | Таблица+индексы | +| --- | --- | --- | --- | +| no_index | 1.085 | 6896 kB | 24 MB | +| chat_only | 0.992 | 8880 kB | 27 MB | +| full | 0.977 | 19 MB | 38 MB | + +Вывод: индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint. + +Backup/restore: +- `pg_dump -Fc`: размер 5.2 MiB, время 2.88 с. +- `pg_restore` в новый контейнер: 1.39 с (RTO). +- Сверка: COUNT(*), распределение по чатам, 100 случайных сообщений — совпадают. + +RPO: +- Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. +- `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу. + +**Ограничения эксперимента.** +- Один Docker-host, локальный PostgreSQL на хосте и одноразовый restore-контейнер; переносить абсолютные числа на другое железо нельзя. +- EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее. +- Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи). + +Полные планы — в `evidence/lab2_track2_explain.md`. Метрики и результаты — в `evidence/lab2_track2_write_cost.json`, `lab2_track2_restore.txt`, `lab2_track2_rpo.txt`. ## Ограничения и следующие шаги @@ -254,12 +310,6 @@ Hardware и версии: - `storage/memory.py` оставлен как референс lab1 и в приложении не используется. - `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`. -Что не входит в уровень 4: +Что не входит в уровень 5: - Горизонтальное масштабирование, балансировщик, HA (lab3+). - Вложения и S3 (lab4+), фоновая обработка (lab5+), OTel/Grafana (lab6+), TLS/mTLS/OpenBao/Argon2id (lab7). -- Трек 5 не заявлен. - -Следующие шаги (при заявке на 5): -1. Трек 1 «Согласованность кэша»: cache-aside поверх PostgreSQL с измерением SQL-запросов/latency до и после, защита от stampede, read-after-write. -2. Либо Трек 2 «План запроса и восстановление»: ≥100 000 сообщений, сравнение ≥2 индексов, backup → restore → сверка. -``` -- 2.54.0 From f801bacac081c4973ad3736fe9af33602a973c65 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:25:40 +0300 Subject: [PATCH 27/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20env?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/.env.example b/.env.example index e2c535d8..1ade8156 100644 --- a/.env.example +++ b/.env.example @@ -5,7 +5,8 @@ APP_PORT=8080 APP_ENV=lab SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. -DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger -REDIS_URL=redis://redis:6379/0 # пароль не задан: Redis доступен только внутри compose-сети (порт наружу не публикуется) +DATABASE_URL=postgresql://user:password@host.docker.internal:5432/high_load_messenger +# Redis. Пароль не задан: Redis доступен только внутри compose-сети (порт наружу не публикуется) +REDIS_URL=redis://redis:6379/0 SESSION_STORE=redis CACHE_URL_FILE=/run/secrets/cache_url -- 2.54.0 From 2c1d17ff4dd74fb6cb1c706c1fabc0f9549f8e81 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:27:41 +0300 Subject: [PATCH 28/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82=20=D0=BF=D0=BE=20?= =?UTF-8?q?=D1=82=D1=80=D0=B5=D0=BA=D1=83=202?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- evidence/lab2_track2_explain.md | 51 ++++++++++++++++++++++++++------- 1 file changed, 41 insertions(+), 10 deletions(-) diff --git a/evidence/lab2_track2_explain.md b/evidence/lab2_track2_explain.md index 80e74f70..f8d09684 100644 --- a/evidence/lab2_track2_explain.md +++ b/evidence/lab2_track2_explain.md @@ -1,6 +1,13 @@ -# Track 2: EXPLAIN (ANALYZE, BUFFERS) +# Трек 2. EXPLAIN (ANALYZE, BUFFERS): 3 варианта индекса + +Данные: 160 001 сообщение, неравномерные чаты (61818 / 54545 / 18182 / 9777 / … / 1). +Запрос: `SELECT ... FROM messages WHERE chat_id = AND (created_at, id) > (<середина>, …) ORDER BY created_at, id LIMIT 51`. +Большой чат ~62k, маленький чат ~1. + +## 1. Без индекса, большой чат + +`Parallel Seq Scan` по всей таблице, затем `Sort (top-N heapsort)`. Прочитано ~2013 буферов. `Execution Time = 39.988 ms`. -## big chat ``` Limit (cost=4887.94..4893.75 rows=51 width=69) (actual time=36.242..39.932 rows=51.00 loops=1) Buffers: shared hit=2028 @@ -21,10 +28,12 @@ Planning: Buffers: shared hit=88 Planning Time: 1.550 ms Execution Time: 39.988 ms - ``` -## small chat +## 2. Без индекса, маленький чат + +Тот же `Parallel Seq Scan` по всей таблице, но условий мало — `Sort (quicksort)`. `Execution Time = 41.093 ms`. + ``` Limit (cost=4660.63..4660.64 rows=5 width=69) (actual time=36.246..41.037 rows=1.00 loops=1) Buffers: shared hit=2019 @@ -44,10 +53,12 @@ Planning: Buffers: shared hit=88 Planning Time: 1.837 ms Execution Time: 41.093 ms - ``` -## no_index +## 3. Индекс (chat_id), большой чат + +`Bitmap Index Scan` по `idx_messages_chat_only`, затем `Bitmap Heap Scan` и `Sort`. ~863 буфера. `Execution Time = 9.220 ms`. + ``` Limit (cost=4135.73..4135.86 rows=51 width=69) (actual time=9.172..9.177 rows=51.00 loops=1) Buffers: shared hit=863 @@ -69,10 +80,12 @@ Planning: Buffers: shared hit=100 Planning Time: 1.562 ms Execution Time: 9.220 ms - ``` -## chat_only +## 4. Индекс (chat_id), маленький чат + +`Index Scan using idx_messages_chat_only` + `Sort (quicksort)`. ~9 буферов. `Execution Time = 0.069 ms`. + ``` Limit (cost=28.62..28.64 rows=11 width=69) (actual time=0.040..0.041 rows=1.00 loops=1) Buffers: shared hit=9 @@ -89,10 +102,12 @@ Planning: Buffers: shared hit=100 Planning Time: 1.450 ms Execution Time: 0.069 ms - ``` -## full (chat_id, created_at, id) +## 5. Полный индекс (chat_id, created_at, id), большой чат + +`Index Scan using idx_messages_chat_created`, **без `Sort`**. ~52 буфера. `Execution Time = 0.214 ms`. + ``` Limit (cost=0.42..28.88 rows=51 width=69) (actual time=0.072..0.187 rows=51.00 loops=1) Buffers: shared hit=51 read=1 @@ -104,5 +119,21 @@ Planning: Buffers: shared hit=111 Planning Time: 2.685 ms Execution Time: 0.214 ms +``` + +## 6. Полный индекс (chat_id, created_at, id), маленький чат + +`Index Scan` без `Sort`. ~4 буфера. `Execution Time = 0.072 ms`. ``` +Limit (cost=0.42..28.71 rows=8 width=69) (actual time=0.029..0.030 rows=1.00 loops=1) + Buffers: shared hit=4 + -> Index Scan using idx_messages_chat_created on messages (cost=0.42..28.71 rows=8 width=69) (actual time=0.026..0.027 rows=1.00 loops=1) + Index Cond: ((chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Index Searches: 1 + Buffers: shared hit=4 +Planning: + Buffers: shared hit=111 +Planning Time: 2.160 ms +Execution Time: 0.072 ms +``` -- 2.54.0 From 2c7b232826a0664b559268a8acf622cbb009bbe9 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:37:59 +0300 Subject: [PATCH 29/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 47 +++++++++++++++++++++++++++++++++-------------- 1 file changed, 33 insertions(+), 14 deletions(-) diff --git a/REPORT.md b/REPORT.md index ff7c2cfb..b96ffad7 100644 --- a/REPORT.md +++ b/REPORT.md @@ -262,37 +262,56 @@ Hardware и версии: **Результаты.** -План запроса: +### План запроса - Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате ~40 мс, прочитано ~2013 буферов. - `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате ~9 мс, 863 буфера. - `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате ~0.2 мс, 52 буфера. - На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: индекс важен там, где строк много. -Стоимость записи (10 000 INSERT): +### Стоимость записи (10 000 INSERT) +Вывод в терминале: +``` +=== 3. Стоимость записи: 10 000 INSERT на каждом варианте === + no_index insert=1.085s idx=6896 kB total=24 MB + chat_only insert=0.992s idx=8880 kB total=27 MB + full insert=0.977s idx=19 MB total=38 MB +``` -| Вариант | INSERT, с | Индекс | Таблица+индексы | -| --- | --- | --- | --- | -| no_index | 1.085 | 6896 kB | 24 MB | -| chat_only | 0.992 | 8880 kB | 27 MB | -| full | 0.977 | 19 MB | 38 MB | +Пояснения к столбцам: +| Вариант | INSERT, сек | Индекс | Таблица+индексы | -Вывод: индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint. +Выводы: +Индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint. -Backup/restore: +### Backup/restore +Вывод в терминале: +``` +=== 4. backup -> restore -> сверка === + dump size = 5.2 MiB, time = 2.88s + pg_restore exit=0, time=1.39s + OK: COUNT, распределение по чатам и 100 случайных сообщений совпадают + RTO (pg_restore) = 1.39s, dump = 5.2 MiB +``` +Комментарий: - `pg_dump -Fc`: размер 5.2 MiB, время 2.88 с. - `pg_restore` в новый контейнер: 1.39 с (RTO). - Сверка: COUNT(*), распределение по чатам, 100 случайных сообщений — совпадают. -RPO: -- Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. -- `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу. +### RPO +Вывод: +``` +=== 5. RPO: запись во время pg_dump === + OK: сообщение 33458232 записано после старта дампа и в restore отсутствует +``` +Комментарий: +Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу. -**Ограничения эксперимента.** +### Ограничения эксперимента - Один Docker-host, локальный PostgreSQL на хосте и одноразовый restore-контейнер; переносить абсолютные числа на другое железо нельзя. - EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее. - Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи). -Полные планы — в `evidence/lab2_track2_explain.md`. Метрики и результаты — в `evidence/lab2_track2_write_cost.json`, `lab2_track2_restore.txt`, `lab2_track2_rpo.txt`. +Полный отчет — в `evidence/lab2_track2_explain.md`. Метрики и результаты — в `evidence/lab2_track2_write_cost.json`, `lab2_track2_restore.txt`, `lab2_track2_rpo.txt`. ## Ограничения и следующие шаги -- 2.54.0 From 20e137c702c1e197b04b3b0e618dc53f8aece2ba Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:43:51 +0300 Subject: [PATCH 30/53] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 32 ++++++++++++++++++++++++++++++++ 1 file changed, 32 insertions(+) diff --git a/REPORT.md b/REPORT.md index b96ffad7..bde45e84 100644 --- a/REPORT.md +++ b/REPORT.md @@ -262,6 +262,38 @@ Hardware и версии: **Результаты.** +### Seed +Вывод в терминале: +``` +=== 1. seed === + messages before: 160001 + messages after: 160001 + распределение по чатам: +b54ecd23-caa8-4861-b0ad-ffd4651a5e7f|61818 +79d37065-bfb0-4cb1-8f1e-e79533f724ff|54545 +be347b96-49ae-4e9d-b18b-ed11c9d733a5|18182 +21cd4e0e-1b52-43ae-b20c-868b6489fb0f|9777 +3e6cfd23-471d-4892-bff9-1d9b4e704d27|9091 +86731cfe-c658-4a37-8057-a484cf78bfa9|1818 +2c80e4ef-b038-4163-a69d-0e51e71f5e40|910 +454f66a6-12f3-4404-86cd-d5d539d32a71|909 +a28ce93c-18be-4f4c-b504-d2f53ac366fa|909 +7b9f5596-f30c-4c08-a460-61cbfc988363|909 +d1e0944a-d9bc-4745-9fa4-a7930421b056|909 +93371f49-0309-4855-ba21-a486c6ef1798|100 +c5c44f13-7f13-4f39-a7b8-bc21cc1c0f1b|100 +3de6798e-c8b8-4234-afee-ae9040a3e65a|7 +a7ad6fe8-c9d7-4c73-a746-32b791720afd|7 +0e185a6f-000e-4eb4-b2e1-96b089624487|2 +6314363c-1b41-4b25-916d-4aa62d96672b|2 +cb4481ba-2bac-4b19-8495-06f687b03b42|1 +700bd40e-dc2c-4d4f-8ef8-f6d266ab0715|1 +99799609-050b-49eb-92bc-e25821aa2d76|1 +cdc8e820-35c7-441b-b34d-98ea46c5e173|1 +84616510-36ed-46ae-9732-6515e75beda1|1 +730e474b-405e-4558-8cf3-ac6a17c2a7d1|1 +``` + ### План запроса - Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате ~40 мс, прочитано ~2013 буферов. - `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате ~9 мс, 863 буфера. -- 2.54.0 From 3a6e19b08e8c689148aa02e2317d2a3e1df7af8b Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:45:49 +0300 Subject: [PATCH 31/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B3=D0=B8=D1=82=D0=B8=D0=B3=D0=BD=D0=BE=D1=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .gitignore | 1 + 1 file changed, 1 insertion(+) diff --git a/.gitignore b/.gitignore index b5a71896..9c71b711 100644 --- a/.gitignore +++ b/.gitignore @@ -10,6 +10,7 @@ certs/private/ *.jks *.pem *.tfstate* +*.dump volumes/ data/ backups/ -- 2.54.0 From 2ec2ead938b8d899e20d6f4c932e9f1fefc6971d Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 16:53:19 +0300 Subject: [PATCH 32/53] =?UTF-8?q?*=20=D0=BF=D0=B5=D1=80=D0=B5=D0=BD=D0=B5?= =?UTF-8?q?=D1=81=D0=BB=D0=B0=20=D0=BF=D0=BE=D1=81=D1=82=D0=B3=D1=80=D0=B5?= =?UTF-8?q?=D1=81=20=D0=B8=D0=B7=20=D1=85=D0=BE=D1=81=D1=82=D0=B0=20=D0=B2?= =?UTF-8?q?=20compose?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 5 ++++- compose.yaml | 26 ++++++++++++++++++++++---- scripts/restart.bat | 5 +++-- scripts/restart.sh | 6 +++--- 4 files changed, 32 insertions(+), 10 deletions(-) diff --git a/.env.example b/.env.example index 1ade8156..fe4dafcc 100644 --- a/.env.example +++ b/.env.example @@ -5,7 +5,10 @@ APP_PORT=8080 APP_ENV=lab SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. -DATABASE_URL=postgresql://user:password@host.docker.internal:5432/high_load_messenger +DATABASE_URL=postgresql://user:password@postgres:5432/high_load_messenger +POSTGRES_USER=user +POSTGRES_PASSWORD=password +POSTGRES_DB=high_load_messenger # Redis. Пароль не задан: Redis доступен только внутри compose-сети (порт наружу не публикуется) REDIS_URL=redis://redis:6379/0 SESSION_STORE=redis diff --git a/compose.yaml b/compose.yaml index 252b1b95..47392a98 100644 --- a/compose.yaml +++ b/compose.yaml @@ -1,10 +1,27 @@ x-lab-number: 2 x-required-roles: - api - # - postgres + - postgres -# Лабораторная 2. API + Redis +# Лабораторная 2. API + PostgreSQL + Redis services: + postgres: + image: postgres:18.6-alpine + container_name: mtusi-postgres + environment: + POSTGRES_USER: ${POSTGRES_USER:-messenger} + POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger} + POSTGRES_DB: ${POSTGRES_DB:-high_load_messenger} + volumes: + - postgres-data:/var/lib/postgresql + healthcheck: + test: ["CMD-SHELL", "pg_isready -U ${POSTGRES_USER:-messenger} -d ${POSTGRES_DB:-high_load_messenger}"] + interval: 5s + timeout: 5s + retries: 20 + start_period: 30s + restart: unless-stopped + redis: image: redis:7.4.1-alpine container_name: mtusi-redis @@ -29,9 +46,9 @@ services: - "127.0.0.1:8080:8080" env_file: - .env - extra_hosts: - - "host.docker.internal:host-gateway" depends_on: + postgres: + condition: service_healthy redis: condition: service_healthy healthcheck: @@ -43,4 +60,5 @@ services: restart: unless-stopped volumes: + postgres-data: redis-data: \ No newline at end of file diff --git a/scripts/restart.bat b/scripts/restart.bat index 1ffc12ee..3ccc5ce6 100644 --- a/scripts/restart.bat +++ b/scripts/restart.bat @@ -7,10 +7,11 @@ REM Сохраните постоянные тома и схемы/данные; REM Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. REM Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. -REM Уровень 4: перезапуск API и Redis. PostgreSQL на хосте не трогаем. -docker compose --env-file .env restart api redis >nul 2>&1 +REM Уровень 4: перезапуск API, PostgreSQL и Redis. Тома не трогаем. +docker compose --env-file .env restart api postgres redis >nul 2>&1 if errorlevel 1 ( docker restart mtusi-messenger-lab2 >nul 2>&1 + docker restart mtusi-postgres >nul 2>&1 docker restart mtusi-redis >nul 2>&1 ) set /a i=0 diff --git a/scripts/restart.sh b/scripts/restart.sh index 6a576984..289a814e 100644 --- a/scripts/restart.sh +++ b/scripts/restart.sh @@ -6,10 +6,10 @@ set -eu # Разрешите оператору снять защиту, если это необходимо в lab7; не выводите учетные данные. # Выходите из программы с кодом 0 только после выполнения запланированного действия; тест отдельно проверяет готовность API. -# Уровень 4: перезапускаем API и Redis (Redis — хранилище сессий с AOF). -# PostgreSQL на хосте не трогаем: его данные — источник истины, volume не удаляем. -docker compose --env-file .env restart api redis >/dev/null 2>&1 || { +# Уровень 4: перезапускаем API, PostgreSQL и Redis. Тома (postgres-data, redis-data) не трогаем. +docker compose --env-file .env restart api postgres redis >/dev/null 2>&1 || { docker restart mtusi-messenger-lab2 >/dev/null 2>&1 || true + docker restart mtusi-postgres >/dev/null 2>&1 || true docker restart mtusi-redis >/dev/null 2>&1 || true } # Ждём readiness -- 2.54.0 From 7e05e747d7f4a55661fc9095b94206c4002b2fec Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 16:57:35 +0300 Subject: [PATCH 33/53] =?UTF-8?q?*=20=D1=81=D0=B4=D0=B5=D0=BB=D0=B0=D0=BB?= =?UTF-8?q?=D0=B0,=20=D1=87=D1=82=D0=BE=D0=B1=D1=8B=20Postgres=20=D0=B1?= =?UTF-8?q?=D1=8B=D0=BB=20=D0=B4=D0=BE=D1=81=D1=82=D1=83=D0=BF=D0=B5=D0=BD?= =?UTF-8?q?=20=D1=82=D0=BE=D0=BB=D1=8C=D0=BA=D0=BE=20=D0=B2=D0=BD=D1=83?= =?UTF-8?q?=D1=82=D1=80=D0=B8=20compose-=D1=81=D0=B5=D1=82=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- compose.yaml | 14 +++++---- student-tests/test_lab2_level4.py | 16 ++++++---- student-tests/test_track2.py | 49 ++++++++++++++++++------------- 3 files changed, 47 insertions(+), 32 deletions(-) diff --git a/compose.yaml b/compose.yaml index 47392a98..72ae03bb 100644 --- a/compose.yaml +++ b/compose.yaml @@ -7,7 +7,7 @@ x-required-roles: services: postgres: image: postgres:18.6-alpine - container_name: mtusi-postgres + container_name: mtuci-postgres environment: POSTGRES_USER: ${POSTGRES_USER:-messenger} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger} @@ -24,7 +24,7 @@ services: redis: image: redis:7.4.1-alpine - container_name: mtusi-redis + container_name: mtuci-redis command: ["redis-server", "--appendonly", "yes", "--appendfsync", "everysec", "--save", "60", "1"] ports: - "127.0.0.1:6379:6379" @@ -40,8 +40,8 @@ services: api: build: . - image: mtusi-messenger:lab2 - container_name: mtusi-messenger-lab2 + image: mtuci-messenger:lab2 + container_name: mtuci-messenger-lab2 ports: - "127.0.0.1:8080:8080" env_file: @@ -61,4 +61,8 @@ services: volumes: postgres-data: - redis-data: \ No newline at end of file + redis-data: + +networks: + default: + name: mtuci2026lab2_default \ No newline at end of file diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index d1988503..b913c232 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -29,6 +29,10 @@ from pathlib import Path sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) from client import Client, Failure, arguments, check, run # noqa: E402 +# Имя compose-сети проекта: <папка-проекта>_default. +# Проверить: docker network ls | findstr default +COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtusi2026lab2_default") + # ---------- 1. Конкурентная регистрация одинакового username ---------- def test_concurrent_registration(c): @@ -67,16 +71,16 @@ def _read_dsn() -> str: dsn = line.split("=", 1)[1].strip() break check(dsn, "DATABASE_URL не найден ни в окружении, ни в .env") - # Внутри контейнера хост — host.docker.internal, а не localhost. - return dsn.replace("@localhost:", "@host.docker.internal:").replace( - "@127.0.0.1:", "@host.docker.internal:") + # Postgres доступен только внутри compose-сети; одноразовые psql-контейнеры + # запускаются в этой же сети, поэтому имя хоста postgres резолвится как есть. + return dsn def _psql(dsn_in_container: str, sql: str) -> str: r = subprocess.run( [ "docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "postgres:18-alpine", "psql", dsn_in_container, "-tA", "-c", sql, ], @@ -141,7 +145,7 @@ END $$; r = subprocess.run( [ "docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "postgres:18-alpine", "psql", dsn_in_container, "-c", seed_sql, ], @@ -173,7 +177,7 @@ END $$; r = subprocess.run( [ "docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "postgres:18-alpine", "psql", dsn_in_container, "-c", sql, ], diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py index 2b9af5a5..47d03621 100644 --- a/student-tests/test_track2.py +++ b/student-tests/test_track2.py @@ -15,7 +15,8 @@ 5. Границы потери данных: во время pg_dump через API пишем новые сообщения, после restore проверяем, что их нет. -Все psql-вызовы идут через docker run postgres:18-alpine --add-host=host.docker.internal:host-gateway. +Все psql-вызовы идут через docker run postgres:18-alpine в compose-сети проекта +(--network _default), DSN указывает на хост postgres. """ import json import os @@ -36,6 +37,10 @@ EVIDENCE.mkdir(exist_ok=True) SEED_SQL = ROOT / "student-tests" / "track2_seed.sql" +# Имя compose-сети проекта: <папка-проекта>_default. +# Проверить: docker network ls | findstr default +COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtusi2026lab2_default") + # ---------- helpers ---------- def _read_dsn() -> str: @@ -49,14 +54,15 @@ def _read_dsn() -> str: dsn = line.split("=", 1)[1].strip() break check(dsn, "DATABASE_URL не найден ни в окружении, ни в .env") - return dsn.replace("@localhost:", "@host.docker.internal:").replace( - "@127.0.0.1:", "@host.docker.internal:") + # Postgres доступен только внутри compose-сети; одноразовые psql/pg_dump + # контейнеры запускаются в этой же сети, имя хоста postgres резолвится как есть. + return dsn def _psql(dsn: str, sql: str, extra=None): cmd = [ "docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "postgres:18-alpine", "psql", dsn, "-tA", "-v", "ON_ERROR_STOP=1", ] @@ -69,7 +75,7 @@ def _psql(dsn: str, sql: str, extra=None): def _psql_file(dsn: str, path: Path): cmd = [ "docker", "run", "--rm", "-i", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "-v", f"{path}:/seed.sql:ro", "postgres:18-alpine", "psql", dsn, "-v", "ON_ERROR_STOP=1", "-f", "/seed.sql", @@ -221,11 +227,11 @@ def step_backup_restore(dsn: str): if out_file.exists(): out_file.unlink() - # pg_dump через docker run (использует образ PG 18) + # pg_dump через docker run (использует образ PG 18), в compose-сети t0 = time.monotonic() r = subprocess.run( ["docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "-v", f"{EVIDENCE}:/out", "postgres:18-alpine", "pg_dump", "-Fc", "-f", "/out/lab2_track2_dump.dump", dsn], @@ -236,14 +242,16 @@ def step_backup_restore(dsn: str): size = out_file.stat().st_size print(" dump size = %.1f MiB, time = %.2fs" % (size / 1024 / 1024, dump_time)) - # новый контейнер как отдельное хранилище + # новый контейнер как отдельное хранилище — в той же compose-сети, + # порт наружу не публикуем restore_container = "mtusi-pg-restore" subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) subprocess.run( ["docker", "run", "-d", "--name", restore_container, + "--network", COMPOSE_NETWORK, "-e", "POSTGRES_PASSWORD=restore", "-e", "POSTGRES_USER=postgres", "-e", "POSTGRES_DB=high_load_messenger", - "-p", "127.0.0.1:55432:5432", "postgres:18-alpine"], + "postgres:18-alpine"], capture_output=True, text=True, ) # ждём готовности @@ -257,16 +265,15 @@ def step_backup_restore(dsn: str): else: raise Failure("restore container не поднялся") - restore_dsn = "postgresql://postgres:restore@127.0.0.1:55432/high_load_messenger" - # pg_restore -c (clean) на пустую БД + # pg_restore -c (clean) на пустую БД; restore-контейнер доступен по имени + # в compose-сети t0 = time.monotonic() r = subprocess.run( ["docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", - "--network", "host", + "--network", COMPOSE_NETWORK, "-v", f"{EVIDENCE}:/in", "postgres:18-alpine", - "pg_restore", "-d", "postgresql://postgres:restore@127.0.0.1:55432/high_load_messenger", + "pg_restore", "-d", "postgresql://postgres:restore@mtusi-pg-restore:5432/high_load_messenger", "--no-owner", "--no-privileges", "/in/lab2_track2_dump.dump"], capture_output=True, text=True, timeout=600, ) @@ -340,10 +347,10 @@ def step_rpo(dsn: str, base_url: str, ca_file): if out_file.exists(): out_file.unlink() - # pg_dump: тот же приём, что в шаге 4. + # pg_dump: тот же приём, что в шаге 4, в compose-сети. proc = subprocess.Popen( ["docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "-v", f"{EVIDENCE}:/out", "postgres:18-alpine", "pg_dump", "-Fc", "-f", "/out/lab2_track2_rpo.dump", dsn], @@ -365,14 +372,14 @@ def step_rpo(dsn: str, base_url: str, ca_file): code = proc.wait(timeout=300) check(code == 0, "pg_dump для RPO упал") - # Временный restore-контейнер: публикуем порт 55433 на хост. + # Временный restore-контейнер: в compose-сети, без публикации портов. restore_container = "mtusi-pg-rpo" subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) subprocess.run( ["docker", "run", "-d", "--name", restore_container, + "--network", COMPOSE_NETWORK, "-e", "POSTGRES_PASSWORD=restore", "-e", "POSTGRES_USER=postgres", "-e", "POSTGRES_DB=high_load_messenger", - "-p", "127.0.0.1:55433:5432", "postgres:18-alpine"], capture_output=True, text=True, ) @@ -387,14 +394,14 @@ def step_rpo(dsn: str, base_url: str, ca_file): else: raise Failure("restore container для RPO не поднялся") - # pg_restore идёт в опубликованный порт через host.docker.internal. + # pg_restore идёт в restore-контейнер по имени в compose-сети. r = subprocess.run( ["docker", "run", "--rm", - "--add-host=host.docker.internal:host-gateway", + "--network", COMPOSE_NETWORK, "-v", f"{EVIDENCE}:/in", "postgres:18-alpine", "pg_restore", "-d", - "postgresql://postgres:restore@host.docker.internal:55433/high_load_messenger", + "postgresql://postgres:restore@mtusi-pg-rpo:5432/high_load_messenger", "--no-owner", "--no-privileges", "/in/lab2_track2_rpo.dump"], capture_output=True, text=True, timeout=600, ) -- 2.54.0 From 9d2fb91bdf9f3ee05069aa532d240ecb73866372 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:01:10 +0300 Subject: [PATCH 34/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B2=D1=8B=D0=B7=D0=BE=D0=B2=D0=B8=20compose-?= =?UTF-8?q?=D1=81=D0=B5=D1=82=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- scripts/restart.bat | 6 +++--- scripts/restart.sh | 6 +++--- student-tests/test_lab2_level4.py | 7 +++---- student-tests/test_track2.py | 15 +++++++-------- 4 files changed, 16 insertions(+), 18 deletions(-) diff --git a/scripts/restart.bat b/scripts/restart.bat index 3ccc5ce6..25314946 100644 --- a/scripts/restart.bat +++ b/scripts/restart.bat @@ -10,9 +10,9 @@ REM Выходите из программы с кодом 0 только пос REM Уровень 4: перезапуск API, PostgreSQL и Redis. Тома не трогаем. docker compose --env-file .env restart api postgres redis >nul 2>&1 if errorlevel 1 ( - docker restart mtusi-messenger-lab2 >nul 2>&1 - docker restart mtusi-postgres >nul 2>&1 - docker restart mtusi-redis >nul 2>&1 + docker restart mtuci-messenger-lab2 >nul 2>&1 + docker restart mtuci-postgres >nul 2>&1 + docker restart mtuci-redis >nul 2>&1 ) set /a i=0 :wait_loop diff --git a/scripts/restart.sh b/scripts/restart.sh index 289a814e..d9f484e0 100644 --- a/scripts/restart.sh +++ b/scripts/restart.sh @@ -8,9 +8,9 @@ set -eu # Уровень 4: перезапускаем API, PostgreSQL и Redis. Тома (postgres-data, redis-data) не трогаем. docker compose --env-file .env restart api postgres redis >/dev/null 2>&1 || { - docker restart mtusi-messenger-lab2 >/dev/null 2>&1 || true - docker restart mtusi-postgres >/dev/null 2>&1 || true - docker restart mtusi-redis >/dev/null 2>&1 || true + docker restart mtuci-messenger-lab2 >/dev/null 2>&1 || true + docker restart mtuci-postgres >/dev/null 2>&1 || true + docker restart mtuci-redis >/dev/null 2>&1 || true } # Ждём readiness i=0 diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index b913c232..f28f6bea 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -4,7 +4,7 @@ Перед запуском: 1) в .env выставить SESSION_TTL_SECONDS=5 2) docker compose --env-file .env up -d --force-recreate api - 3) docker exec mtusi-redis redis-cli flushdb + 3) docker exec mtuci-redis redis-cli flushdb 4) python student-tests/test_lab2_level4.py --base-url http://localhost:8080 5) перед smoke/persistence вернуть SESSION_TTL_SECONDS=3600 и снова up -d --force-recreate api @@ -29,9 +29,8 @@ from pathlib import Path sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) from client import Client, Failure, arguments, check, run # noqa: E402 -# Имя compose-сети проекта: <папка-проекта>_default. -# Проверить: docker network ls | findstr default -COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtusi2026lab2_default") +# Имя compose-сети проекта: mtuci2026lab2_default (зафиксировано в compose.yaml networks.default.name). +COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtuci2026lab2_default") # ---------- 1. Конкурентная регистрация одинакового username ---------- diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py index 47d03621..e48022dd 100644 --- a/student-tests/test_track2.py +++ b/student-tests/test_track2.py @@ -16,7 +16,7 @@ после restore проверяем, что их нет. Все psql-вызовы идут через docker run postgres:18-alpine в compose-сети проекта -(--network _default), DSN указывает на хост postgres. +(--network mtuci2026lab2_default), DSN указывает на хост postgres. """ import json import os @@ -37,9 +37,8 @@ EVIDENCE.mkdir(exist_ok=True) SEED_SQL = ROOT / "student-tests" / "track2_seed.sql" -# Имя compose-сети проекта: <папка-проекта>_default. -# Проверить: docker network ls | findstr default -COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtusi2026lab2_default") +# Имя compose-сети проекта: mtuci2026lab2_default (зафиксировано в compose.yaml networks.default.name). +COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtuci2026lab2_default") # ---------- helpers ---------- @@ -244,7 +243,7 @@ def step_backup_restore(dsn: str): # новый контейнер как отдельное хранилище — в той же compose-сети, # порт наружу не публикуем - restore_container = "mtusi-pg-restore" + restore_container = "mtuci-pg-restore" subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) subprocess.run( ["docker", "run", "-d", "--name", restore_container, @@ -273,7 +272,7 @@ def step_backup_restore(dsn: str): "--network", COMPOSE_NETWORK, "-v", f"{EVIDENCE}:/in", "postgres:18-alpine", - "pg_restore", "-d", "postgresql://postgres:restore@mtusi-pg-restore:5432/high_load_messenger", + "pg_restore", "-d", "postgresql://postgres:restore@mtuci-pg-restore:5432/high_load_messenger", "--no-owner", "--no-privileges", "/in/lab2_track2_dump.dump"], capture_output=True, text=True, timeout=600, ) @@ -373,7 +372,7 @@ def step_rpo(dsn: str, base_url: str, ca_file): check(code == 0, "pg_dump для RPO упал") # Временный restore-контейнер: в compose-сети, без публикации портов. - restore_container = "mtusi-pg-rpo" + restore_container = "mtuci-pg-rpo" subprocess.run(["docker", "rm", "-f", restore_container], capture_output=True) subprocess.run( ["docker", "run", "-d", "--name", restore_container, @@ -401,7 +400,7 @@ def step_rpo(dsn: str, base_url: str, ca_file): "-v", f"{EVIDENCE}:/in", "postgres:18-alpine", "pg_restore", "-d", - "postgresql://postgres:restore@mtusi-pg-rpo:5432/high_load_messenger", + "postgresql://postgres:restore@mtuci-pg-rpo:5432/high_load_messenger", "--no-owner", "--no-privileges", "/in/lab2_track2_rpo.dump"], capture_output=True, text=True, timeout=600, ) -- 2.54.0 From 8513657d39ae69bfaefe9745221144db73b873ea Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:07:48 +0300 Subject: [PATCH 35/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/REPORT.md b/REPORT.md index bde45e84..f12b652e 100644 --- a/REPORT.md +++ b/REPORT.md @@ -34,7 +34,7 @@ 1. Клонировать репозиторий и переключиться на ветку решения: ``` - git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git && cd mtusi2026lab2 + git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git git checkout solution/BVT2303-Vasyukova ``` 2. Создать `.env` из шаблона и при необходимости поправить `DATABASE_URL`: @@ -135,7 +135,7 @@ Keyset-пагинация (уровень 4): Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`): ``` -mtusi2026lab2/ +mtuci2026lab2/ ├── compose.yaml * # API + Redis, PostgreSQL на хосте ├── Dockerfile ├── Makefile * @@ -214,8 +214,8 @@ mtusi2026lab2/ | Persistence: данные и сессия переживают рестарт API и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | | Hook реально перезапустил API и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** | | Secrets/volumes не попадают в Git | `.dockerignore`, `.env` локально | `DATABASE_URL`/`REDIS_URL` в `.env.example` — плейсхолдеры | .env.example | **3** | -| Redis реально используется для сессий с TTL | `docker exec mtusi-redis redis-cli KEYS "sess:*"`, `TTL sess:` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** | -| Redis persistence, выдерживающее рестарт | `docker exec mtusi-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | +| Redis реально используется для сессий с TTL | `docker exec mtuci-redis redis-cli KEYS "sess:*"`, `TTL sess:` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** | +| Redis persistence, выдерживающее рестарт | `docker exec mtuci-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | | Параметризованные запросы, ограниченный пул, таймауты | `psycopg_pool.ConnectionPool(2..10, timeout=5)`, `statement_timeout=5000` | нет `psycopg.connect()` на запрос | src/app/storage/db.py | **4** | | Гонка регистрации одинакового username | `python student-tests/test_lab2_level4.py` (блок `test_concurrent_registration`) | ровно одна 201, остальные 409 | evidence/lab2/lab2_level4.txt | **4** | | Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях | тот же скрипт, `test_explain` | `Index Scan using idx_messages_chat_created` | evidence/lab2/lab2_level4.txt | **4** | @@ -234,7 +234,7 @@ mtusi2026lab2/ Hardware и версии: - Windows 11, Docker Desktop (WSL2 backend), без лимитов CPU/RAM на контейнер; -- Образ `mtusi-messenger:lab2` на `python:3.12-slim`; +- Образ `mtuci-messenger:lab2` на `python:3.12-slim`; - PostgreSQL 18.6 на хосте - Redis 7.4.1-alpine в Compose. -- 2.54.0 From a134cd3f9c3f0964d1d86d41a467d1ae3f8cbdc9 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:11:20 +0300 Subject: [PATCH 36/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B8=D0=BC=D0=B5=D0=BD=D0=B0=20=D1=82=D0=BE?= =?UTF-8?q?=D0=BC=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- compose.yaml | 2 ++ 1 file changed, 2 insertions(+) diff --git a/compose.yaml b/compose.yaml index 72ae03bb..f84fd57d 100644 --- a/compose.yaml +++ b/compose.yaml @@ -61,7 +61,9 @@ services: volumes: postgres-data: + name: mtuci2026lab2_postgres-data redis-data: + name: mtuci2026lab2_redis-data networks: default: -- 2.54.0 From 3cdc938cc5e54ba81ada9555d1a0d487cdf7bed2 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:26:42 +0300 Subject: [PATCH 37/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BA=D0=BE=D0=BC=D0=BC=D0=B5=D0=BD=D1=82=D0=B0?= =?UTF-8?q?=D1=80=D0=B8=D0=B9-=D0=B8=D0=BD=D1=81=D1=82=D1=80=D1=83=D0=BA?= =?UTF-8?q?=D1=86=D0=B8=D1=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index f28f6bea..70f6f60e 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -262,7 +262,7 @@ def test_short_ttl_expiry(c): ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() check(3.0 <= ttl_actual <= 10, "SESSION_TTL_SECONDS не короткий (получено %.1f c). " - "Поставь SESSION_TTL_SECONDS=5 в .env и перезапусти API." % ttl_actual) + "Поставьте, пожалуйста, SESSION_TTL_SECONDS=5 в .env и перезапустите API." % ttl_actual) # До истечения токен должен работать. me = c.call("GET", "/api/v1/users/me", 200, -- 2.54.0 From 83699b44393d0af2e4b386de9af46e3a2b6a2567 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:29:25 +0300 Subject: [PATCH 38/53] =?UTF-8?q?*=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B2=20=D0=BA=D0=BE=D0=BC=D0=BC=D0=B5=D0=BD?= =?UTF-8?q?=D1=82=D0=B0=D1=80=D0=B8=D0=B9=20=D0=BA=D0=BE=D0=BC=D0=B0=D0=BD?= =?UTF-8?q?=D0=B4=D1=83?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index 70f6f60e..a1dbb85c 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -262,7 +262,7 @@ def test_short_ttl_expiry(c): ttl_actual = (expires_at - dt.datetime.now(dt.timezone.utc)).total_seconds() check(3.0 <= ttl_actual <= 10, "SESSION_TTL_SECONDS не короткий (получено %.1f c). " - "Поставьте, пожалуйста, SESSION_TTL_SECONDS=5 в .env и перезапустите API." % ttl_actual) + "Поставьте, пожалуйста, SESSION_TTL_SECONDS=5 в .env и перезапустите API (команда: docker compose --env-file .env up -d api)." % ttl_actual) # До истечения токен должен работать. me = c.call("GET", "/api/v1/users/me", 200, -- 2.54.0 From 2e66c68cffae95da093f86cbd1854876e83ed8eb Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:35:19 +0300 Subject: [PATCH 39/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20test=5Ftrack2.py?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_track2.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py index e48022dd..9eee36ff 100644 --- a/student-tests/test_track2.py +++ b/student-tests/test_track2.py @@ -165,7 +165,7 @@ def step_explain(dsn: str): } (EVIDENCE / "lab2_track2_explain.md").write_text( - "# Track 2: EXPLAIN (ANALYZE, BUFFERS)\n\n" + "# Трек 2. EXPLAIN (ANALYZE, BUFFERS): 3 варианта индекса\n\n" "## big chat\n```\n%s\n```\n\n## small chat\n```\n%s\n```\n\n" "## no_index\n```\n%s\n```\n\n" "## chat_only\n```\n%s\n```\n\n" -- 2.54.0 From f9782daa2f1da412eb37d7b316b7a4488399b392 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 17:40:08 +0300 Subject: [PATCH 40/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20test=5Ftrack2.py?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_track2.py | 78 ++++++++++++++++++++++++------------ 1 file changed, 52 insertions(+), 26 deletions(-) diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py index 9eee36ff..0ec6d446 100644 --- a/student-tests/test_track2.py +++ b/student-tests/test_track2.py @@ -110,6 +110,10 @@ def _big_and_small(dsn): return big, small +def _chat_size(dsn: str, chat_id: str) -> int: + return int(_scalar(dsn, "SELECT count(*) FROM messages WHERE chat_id = '%s';" % chat_id)) + + def _explain(dsn: str, chat_id: str, label: str): # Берём средний created_at, чтобы keyset реально резал историю mid = _scalar(dsn, @@ -134,50 +138,72 @@ def _drop_indexes(dsn): _psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_only;") +def _format_section(title: str, chat_size: int, plan: str, note: str = "") -> str: + """Собирает один раздел отчёта в формате образца.""" + head = "## %s\n\n" % title + if note: + head += note.rstrip() + "\n\n" + return head + "```\n" + plan.rstrip() + "\n```\n" + + def step_explain(dsn: str): print("=== 2. EXPLAIN 3 варианта ===") big, small = _big_and_small(dsn) - report = {"big_chat": big, "small_chat": small, "variants": {}} + big_size = _chat_size(dsn, big) + small_size = _chat_size(dsn, small) # (1) без индекса _drop_indexes(dsn) _psql(dsn, "ANALYZE messages;") - report["variants"]["no_index"] = { - "big": _explain(dsn, big, "no_index/big"), - "small": _explain(dsn, small, "no_index/small"), - } + no_index_big = _explain(dsn, big, "no_index/big") + no_index_small = _explain(dsn, small, "no_index/small") # (2) только (chat_id) _psql(dsn, "CREATE INDEX idx_messages_chat_only ON messages (chat_id);") _psql(dsn, "ANALYZE messages;") - report["variants"]["chat_only"] = { - "big": _explain(dsn, big, "chat_only/big"), - "small": _explain(dsn, small, "chat_only/small"), - } + chat_only_big = _explain(dsn, big, "chat_only/big") + chat_only_small = _explain(dsn, small, "chat_only/small") # (3) полный рабочий _psql(dsn, "DROP INDEX IF EXISTS idx_messages_chat_only;") _psql(dsn, "CREATE INDEX idx_messages_chat_created ON messages (chat_id, created_at, id);") _psql(dsn, "ANALYZE messages;") - report["variants"]["full"] = { - "big": _explain(dsn, big, "full/big"), - "small": _explain(dsn, small, "full/small"), - } + full_big = _explain(dsn, big, "full/big") + full_small = _explain(dsn, small, "full/small") + + # Заголовок отчёта — как в образце + parts = [] + parts.append( + "# Трек 2. EXPLAIN (ANALYZE, BUFFERS): 3 варианта индекса\n\n" + "Данные: 160 001 сообщение, неравномерные чаты. " + "Запрос: `SELECT ... FROM messages WHERE chat_id = AND (created_at, id) > (<середина>, …) " + "ORDER BY created_at, id LIMIT 51`.\n" + "Большой чат ~%d, маленький чат ~%d.\n" % (big_size, small_size) + ) + + parts.append(_format_section( + "1. Без индекса, большой чат", big_size, no_index_big, + "`Parallel Seq Scan` по всей таблице, затем `Sort`.")) + parts.append(_format_section( + "2. Без индекса, маленький чат", small_size, no_index_small, + "Тот же `Parallel Seq Scan` по всей таблице.")) + parts.append(_format_section( + "3. Индекс (chat_id), большой чат", big_size, chat_only_big, + "`Bitmap Index Scan` по `idx_messages_chat_only`, затем `Bitmap Heap Scan` и `Sort`.")) + parts.append(_format_section( + "4. Индекс (chat_id), маленький чат", small_size, chat_only_small, + "`Index Scan using idx_messages_chat_only` + `Sort`.")) + parts.append(_format_section( + "5. Полный индекс (chat_id, created_at, id), большой чат", big_size, full_big, + "`Index Scan using idx_messages_chat_created`, **без `Sort`**.")) + parts.append(_format_section( + "6. Полный индекс (chat_id, created_at, id), маленький чат", small_size, full_small, + "`Index Scan` без `Sort`.")) (EVIDENCE / "lab2_track2_explain.md").write_text( - "# Трек 2. EXPLAIN (ANALYZE, BUFFERS): 3 варианта индекса\n\n" - "## big chat\n```\n%s\n```\n\n## small chat\n```\n%s\n```\n\n" - "## no_index\n```\n%s\n```\n\n" - "## chat_only\n```\n%s\n```\n\n" - "## full (chat_id, created_at, id)\n```\n%s\n```\n" - % (report["variants"]["no_index"]["big"], - report["variants"]["no_index"]["small"], - report["variants"]["chat_only"]["big"], - report["variants"]["chat_only"]["small"], - report["variants"]["full"]["big"]), - encoding="utf-8", - ) - return report + "\n".join(parts), encoding="utf-8") + + return {"big_chat": big, "small_chat": small} # ---------- 3. write cost ---------- -- 2.54.0 From d1e680c1d658d12e74c4729e3b452f2cb030a6c8 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 20:14:26 +0300 Subject: [PATCH 41/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/REPORT.md b/REPORT.md index f12b652e..051220fc 100644 --- a/REPORT.md +++ b/REPORT.md @@ -295,9 +295,9 @@ cdc8e820-35c7-441b-b34d-98ea46c5e173|1 ``` ### План запроса -- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате ~40 мс, прочитано ~2013 буферов. -- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате ~9 мс, 863 буфера. -- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате ~0.2 мс, 52 буфера. +- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате execution time ~40 мс, прочитано ~2013 буферов. +- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате execution time ~9 мс, 863 буфера. +- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате execution time ~0.2 мс, 52 буфера. - На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: индекс важен там, где строк много. ### Стоимость записи (10 000 INSERT) -- 2.54.0 From e5e9e75c3e20da1c76e5a7b6ac3beed60447ccd8 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 20:26:21 +0300 Subject: [PATCH 42/53] =?UTF-8?q?*=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B7=D0=B0=D0=BF=D0=B8=D1=81=D1=8C=20total=20?= =?UTF-8?q?=D1=87=D0=B8=D1=81=D0=BB=D0=B0=20=D1=81=D0=BE=D0=BE=D0=B1=D1=89?= =?UTF-8?q?=D0=B5=D0=BD=D0=B8=D0=B9=20=D0=B2=20=D0=BE=D1=82=D1=87=D0=B5?= =?UTF-8?q?=D1=82=20=D0=BF=D0=BE=20=D1=82=D1=80=D0=B5=D0=BA=D1=83=202?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_track2.py | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/student-tests/test_track2.py b/student-tests/test_track2.py index 0ec6d446..06cc28ea 100644 --- a/student-tests/test_track2.py +++ b/student-tests/test_track2.py @@ -146,7 +146,7 @@ def _format_section(title: str, chat_size: int, plan: str, note: str = "") -> st return head + "```\n" + plan.rstrip() + "\n```\n" -def step_explain(dsn: str): +def step_explain(dsn: str, total_messages: int): print("=== 2. EXPLAIN 3 варианта ===") big, small = _big_and_small(dsn) big_size = _chat_size(dsn, big) @@ -175,10 +175,10 @@ def step_explain(dsn: str): parts = [] parts.append( "# Трек 2. EXPLAIN (ANALYZE, BUFFERS): 3 варианта индекса\n\n" - "Данные: 160 001 сообщение, неравномерные чаты. " + "Данные: %d сообщений, неравномерные чаты. " "Запрос: `SELECT ... FROM messages WHERE chat_id = AND (created_at, id) > (<середина>, …) " "ORDER BY created_at, id LIMIT 51`.\n" - "Большой чат ~%d, маленький чат ~%d.\n" % (big_size, small_size) + "Большой чат ~%d, маленький чат ~%d.\n" % (total_messages, big_size, small_size) ) parts.append(_format_section( @@ -453,8 +453,8 @@ def step_rpo(dsn: str, base_url: str, ca_file): def main(): args = arguments("Track 2: plan, write cost, backup/restore, RPO") dsn = _read_dsn() - step_seed(dsn) - step_explain(dsn) + total = step_seed(dsn) + step_explain(dsn, total) step_write_cost(dsn) step_backup_restore(dsn) step_rpo(dsn, args.base_url, args.ca_file) -- 2.54.0 From af53f2b10e5a14fb757c23d4fc130a21dd3e8a30 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 20:33:22 +0300 Subject: [PATCH 43/53] =?UTF-8?q?*=20=D0=BF=D0=BE=D0=B2=D1=82=D0=BE=D1=80?= =?UTF-8?q?=D0=BD=D1=8B=D0=BC=20=D0=B7=D0=B0=D0=BF=D1=83=D1=81=D0=BA=D0=BE?= =?UTF-8?q?=D0=BC=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8=D0=BB=D0=B0=20?= =?UTF-8?q?=D1=86=D0=B8=D1=84=D1=80=D1=8B=20=D0=B2=20=D0=BE=D1=82=D1=87?= =?UTF-8?q?=D0=B5=D1=82=D0=B0=D1=85?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- evidence/lab2_track2_explain.md | 158 +++++++++++++-------------- evidence/lab2_track2_restore.txt | 10 +- evidence/lab2_track2_rpo.txt | 2 +- evidence/lab2_track2_write_cost.json | 18 +-- 4 files changed, 94 insertions(+), 94 deletions(-) diff --git a/evidence/lab2_track2_explain.md b/evidence/lab2_track2_explain.md index f8d09684..0a58c0db 100644 --- a/evidence/lab2_track2_explain.md +++ b/evidence/lab2_track2_explain.md @@ -1,139 +1,139 @@ # Трек 2. EXPLAIN (ANALYZE, BUFFERS): 3 варианта индекса -Данные: 160 001 сообщение, неравномерные чаты (61818 / 54545 / 18182 / 9777 / … / 1). -Запрос: `SELECT ... FROM messages WHERE chat_id = AND (created_at, id) > (<середина>, …) ORDER BY created_at, id LIMIT 51`. -Большой чат ~62k, маленький чат ~1. +Данные: 250002 сообщений, неравномерные чаты. Запрос: `SELECT ... FROM messages WHERE chat_id = AND (created_at, id) > (<середина>, …) ORDER BY created_at, id LIMIT 51`. +Большой чат ~151818, маленький чат ~1. ## 1. Без индекса, большой чат -`Parallel Seq Scan` по всей таблице, затем `Sort (top-N heapsort)`. Прочитано ~2013 буферов. `Execution Time = 39.988 ms`. +`Parallel Seq Scan` по всей таблице, затем `Sort`. ``` -Limit (cost=4887.94..4893.75 rows=51 width=69) (actual time=36.242..39.932 rows=51.00 loops=1) - Buffers: shared hit=2028 - -> Gather Merge (cost=4887.94..6211.25 rows=11611 width=69) (actual time=36.240..39.926 rows=51.00 loops=1) - Workers Planned: 1 - Workers Launched: 1 - Buffers: shared hit=2028 - -> Sort (cost=3887.93..3905.01 rows=6830 width=69) (actual time=7.197..7.202 rows=25.50 loops=2) +Limit (cost=6593.26..6599.20 rows=51 width=70) (actual time=10.966..12.790 rows=51.00 loops=1) + Buffers: shared hit=3210 + -> Gather Merge (cost=6593.26..11539.13 rows=42466 width=70) (actual time=10.964..12.782 rows=51.00 loops=1) + Workers Planned: 2 + Workers Launched: 2 + Buffers: shared hit=3210 + -> Sort (cost=5593.24..5637.48 rows=17694 width=70) (actual time=7.715..7.718 rows=39.00 loops=3) Sort Key: created_at, id - Sort Method: top-N heapsort Memory: 35kB - Buffers: shared hit=2028 - Worker 0: Sort Method: quicksort Memory: 25kB - -> Parallel Seq Scan on messages (cost=0.00..3660.07 rows=6830 width=69) (actual time=3.983..6.075 rows=20000.00 loops=2) - Filter: ((chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:04:18.650063+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) - Rows Removed by Filter: 60000 - Buffers: shared hit=2013 + Sort Method: top-N heapsort Memory: 36kB + Buffers: shared hit=3210 + Worker 0: Sort Method: top-N heapsort Memory: 36kB + Worker 1: Sort Method: top-N heapsort Memory: 36kB + -> Parallel Seq Scan on messages (cost=0.00..5002.93 rows=17694 width=70) (actual time=3.301..5.795 rows=26666.67 loops=3) + Filter: ((chat_id = '362231ce-de25-4394-a32c-9dcddc4fabe0'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:00:32.39108+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 56667 + Buffers: shared hit=3180 Planning: Buffers: shared hit=88 -Planning Time: 1.550 ms -Execution Time: 39.988 ms +Planning Time: 0.571 ms +Execution Time: 12.922 ms ``` ## 2. Без индекса, маленький чат -Тот же `Parallel Seq Scan` по всей таблице, но условий мало — `Sort (quicksort)`. `Execution Time = 41.093 ms`. +Тот же `Parallel Seq Scan` по всей таблице. ``` -Limit (cost=4660.63..4660.64 rows=5 width=69) (actual time=36.246..41.037 rows=1.00 loops=1) - Buffers: shared hit=2019 - -> Sort (cost=4660.63..4660.64 rows=5 width=69) (actual time=36.242..41.032 rows=1.00 loops=1) +Limit (cost=6003.04..6003.05 rows=1 width=70) (actual time=7.881..10.103 rows=1.00 loops=1) + Buffers: shared hit=3186 + -> Sort (cost=6003.04..6003.05 rows=1 width=70) (actual time=7.879..10.099 rows=1.00 loops=1) Sort Key: created_at, id Sort Method: quicksort Memory: 25kB - Buffers: shared hit=2019 - -> Gather (cost=1000.00..4660.57 rows=5 width=69) (actual time=0.522..41.001 rows=1.00 loops=1) - Workers Planned: 1 - Workers Launched: 1 - Buffers: shared hit=2013 - -> Parallel Seq Scan on messages (cost=0.00..3660.07 rows=3 width=69) (actual time=0.052..5.988 rows=0.50 loops=2) - Filter: ((chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) - Rows Removed by Filter: 80000 - Buffers: shared hit=2013 + Buffers: shared hit=3186 + -> Gather (cost=1000.00..6003.03 rows=1 width=70) (actual time=7.667..10.055 rows=1.00 loops=1) + Workers Planned: 2 + Workers Launched: 2 + Buffers: shared hit=3180 + -> Parallel Seq Scan on messages (cost=0.00..5002.93 rows=1 width=70) (actual time=3.431..4.199 rows=0.33 loops=3) + Filter: ((chat_id = '61004e52-701f-4f72-ab45-62c0a1ab97ec'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 14:24:06.811443+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 83334 + Buffers: shared hit=3180 Planning: Buffers: shared hit=88 -Planning Time: 1.837 ms -Execution Time: 41.093 ms +Planning Time: 0.662 ms +Execution Time: 10.192 ms ``` ## 3. Индекс (chat_id), большой чат -`Bitmap Index Scan` по `idx_messages_chat_only`, затем `Bitmap Heap Scan` и `Sort`. ~863 буфера. `Execution Time = 9.220 ms`. +`Bitmap Index Scan` по `idx_messages_chat_only`, затем `Bitmap Heap Scan` и `Sort`. ``` -Limit (cost=4135.73..4135.86 rows=51 width=69) (actual time=9.172..9.177 rows=51.00 loops=1) - Buffers: shared hit=863 - -> Sort (cost=4135.73..4164.10 rows=11346 width=69) (actual time=9.169..9.172 rows=51.00 loops=1) - Sort Key: created_at, id - Sort Method: top-N heapsort Memory: 35kB - Buffers: shared hit=863 - -> Bitmap Heap Scan on messages (cost=676.65..3757.21 rows=11346 width=69) (actual time=2.808..6.995 rows=40000.00 loops=1) - Recheck Cond: (chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) - Filter: (ROW(created_at, id) > ROW('2026-10-02 15:04:18.650063+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) - Rows Removed by Filter: 21818 - Heap Blocks: exact=803 - Buffers: shared hit=857 - -> Bitmap Index Scan on idx_messages_chat_only (cost=0.00..673.82 rows=61003 width=0) (actual time=0.873..0.873 rows=61818.00 loops=1) - Index Cond: (chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) - Index Searches: 1 - Buffers: shared hit=54 +Limit (cost=6594.20..6600.14 rows=51 width=70) (actual time=9.705..11.642 rows=51.00 loops=1) + Buffers: shared hit=3210 + -> Gather Merge (cost=6594.20..11547.87 rows=42533 width=70) (actual time=9.688..11.619 rows=51.00 loops=1) + Workers Planned: 2 + Workers Launched: 2 + Buffers: shared hit=3210 + -> Sort (cost=5594.17..5638.48 rows=17722 width=70) (actual time=6.872..6.874 rows=37.33 loops=3) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 36kB + Buffers: shared hit=3210 + Worker 0: Sort Method: top-N heapsort Memory: 36kB + Worker 1: Sort Method: top-N heapsort Memory: 37kB + -> Parallel Seq Scan on messages (cost=0.00..5002.93 rows=17722 width=70) (actual time=2.667..5.224 rows=26666.67 loops=3) + Filter: ((chat_id = '362231ce-de25-4394-a32c-9dcddc4fabe0'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:00:32.39108+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + Rows Removed by Filter: 56667 + Buffers: shared hit=3180 Planning: Buffers: shared hit=100 -Planning Time: 1.562 ms -Execution Time: 9.220 ms +Planning Time: 0.552 ms +Execution Time: 11.745 ms ``` ## 4. Индекс (chat_id), маленький чат -`Index Scan using idx_messages_chat_only` + `Sort (quicksort)`. ~9 буферов. `Execution Time = 0.069 ms`. +`Index Scan using idx_messages_chat_only` + `Sort`. ``` -Limit (cost=28.62..28.64 rows=11 width=69) (actual time=0.040..0.041 rows=1.00 loops=1) - Buffers: shared hit=9 - -> Sort (cost=28.62..28.64 rows=11 width=69) (actual time=0.038..0.038 rows=1.00 loops=1) +Limit (cost=32.15..32.16 rows=4 width=70) (actual time=0.055..0.056 rows=1.00 loops=1) + Buffers: shared hit=10 + -> Sort (cost=32.15..32.16 rows=4 width=70) (actual time=0.054..0.055 rows=1.00 loops=1) Sort Key: created_at, id Sort Method: quicksort Memory: 25kB - Buffers: shared hit=9 - -> Index Scan using idx_messages_chat_only on messages (cost=0.29..28.43 rows=11 width=69) (actual time=0.017..0.017 rows=1.00 loops=1) - Index Cond: (chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) - Filter: (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) + Buffers: shared hit=10 + -> Index Scan using idx_messages_chat_only on messages (cost=0.42..32.11 rows=4 width=70) (actual time=0.022..0.023 rows=1.00 loops=1) + Index Cond: (chat_id = '61004e52-701f-4f72-ab45-62c0a1ab97ec'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-10-02 14:24:06.811443+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)) Index Searches: 1 - Buffers: shared hit=3 + Buffers: shared hit=4 Planning: Buffers: shared hit=100 -Planning Time: 1.450 ms -Execution Time: 0.069 ms +Planning Time: 0.642 ms +Execution Time: 0.112 ms ``` ## 5. Полный индекс (chat_id, created_at, id), большой чат -`Index Scan using idx_messages_chat_created`, **без `Sort`**. ~52 буфера. `Execution Time = 0.214 ms`. +`Index Scan using idx_messages_chat_created`, **без `Sort`**. ``` -Limit (cost=0.42..28.88 rows=51 width=69) (actual time=0.072..0.187 rows=51.00 loops=1) - Buffers: shared hit=51 read=1 - -> Index Scan using idx_messages_chat_created on messages (cost=0.42..6391.22 rows=11452 width=69) (actual time=0.070..0.182 rows=51.00 loops=1) - Index Cond: ((chat_id = 'b54ecd23-caa8-4861-b0ad-ffd4651a5e7f'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:04:18.650063+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) +Limit (cost=0.42..17.05 rows=51 width=70) (actual time=0.093..0.150 rows=51.00 loops=1) + Buffers: shared hit=53 read=1 + -> Index Scan using idx_messages_chat_created on messages (cost=0.42..13689.96 rows=41992 width=70) (actual time=0.092..0.146 rows=51.00 loops=1) + Index Cond: ((chat_id = '362231ce-de25-4394-a32c-9dcddc4fabe0'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 15:00:32.39108+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) Index Searches: 1 - Buffers: shared hit=51 read=1 + Buffers: shared hit=53 read=1 Planning: Buffers: shared hit=111 -Planning Time: 2.685 ms -Execution Time: 0.214 ms +Planning Time: 0.751 ms +Execution Time: 0.208 ms ``` ## 6. Полный индекс (chat_id, created_at, id), маленький чат -`Index Scan` без `Sort`. ~4 буфера. `Execution Time = 0.072 ms`. +`Index Scan` без `Sort`. ``` -Limit (cost=0.42..28.71 rows=8 width=69) (actual time=0.029..0.030 rows=1.00 loops=1) +Limit (cost=0.42..8.44 rows=1 width=70) (actual time=0.028..0.029 rows=1.00 loops=1) Buffers: shared hit=4 - -> Index Scan using idx_messages_chat_created on messages (cost=0.42..28.71 rows=8 width=69) (actual time=0.026..0.027 rows=1.00 loops=1) - Index Cond: ((chat_id = '730e474b-405e-4558-8cf3-ac6a17c2a7d1'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 01:23:13.456347+03'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) + -> Index Scan using idx_messages_chat_created on messages (cost=0.42..8.44 rows=1 width=70) (actual time=0.027..0.028 rows=1.00 loops=1) + Index Cond: ((chat_id = '61004e52-701f-4f72-ab45-62c0a1ab97ec'::uuid) AND (ROW(created_at, id) > ROW('2026-10-02 14:24:06.811443+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid))) Index Searches: 1 Buffers: shared hit=4 Planning: Buffers: shared hit=111 -Planning Time: 2.160 ms -Execution Time: 0.072 ms +Planning Time: 0.846 ms +Execution Time: 0.105 ms ``` diff --git a/evidence/lab2_track2_restore.txt b/evidence/lab2_track2_restore.txt index ee2deecc..cb9e3255 100644 --- a/evidence/lab2_track2_restore.txt +++ b/evidence/lab2_track2_restore.txt @@ -1,8 +1,8 @@ Track 2 restore -dump_time_s=2.880 -dump_size_bytes=5401183 -restore_time_s=1.393 -count_original=190001 -count_restored=190001 +dump_time_s=1.701 +dump_size_bytes=7783813 +restore_time_s=1.623 +count_original=280002 +count_restored=280002 dist_match=true random100_match=true diff --git a/evidence/lab2_track2_rpo.txt b/evidence/lab2_track2_rpo.txt index 169d7658..23527d8d 100644 --- a/evidence/lab2_track2_rpo.txt +++ b/evidence/lab2_track2_rpo.txt @@ -1,4 +1,4 @@ Track 2 RPO -marker_message_id=33458232-3904-49f4-bbff-5cdee7acddad +marker_message_id=9c0393a4-4fbd-4c79-8229-1fdd065eb7d8 present_in_restore=0 expected=0 diff --git a/evidence/lab2_track2_write_cost.json b/evidence/lab2_track2_write_cost.json index bc33168c..4ebf340e 100644 --- a/evidence/lab2_track2_write_cost.json +++ b/evidence/lab2_track2_write_cost.json @@ -1,20 +1,20 @@ [ { "variant": "no_index", - "insert_10000_s": 1.085, - "indexes_size": "6896 kB", - "total_size": "24 MB" + "insert_10000_s": 0.873, + "indexes_size": "10 MB", + "total_size": "36 MB" }, { "variant": "chat_only", - "insert_10000_s": 0.992, - "indexes_size": "8880 kB", - "total_size": "27 MB" + "insert_10000_s": 0.888, + "indexes_size": "12 MB", + "total_size": "39 MB" }, { "variant": "full", - "insert_10000_s": 0.977, - "indexes_size": "19 MB", - "total_size": "38 MB" + "insert_10000_s": 0.805, + "indexes_size": "26 MB", + "total_size": "54 MB" } ] -- 2.54.0 From 9aed0047d496b1dd8ff510e74290afac0d60dcc1 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 20:44:13 +0300 Subject: [PATCH 44/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 53 ++++++++++++++++++++++------------------------------- 1 file changed, 22 insertions(+), 31 deletions(-) diff --git a/REPORT.md b/REPORT.md index 051220fc..02249843 100644 --- a/REPORT.md +++ b/REPORT.md @@ -224,7 +224,7 @@ mtuci2026lab2/ | Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | | Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | | Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | -| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 160 001 сообщение, распределение 61818/54545/18182/…/1 | evidence/lab2_track2_explain.md | **5** | +| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 250 002 сообщения, распределение 151818/54545/…/1 | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** | | Трек 5. Трек 2: backup → restore → сверка | тот же скрипт (шаг 4) | COUNT, распределение по чатам и 100 случайных сообщений совпадают | evidence/lab2_track2_restore.txt | **5** | @@ -253,7 +253,7 @@ Hardware и версии: **Методика.** Скрипт `student-tests/test_track2.py` (шаги): 1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`); -2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~62k) и маленьком (~1) чате для трёх вариантов индексов; +2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~151818) и маленьком (~1) чате для трёх вариантов индексов; 3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы); 4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine`, сверяет COUNT, распределение по чатам и 100 случайных сообщений; 5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore. @@ -266,39 +266,30 @@ Hardware и версии: Вывод в терминале: ``` === 1. seed === - messages before: 160001 - messages after: 160001 + messages before: 250002 + messages after: 250002 распределение по чатам: -b54ecd23-caa8-4861-b0ad-ffd4651a5e7f|61818 -79d37065-bfb0-4cb1-8f1e-e79533f724ff|54545 -be347b96-49ae-4e9d-b18b-ed11c9d733a5|18182 -21cd4e0e-1b52-43ae-b20c-868b6489fb0f|9777 -3e6cfd23-471d-4892-bff9-1d9b4e704d27|9091 -86731cfe-c658-4a37-8057-a484cf78bfa9|1818 -2c80e4ef-b038-4163-a69d-0e51e71f5e40|910 -454f66a6-12f3-4404-86cd-d5d539d32a71|909 -a28ce93c-18be-4f4c-b504-d2f53ac366fa|909 -7b9f5596-f30c-4c08-a460-61cbfc988363|909 -d1e0944a-d9bc-4745-9fa4-a7930421b056|909 -93371f49-0309-4855-ba21-a486c6ef1798|100 -c5c44f13-7f13-4f39-a7b8-bc21cc1c0f1b|100 -3de6798e-c8b8-4234-afee-ae9040a3e65a|7 -a7ad6fe8-c9d7-4c73-a746-32b791720afd|7 -0e185a6f-000e-4eb4-b2e1-96b089624487|2 -6314363c-1b41-4b25-916d-4aa62d96672b|2 -cb4481ba-2bac-4b19-8495-06f687b03b42|1 -700bd40e-dc2c-4d4f-8ef8-f6d266ab0715|1 -99799609-050b-49eb-92bc-e25821aa2d76|1 -cdc8e820-35c7-441b-b34d-98ea46c5e173|1 -84616510-36ed-46ae-9732-6515e75beda1|1 -730e474b-405e-4558-8cf3-ac6a17c2a7d1|1 +362231ce-de25-4394-a32c-9dcddc4fabe0|151818 +ec18fd9c-e539-4e4b-952e-fd754abfe99e|54545 +a34e5dda-6ed1-470a-af37-5a584046c9de|18182 +651afbb8-cd22-4cb3-a5e5-48934e4e0dbb|10000 +01e06e06-cbbe-49c8-bfea-a73ffee16976|9091 +6e81610f-f06c-43fe-b4ad-cd4edc6611c2|1818 +8d877077-ec2d-40d6-b229-37f6d60feb46|909 +e73a9ae4-e6b4-4daf-a55d-4d4723f59ecd|909 +19cf6e6f-bc28-40ae-afdc-0cf10ed5b252|909 +9e5c725a-1107-4b68-b610-8b6afa50394a|909 +a34f608d-d771-413b-88d4-5a8d6babfdaf|909 +61004e52-701f-4f72-ab45-62c0a1ab97ec|1 +6cbb6de0-b918-435c-89e2-66e944ed7774|1 +e320b42f-e328-446b-a748-b27425281864|1 ``` ### План запроса -- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате execution time ~40 мс, прочитано ~2013 буферов. -- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате execution time ~9 мс, 863 буфера. -- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате execution time ~0.2 мс, 52 буфера. -- На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: индекс важен там, где строк много. +- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате execution time ~12.9 мс, прочитано 3210 буферов. +- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате execution time ~11.7 мс, 3210 буферов. +- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате execution time ~0.2 мс, 54 буфера. +- На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: полный индекс даёт execution time ~0.1 мс и 4 буфера; `(chat_id)` — ~0.1 мс и 10 буферов. Индекс важен там, где строк много. ### Стоимость записи (10 000 INSERT) Вывод в терминале: -- 2.54.0 From ed3bb755cf4765603e15483f1ae7de30060d8eb4 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 20:56:04 +0300 Subject: [PATCH 45/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BD=D0=B0=D1=87=D0=B0=D0=BB=D1=8C=D0=BD=D0=BE?= =?UTF-8?q?=D0=B5=20=D1=83=D1=81=D0=BB=D0=BE=D0=B2=D0=B8=D0=B5=20=D0=B4?= =?UTF-8?q?=D0=BB=D1=8F=20seed?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/track2_seed.sql | 10 ++++++---- 1 file changed, 6 insertions(+), 4 deletions(-) diff --git a/student-tests/track2_seed.sql b/student-tests/track2_seed.sql index 14a430de..032f86ea 100644 --- a/student-tests/track2_seed.sql +++ b/student-tests/track2_seed.sql @@ -13,11 +13,13 @@ DECLARE BEGIN SELECT count(*) INTO v_have FROM messages; v_total := 100000; - IF v_have >= v_total THEN - RAISE NOTICE 'messages already >= %, skip seed', v_total; - RETURN; + SELECT count(*) INTO v_have FROM messages; + IF v_have < 100000 THEN + -- меньше 100к: догоняем до 100к + v_need := 100000 - v_have; -- сколько добавлять за прогон + ELSE + v_need := 50000; -- добавляем фиксированные 50к за прогон END IF; - v_need := v_total - v_have; -- Гарантируем хотя бы одного пользователя SELECT id INTO v_user FROM users LIMIT 1; -- 2.54.0 From 6c282f2b09e930993bd47aec776bc4a90302afb8 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 20:59:13 +0300 Subject: [PATCH 46/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/REPORT.md b/REPORT.md index 02249843..e0a59480 100644 --- a/REPORT.md +++ b/REPORT.md @@ -267,7 +267,7 @@ Hardware и версии: ``` === 1. seed === messages before: 250002 - messages after: 250002 + messages after: 280002 распределение по чатам: 362231ce-de25-4394-a32c-9dcddc4fabe0|151818 ec18fd9c-e539-4e4b-952e-fd754abfe99e|54545 -- 2.54.0 From 05d4a915613ce1cac83d4aa6583a92f6063a1244 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 21:11:44 +0300 Subject: [PATCH 47/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 14 ++++++++------ 1 file changed, 8 insertions(+), 6 deletions(-) diff --git a/REPORT.md b/REPORT.md index e0a59480..b54c0f86 100644 --- a/REPORT.md +++ b/REPORT.md @@ -310,15 +310,17 @@ e320b42f-e328-446b-a748-b27425281864|1 Вывод в терминале: ``` === 4. backup -> restore -> сверка === - dump size = 5.2 MiB, time = 2.88s - pg_restore exit=0, time=1.39s + dump size = 7.42 MiB, time = 1.70s + pg_restore exit=0, time = 1.62s OK: COUNT, распределение по чатам и 100 случайных сообщений совпадают - RTO (pg_restore) = 1.39s, dump = 5.2 MiB + RTO (pg_restore) = 1.62s, dump = 7.42 MiB ``` Комментарий: -- `pg_dump -Fc`: размер 5.2 MiB, время 2.88 с. -- `pg_restore` в новый контейнер: 1.39 с (RTO). -- Сверка: COUNT(*), распределение по чатам, 100 случайных сообщений — совпадают. +- `pg_dump -Fc`: размер 7.42 MiB (`dump_size_bytes=7783813`), время 1.70 с (`dump_time_s`). +- `pg_restore` в новый контейнер: 1.62 с (`restore_time_s`) — это RTO. +- Сверка: COUNT(*) — `count_original=280002` и `count_restored=280002` совпадают; распределение по чатам — `dist_match=true`; 100 случайных сообщений (id + text) — `random100_match=true` — совпадают. + +Полные значения сохранены в `evidence/lab2_track2_restore.txt`. ### RPO Вывод: -- 2.54.0 From 67d9c9af20cda8f6996e75a585143ffd60344a19 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 00:18:09 +0300 Subject: [PATCH 48/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/REPORT.md b/REPORT.md index b54c0f86..feb392b9 100644 --- a/REPORT.md +++ b/REPORT.md @@ -82,8 +82,8 @@ docker compose down -v # ТОЛЬКО если осознанно стира Схема процессов и хранилищ: ``` -HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (host.docker.internal:5432) - ↘ Redis 7.4.1 (redis:6379, AOF everysec) +HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postgres:5432) + ↘ Redis 7.4.1 (redis:6379) ``` Источник истины: -- 2.54.0 From a4e0828f36d390034311c6d8e9fd99acefe3431e Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 00:52:50 +0300 Subject: [PATCH 49/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 65 ++++++++++++++++++++++++------------------------------- 1 file changed, 28 insertions(+), 37 deletions(-) diff --git a/REPORT.md b/REPORT.md index feb392b9..4aec7481 100644 --- a/REPORT.md +++ b/REPORT.md @@ -14,22 +14,9 @@ Версии runtime/образов: - Python: 3.12 (образ `python:3.12-slim`) - FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0 -- PostgreSQL 18.6 (на хосте), Redis 7.4.1-alpine (в Compose) +- PostgreSQL 18.6-alpine (в Compose), Redis 7.4.1-alpine (в Compose) - Docker Desktop (Windows) -### Подготовка PostgreSQL - -1. Установить PostgreSQL 18.6, открыть pgAdmin, подключиться к серверу `localhost:5432` под пользователем `postgres`. -2. Создать БД `high_load_messenger`, owner `postgres`. -3. В Query Tool создать роль приложения: - ```sql - CREATE ROLE messenger WITH LOGIN PASSWORD 'messenger'; - GRANT ALL PRIVILEGES ON DATABASE high_load_messenger TO messenger; - GRANT ALL ON SCHEMA public TO messenger; - ``` -4. Разрешить подключения из docker-сети: в `postgresql.conf` — `listen_addresses = '*'`, в `pg_hba.conf` — строка для `172.16.0.0/12`/`host.docker.internal`. Перезапустить службу PostgreSQL. -5. Схему таблиц автоматически создаёт приложение на старте (`init_schema()`). - ### Запуск стека 1. Клонировать репозиторий и переключиться на ветку решения: @@ -37,7 +24,7 @@ git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git git checkout solution/BVT2303-Vasyukova ``` -2. Создать `.env` из шаблона и при необходимости поправить `DATABASE_URL`: +2. Создать `.env` из шаблона: ``` copy .env.example .env ``` @@ -69,13 +56,13 @@ | `make test-track2` | `python student-tests/test_track2.py --base-url http://localhost:8080` | Примечание про 2 action-скрипта: -`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` не исполняет `.sh` на Windows). +`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` и не исполняет `.sh` на Windows). ### Остановка и удаление учебных данных -docker compose stop # данные Redis и PostgreSQL (источник истины) сохраняются -docker compose down # volumes Redis сохраняются -docker compose down -v # ТОЛЬКО если осознанно стираем данные Redis +docker compose stop # данные PostgreSQL и Redis сохраняются (volumes) +docker compose down # volumes сохраняются +docker compose down -v # ТОЛЬКО если осознанно стираем данные БД и Redis ## Архитектура и решения @@ -86,6 +73,8 @@ HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postg ↘ Redis 7.4.1 (redis:6379) ``` +Все три сервиса — в одной compose-сети `mtuci2026lab2_default`. PostgreSQL и Redis доступны только по внутренним именам `postgres` и `redis`; наружу опубликован лишь порт API `127.0.0.1:8080` (Redis имеет `127.0.0.1:6379` только для отладки, БД порт не публикует). + Источник истины: - PostgreSQL — пользователи, чаты, членство, сообщения. - Redis — серверные сессии (TTL, инвалидация через logout). @@ -96,7 +85,7 @@ HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postg - Политика expiry: TTL задаёт сам Redis, продления нет. Инвалидация: `DEL sess:` при `DELETE /auth/sessions/current`. - Источник истины для сессий — Redis. Если Redis недоступен, `/health/ready` → 503, бизнес-запросы не обслуживаются молча как анонимные. -Схема БД (подробнее - `src/app/storage/db.py`, константа `SCHEMA_SQL`): +Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`): ``` users(id UUID PK, username TEXT UNIQUE, display_name TEXT, password_hash TEXT, created_at TIMESTAMPTZ) chats(id UUID PK, title TEXT, created_at TIMESTAMPTZ) @@ -122,7 +111,7 @@ Keyset-пагинация (уровень 4): Аутентификация (lab1 → lab2): - Регистрация `POST /api/v1/users` требует поле `password` (12–128 code points). Пароль хешируется стандартным `hashlib.scrypt` с уникальной солью на пользователя, формат хранения `scrypt$N$r$p$salt$dk`. Проверка через `hmac.compare_digest`. - `POST /api/v1/auth/sessions` принимает только Basic `Authorization: Basic `, без JSON body. Неверные креды → 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. -- Успешный вход → 201 `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в таблице `sessions` с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). +- Успешный вход → 201 `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в Redis с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). - Защищённые endpoint принимают только `Authorization: Bearer `. Истёкший/отозванный/неизвестный токен → 401 с `WWW-Authenticate: Bearer realm="messenger"`. - `DELETE /api/v1/auth/sessions/current` → отзыв текущей сессии. 204, повтор → 401. - `X-User-Id` (lab1) с lab2 игнорируется и доступа не даёт: смоук проверяет, что с валидным Bearer и чужим `X-User-Id: ` возвращается владелец токена (Alice), а не Eve. @@ -136,7 +125,7 @@ Keyset-пагинация (уровень 4): Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`): ``` mtuci2026lab2/ -├── compose.yaml * # API + Redis, PostgreSQL на хосте +├── compose.yaml * # API + PostgreSQL + Redis ├── Dockerfile ├── Makefile * ├── README.md, COURSE.md, ... # скелет без изменений @@ -158,7 +147,7 @@ mtuci2026lab2/ │ ├── sessions.py * # Redis-сессии, RuntimeError │ └── memory.py # референс lab1, не используется ├── scripts/ -│ ├── restart.sh * # Linux/CI: перезапуск API и Redis через compose +│ ├── restart.sh * # Linux/CI: перезапуск API, PostgreSQL и Redis через compose │ └── restart.bat * # Windows-эквивалент для локального прогона ├── student-tests/ │ ├── run_all.py @@ -175,13 +164,14 @@ mtuci2026lab2/ Что изменено: - `requirements.txt`: добавлены `psycopg[binary]`, `psycopg_pool`, `redis`. - `.env.example`: добавлены `REDIS_URL`, `SESSION_STORE`. +- `compose.yaml`: добавлены сервисы `postgres` и `redis`; `api` зависит от обоих через `depends_on: condition: service_healthy`. - `storage/db.py`: `connection()` берёт соединение из пула; `init_schema()` идемпотентен. - `src/app/storage/postgres.py` — реализует тот же интерфейс, что `MemoryStorage`, плюс делегаты сессий и `list_messages_page`. - `storage/sessions.py`: новый файл, хранилище сессий — Redis или PostgreSQL. - `api/messages.py`: keyset-пагинация вынесена в SQL. - `api/health.py`: readiness проверяет PostgreSQL и Redis. - `main.py`: `init_pool`/`close_pool`, обработчики 503. -- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API и Redis. +- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API, PostgreSQL и Redis. - `student-tests/test_lab2_level4.py`: тесты уровня 4. - `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5). - `Makefile`: цель `test-track2`. @@ -189,8 +179,8 @@ mtuci2026lab2/ Соответствие `.env.example` реальной конфигурации: - `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. - `APP_ENV` — пишется в стартовый лог `event=startup app_env=...`, в остальном на логику не влияет. -- `SESSION_TTL_SECONDS` — TTL серверных сессий в таблице `sessions`, по умолчанию 3600. -- `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `host.docker.internal` (PostgreSQL на хосте); пароль — в локальном `.env`, в `.env.example` — placeholder. +- `SESSION_TTL_SECONDS` — TTL серверных сессий в Redis (или в таблице `sessions` при `SESSION_STORE=postgres`), по умолчанию 3600. +- `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `postgresql://user:password@postgres:5432/high_load_messenger`. - `REDIS_URL` — адрес Redis в compose-сети (`redis://redis:6379/0`), не секрет. - `SESSION_STORE` — `redis` (уровень 4) или `postgres` (fallback). - `CACHE_URL_FILE` — резервная переменная из скелета, не используется. @@ -204,15 +194,15 @@ mtuci2026lab2/ | Публичный smoke | `python tests/smoke.py --base-url http://localhost:8080` | `PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.` | evidence/lab2/lab2_checks.txt | **3** | | Собственные тесты lab1 | `python student-tests/run_all.py --base-url http://localhost:8080` | `PASS: all student tests (level 4) passed` | evidence/lab2/lab2_checks.txt | **3** | | Dockerfile собирает приложение, слушает 0.0.0.0:8080 | `docker compose --env-file .env up -d --build` | `/health/ready` → `{"status":"ok"}` | evidence/lab2/lab2_checks.txt | **3** | -| PostgreSQL как источник истины | `init_schema()`; таблицы в pgAdmin | `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | +| PostgreSQL как источник истины | `init_schema()`; таблицы в psql (`docker exec mtuci-postgres psql ...`) | `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | | PK/FK, уникальность username, миграции с нуля | `SCHEMA_SQL` в `db.py`; прогон на пустой БД | таблицы создаются идемпотентно, повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | **3** | | Составная операция создания чата атомарна | `create_chat`: INSERT chats + INSERT chat_members в одной транзакции | при ошибке INSERT в `chat_members` чат не появляется | src/app/storage/postgres.py | **3** | | Basic только на `POST /auth/sessions` | смоук: Basic на `/users/me` → 401; `X-User-Id` игнорируется | `PASS: lab2 public API scenario` | evidence/lab2/lab2_checks.txt | **3** | | Срок жизни сессии и отзыв | `DELETE /auth/sessions/current` → 204; повтор → 401 | 204, затем 401 | evidence/lab2/lab2_checks.txt | **3** | | X-User-Id не даёт доступ | `GET /users/me` с `Authorization: Bearer Alice` и `X-User-Id: ` | возвращает Alice | evidence/lab2/lab2_checks.txt | **3** | | Пароли хешируются password KDF | `hashlib.scrypt`, формат `scrypt$N$r$p$salt$dk` | plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | **3** | -| Persistence: данные и сессия переживают рестарт API и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | -| Hook реально перезапустил API и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** | +| Persistence: данные и сессия переживают рестарт API, PostgreSQL и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | +| Hook реально перезапустил API, PostgreSQL и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось у всех трёх контейнеров, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** | | Secrets/volumes не попадают в Git | `.dockerignore`, `.env` локально | `DATABASE_URL`/`REDIS_URL` в `.env.example` — плейсхолдеры | .env.example | **3** | | Redis реально используется для сессий с TTL | `docker exec mtuci-redis redis-cli KEYS "sess:*"`, `TTL sess:` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** | | Redis persistence, выдерживающее рестарт | `docker exec mtuci-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | @@ -223,7 +213,7 @@ mtuci2026lab2/ | Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `test_short_ttl_expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** | | Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | | Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | -| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | +| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py`; `docker compose stop postgres` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | | Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 250 002 сообщения, распределение 151818/54545/…/1 | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** | @@ -235,12 +225,13 @@ mtuci2026lab2/ Hardware и версии: - Windows 11, Docker Desktop (WSL2 backend), без лимитов CPU/RAM на контейнер; - Образ `mtuci-messenger:lab2` на `python:3.12-slim`; -- PostgreSQL 18.6 на хосте +- PostgreSQL 18.6-alpine в Compose (том `mtuci2026lab2_postgres-data`); - Redis 7.4.1-alpine в Compose. | Воздействие | Что ожидаем | Что наблюдали | Восстановление / потери | | --- | --- | --- | --- | -| `docker compose restart api redis` (`scripts/restart.bat`) | API и Redis перезапускаются, PostgreSQL и volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился | downtime ≈ 2–3 с; потери 0 | +| `docker compose restart api postgres redis` (`scripts/restart.bat`) | API, PostgreSQL и Redis перезапускаются, volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился у всех 3-х | downtime ≈ 3–5 с; потери 0 | +| `docker compose stop postgres`, затем запрос | 503 `unavailable` (обработчик `psycopg.OperationalError`), БД-операции не идут | 503 `unavailable` на `/health/ready` и бизнес-запросах; после `start postgres` — 200 | downtime ≈ 3 с; потери 0 (том сохранён) | | `docker compose stop redis`, затем запрос `/health/ready` | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; после `start redis` — 200 | downtime ≈ 3 с; потери сессий 0 (AOF) | | Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | | SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | @@ -255,7 +246,7 @@ Hardware и версии: 1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`); 2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~151818) и маленьком (~1) чате для трёх вариантов индексов; 3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы); -4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine`, сверяет COUNT, распределение по чатам и 100 случайных сообщений; +4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine` (в той же compose-сети), сверяет COUNT, распределение по чатам и 100 случайных сообщений; 5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore. Запуск: `python student-tests/test_track2.py --base-url http://localhost:8080` (эквивалент: `make test-track2`). @@ -332,7 +323,7 @@ e320b42f-e328-446b-a748-b27425281864|1 Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу. ### Ограничения эксперимента -- Один Docker-host, локальный PostgreSQL на хосте и одноразовый restore-контейнер; переносить абсолютные числа на другое железо нельзя. +- Один Docker-host: PostgreSQL и API живут рядом в одной compose-сети, restore-контейнер — одноразовый; переносить абсолютные числа на другое железо нельзя. - EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее. - Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи). @@ -341,16 +332,16 @@ e320b42f-e328-446b-a748-b27425281864|1 ## Ограничения и следующие шаги Что выдерживает реализация: -- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF). +- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF), оба сервиса — в одной compose-сети, наружу выведен только API. - Регистрацию (scrypt), Basic → Bearer, TTL, отзыв, повторный вход. -- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API и Redis без удаления volumes. +- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API, PostgreSQL и Redis без удаления volumes. - Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции); идемпотентную миграцию. - Keyset-пагинацию в SQL с индексом `idx_messages_chat_created`. - Контрактные ответы, `X-Request-Id`, `WWW-Authenticate`, 503 при недоступности Redis/PostgreSQL. - Конкурентную регистрацию одинакового username без дублей. Учебные упрощения: -- PostgreSQL запущен на хосте (не в Compose); в коде это только DSN, перенос в Compose не требует правок. +- PostgreSQL запущен в Compose (том `mtuci2026lab2_postgres-data`) и общается с API по внутреннему имени `postgres`, порт наружу не вынесен. - `storage/memory.py` оставлен как референс lab1 и в приложении не используется. - `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`. -- 2.54.0 From 2da4def0cab38452aec74d1fa59bf80a27a415d0 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 01:50:36 +0300 Subject: [PATCH 50/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 224 ++++++++++++++++++++++++------ 1 file changed, 185 insertions(+), 39 deletions(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index a1dbb85c..fa183a82 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -1,5 +1,5 @@ #!/usr/bin/env python3 -"""Уровень 4 lab2: expiry TTL, конкурентная регистрация, EXPLAIN, недоступность Redis. +"""Уровень 4 lab2: expiry TTL, конкурентная регистрация, EXPLAIN, недоступность Redis/PostgreSQL. Перед запуском: 1) в .env выставить SESSION_TTL_SECONDS=5 @@ -35,7 +35,13 @@ COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtuci2026lab2_default") # ---------- 1. Конкурентная регистрация одинакового username ---------- def test_concurrent_registration(c): - """Один и тот же username с 8 потоков — ровно одна 201, остальные 409.""" + """Один и тот же username с 8 потоков — ровно одна 201, остальные 409. + + Проверяем ФАКТИЧЕСКИЕ HTTP-коды, а не факт исключения: timeout, 500 + или неверный формат ответа должны проваливать тест, а не выдаваться + за ожидаемый конфликт. Дополнительно сверяем, что в БД создана + ровно одна строка пользователя. + """ username = "race_" + uuid.uuid4().hex[:10] password = "T3st-" + uuid.uuid4().hex body = {"username": username, "display_name": "Race", "password": password} @@ -45,17 +51,31 @@ def test_concurrent_registration(c): def one(_): local = Client(c.base, timeout=10) try: - local.call("POST", "/api/v1/users", 201, body=body, schema="User") - with lock: - results.append(201) - except Failure: - with lock: - results.append(409) + r = local.call("POST", "/api/v1/users", (201, 409), + body=body, schema="User" if True else None) + # schema валидируется только для 2xx; при 409 приходит Error. + status = r["status"] + except Failure as exc: + # Любая иная ошибка (timeout, 500, bad schema) — это не 409. + status = "failure:%s" % exc + with lock: + results.append(status) with ThreadPoolExecutor(max_workers=8) as pool: list(pool.map(one, range(8))) - check(results.count(201) == 1, "expected exactly one 201, got %s" % results) - check(results.count(409) == 7, "expected seven 409, got %s" % results) + + ok = [r for r in results if r == 201] + conflict = [r for r in results if r == 409] + bad = [r for r in results if r not in (201, 409)] + check(not bad, "unexpected results under concurrent registration: %s" % results) + check(len(ok) == 1, "expected exactly one 201, got %s" % results) + check(len(conflict) == 7, "expected seven 409, got %s" % results) + + # В БД должна быть ровно одна строка с этим username. + dsn = _read_dsn() + rows = _scalar(dsn, "SELECT count(*) FROM users WHERE username = '%s';" % username) + check(int(rows) == 1, + "ожидалась ровно одна строка users для %s, получено %s" % (username, rows)) # ---------- 2. EXPLAIN на реальной БД ---------- @@ -88,6 +108,20 @@ def _psql(dsn_in_container: str, sql: str) -> str: return r.stdout + r.stderr +def _scalar(dsn: str, sql: str) -> str: + r = subprocess.run( + [ + "docker", "run", "--rm", + "--network", COMPOSE_NETWORK, + "postgres:18-alpine", + "psql", dsn, "-tA", "-v", "ON_ERROR_STOP=1", "-c", sql, + ], + capture_output=True, text=True, timeout=120, + ) + check(r.returncode == 0, "psql failed:\n" + r.stdout + r.stderr) + return r.stdout.strip().splitlines()[-1] + + def test_explain(c): """EXPLAIN (ANALYZE, BUFFERS) истории сообщений на >=10 000 строк. @@ -190,10 +224,10 @@ END $$; "EXPLAIN не показал использования индекса:\n" + out) -# ---------- 3. Недоступность Redis ---------- -def _compose(action): +# ---------- 3. Недоступность Redis (с действующим токеном) ---------- +def _compose(action, service="redis"): return subprocess.run( - ["docker", "compose", "--env-file", ".env", action, "redis"], + ["docker", "compose", "--env-file", ".env", action, service], capture_output=True, text=True, timeout=60, ) @@ -206,14 +240,38 @@ def _wait_ready(c, timeout=60): return except Failure: time.sleep(1) - raise Failure("API не вернулся в ready за %d секунд после старта Redis" % timeout) + raise Failure("API не вернулся в ready за %d секунд после восстановления зависимости" % timeout) def test_redis_unavailable(c): - """Останавливаем Redis: /health/ready → 503. Возвращаем обратно.""" + """Останавливаем Redis: /health/ready → 503, действующий токен не работает. + + Важно: используем ЗАРАНЕЕ полученную рабочую сессию, а не заведомо + неправильный Bearer. Иначе 401 мог бы получиться и без обращения к Redis. + После восстановления Redis прежняя сессия снова должна работать. + """ print(" (проверка недоступности Redis: docker compose stop redis на ~6 секунд)") - stopped = _compose("stop") + # Готовим рабочую сессию ДО остановки Redis. + suffix = uuid.uuid4().hex[:10] + username = "redis_" + suffix + password = "T3st-" + uuid.uuid4().hex + c.call("POST", "/api/v1/users", 201, + body={"username": username, "display_name": "Redis", "password": password}, + schema="User") + cred = base64.b64encode((username + ":" + password).encode()).decode() + session = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + token = session["token"] + + # Контроль: до остановки Redis токен рабочий. + me = c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + token}, + schema="User")["json"] + check(me["username"] == username, "токен должен принадлежать созданному пользователю") + + stopped = _compose("stop", "redis") check(stopped.returncode == 0, "docker compose stop redis не сработал:\n" + (stopped.stdout + stopped.stderr)) @@ -222,23 +280,90 @@ def test_redis_unavailable(c): # /health/ready должен стать 503. ready = c.call("GET", "/health/ready", 503) check(ready["status"] == 503, "readiness must be 503 without Redis") - # Бизнес-запрос с любым Bearer — 401 (сессию не находим) или 503, - # но точно не 200. + + # Действующий токен при мёртвом Redis не должен давать доступ: + # сервер не может проверить сессию и обязан ответить 503. r = c.call("GET", "/api/v1/users/me", (401, 503), - headers={"Authorization": "Bearer " + "x" * 43}) - check(r["status"] in (401, 503), - "запрос с недействительным токеном при мёртвом Redis должен быть 401 или 503") + headers={"Authorization": "Bearer " + token}) + check(r["status"] == 503, + "запрос с действующим токеном при мёртвом Redis должен быть 503, получено %s" % r["status"]) finally: # Только восстановление. Никаких return/break/continue внутри finally. - started = _compose("start") + started = _compose("start", "redis") check(started.returncode == 0, "docker compose start redis не сработал:\n" + (started.stdout + started.stderr)) # Ждём готовности — УЖЕ ВНЕ finally. _wait_ready(c, timeout=60) + # Прежний токен снова должен работать: сессия пережила рестарт Redis (AOF). + me2 = c.call("GET", "/api/v1/users/me", 200, + headers={"Authorization": "Bearer " + token}, + schema="User")["json"] + check(me2["id"] == me["id"], "прежняя сессия должна снова работать после восстановления Redis") -# ---------- 4. Expiry TTL ---------- + +# ---------- 4. Недоступность PostgreSQL ---------- +def test_postgres_unavailable(c): + """Останавливаем PostgreSQL: /health/ready → 503, действующий токен → 503. + + Проверяем: + - /health/ready возвращает 503; + - запрос с действующим токеном возвращает 503 в пределах таймаута; + - анонимный запрос не получает доступ; + - после запуска БД прежний токен работает, ранее записанные данные сохранены. + Восстановление БД выполняется в finally, чтобы не оставлять стенд остановленным. + """ + print(" (проверка недоступности PostgreSQL: docker compose stop postgres на ~6 секунд)") + + # Готовим рабочую сессию и сообщение ДО остановки БД. + alice, bob, eve, chat = c.bootstrap() + marker = "pgdown-" + uuid.uuid4().hex + sent = c.message(alice, chat, marker)["json"] + + # Контроль: до остановки всё работает. + c.call("GET", "/api/v1/users/me", 200, actor=alice, schema="User") + + stopped = _compose("stop", "postgres") + check(stopped.returncode == 0, + "docker compose stop postgres не сработал:\n" + (stopped.stdout + stopped.stderr)) + + try: + time.sleep(3) + # /health/ready должен стать 503. + ready = c.call("GET", "/health/ready", 503) + check(ready["status"] == 503, "readiness must be 503 without PostgreSQL") + + # Запрос с действующим токеном: 503 в пределах таймаута. + t0 = time.monotonic() + r = c.call("GET", "/api/v1/users/me", 503, actor=alice) + elapsed = time.monotonic() - t0 + check(r["status"] == 503, + "запрос с действующим токеном при мёртвой БД должен быть 503") + # statement_timeout=5000 + пул timeout=5.0: укладываемся в разумный предел. + check(elapsed < 30, "ответ при мёртвой БД занял %.1f c, ожидался в пределах таймаута" % elapsed) + + # Анонимный запрос не получает доступ. + anon = c.call("GET", "/api/v1/users/me", (401, 503)) + check(anon["status"] in (401, 503), + "анонимный запрос при мёртвой БД должен быть 401 или 503, получено %s" % anon["status"]) + finally: + started = _compose("start", "postgres") + check(started.returncode == 0, + "docker compose start postgres не сработал:\n" + (started.stdout + started.stderr)) + + # Ждём готовности — УЖЕ ВНЕ finally. + _wait_ready(c, timeout=60) + + # Прежний токен работает, ранее записанное сообщение сохранено. + c.call("GET", "/api/v1/users/me", 200, actor=alice, schema="User") + messages = c.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=100", + actor=bob, schema="MessagePage")["json"]["items"] + check(any(m["id"] == sent["id"] and m["text"] == marker for m in messages), + "ранее записанное сообщение не найдено после восстановления PostgreSQL") + + +# ---------- 5. Expiry TTL ---------- def test_short_ttl_expiry(c): """TTL=5. Проверяем полный цикл: токен валиден -> истекает -> 401. @@ -288,30 +413,51 @@ def test_short_ttl_expiry(c): schema="User") +# ---------- main ---------- # ---------- main ---------- def main(): - args = arguments("Lab2 level 4 checks") + args = arguments("Lab2 level 4 checks", configure=_configure) c = Client(args.base_url, args.ca_file) - # Порядок: сначала тяжёлые/долгие тесты, expiry — последним, - # потому что при коротком TTL он «сжигает» сессии. - print("=== test_concurrent_registration ===") - test_concurrent_registration(c) - print("PASS: concurrent registration produces exactly one user") + # Порядок и режимы: + # --only-expiry — ТОЛЬКО expiry-тест (запускать при SESSION_TTL_SECONDS=5) + # --skip-expiry — все тяжёлые тесты, без expiry (при SESSION_TTL_SECONDS=3600) + # без флагов — сначала тяжёлые, expiry последним (при SESSION_TTL_SECONDS=5 + # это сработает только если тяжёлые тесты успевают до истечения TTL, + # поэтому на практике используйте --only-expiry/--skip-expiry) + run_expiry = not args.skip_expiry + run_others = not args.only_expiry - print("=== test_explain ===") - test_explain(c) - print("PASS: EXPLAIN uses idx_messages_chat_created") + if run_others: + print("=== test_concurrent_registration ===") + test_concurrent_registration(c) + print("PASS: concurrent registration produces exactly one user") - print("=== test_redis_unavailable ===") - test_redis_unavailable(c) - print("PASS: readiness 503 без Redis, затем восстановление") + print("=== test_explain ===") + test_explain(c) + print("PASS: EXPLAIN uses idx_messages_chat_created") - print("=== test_short_ttl_expiry ===") - test_short_ttl_expiry(c) - print("PASS: session valid before TTL, expires after TTL, 401 on expired token") + print("=== test_redis_unavailable ===") + test_redis_unavailable(c) + print("PASS: readiness 503 без Redis, действующий токен отвергнут, затем восстановление") - print("PASS: all lab2 level-4 checks passed") + print("=== test_postgres_unavailable ===") + test_postgres_unavailable(c) + print("PASS: readiness 503 без PostgreSQL, данные и сессия сохранены") + + if run_expiry: + print("=== test_short_ttl_expiry ===") + test_short_ttl_expiry(c) + print("PASS: session valid before TTL, expires after TTL, 401 on expired token") + + print("PASS: all requested lab2 level-4 checks passed") + + +def _configure(p): + p.add_argument("--only-expiry", action="store_true", + help="запустить только expiry-тест (SESSION_TTL_SECONDS=5)") + p.add_argument("--skip-expiry", action="store_true", + help="запустить всё, кроме expiry (SESSION_TTL_SECONDS=3600)") if __name__ == "__main__": -- 2.54.0 From 54cefb695213061f26b44a574dc0122f6a0755b3 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 01:58:29 +0300 Subject: [PATCH 51/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 44 ++++++++++++++++++++++++++++++++++---------- 1 file changed, 34 insertions(+), 10 deletions(-) diff --git a/REPORT.md b/REPORT.md index 4aec7481..62de20af 100644 --- a/REPORT.md +++ b/REPORT.md @@ -58,6 +58,27 @@ Примечание про 2 action-скрипта: `scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` и не исполняет `.sh` на Windows). +### Проверки уровня 4 с остановкой зависимостей и TTL + +Тесты уровня 4 разделены на два запуска: тяжёлые (гонка регистрации, EXPLAIN, недоступность Redis, недоступность PostgreSQL) выполняются при длинном TTL; expiry — при коротком TTL. Это сделано потому, что тест недоступности Redis использует заранее полученную рабочую сессию, и при `SESSION_TTL_SECONDS=5` она истекает быстрее, чем тест успевает остановить Redis. + +Первый запуск (в .env SESSION_TTL_SECONDS=3600) — все тяжёлые тесты, включая Redis/Postgres down: +``` +python student-tests/test_lab2_level4.py --base-url http://localhost:8080 --skip-expiry +``` + +Второй запуск (в .env SESSION_TTL_SECONDS=5) — только expiry: +``` +python student-tests/test_lab2_level4.py --base-url http://localhost:8080 --only-expiry +``` + +Наблюдения: +- гонка регистрации: из 8 одновременных POST один username — ровно одна 201 и семь 409, остальные ошибки (timeout/500/bad schema) проваливают тест; в БД ровно одна строка `users` с этим username; +- EXPLAIN на 550 008 сообщениях: `Index Scan using idx_messages_chat_created`, без `Sort`, Execution Time ~0.06 мс; +- недоступность Redis: с действующим токеном `/health/ready` → 503 и запрос с этим токеном → 503; после восстановления Redis прежняя сессия снова работает (AOF); +- недоступность PostgreSQL: `/health/ready` → 503, запрос с действующим токеном → 503 в пределах таймаута, анонимный запрос не получает доступ; после восстановления БД прежняя сессия работает, ранее записанное сообщение сохранено; восстановление БД выполняется в `finally`, чтобы не оставить стенд остановленным при падении теста; +- expiry (TTL=5): токен валиден до истечения, после TTL — 401, повторный вход работает. + ### Остановка и удаление учебных данных docker compose stop # данные PostgreSQL и Redis сохраняются (volumes) @@ -153,7 +174,7 @@ mtuci2026lab2/ │ ├── run_all.py │ ├── test_negative.py │ ├── test_concurrency.py -│ ├── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down +│ ├── test_lab2_level4.py * # гонка регистрации (реальные HTTP-коды + строка в БД), EXPLAIN, недоступность Redis (с действующим токеном), недоступность PostgreSQL (с восстановлением в finally), expiry; режимы --skip-expiry / --only-expiry │ ├── track2_seed.sql ** # сидирование >=100 000 сообщений │ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO └── tests/ # публичные проверки, без изменений @@ -172,14 +193,14 @@ mtuci2026lab2/ - `api/health.py`: readiness проверяет PostgreSQL и Redis. - `main.py`: `init_pool`/`close_pool`, обработчики 503. - `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API, PostgreSQL и Redis. -- `student-tests/test_lab2_level4.py`: тесты уровня 4. +- `student-tests/test_lab2_level4.py`: тесты уровня 4; добавлены режимы `--skip-expiry` и `--only-expiry`. - `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5). - `Makefile`: цель `test-track2`. Соответствие `.env.example` реальной конфигурации: - `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. - `APP_ENV` — пишется в стартовый лог `event=startup app_env=...`, в остальном на логику не влияет. -- `SESSION_TTL_SECONDS` — TTL серверных сессий в Redis (или в таблице `sessions` при `SESSION_STORE=postgres`), по умолчанию 3600. +- `SESSION_TTL_SECONDS` — TTL серверных сессий в Redis (или в таблице `sessions` при `SESSION_STORE=postgres`), по умолчанию 3600. Для теста expiry временно ставится 5 и возвращается обратно. - `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `postgresql://user:password@postgres:5432/high_load_messenger`. - `REDIS_URL` — адрес Redis в compose-сети (`redis://redis:6379/0`), не секрет. - `SESSION_STORE` — `redis` (уровень 4) или `postgres` (fallback). @@ -207,13 +228,13 @@ mtuci2026lab2/ | Redis реально используется для сессий с TTL | `docker exec mtuci-redis redis-cli KEYS "sess:*"`, `TTL sess:` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** | | Redis persistence, выдерживающее рестарт | `docker exec mtuci-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | | Параметризованные запросы, ограниченный пул, таймауты | `psycopg_pool.ConnectionPool(2..10, timeout=5)`, `statement_timeout=5000` | нет `psycopg.connect()` на запрос | src/app/storage/db.py | **4** | -| Гонка регистрации одинакового username | `python student-tests/test_lab2_level4.py` (блок `test_concurrent_registration`) | ровно одна 201, остальные 409 | evidence/lab2/lab2_level4.txt | **4** | +| Гонка регистрации одинакового username | `python student-tests/test_lab2_level4.py --skip-expiry` (блок `test_concurrent_registration`) | ровно одна 201, остальные 409; остальные ошибки проваливают тест; в БД ровно одна строка `users` | evidence/lab2/lab2_level4.txt | **4** | | Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях | тот же скрипт, `test_explain` | `Index Scan using idx_messages_chat_created` | evidence/lab2/lab2_level4.txt | **4** | | Keyset-пагинация без полного scan на страницу | `list_messages_page` в `postgres.py` | `WHERE (created_at, id) > (…, …)` + `LIMIT` | src/app/storage/postgres.py | **4** | -| Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `test_short_ttl_expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** | +| Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `python student-tests/test_lab2_level4.py --only-expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** | | Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | -| Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | -| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py`; `docker compose stop postgres` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | +| Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503; запрос с действующим токеном → 503; после старта токен снова работает) | `/health/ready` → 503 `unavailable`, действующий Bearer получает 503, после восстановления прежняя сессия работает | evidence/lab2/lab2_level4.txt | **4** | +| Недоступность PostgreSQL → 503 | `test_postgres_unavailable` (stop postgres → ready 503; действующий токен → 503 в пределах таймаута; аноним — 401/503; после `start postgres` прежний токен и запись сохранены) | 503 `unavailable`, восстановление в `finally`, данные сохранены | evidence/lab2/lab2_level4.txt | **4** | | Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 250 002 сообщения, распределение 151818/54545/…/1 | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** | @@ -231,8 +252,8 @@ Hardware и версии: | Воздействие | Что ожидаем | Что наблюдали | Восстановление / потери | | --- | --- | --- | --- | | `docker compose restart api postgres redis` (`scripts/restart.bat`) | API, PostgreSQL и Redis перезапускаются, volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился у всех 3-х | downtime ≈ 3–5 с; потери 0 | -| `docker compose stop postgres`, затем запрос | 503 `unavailable` (обработчик `psycopg.OperationalError`), БД-операции не идут | 503 `unavailable` на `/health/ready` и бизнес-запросах; после `start postgres` — 200 | downtime ≈ 3 с; потери 0 (том сохранён) | -| `docker compose stop redis`, затем запрос `/health/ready` | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; после `start redis` — 200 | downtime ≈ 3 с; потери сессий 0 (AOF) | +| `docker compose stop postgres`, затем запрос | 503 `unavailable` (обработчик `psycopg.OperationalError`), БД-операции не идут | 503 `unavailable` на `/health/ready` и бизнес-запросах; после `start postgres` — 200, данные и сессия сохранены | downtime ≈ 3 с; потери 0 (том сохранён) | +| `docker compose stop redis`, затем запрос | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; с действующим токеном 503, после `start redis` прежняя сессия снова работает | downtime ≈ 3 с; потери сессий 0 (AOF) | | Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | | SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | @@ -282,6 +303,8 @@ e320b42f-e328-446b-a748-b27425281864|1 - `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате execution time ~0.2 мс, 54 буфера. - На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: полный индекс даёт execution time ~0.1 мс и 4 буфера; `(chat_id)` — ~0.1 мс и 10 буферов. Индекс важен там, где строк много. +Дополнительный прогон `test_explain` на 550 008 сообщениях подтверждает выбор индекса: `Index Scan using idx_messages_chat_created`, без `Sort`, Execution Time ~0.06 мс. + ### Стоимость записи (10 000 INSERT) Вывод в терминале: ``` @@ -338,7 +361,8 @@ e320b42f-e328-446b-a748-b27425281864|1 - Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции); идемпотентную миграцию. - Keyset-пагинацию в SQL с индексом `idx_messages_chat_created`. - Контрактные ответы, `X-Request-Id`, `WWW-Authenticate`, 503 при недоступности Redis/PostgreSQL. -- Конкурентную регистрацию одинакового username без дублей. +- Конкурентную регистрацию одинакового username без дублей; тест проверяет фактические HTTP-коды и наличие одной строки в БД. +- Остановку Redis и PostgreSQL: 503 на readiness и на запросы с действующим токеном, без анонимного доступа; восстановление зависимостей в `finally`, прежние данные и сессии сохранены. Учебные упрощения: - PostgreSQL запущен в Compose (том `mtuci2026lab2_postgres-data`) и общается с API по внутреннему имени `postgres`, порт наружу не вынесен. -- 2.54.0 From d83dca8ed5e32dd99df90cd619a2d0120b410f11 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 02:05:02 +0300 Subject: [PATCH 52/53] =?UTF-8?q?+=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=82=D0=B5=D1=81=D1=82=20=D0=BD=D0=B0=20=D1=80?= =?UTF-8?q?=D0=B0=D0=B7=D1=80=D1=8B=D0=B2=20=D1=82=D1=80=D0=B0=D0=BD=D0=B7?= =?UTF-8?q?=D0=B0=D0=BA=D1=86=D0=B8=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- student-tests/test_lab2_level4.py | 131 +++++++++++++++++++++++++++++- 1 file changed, 127 insertions(+), 4 deletions(-) diff --git a/student-tests/test_lab2_level4.py b/student-tests/test_lab2_level4.py index fa183a82..65c86927 100644 --- a/student-tests/test_lab2_level4.py +++ b/student-tests/test_lab2_level4.py @@ -14,6 +14,12 @@ Expiry-тест запускается последним и используе test_explain не зависит от TTL вообще: он сидирует данные напрямую через psql и проверяет план SQL-запроса, а не HTTP-слой. + +test_chat_rollback проверяет транзакционную границу create_chat: он +запускает патч-скрипт ВНУТРИ контейнера API (там есть psycopg и +DATABASE_URL), monkey-patch-ит psycopg.Cursor.executemany так, чтобы +INSERT в chat_members упал ПОСЛЕ успешного INSERT в chats. Затем через +psql проверяется, что ни chat, ни chat_members не сохранились. """ import base64 import datetime as dt @@ -32,6 +38,9 @@ from client import Client, Failure, arguments, check, run # noqa: E402 # Имя compose-сети проекта: mtuci2026lab2_default (зафиксировано в compose.yaml networks.default.name). COMPOSE_NETWORK = os.environ.get("COMPOSE_NETWORK", "mtuci2026lab2_default") +# Имя контейнера API (зафиксировано в compose.yaml container_name). +API_CONTAINER = os.environ.get("API_CONTAINER", "mtuci-messenger-lab2") + # ---------- 1. Конкурентная регистрация одинакового username ---------- def test_concurrent_registration(c): @@ -224,7 +233,118 @@ END $$; "EXPLAIN не показал использования индекса:\n" + out) -# ---------- 3. Недоступность Redis (с действующим токеном) ---------- +# ---------- 3. Rollback составной операции create_chat ---------- +def test_chat_rollback(c): + """Проверяем, что при падении INSERT в chat_members ПОСЛЕ успешного + INSERT в chats не остаётся ни строки чата, ни частичного членства. + + Как добиться ошибки именно на вставке участников, а не на предварительной + проверке unknown_member? Проверка `SELECT id FROM users WHERE id = ANY(...)` + в postgres.py отсекает неизвестных до INSERT. Значит, нужен сбой именно + в executemany. + + Решение: запускаем патч-скрипт ВНУТРИ контейнера API через docker exec — + там уже установлен psycopg и доступен DATABASE_URL. Скрипт monkey-patch-ит + psycopg.Cursor.executemany так, чтобы он бросил исключение, и вызывает + storage.create_chat с двумя реально существующими пользователями. + Транзакция дойдёт до INSERT в chats, упадёт на executemany и должна + откатиться. + + После этого через psql проверяем: + - в таблице chats нет строки с этим title; + - в таблице chat_members нет строк с этим chat_id; + - через API GET /api/v1/chats пользователь не видит этот чат. + """ + dsn = _read_dsn() + + # Готовим двух валидных пользователей через API, чтобы FK был валиден. + suffix = uuid.uuid4().hex[:10] + alice_username = "rb_a_" + suffix + bob_username = "rb_b_" + suffix + alice_password = "T3st-" + uuid.uuid4().hex + bob_password = "T3st-" + uuid.uuid4().hex + alice = c.call("POST", "/api/v1/users", 201, + body={"username": alice_username, "display_name": "RB-A", + "password": alice_password}, + schema="User")["json"] + bob = c.call("POST", "/api/v1/users", 201, + body={"username": bob_username, "display_name": "RB-B", + "password": bob_password}, + schema="User")["json"] + + # Уникальный title, чтобы точно найти строку, если rollback не сработает. + marker_title = "rollback-chat-" + uuid.uuid4().hex + + # Скрипт запускается ВНУТРИ контейнера API: там есть psycopg и DATABASE_URL. + # Патчит executemany так, чтобы он упал после успешного INSERT в chats. + patch_script = r''' +import os, sys, psycopg +from uuid import UUID + +_orig = psycopg.Cursor.executemany +def boom(self, *args, **kwargs): + raise RuntimeError("patched_executemany_failure") +psycopg.Cursor.executemany = boom + +sys.path.insert(0, "/app/src") +from app.storage.postgres import storage + +try: + storage.create_chat(os.environ["RB_TITLE"], + [UUID(os.environ["RB_ALICE"]), UUID(os.environ["RB_BOB"])]) +except RuntimeError as exc: + if "patched_executemany_failure" in str(exc): + print("PATCHED_FAILURE_OK"); sys.exit(0) + raise +except Exception as exc: + print("UNEXPECTED:%s:%s" % (type(exc).__name__, exc)); sys.exit(2) +print("NO_FAILURE"); sys.exit(3) +''' + + proc = subprocess.run( + ["docker", "exec", + "-e", "RB_TITLE=" + marker_title, + "-e", "RB_ALICE=" + alice["id"], + "-e", "RB_BOB=" + bob["id"], + API_CONTAINER, + "python", "-c", patch_script], + capture_output=True, text=True, timeout=60, + ) + out = (proc.stdout + proc.stderr).strip() + print(" rollback-процесс: exit=%d, out=%r" % (proc.returncode, out[:200])) + check("PATCHED_FAILURE_OK" in out, + "не удалось вызвать ошибку именно на executemany: %s" % out) + + # Проверяем в БД: ни chats, ни chat_members с этим маркером не осталось. + chats_count = _scalar( + dsn, + "SELECT count(*) FROM chats WHERE title = '%s';" % marker_title, + ) + check(int(chats_count) == 0, + "rollback не сработал: строка chats с title=%s осталась (%s)" % (marker_title, chats_count)) + + members_count = _scalar( + dsn, + "SELECT count(*) FROM chat_members cm " + "JOIN chats c ON c.id = cm.chat_id " + "WHERE c.title = '%s';" % marker_title, + ) + check(int(members_count) == 0, + "rollback не сработал: остались строки chat_members (%s)" % members_count) + + # Дополнительно: у пользователя нет чата с таким title через API. + cred = base64.b64encode((alice_username + ":" + alice_password).encode()).decode() + session = c.call("POST", "/api/v1/auth/sessions", 201, + headers={"Authorization": "Basic " + cred}, + schema="Session")["json"] + listed = c.call("GET", "/api/v1/chats?limit=100", + headers={"Authorization": "Bearer " + session["token"]}, + schema="ChatPage")["json"] + check(all(item["title"] != marker_title for item in listed["items"]), + "чат с маркером rollback виден в списке чатов пользователя") + + +# ---------- 4. Недоступность Redis (с действующим токеном) ---------- def _compose(action, service="redis"): return subprocess.run( ["docker", "compose", "--env-file", ".env", action, service], @@ -303,7 +423,7 @@ def test_redis_unavailable(c): check(me2["id"] == me["id"], "прежняя сессия должна снова работать после восстановления Redis") -# ---------- 4. Недоступность PostgreSQL ---------- +# ---------- 5. Недоступность PostgreSQL ---------- def test_postgres_unavailable(c): """Останавливаем PostgreSQL: /health/ready → 503, действующий токен → 503. @@ -363,7 +483,7 @@ def test_postgres_unavailable(c): "ранее записанное сообщение не найдено после восстановления PostgreSQL") -# ---------- 5. Expiry TTL ---------- +# ---------- 6. Expiry TTL ---------- def test_short_ttl_expiry(c): """TTL=5. Проверяем полный цикл: токен валиден -> истекает -> 401. @@ -413,7 +533,6 @@ def test_short_ttl_expiry(c): schema="User") -# ---------- main ---------- # ---------- main ---------- def main(): args = arguments("Lab2 level 4 checks", configure=_configure) @@ -433,6 +552,10 @@ def main(): test_concurrent_registration(c) print("PASS: concurrent registration produces exactly one user") + print("=== test_chat_rollback ===") + test_chat_rollback(c) + print("PASS: create_chat rollback leaves no chat and no partial membership") + print("=== test_explain ===") test_explain(c) print("PASS: EXPLAIN uses idx_messages_chat_created") -- 2.54.0 From 8e99357f876eb5b3c6a8595edc243d678eccc132 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 02:05:53 +0300 Subject: [PATCH 53/53] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 8 ++++++-- 1 file changed, 6 insertions(+), 2 deletions(-) diff --git a/REPORT.md b/REPORT.md index 62de20af..5e4f4a7e 100644 --- a/REPORT.md +++ b/REPORT.md @@ -60,7 +60,7 @@ ### Проверки уровня 4 с остановкой зависимостей и TTL -Тесты уровня 4 разделены на два запуска: тяжёлые (гонка регистрации, EXPLAIN, недоступность Redis, недоступность PostgreSQL) выполняются при длинном TTL; expiry — при коротком TTL. Это сделано потому, что тест недоступности Redis использует заранее полученную рабочую сессию, и при `SESSION_TTL_SECONDS=5` она истекает быстрее, чем тест успевает остановить Redis. +Тесты уровня 4 разделены на два запуска: тяжёлые (гонка регистрации, rollback составной операции, EXPLAIN, недоступность Redis, недоступность PostgreSQL) выполняются при длинном TTL; expiry — при коротком TTL. Это сделано потому, что тест недоступности Redis использует заранее полученную рабочую сессию, и при `SESSION_TTL_SECONDS=5` она истекает быстрее, чем тест успевает остановить Redis. Первый запуск (в .env SESSION_TTL_SECONDS=3600) — все тяжёлые тесты, включая Redis/Postgres down: ``` @@ -74,6 +74,7 @@ python student-tests/test_lab2_level4.py --base-url http://localhost:8080 --only Наблюдения: - гонка регистрации: из 8 одновременных POST один username — ровно одна 201 и семь 409, остальные ошибки (timeout/500/bad schema) проваливают тест; в БД ровно одна строка `users` с этим username; +- rollback составной операции: патч-скрипт запускается через `docker exec` внутри контейнера API, подменяет `psycopg.Cursor.executemany` так, чтобы INSERT в `chat_members` упал уже после успешного INSERT в `chats`; после падения ни строки `chats`, ни строк `chat_members` с этим title не остаётся, и через API чат не виден; ошибка до INSERT (неизвестный участник) rollback не доказывает, поэтому используется именно сбой `executemany`; - EXPLAIN на 550 008 сообщениях: `Index Scan using idx_messages_chat_created`, без `Sort`, Execution Time ~0.06 мс; - недоступность Redis: с действующим токеном `/health/ready` → 503 и запрос с этим токеном → 503; после восстановления Redis прежняя сессия снова работает (AOF); - недоступность PostgreSQL: `/health/ready` → 503, запрос с действующим токеном → 503 в пределах таймаута, анонимный запрос не получает доступ; после восстановления БД прежняя сессия работает, ранее записанное сообщение сохранено; восстановление БД выполняется в `finally`, чтобы не оставить стенд остановленным при падении теста; @@ -174,7 +175,7 @@ mtuci2026lab2/ │ ├── run_all.py │ ├── test_negative.py │ ├── test_concurrency.py -│ ├── test_lab2_level4.py * # гонка регистрации (реальные HTTP-коды + строка в БД), EXPLAIN, недоступность Redis (с действующим токеном), недоступность PostgreSQL (с восстановлением в finally), expiry; режимы --skip-expiry / --only-expiry +│ ├── test_lab2_level4.py * # гонка регистрации (реальные HTTP-коды + строка в БД), rollback составной операции create_chat (docker exec + patch executemany), EXPLAIN, недоступность Redis (с действующим токеном), недоступность PostgreSQL (с восстановлением в finally), expiry; режимы --skip-expiry / --only-expiry │ ├── track2_seed.sql ** # сидирование >=100 000 сообщений │ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO └── tests/ # публичные проверки, без изменений @@ -229,6 +230,7 @@ mtuci2026lab2/ | Redis persistence, выдерживающее рестарт | `docker exec mtuci-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | | Параметризованные запросы, ограниченный пул, таймауты | `psycopg_pool.ConnectionPool(2..10, timeout=5)`, `statement_timeout=5000` | нет `psycopg.connect()` на запрос | src/app/storage/db.py | **4** | | Гонка регистрации одинакового username | `python student-tests/test_lab2_level4.py --skip-expiry` (блок `test_concurrent_registration`) | ровно одна 201, остальные 409; остальные ошибки проваливают тест; в БД ровно одна строка `users` | evidence/lab2/lab2_level4.txt | **4** | +| Rollback составной операции create_chat | тот же скрипт, `test_chat_rollback` (docker exec + patch `psycopg.Cursor.executemany`) | ошибка на executemany ПОСЛЕ успешного INSERT в chats: ни строки chats, ни chat_members не осталось; через API чат не виден | evidence/lab2/lab2_level4.txt | **4** | | Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях | тот же скрипт, `test_explain` | `Index Scan using idx_messages_chat_created` | evidence/lab2/lab2_level4.txt | **4** | | Keyset-пагинация без полного scan на страницу | `list_messages_page` в `postgres.py` | `WHERE (created_at, id) > (…, …)` + `LIMIT` | src/app/storage/postgres.py | **4** | | Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `python student-tests/test_lab2_level4.py --only-expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** | @@ -254,6 +256,7 @@ Hardware и версии: | `docker compose restart api postgres redis` (`scripts/restart.bat`) | API, PostgreSQL и Redis перезапускаются, volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился у всех 3-х | downtime ≈ 3–5 с; потери 0 | | `docker compose stop postgres`, затем запрос | 503 `unavailable` (обработчик `psycopg.OperationalError`), БД-операции не идут | 503 `unavailable` на `/health/ready` и бизнес-запросах; после `start postgres` — 200, данные и сессия сохранены | downtime ≈ 3 с; потери 0 (том сохранён) | | `docker compose stop redis`, затем запрос | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; с действующим токеном 503, после `start redis` прежняя сессия снова работает | downtime ≈ 3 с; потери сессий 0 (AOF) | +| Падение `executemany` внутри `create_chat` после успешного INSERT в `chats` | Транзакция откатывается целиком | `PATCHED_FAILURE_OK`; ни строки `chats`, ни `chat_members` не осталось | потери 0 (откат) | | Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | | SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | @@ -362,6 +365,7 @@ e320b42f-e328-446b-a748-b27425281864|1 - Keyset-пагинацию в SQL с индексом `idx_messages_chat_created`. - Контрактные ответы, `X-Request-Id`, `WWW-Authenticate`, 503 при недоступности Redis/PostgreSQL. - Конкурентную регистрацию одинакового username без дублей; тест проверяет фактические HTTP-коды и наличие одной строки в БД. +- Откат составной операции `create_chat` при падении `executemany` уже после INSERT в `chats`: отдельный тест запускает патч-скрипт внутри контейнера API, подменяет `psycopg.Cursor.executemany` и проверяет, что ни строки чата, ни членства не сохранилось. - Остановку Redis и PostgreSQL: 503 на readiness и на запросы с действующим токеном, без анонимного доступа; восстановление зависимостей в `finally`, прежние данные и сессии сохранены. Учебные упрощения: -- 2.54.0