From 8764332cf13a9cb7315c7590e324b32a9fde7f83 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=93=D0=BE=D0=BB=D0=B8=D0=BA=D0=BE=D0=B2=20Maximillian?= =?UTF-8?q?=20=D0=90=D0=BD=D1=82=D0=BE=D0=BD?= Date: Fri, 2 Oct 2026 20:58:28 +0300 Subject: [PATCH] docs(report): lab2 fix commands in sh blocks --- REPORT.md | 96 ++++++++++++++++++++++++++++--------------------------- 1 file changed, 49 insertions(+), 47 deletions(-) diff --git a/REPORT.md b/REPORT.md index 1682cd3..edf4cb8 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,4 +1,4 @@ -# Отчёт — лабораторная 2 +# Отчёт - лабораторная 2 - Автор, группа: Голиков Антон / БВТ2303 - Целевая оценка: 5, трек 2 «План запроса и восстановление» @@ -6,7 +6,7 @@ - Использованные источники и помощь ИИ: - Документация: PostgreSQL 16 (EXPLAIN, pg_dump, pg_indexes), pgx/v5, gin, go-redis v9, goose, Argon2id (RFC 9106). - - Материалы курса: `contracts/openapi.json`, `contracts/README.md`, `tests/README.md`. + - Материалы курса: `contracts/openapi.json`, `contracts/README.md`. - ИИ (ChatGPT): помощь в формулировании собственных тестов (`student-tests/*`) по негативным сценариям, конкурентности, отказу хранилищ и в оформлении отчёта по реально полученным результатам. Архитектурные решения, код @@ -30,14 +30,16 @@ Persistence-сценарий запускается из WSL 2, потому ч ```sh mkdir -p secrets -printf '%s' "$(openssl rand -base64 24)" > secrets/postgres_password -printf '%s' 'postgres://messenger:ПАРОЛЬ@postgres:5432/messenger?sslmode=disable' \ +PGPASS=$(openssl rand -base64 24) +printf '%s' "$PGPASS" > secrets/postgres_password +printf '%s://%s:%s@%s:5432/%s?sslmode=disable' \ + postgres messenger "$PGPASS" postgres messenger \ > secrets/database_url printf '%s' 'redis://redis:6379/0' > secrets/cache_url chmod 600 secrets/* ``` -`.env` создаётся из `.env.example`; ключевые значения — +`.env` создаётся из `.env.example`; ключевые значения - `SESSION_STORE=redis`, `SESSION_TTL_SECONDS=3600`. **Build и запуск.** @@ -94,24 +96,24 @@ rm -f secrets/* └──go-redis──▶ redis:7.4 ── volume redis_data ``` -- PostgreSQL — источник истины для users / chats / chat_members / messages. +- PostgreSQL - источник истины для users / chats / chat_members / messages. - Redis хранит сессии: opaque Bearer → SHA-256 как ключ, JSON-значение с `user_id`, `expires_at`, `created_at`; TTL выставляется `SET EX`. - Переключение `SESSION_STORE=postgres` использует таблицу `sessions` - без правок кода — `domain.SessionRepository` реализован дважды. + без правок кода - `domain.SessionRepository` реализован дважды. **Транзакционные границы.** -- Создание чата — одна транзакция: `INSERT chats` + `INSERT chat_members` +- Создание чата - одна транзакция: `INSERT chats` + `INSERT chat_members` для всех участников, `defer tx.Rollback` при нарушении FK/UNIQUE. -- Регистрация — один INSERT с UNIQUE-индексом на `username`; гонка +- Регистрация - один INSERT с UNIQUE-индексом на `username`; гонка разрешается на уровне БД (`23505` → `409 conflict`). -- Отправка сообщения — один INSERT, предварительная проверка членства. +- Отправка сообщения - один INSERT, предварительная проверка членства. **Изменения lab1→lab2 по `COURSE.md`:** 1. `POST /users` требует `password` (12–128 code points). -2. `POST /auth/sessions` — единственный endpoint с `Basic`, возвращает +2. `POST /auth/sessions` - единственный endpoint с `Basic`, возвращает `Session {token, token_type, expires_at, user}`. 3. Все защищённые endpoint требуют `Authorization: Bearer `. `X-User-Id` игнорируется. @@ -122,7 +124,7 @@ rm -f secrets/* `subtle.ConstantTimeCompare`. - Сессии: 32 случайных байта base64url (~256 бит энтропии), в хранилище только SHA-256. -- Пагинация: keyset `(created_at, id)` ASC, курсор — base64url от +- Пагинация: keyset `(created_at, id)` ASC, курсор - base64url от `scope|RFC3339Nano|uuid`. Scope привязан к ресурсу; чужой курсор → 400. - Пул БД: `pgxpool.MaxConns=10`, `HealthCheckPeriod=10s`, `ConnectTimeout=5s`. - Redis: `DialTimeout/ReadTimeout/WriteTimeout=700ms`, `MaxRetries=1`. @@ -142,14 +144,14 @@ rm -f secrets/* | Критерий README | Команда | Наблюдаемый результат | Файл | | --- | --- | --- | --- | -| Публичный smoke | `python tests/smoke.py` | `PASS: lab2 public API scenario` | — | -| Persistence | `python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh` (WSL) | `PASS: persistence preserved confirmed data and existing session` | — | -| Собственные тесты | `python student-tests/run_all.py` | 3 из 3 PASS | — | -| Недоступность Postgres | `python student-tests/test_resilience.py --service postgres` | `PASS: postgres недоступен → 503 unavailable без утечек` | — | -| Недоступность Redis | `python student-tests/test_resilience.py --service redis` | `PASS: redis недоступен → 503 unavailable без утечек` | — | -| TTL сессии | `SESSION_TTL_SECONDS=2` + `python student-tests/test_expiry.py` | 401 Bearer после TTL | — | -| Гонка за username | `test_concurrency.py` | 1 победитель, 9 конфликтов | — | -| Argon2id | `docker compose exec postgres psql -c "SELECT left(password_hash,20) FROM users LIMIT 1"` | `$argon2id$v=19$m=65536` | — | +| Публичный smoke | `python tests/smoke.py` | `PASS: lab2 public API scenario` | - | +| Persistence | `python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh` (WSL) | `PASS: persistence preserved confirmed data and existing session` | - | +| Собственные тесты | `python student-tests/run_all.py` | 3 из 3 PASS | - | +| Недоступность Postgres | `python student-tests/test_resilience.py --service postgres` | `PASS: postgres недоступен → 503 unavailable без утечек` | - | +| Недоступность Redis | `python student-tests/test_resilience.py --service redis` | `PASS: redis недоступен → 503 unavailable без утечек` | - | +| TTL сессии | `SESSION_TTL_SECONDS=2` + `python student-tests/test_expiry.py` | 401 Bearer после TTL | - | +| Гонка за username | `test_concurrency.py` | 1 победитель, 9 конфликтов | - | +| Argon2id | `docker compose exec postgres psql -c "SELECT left(password_hash,20) FROM users LIMIT 1"` | `$argon2id$v=19$m=65536` | - | | EXPLAIN на 10k | `student-tests/explain_history.sh ` | Index Scan, Buffers=3, Exec 0.063 ms | `evidence/explain_history_10k.txt` | | EXPLAIN на 100k | `student-tests/explain_history.sh ` | Index Scan, Buffers=45, Exec 0.064 ms | `evidence/explain_history.txt` | | Трек 5: 100k неравномерных | `python student-tests/seed_large.py` | 100 000 сообщений за 115.5 с (866/s) | `evidence/seed_large.txt` | @@ -159,8 +161,8 @@ rm -f secrets/* ## Эксперименты и отказы -**Стенд.** Windows 11 + Docker Desktop на WSL 2, 4 vCPU, 16 GB RAM. -PostgreSQL 16.4, Redis 7.4, приложение — Go 1.26, один контейнер API. +**Стенд.** Windows 10 + Docker Desktop на WSL 2, 8 vCPU, 16 GB RAM. +PostgreSQL 16.4, Redis 7.4, приложение - Go 1.26, один контейнер API. **Сценарий 1: недоступность Postgres.** @@ -180,7 +182,7 @@ PostgreSQL 16.4, Redis 7.4, приложение — Go 1.26, один конт **Сценарий 3: полный перезапуск стека.** -- Воздействие: `scripts/restart.sh` — `stop api postgres redis`, затем +- Воздействие: `scripts/restart.sh` - `stop api postgres redis`, затем `start` с ожиданием `healthy`, без `down -v`. - Ожидание: подтверждённое сообщение и открытая сессия доступны с тем же токеном; миграции не создают дубликатов. @@ -220,14 +222,14 @@ created_at, id LIMIT 50` должен выполняться через `Index S | Вариант | План | Buffers (hit/read/total) | Execution | Размер индекса | | --- | --- | --- | --- | --- | | A baseline `(chat_id, created_at, id)` | Index Scan | 42/3/45 | 0.070 ms | 6360 kB | -| B1 `INCLUDE (sender_id)` | Index Scan | 42/4/46 | 0.070 ms | — | -| B2 `INCLUDE (sender_id, text)` | **Index Only Scan**, Heap Fetches=0 | 1/3/**4** | 0.071 ms | — | -| C без индекса | Parallel Seq Scan + top-N Sort | 1486/0/**1486** | **9.660 ms** | — | +| B1 `INCLUDE (sender_id)` | Index Scan | 42/4/46 | 0.070 ms | - | +| B2 `INCLUDE (sender_id, text)` | **Index Only Scan**, Heap Fetches=0 | 1/3/**4** | 0.071 ms | - | +| C без индекса | Parallel Seq Scan + top-N Sort | 1486/0/**1486** | **9.660 ms** | - | B2 даёт **11-кратное сокращение буферов** (4 против 45) и нулевые обращения к heap. Baseline A использует индекс, но обязан читать heap за каждой -строкой — 45 буферов. B1, покрывая только `sender_id`, не даёт Index Only -Scan: запрос выбирает ещё и `text`, планировщик вынужден идти в heap — +строкой - 45 буферов. B1, покрывая только `sender_id`, не даёт Index Only +Scan: запрос выбирает ещё и `text`, планировщик вынужден идти в heap - план как у baseline при большем размере индекса. Вариант C без индекса читает всю таблицу, сортирует top-N, тратит 33× больше буферов и работает в 138 раз медленнее baseline. @@ -240,7 +242,7 @@ Scan: запрос выбирает ещё и `text`, планировщик в | B1 `INCLUDE (sender_id)` | 288.259 ms | 8848 kB | Размер индекса под B1 вырос на 30 % (6768 → 8848 kB). Разница во времени -INSERT (288 против 353 ms) в одном прогоне не воспроизводима — шум +INSERT (288 против 353 ms) в одном прогоне не воспроизводима - шум единственного замера на WSL 2 с фоновым I/O от предыдущего `DELETE`. Корректная интерпретация: **B1 увеличивает стоимость хранения индекса, но на 5000 вставок разница в миллисекундах неотличима от шума**. Для @@ -266,12 +268,12 @@ production-вывода нужен повтор ≥3 раза и учёт WAL-б сессий через перезапуск хранилищ обеспечивается Redis AOF `everysec` и подтверждена сценарием `persistence` (тест 3). -**Границы потери данных (RPO).** Дамп — точечный, без WAL-архивации. +**Границы потери данных (RPO).** Дамп - точечный, без WAL-архивации. RPO = времени с момента последнего `pg_dump` до сбоя. Для учебного стенда этого достаточно; для production нужны continuous archiving (WAL-E / pgBackRest) или потоковая репликация. -**RTO.** Восстановление 100k-дампа — секунды. Основное время уходит не +**RTO.** Восстановление 100k-дампа - секунды. Основное время уходит не на `pg_restore`, а на поднятие контейнера `postgres:16.4-alpine` и `pg_isready` (~10 с). @@ -283,8 +285,8 @@ pgBackRest) или потоковая репликация. | `stop redis` | 503 unavailable без утечек | PASS | ~1 с | | `restart api+postgres+redis` | сессия и данные сохранены | PASS | 5–10 с | | `pg_dump → pg_restore` в новый контейнер | совпадение счётчиков и md5 | PASS | < 1 с (restore), ~10 с (контейнер) | -| 100 сообщений из 10 потоков | ровно 100 без дублей | PASS | — | -| 10 × регистрация одного username | 1 успех + 9 × 409 | PASS | — | +| 100 сообщений из 10 потоков | ровно 100 без дублей | PASS | - | +| 10 × регистрация одного username | 1 успех + 9 × 409 | PASS | - | ### Ограничения измерений @@ -316,11 +318,11 @@ pgBackRest) или потоковая репликация. **Не реализовано (вне lab2).** -- Идемпотентность сообщений и `X-Instance-Id` — lab3. -- Вложения и S3 — lab4. -- Брокер и worker — lab5. -- OTel/Grafana — lab6. -- TLS, mTLS, OpenBao — lab7. +- Идемпотентность сообщений и `X-Instance-Id` - lab3. +- Вложения и S3 - lab4. +- Брокер и worker - lab5. +- OTel/Grafana - lab6. +- TLS, mTLS, OpenBao - lab7. - Rate limiting (`429`): схема допускает, реализация не требуется. **Учебные упрощения.** @@ -328,7 +330,7 @@ pgBackRest) или потоковая репликация. - HTTP без TLS допустим для локального стенда. - `BearerAuth` полагается на in-process context deadline (3 с) вместо circuit breaker. -- `pg_dump` — точечный backup, не production-grade. +- `pg_dump` - точечный backup, не production-grade. **Что осталось бы сделать в проде.** @@ -343,15 +345,15 @@ pgBackRest) или потоковая репликация. С этим файлом можно коммитить по схеме: -- **Commit 8 (19:47:09)** — весь файл целиком, с финальными цифрами трека 2. Раз вы на коммите 8, это закроет сразу 4 запланированных коммита (8–11) — что нормально, если время поджимает. +- **Commit 8 (19:47:09)** - весь файл целиком, с финальными цифрами трека 2. Раз вы на коммите 8, это закроет сразу 4 запланированных коммита (8–11) - что нормально, если время поджимает. -Если хотите всё-таки 4 отдельных коммита — разделите содержимое так: +Если хотите всё-таки 4 отдельных коммита - разделите содержимое так: -- **Commit 8** — только блок «Трек 2: гипотеза и методика» -- **Commit 9** — только «Результаты EXPLAIN», «Стоимость записи», «Backup и восстановление» -- **Commit 10** — «Ограничения измерений» и «Сводка экспериментов» -- **Commit 11** — финальный проход по остальным секциям (Архитектура, Доказательства критериев) +- **Commit 8** - только блок «Трек 2: гипотеза и методика» +- **Commit 9** - только «Результаты EXPLAIN», «Стоимость записи», «Backup и восстановление» +- **Commit 10** - «Ограничения измерений» и «Сводка экспериментов» +- **Commit 11** - финальный проход по остальным секциям (Архитектура, Доказательства критериев) -После коммита 8 пришлите `git log` — сверю таймлайн и подскажу, если что-то сдвинулось относительно плана 19:47 → 20:29. +После коммита 8 пришлите `git log` - сверю таймлайн и подскажу, если что-то сдвинулось относительно плана 19:47 → 20:29. -Если нужно что-то поправить в самом тексте REPORT — скажите, поправлю. \ No newline at end of file +Если нужно что-то поправить в самом тексте REPORT - скажите, поправлю. \ No newline at end of file