docs(report): lab2 fix commands in sh blocks
Skeleton contracts / contracts (pull_request) Canceled after 0s
Skeleton contracts / contracts (pull_request) Canceled after 0s
This commit is contained in:
@@ -1,4 +1,4 @@
|
||||
# Отчёт — лабораторная 2
|
||||
# Отчёт - лабораторная 2
|
||||
|
||||
- Автор, группа: Голиков Антон / БВТ2303
|
||||
- Целевая оценка: 5, трек 2 «План запроса и восстановление»
|
||||
@@ -6,7 +6,7 @@
|
||||
- Использованные источники и помощь ИИ:
|
||||
- Документация: PostgreSQL 16 (EXPLAIN, pg_dump, pg_indexes), pgx/v5, gin,
|
||||
go-redis v9, goose, Argon2id (RFC 9106).
|
||||
- Материалы курса: `contracts/openapi.json`, `contracts/README.md`, `tests/README.md`.
|
||||
- Материалы курса: `contracts/openapi.json`, `contracts/README.md`.
|
||||
- ИИ (ChatGPT): помощь в формулировании собственных тестов (`student-tests/*`)
|
||||
по негативным сценариям, конкурентности, отказу хранилищ и в оформлении
|
||||
отчёта по реально полученным результатам. Архитектурные решения, код
|
||||
@@ -30,14 +30,16 @@ Persistence-сценарий запускается из WSL 2, потому ч
|
||||
|
||||
```sh
|
||||
mkdir -p secrets
|
||||
printf '%s' "$(openssl rand -base64 24)" > secrets/postgres_password
|
||||
printf '%s' 'postgres://messenger:ПАРОЛЬ@postgres:5432/messenger?sslmode=disable' \
|
||||
PGPASS=$(openssl rand -base64 24)
|
||||
printf '%s' "$PGPASS" > secrets/postgres_password
|
||||
printf '%s://%s:%s@%s:5432/%s?sslmode=disable' \
|
||||
postgres messenger "$PGPASS" postgres messenger \
|
||||
> secrets/database_url
|
||||
printf '%s' 'redis://redis:6379/0' > secrets/cache_url
|
||||
chmod 600 secrets/*
|
||||
```
|
||||
|
||||
`.env` создаётся из `.env.example`; ключевые значения —
|
||||
`.env` создаётся из `.env.example`; ключевые значения -
|
||||
`SESSION_STORE=redis`, `SESSION_TTL_SECONDS=3600`.
|
||||
|
||||
**Build и запуск.**
|
||||
@@ -94,24 +96,24 @@ rm -f secrets/*
|
||||
└──go-redis──▶ redis:7.4 ── volume redis_data
|
||||
```
|
||||
|
||||
- PostgreSQL — источник истины для users / chats / chat_members / messages.
|
||||
- PostgreSQL - источник истины для users / chats / chat_members / messages.
|
||||
- Redis хранит сессии: opaque Bearer → SHA-256 как ключ, JSON-значение
|
||||
с `user_id`, `expires_at`, `created_at`; TTL выставляется `SET EX`.
|
||||
- Переключение `SESSION_STORE=postgres` использует таблицу `sessions`
|
||||
без правок кода — `domain.SessionRepository` реализован дважды.
|
||||
без правок кода - `domain.SessionRepository` реализован дважды.
|
||||
|
||||
**Транзакционные границы.**
|
||||
|
||||
- Создание чата — одна транзакция: `INSERT chats` + `INSERT chat_members`
|
||||
- Создание чата - одна транзакция: `INSERT chats` + `INSERT chat_members`
|
||||
для всех участников, `defer tx.Rollback` при нарушении FK/UNIQUE.
|
||||
- Регистрация — один INSERT с UNIQUE-индексом на `username`; гонка
|
||||
- Регистрация - один INSERT с UNIQUE-индексом на `username`; гонка
|
||||
разрешается на уровне БД (`23505` → `409 conflict`).
|
||||
- Отправка сообщения — один INSERT, предварительная проверка членства.
|
||||
- Отправка сообщения - один INSERT, предварительная проверка членства.
|
||||
|
||||
**Изменения lab1→lab2 по `COURSE.md`:**
|
||||
|
||||
1. `POST /users` требует `password` (12–128 code points).
|
||||
2. `POST /auth/sessions` — единственный endpoint с `Basic`, возвращает
|
||||
2. `POST /auth/sessions` - единственный endpoint с `Basic`, возвращает
|
||||
`Session {token, token_type, expires_at, user}`.
|
||||
3. Все защищённые endpoint требуют `Authorization: Bearer <opaque>`.
|
||||
`X-User-Id` игнорируется.
|
||||
@@ -122,7 +124,7 @@ rm -f secrets/*
|
||||
`subtle.ConstantTimeCompare`.
|
||||
- Сессии: 32 случайных байта base64url (~256 бит энтропии), в хранилище
|
||||
только SHA-256.
|
||||
- Пагинация: keyset `(created_at, id)` ASC, курсор — base64url от
|
||||
- Пагинация: keyset `(created_at, id)` ASC, курсор - base64url от
|
||||
`scope|RFC3339Nano|uuid`. Scope привязан к ресурсу; чужой курсор → 400.
|
||||
- Пул БД: `pgxpool.MaxConns=10`, `HealthCheckPeriod=10s`, `ConnectTimeout=5s`.
|
||||
- Redis: `DialTimeout/ReadTimeout/WriteTimeout=700ms`, `MaxRetries=1`.
|
||||
@@ -142,14 +144,14 @@ rm -f secrets/*
|
||||
|
||||
| Критерий README | Команда | Наблюдаемый результат | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `python tests/smoke.py` | `PASS: lab2 public API scenario` | — |
|
||||
| Persistence | `python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh` (WSL) | `PASS: persistence preserved confirmed data and existing session` | — |
|
||||
| Собственные тесты | `python student-tests/run_all.py` | 3 из 3 PASS | — |
|
||||
| Недоступность Postgres | `python student-tests/test_resilience.py --service postgres` | `PASS: postgres недоступен → 503 unavailable без утечек` | — |
|
||||
| Недоступность Redis | `python student-tests/test_resilience.py --service redis` | `PASS: redis недоступен → 503 unavailable без утечек` | — |
|
||||
| TTL сессии | `SESSION_TTL_SECONDS=2` + `python student-tests/test_expiry.py` | 401 Bearer после TTL | — |
|
||||
| Гонка за username | `test_concurrency.py` | 1 победитель, 9 конфликтов | — |
|
||||
| Argon2id | `docker compose exec postgres psql -c "SELECT left(password_hash,20) FROM users LIMIT 1"` | `$argon2id$v=19$m=65536` | — |
|
||||
| Публичный smoke | `python tests/smoke.py` | `PASS: lab2 public API scenario` | - |
|
||||
| Persistence | `python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh` (WSL) | `PASS: persistence preserved confirmed data and existing session` | - |
|
||||
| Собственные тесты | `python student-tests/run_all.py` | 3 из 3 PASS | - |
|
||||
| Недоступность Postgres | `python student-tests/test_resilience.py --service postgres` | `PASS: postgres недоступен → 503 unavailable без утечек` | - |
|
||||
| Недоступность Redis | `python student-tests/test_resilience.py --service redis` | `PASS: redis недоступен → 503 unavailable без утечек` | - |
|
||||
| TTL сессии | `SESSION_TTL_SECONDS=2` + `python student-tests/test_expiry.py` | 401 Bearer после TTL | - |
|
||||
| Гонка за username | `test_concurrency.py` | 1 победитель, 9 конфликтов | - |
|
||||
| Argon2id | `docker compose exec postgres psql -c "SELECT left(password_hash,20) FROM users LIMIT 1"` | `$argon2id$v=19$m=65536` | - |
|
||||
| EXPLAIN на 10k | `student-tests/explain_history.sh <chat10k>` | Index Scan, Buffers=3, Exec 0.063 ms | `evidence/explain_history_10k.txt` |
|
||||
| EXPLAIN на 100k | `student-tests/explain_history.sh <hot>` | Index Scan, Buffers=45, Exec 0.064 ms | `evidence/explain_history.txt` |
|
||||
| Трек 5: 100k неравномерных | `python student-tests/seed_large.py` | 100 000 сообщений за 115.5 с (866/s) | `evidence/seed_large.txt` |
|
||||
@@ -159,8 +161,8 @@ rm -f secrets/*
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Стенд.** Windows 11 + Docker Desktop на WSL 2, 4 vCPU, 16 GB RAM.
|
||||
PostgreSQL 16.4, Redis 7.4, приложение — Go 1.26, один контейнер API.
|
||||
**Стенд.** Windows 10 + Docker Desktop на WSL 2, 8 vCPU, 16 GB RAM.
|
||||
PostgreSQL 16.4, Redis 7.4, приложение - Go 1.26, один контейнер API.
|
||||
|
||||
**Сценарий 1: недоступность Postgres.**
|
||||
|
||||
@@ -180,7 +182,7 @@ PostgreSQL 16.4, Redis 7.4, приложение — Go 1.26, один конт
|
||||
|
||||
**Сценарий 3: полный перезапуск стека.**
|
||||
|
||||
- Воздействие: `scripts/restart.sh` — `stop api postgres redis`, затем
|
||||
- Воздействие: `scripts/restart.sh` - `stop api postgres redis`, затем
|
||||
`start` с ожиданием `healthy`, без `down -v`.
|
||||
- Ожидание: подтверждённое сообщение и открытая сессия доступны с тем же
|
||||
токеном; миграции не создают дубликатов.
|
||||
@@ -220,14 +222,14 @@ created_at, id LIMIT 50` должен выполняться через `Index S
|
||||
| Вариант | План | Buffers (hit/read/total) | Execution | Размер индекса |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| A baseline `(chat_id, created_at, id)` | Index Scan | 42/3/45 | 0.070 ms | 6360 kB |
|
||||
| B1 `INCLUDE (sender_id)` | Index Scan | 42/4/46 | 0.070 ms | — |
|
||||
| B2 `INCLUDE (sender_id, text)` | **Index Only Scan**, Heap Fetches=0 | 1/3/**4** | 0.071 ms | — |
|
||||
| C без индекса | Parallel Seq Scan + top-N Sort | 1486/0/**1486** | **9.660 ms** | — |
|
||||
| B1 `INCLUDE (sender_id)` | Index Scan | 42/4/46 | 0.070 ms | - |
|
||||
| B2 `INCLUDE (sender_id, text)` | **Index Only Scan**, Heap Fetches=0 | 1/3/**4** | 0.071 ms | - |
|
||||
| C без индекса | Parallel Seq Scan + top-N Sort | 1486/0/**1486** | **9.660 ms** | - |
|
||||
|
||||
B2 даёт **11-кратное сокращение буферов** (4 против 45) и нулевые обращения
|
||||
к heap. Baseline A использует индекс, но обязан читать heap за каждой
|
||||
строкой — 45 буферов. B1, покрывая только `sender_id`, не даёт Index Only
|
||||
Scan: запрос выбирает ещё и `text`, планировщик вынужден идти в heap —
|
||||
строкой - 45 буферов. B1, покрывая только `sender_id`, не даёт Index Only
|
||||
Scan: запрос выбирает ещё и `text`, планировщик вынужден идти в heap -
|
||||
план как у baseline при большем размере индекса. Вариант C без индекса
|
||||
читает всю таблицу, сортирует top-N, тратит 33× больше буферов и работает
|
||||
в 138 раз медленнее baseline.
|
||||
@@ -240,7 +242,7 @@ Scan: запрос выбирает ещё и `text`, планировщик в
|
||||
| B1 `INCLUDE (sender_id)` | 288.259 ms | 8848 kB |
|
||||
|
||||
Размер индекса под B1 вырос на 30 % (6768 → 8848 kB). Разница во времени
|
||||
INSERT (288 против 353 ms) в одном прогоне не воспроизводима — шум
|
||||
INSERT (288 против 353 ms) в одном прогоне не воспроизводима - шум
|
||||
единственного замера на WSL 2 с фоновым I/O от предыдущего `DELETE`.
|
||||
Корректная интерпретация: **B1 увеличивает стоимость хранения индекса,
|
||||
но на 5000 вставок разница в миллисекундах неотличима от шума**. Для
|
||||
@@ -266,12 +268,12 @@ production-вывода нужен повтор ≥3 раза и учёт WAL-б
|
||||
сессий через перезапуск хранилищ обеспечивается Redis AOF `everysec`
|
||||
и подтверждена сценарием `persistence` (тест 3).
|
||||
|
||||
**Границы потери данных (RPO).** Дамп — точечный, без WAL-архивации.
|
||||
**Границы потери данных (RPO).** Дамп - точечный, без WAL-архивации.
|
||||
RPO = времени с момента последнего `pg_dump` до сбоя. Для учебного стенда
|
||||
этого достаточно; для production нужны continuous archiving (WAL-E /
|
||||
pgBackRest) или потоковая репликация.
|
||||
|
||||
**RTO.** Восстановление 100k-дампа — секунды. Основное время уходит не
|
||||
**RTO.** Восстановление 100k-дампа - секунды. Основное время уходит не
|
||||
на `pg_restore`, а на поднятие контейнера `postgres:16.4-alpine` и
|
||||
`pg_isready` (~10 с).
|
||||
|
||||
@@ -283,8 +285,8 @@ pgBackRest) или потоковая репликация.
|
||||
| `stop redis` | 503 unavailable без утечек | PASS | ~1 с |
|
||||
| `restart api+postgres+redis` | сессия и данные сохранены | PASS | 5–10 с |
|
||||
| `pg_dump → pg_restore` в новый контейнер | совпадение счётчиков и md5 | PASS | < 1 с (restore), ~10 с (контейнер) |
|
||||
| 100 сообщений из 10 потоков | ровно 100 без дублей | PASS | — |
|
||||
| 10 × регистрация одного username | 1 успех + 9 × 409 | PASS | — |
|
||||
| 100 сообщений из 10 потоков | ровно 100 без дублей | PASS | - |
|
||||
| 10 × регистрация одного username | 1 успех + 9 × 409 | PASS | - |
|
||||
|
||||
### Ограничения измерений
|
||||
|
||||
@@ -316,11 +318,11 @@ pgBackRest) или потоковая репликация.
|
||||
|
||||
**Не реализовано (вне lab2).**
|
||||
|
||||
- Идемпотентность сообщений и `X-Instance-Id` — lab3.
|
||||
- Вложения и S3 — lab4.
|
||||
- Брокер и worker — lab5.
|
||||
- OTel/Grafana — lab6.
|
||||
- TLS, mTLS, OpenBao — lab7.
|
||||
- Идемпотентность сообщений и `X-Instance-Id` - lab3.
|
||||
- Вложения и S3 - lab4.
|
||||
- Брокер и worker - lab5.
|
||||
- OTel/Grafana - lab6.
|
||||
- TLS, mTLS, OpenBao - lab7.
|
||||
- Rate limiting (`429`): схема допускает, реализация не требуется.
|
||||
|
||||
**Учебные упрощения.**
|
||||
@@ -328,7 +330,7 @@ pgBackRest) или потоковая репликация.
|
||||
- HTTP без TLS допустим для локального стенда.
|
||||
- `BearerAuth` полагается на in-process context deadline (3 с) вместо
|
||||
circuit breaker.
|
||||
- `pg_dump` — точечный backup, не production-grade.
|
||||
- `pg_dump` - точечный backup, не production-grade.
|
||||
|
||||
**Что осталось бы сделать в проде.**
|
||||
|
||||
@@ -343,15 +345,15 @@ pgBackRest) или потоковая репликация.
|
||||
|
||||
С этим файлом можно коммитить по схеме:
|
||||
|
||||
- **Commit 8 (19:47:09)** — весь файл целиком, с финальными цифрами трека 2. Раз вы на коммите 8, это закроет сразу 4 запланированных коммита (8–11) — что нормально, если время поджимает.
|
||||
- **Commit 8 (19:47:09)** - весь файл целиком, с финальными цифрами трека 2. Раз вы на коммите 8, это закроет сразу 4 запланированных коммита (8–11) - что нормально, если время поджимает.
|
||||
|
||||
Если хотите всё-таки 4 отдельных коммита — разделите содержимое так:
|
||||
Если хотите всё-таки 4 отдельных коммита - разделите содержимое так:
|
||||
|
||||
- **Commit 8** — только блок «Трек 2: гипотеза и методика»
|
||||
- **Commit 9** — только «Результаты EXPLAIN», «Стоимость записи», «Backup и восстановление»
|
||||
- **Commit 10** — «Ограничения измерений» и «Сводка экспериментов»
|
||||
- **Commit 11** — финальный проход по остальным секциям (Архитектура, Доказательства критериев)
|
||||
- **Commit 8** - только блок «Трек 2: гипотеза и методика»
|
||||
- **Commit 9** - только «Результаты EXPLAIN», «Стоимость записи», «Backup и восстановление»
|
||||
- **Commit 10** - «Ограничения измерений» и «Сводка экспериментов»
|
||||
- **Commit 11** - финальный проход по остальным секциям (Архитектура, Доказательства критериев)
|
||||
|
||||
После коммита 8 пришлите `git log` — сверю таймлайн и подскажу, если что-то сдвинулось относительно плана 19:47 → 20:29.
|
||||
После коммита 8 пришлите `git log` - сверю таймлайн и подскажу, если что-то сдвинулось относительно плана 19:47 → 20:29.
|
||||
|
||||
Если нужно что-то поправить в самом тексте REPORT — скажите, поправлю.
|
||||
Если нужно что-то поправить в самом тексте REPORT - скажите, поправлю.
|
||||
Reference in New Issue
Block a user