plans.py: 121 120 сообщений (60k/15k/2k/80), 3 индекса x keyset/OFFSET x 3 размера чата, pgbench в отдельном контейнере; WAL на вставку детерминированно. backup_restore.py: pg_dump живой БД во время записи через API, восстановление в новый контейнер и volume, сверка MD5 по чатам, API на восстановленной БД. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
11 KiB
Шпаргалка к защите ЛР 2
Отчёт с доказательствами — REPORT.md, модель данных — DATA_MODEL.md.
Что изменилось по сравнению с lab1
| Было в lab1 | Стало в lab2 | Где |
|---|---|---|
словари в памяти (store.py) |
PostgreSQL 18, данные переживают рестарт | repo.py, migrations/0001_init.sql |
X-User-Id |
вход по Basic → opaque Bearer с expiry, logout |
authhdr.py, sessions.py, app.py |
| нет паролей | Argon2id (m=19 MiB, t=2, p=1) в отдельном потоке | passwords.py |
threading.Lock + свой счётчик времени |
блокировка строки чата UPDATE chats … RETURNING в транзакции |
add_message в repo.py |
bisect по списку |
индекс (chat_id, created_at, id) и row-comparison в Index Cond |
HISTORY_AFTER в repo.py |
| один контейнер | compose.yaml: postgres, valkey, migrate, api; secrets-файлы; named volumes |
compose.yaml |
Что осталось из lab1: формат ошибок и X-Request-Id, строгая валидация, cursor (теперь с проверкой диапазона времени), JSON-логи, graceful SIGTERM, healthcheck, Swagger на /docs.
Путь запроса GET /chats/{id}/messages?cursor=… в lab2
parse_bearer: в заголовке ровноBearer <43 символа>, иначе 401 сWWW-Authenticate: Bearer.sessions.user_id_for: в Valkey ключsession:<sha256(token)>, проверкаexpires_at. Valkey недоступен — 503, нет ключа — 401.path_uuid→ 400;ensure_member(SELECT 1 FROM chat_members …) → 404 для чужого чата.cursor.decode→(время в мкс, id), привязка к чату → иначе 400.HISTORY_AFTER:WHERE chat_id=$1 AND (created_at, id) > ($2,$3) ORDER BY … LIMIT 51— индекс начинает чтение прямо с cursor.- Каждая работа с БД —
db.run(...): отдельная задача, транзакция, дедлайн 3 с. Отказ или зависание БД → 503 ровно через дедлайн.
Вопросы из README
Что подтверждает COMMIT и какие гарантии зависят от настройки durability?
COMMIT возвращается клиенту, когда запись транзакции в WAL сброшена на диск (fsync=on, synchronous_commit=on, это значения по умолчанию). Транзакция переживёт падение процесса PostgreSQL или ОС: при старте PostgreSQL проиграет WAL. От настроек зависит:
synchronous_commit=off— ответ приходит раньше сброса, и последние ~0,6 с подтверждённых транзакций могут пропасть (база при этом останется целой);fsync=off— после сбоя возможна порча данных;- кэш записи диска, который «врёт» о сбросе, ломает и то, и другое.
COMMIT на одном узле не защищает от потери самого диска или хоста: для этого нужны реплики (synchronous_standby_names) или резервные копии с архивом WAL (трек 2).
У Valkey свой аналог — appendfsync:
- у нас
always: fsync до ответа, ничего не теряется; everysec: можно потерять до 1 с записей;no: когда сбросить на диск, решает ОС.
Где хранятся сессии и что будет после flush/restart Redis (Valkey)?
По умолчанию (SESSION_STORE=valkey) сессия существует только в Valkey: ключ session:<sha256>, значение {user_id, expires_at} и абсолютный срок PXAT.
- Restart: Valkey перечитывает AOF с volume, сессии на месте (тест
make test-persistence). TTL не продлевается. - FLUSHALL или потеря volume: все сессии исчезают, все пользователи получают 401 и входят заново. Отказ безопасный: доступ не выдаётся никому.
- Valkey недоступен: 503 на защищённые запросы и на logout. Анонимный доступ не открывается.
Почему не кэш над PostgreSQL: у одной копии нечему расходиться. У студентов с кэшем отозванный токен «оживал» после восстановления Redis, у нас такой ситуации быть не может (тест test_logout_during_valkey_outage_is_never_lost). Альтернатива SESSION_STORE=postgres хранит сессии в таблице sessions.
Чем аутентификация отличается от доступа к конкретному чату?
- Аутентификация — кто ты: действительная Bearer-сессия →
user_id. Нет или недействительна → 401. - Авторизация доступа — можно ли этому пользователю этот чат: есть ли строка в
chat_members. Нет → 404, а не 403, чтобы не раскрывать существование чужого чата.
Сначала всегда аутентификация, потом доступ. Отправитель сообщения берётся из сессии, а БД сама проверяет FOREIGN KEY (chat_id, sender_id) → chat_members.
Почему hash пароля и быстрый checksum имеют разные задачи?
- Checksum или быстрый хеш (SHA-256) — контроль целостности и быстрый поиск. Он должен быть быстрым.
- Хеш пароля — защита низкоэнтропийного секрета на случай утечки базы. Он должен быть медленным, с солью и memory-hard (Argon2id), чтобы перебор словаря стоил дорого и не ускорялся на GPU.
Токен сессии — 256 бит случайности, перебрать его невозможно. Поэтому для токена хватает SHA-256: храним хеш, чтобы утечка базы не дала готовых токенов. Для пароля SHA-256 нельзя: миллиарды попыток в секунду на GPU.
Частые ловушки (на чём преподаватель ловил других) и наш ответ
| Проверка преподавателя | У нас | Тест |
|---|---|---|
| logout при упавшем Redis → после восстановления токен снова 200 | logout при упавшем Valkey = 503 (ничего не отозвано); после восстановления logout → 401, и после рестарта Valkey и API тоже 401 | test_logout_during_valkey_outage_is_never_lost |
| истёкшая сессия живёт в кэше | expiry проверяется при каждом чтении, ключ живёт до абсолютного PXAT |
test_short_ttl_expires[valkey/postgres] |
docker pause postgres → запрос висит 8+ с |
клиентский дедлайн в отдельной задаче: 503 через 3,0 с | test_postgres_failure[pause] |
| БД упала → 401 вместо 503 | 503 unavailable, анонимный — 401 |
test_postgres_failure, test_postgres_session_store |
cursor в Filter при generic plan |
два запроса без IS NULL OR, cursor в Index Cond |
test_explain.py, evidence/explain-history.txt |
\u0000 → 500 |
текст в bytea, NUL сохраняется |
test_unicode_limits_are_code_points_and_nul_is_stored |
пароль из пробелов, Basic é → 500 |
400 и 401 | test_bad_password_on_registration_is_400, test_malformed_basic_is_401_not_500 |
| гонка регистрации считает любые ошибки за 409 | проверяются коды: ровно [201] + [409]*7, в БД 1 строка |
test_registration_race_exactly_one_201_and_seven_409 |
| rollback «до первого INSERT» | чат вставляется первым, FK участника падает после; n_tup_ins вырос, строк нет |
test_create_chat_rolls_back_after_the_chat_row_was_inserted |
SESSION_TTL_SECONDS не доходит до контейнера |
compose передаёт его из .env, тест читает printenv внутри контейнера |
test_short_ttl_expires |
| нет команды создания secrets | python scripts/init_secrets.py (идемпотентно) |
раздел «Запуск из чистого clone» |
Трек 2 — коротко
- Гипотеза. С индексом
(chat_id, created_at, id)и keyset-запросом стоимость страницы не зависит от размера чата и позиции. С индексом только поchat_idнужна сортировка всего чата, с OFFSET — чтение всего префикса. Каждый индекс удорожает запись. - Методика. Отдельный PostgreSQL (2 CPU / 2 GiB), 121 120 сообщений, чаты 60 000 / 15 000 / 2 000 / 80. pgbench с prepared statements; генератор нагрузки — в своём контейнере. 3 повтора. Плюс EXPLAIN для поздней страницы.
- Backup.
pg_dump -Fcживой БД во время записи через API → новый контейнер и новый volume →pg_restore→ сверка MD5 по каждому чату и по первым/последним сообщениям → наше же API на восстановленной БД читает чат после нового входа. - RPO и RTO.
pg_dump— снимок на момент старта. Всё подтверждённое после старта дампа в копию не попадает; это и есть граница потери данных (на практике — время с последнего дампа). RTO — времяpg_restoreс перестройкой индексов плюс переключение приложения. Чтобы уменьшить RPO до секунд, нужен архив WAL и PITR или реплика.