Files
mtusi2026lab2/docs/DEFENSE.md
T
Alexey BodanyukandClaude Opus 5.5 eb92e8e91e bench: трек 2 — планы запросов, стоимость записи, backup/restore со сверкой
plans.py: 121 120 сообщений (60k/15k/2k/80), 3 индекса x keyset/OFFSET x 3 размера
чата, pgbench в отдельном контейнере; WAL на вставку детерминированно.
backup_restore.py: pg_dump живой БД во время записи через API, восстановление в
новый контейнер и volume, сверка MD5 по чатам, API на восстановленной БД.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 20:08:13 +03:00

11 KiB
Raw Blame History

Шпаргалка к защите ЛР 2

Отчёт с доказательствами — REPORT.md, модель данных — DATA_MODEL.md.

Что изменилось по сравнению с lab1

Было в lab1 Стало в lab2 Где
словари в памяти (store.py) PostgreSQL 18, данные переживают рестарт repo.py, migrations/0001_init.sql
X-User-Id вход по Basic → opaque Bearer с expiry, logout authhdr.py, sessions.py, app.py
нет паролей Argon2id (m=19 MiB, t=2, p=1) в отдельном потоке passwords.py
threading.Lock + свой счётчик времени блокировка строки чата UPDATE chats … RETURNING в транзакции add_message в repo.py
bisect по списку индекс (chat_id, created_at, id) и row-comparison в Index Cond HISTORY_AFTER в repo.py
один контейнер compose.yaml: postgres, valkey, migrate, api; secrets-файлы; named volumes compose.yaml

Что осталось из lab1: формат ошибок и X-Request-Id, строгая валидация, cursor (теперь с проверкой диапазона времени), JSON-логи, graceful SIGTERM, healthcheck, Swagger на /docs.

Путь запроса GET /chats/{id}/messages?cursor=… в lab2

  1. parse_bearer: в заголовке ровно Bearer <43 символа>, иначе 401 с WWW-Authenticate: Bearer.
  2. sessions.user_id_for: в Valkey ключ session:<sha256(token)>, проверка expires_at. Valkey недоступен — 503, нет ключа — 401.
  3. path_uuid → 400; ensure_member (SELECT 1 FROM chat_members …) → 404 для чужого чата.
  4. cursor.decode → (время в мкс, id), привязка к чату → иначе 400.
  5. HISTORY_AFTER: WHERE chat_id=$1 AND (created_at, id) > ($2,$3) ORDER BY … LIMIT 51 — индекс начинает чтение прямо с cursor.
  6. Каждая работа с БД — db.run(...): отдельная задача, транзакция, дедлайн 3 с. Отказ или зависание БД → 503 ровно через дедлайн.

Вопросы из README

Что подтверждает COMMIT и какие гарантии зависят от настройки durability? COMMIT возвращается клиенту, когда запись транзакции в WAL сброшена на диск (fsync=on, synchronous_commit=on, это значения по умолчанию). Транзакция переживёт падение процесса PostgreSQL или ОС: при старте PostgreSQL проиграет WAL. От настроек зависит:

  • synchronous_commit=off — ответ приходит раньше сброса, и последние ~0,6 с подтверждённых транзакций могут пропасть (база при этом останется целой);
  • fsync=off — после сбоя возможна порча данных;
  • кэш записи диска, который «врёт» о сбросе, ломает и то, и другое.

COMMIT на одном узле не защищает от потери самого диска или хоста: для этого нужны реплики (synchronous_standby_names) или резервные копии с архивом WAL (трек 2).

У Valkey свой аналог — appendfsync:

  • у нас always: fsync до ответа, ничего не теряется;
  • everysec: можно потерять до 1 с записей;
  • no: когда сбросить на диск, решает ОС.

Где хранятся сессии и что будет после flush/restart Redis (Valkey)? По умолчанию (SESSION_STORE=valkey) сессия существует только в Valkey: ключ session:<sha256>, значение {user_id, expires_at} и абсолютный срок PXAT.

  • Restart: Valkey перечитывает AOF с volume, сессии на месте (тест make test-persistence). TTL не продлевается.
  • FLUSHALL или потеря volume: все сессии исчезают, все пользователи получают 401 и входят заново. Отказ безопасный: доступ не выдаётся никому.
  • Valkey недоступен: 503 на защищённые запросы и на logout. Анонимный доступ не открывается.

Почему не кэш над PostgreSQL: у одной копии нечему расходиться. У студентов с кэшем отозванный токен «оживал» после восстановления Redis, у нас такой ситуации быть не может (тест test_logout_during_valkey_outage_is_never_lost). Альтернатива SESSION_STORE=postgres хранит сессии в таблице sessions.

Чем аутентификация отличается от доступа к конкретному чату?

  • Аутентификация — кто ты: действительная Bearer-сессия → user_id. Нет или недействительна → 401.
  • Авторизация доступа — можно ли этому пользователю этот чат: есть ли строка в chat_members. Нет → 404, а не 403, чтобы не раскрывать существование чужого чата.

Сначала всегда аутентификация, потом доступ. Отправитель сообщения берётся из сессии, а БД сама проверяет FOREIGN KEY (chat_id, sender_id) → chat_members.

Почему hash пароля и быстрый checksum имеют разные задачи?

  • Checksum или быстрый хеш (SHA-256) — контроль целостности и быстрый поиск. Он должен быть быстрым.
  • Хеш пароля — защита низкоэнтропийного секрета на случай утечки базы. Он должен быть медленным, с солью и memory-hard (Argon2id), чтобы перебор словаря стоил дорого и не ускорялся на GPU.

Токен сессии — 256 бит случайности, перебрать его невозможно. Поэтому для токена хватает SHA-256: храним хеш, чтобы утечка базы не дала готовых токенов. Для пароля SHA-256 нельзя: миллиарды попыток в секунду на GPU.

Частые ловушки (на чём преподаватель ловил других) и наш ответ

Проверка преподавателя У нас Тест
logout при упавшем Redis → после восстановления токен снова 200 logout при упавшем Valkey = 503 (ничего не отозвано); после восстановления logout → 401, и после рестарта Valkey и API тоже 401 test_logout_during_valkey_outage_is_never_lost
истёкшая сессия живёт в кэше expiry проверяется при каждом чтении, ключ живёт до абсолютного PXAT test_short_ttl_expires[valkey/postgres]
docker pause postgres → запрос висит 8+ с клиентский дедлайн в отдельной задаче: 503 через 3,0 с test_postgres_failure[pause]
БД упала → 401 вместо 503 503 unavailable, анонимный — 401 test_postgres_failure, test_postgres_session_store
cursor в Filter при generic plan два запроса без IS NULL OR, cursor в Index Cond test_explain.py, evidence/explain-history.txt
\u0000 → 500 текст в bytea, NUL сохраняется test_unicode_limits_are_code_points_and_nul_is_stored
пароль из пробелов, Basic é → 500 400 и 401 test_bad_password_on_registration_is_400, test_malformed_basic_is_401_not_500
гонка регистрации считает любые ошибки за 409 проверяются коды: ровно [201] + [409]*7, в БД 1 строка test_registration_race_exactly_one_201_and_seven_409
rollback «до первого INSERT» чат вставляется первым, FK участника падает после; n_tup_ins вырос, строк нет test_create_chat_rolls_back_after_the_chat_row_was_inserted
SESSION_TTL_SECONDS не доходит до контейнера compose передаёт его из .env, тест читает printenv внутри контейнера test_short_ttl_expires
нет команды создания secrets python scripts/init_secrets.py (идемпотентно) раздел «Запуск из чистого clone»

Трек 2 — коротко

  • Гипотеза. С индексом (chat_id, created_at, id) и keyset-запросом стоимость страницы не зависит от размера чата и позиции. С индексом только по chat_id нужна сортировка всего чата, с OFFSET — чтение всего префикса. Каждый индекс удорожает запись.
  • Методика. Отдельный PostgreSQL (2 CPU / 2 GiB), 121 120 сообщений, чаты 60 000 / 15 000 / 2 000 / 80. pgbench с prepared statements; генератор нагрузки — в своём контейнере. 3 повтора. Плюс EXPLAIN для поздней страницы.
  • Backup. pg_dump -Fc живой БД во время записи через API → новый контейнер и новый volume → pg_restore → сверка MD5 по каждому чату и по первым/последним сообщениям → наше же API на восстановленной БД читает чат после нового входа.
  • RPO и RTO. pg_dump — снимок на момент старта. Всё подтверждённое после старта дампа в копию не попадает; это и есть граница потери данных (на практике — время с последнего дампа). RTO — время pg_restore с перестройкой индексов плюс переключение приложения. Чтобы уменьшить RPO до секунд, нужен архив WAL и PITR или реплика.