ЛР 2 - БПИ2301 - Казанцева - на 5 #89

Closed
vika wants to merge 1 commits from vika/mtusi2026lab2:solution/bpi2301-kazantseva into master
First-time contributor

Лабораторная 2

Автор / группа: Казанцева Виктория / БПИ2301
Целевая оценка (3/4/5): 5
Трек 5: трек 2. Сравнивала планы чтения истории и восстановление pg_dump в новый том.

Что реализовано и что перенесено: из первой лабораторной оставила разбор HTTP, курсор и лимит тела 65536 байт. Состояние унесла из памяти. Пользователи, чаты, участники и сообщения теперь в PostgreSQL, сессии только в Redis. Историю в Redis не клала: после POST следующее чтение идёт в базу, и отдельный кэш тут было бы нечем оправдывать.

Пароль — Argon2id, m=19456, t=2, p=1. bcrypt не взяла, потому что он обрезает длинный UTF-8 около 72 байт, а по контракту пароль до 128 code points и может содержать двоеточие. Вход с таким паролем проверен. Basic только на POST /api/v1/auth/sessions. На /users/me и Basic, и голый X-User-Id дают 401 с Bearer challenge. В Redis лежит SHA-256 от токена, не сам токен: это поиск ключа, не хеш пароля.

Создание чата — одна транзакция. Если участника нет, внешний ключ откатывает и строку чата: до и после такого запроса число чатов одно и то же. Восемь потоков с одним username дали один 201 и семь 409. Logout — DELETE ключа, повторный запрос тем же токеном уже 401. TTL при чтении и при рестарте не продлевается. На коротком стенде окно вышло 1,991 с, потом 401, пользователь в Postgres при этом остался.

Пока Redis или Postgres остановлены, запрос с токеном получает 503, запрос без токена — 401. Анонима я не пускаю только потому, что хранилище лежит. После start тот же токен читает то же сообщение. Redis запущен с appendonly и appendfsync always: CONFIG GET показал always, INFO — aof_enabled 1. Поэтому docker stop без удаления тома сессию не стирает. FLUSHALL или down -v стёрли бы.

Команды запуска из чистого clone: copy .env.example .env, затем docker compose --env-file .env up -d --build. Ждать 200 от http://127.0.0.1:8080/health/ready. Миграции накатывает API при старте, второй вызов apply_migrations вернул 0. Порты опубликованы только на 127.0.0.1. Контейнеры названы mtusi-lab2-api, mtusi-lab2-postgres, mtusi-lab2-redis, hook рестартит именно их и не делает down -v.

Результаты проверок и ссылка на REPORT.md: smoke PASS, после restart.sh он прошёл ещё раз. Публичный persistence на Windows я запускала через scripts/restart.cmd, потому что Python здесь не исполняет shebang. Сам scripts/restart.sh прогнан через Git Bash: те же три контейнера, ready снова 200. Свои тесты: 7 OK за 3,203 с. Цифры и планы лежат в REPORT.md и evidence/.

Трек 2 гоняла на отдельной базе messenger_bench, чтобы не упереться в лимит сообщений API. 155 чатов, размеры неровные: один на 80000, дальше 4000, 300, 40, 10 и сто чатов по одному сообщению, всего 100100. Время сообщений перемешано между чатами. Иначе индекс только по created_at выглядит быстрым просто потому, что большой чат лежал одним куском.

Страница большого чата по курсору: Index Scan messages_chat_history_idx, 50 строк, shared hit=6, 0,027 мс. Тот же индекс через OFFSET 40000 прочитал 40050 строк и 788 страниц за 4,180 мс. Без индекса страница чата на 4000 сообщений выкинула фильтром 98101 строку. Индекс только по created_at на том же месте выкинул 205 чужих строк и взял 259 страниц против 6 у нормального. Вставка 2000 строк: 31,8 мс с индексом истории и 27,6 мс без него. На такой пачке разница шумная, честнее цена построения индекса на уже лежащих 100100 строках: 71,9 мс. Поэтому индекс узкий, без body.

pg_dump -Fc получился 3094487 байт за 0,477 с. Восстановление в новый контейнер и новый том mtusi-lab2-restore-data заняло 0,610 с. Сошлись 3 пользователя, 155 чатов, 165 участий и 100100 сообщений, плюс пять выбранных сообщений: первое, среднее и последнее в большом чате, одно из среднего и единственное из маленького. На новой базе keyset снова пошёл в тот же индекс. Сессий в дампе нет, и всё, что записали после старта дампа, в файл не попадает. Это снимок, не архив WAL.

Ограничения / известные ошибки: один процесс API, HTTP без TLS и только на localhost. Лимит частоты живёт в памяти процесса и после рестарта начинается заново. EXPLAIN снят на тёплом кэше, shared_buffers 128 МБ, вся таблица туда помещается, поэтому по shared hit видно число страниц, а не цену холодного диска. COUNT под advisory lock на каждое сообщение точный, но сериализует запись. Учебные пароли стенда лежат в .env и в git не входят.

Источники: документация PostgreSQL про транзакции, EXPLAIN и pg_dump, документация Redis про AOF, RFC 7617, контракт и публичные тесты курса, свой код лабораторной 1. Библиотеки argon2-cffi 23.1.0, psycopg 3.2.9, redis 5.2.1. Замеры сняты локально на i7-12650H, Windows, около 15,7 ГБ памяти.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 2 Автор / группа: Казанцева Виктория / БПИ2301 Целевая оценка (3/4/5): 5 Трек 5: трек 2. Сравнивала планы чтения истории и восстановление pg_dump в новый том. Что реализовано и что перенесено: из первой лабораторной оставила разбор HTTP, курсор и лимит тела 65536 байт. Состояние унесла из памяти. Пользователи, чаты, участники и сообщения теперь в PostgreSQL, сессии только в Redis. Историю в Redis не клала: после POST следующее чтение идёт в базу, и отдельный кэш тут было бы нечем оправдывать. Пароль — Argon2id, m=19456, t=2, p=1. bcrypt не взяла, потому что он обрезает длинный UTF-8 около 72 байт, а по контракту пароль до 128 code points и может содержать двоеточие. Вход с таким паролем проверен. Basic только на POST /api/v1/auth/sessions. На /users/me и Basic, и голый X-User-Id дают 401 с Bearer challenge. В Redis лежит SHA-256 от токена, не сам токен: это поиск ключа, не хеш пароля. Создание чата — одна транзакция. Если участника нет, внешний ключ откатывает и строку чата: до и после такого запроса число чатов одно и то же. Восемь потоков с одним username дали один 201 и семь 409. Logout — DELETE ключа, повторный запрос тем же токеном уже 401. TTL при чтении и при рестарте не продлевается. На коротком стенде окно вышло 1,991 с, потом 401, пользователь в Postgres при этом остался. Пока Redis или Postgres остановлены, запрос с токеном получает 503, запрос без токена — 401. Анонима я не пускаю только потому, что хранилище лежит. После start тот же токен читает то же сообщение. Redis запущен с appendonly и appendfsync always: CONFIG GET показал always, INFO — aof_enabled 1. Поэтому docker stop без удаления тома сессию не стирает. FLUSHALL или down -v стёрли бы. Команды запуска из чистого clone: copy .env.example .env, затем docker compose --env-file .env up -d --build. Ждать 200 от http://127.0.0.1:8080/health/ready. Миграции накатывает API при старте, второй вызов apply_migrations вернул 0. Порты опубликованы только на 127.0.0.1. Контейнеры названы mtusi-lab2-api, mtusi-lab2-postgres, mtusi-lab2-redis, hook рестартит именно их и не делает down -v. Результаты проверок и ссылка на REPORT.md: smoke PASS, после restart.sh он прошёл ещё раз. Публичный persistence на Windows я запускала через scripts/restart.cmd, потому что Python здесь не исполняет shebang. Сам scripts/restart.sh прогнан через Git Bash: те же три контейнера, ready снова 200. Свои тесты: 7 OK за 3,203 с. Цифры и планы лежат в REPORT.md и evidence/. Трек 2 гоняла на отдельной базе messenger_bench, чтобы не упереться в лимит сообщений API. 155 чатов, размеры неровные: один на 80000, дальше 4000, 300, 40, 10 и сто чатов по одному сообщению, всего 100100. Время сообщений перемешано между чатами. Иначе индекс только по created_at выглядит быстрым просто потому, что большой чат лежал одним куском. Страница большого чата по курсору: Index Scan messages_chat_history_idx, 50 строк, shared hit=6, 0,027 мс. Тот же индекс через OFFSET 40000 прочитал 40050 строк и 788 страниц за 4,180 мс. Без индекса страница чата на 4000 сообщений выкинула фильтром 98101 строку. Индекс только по created_at на том же месте выкинул 205 чужих строк и взял 259 страниц против 6 у нормального. Вставка 2000 строк: 31,8 мс с индексом истории и 27,6 мс без него. На такой пачке разница шумная, честнее цена построения индекса на уже лежащих 100100 строках: 71,9 мс. Поэтому индекс узкий, без body. pg_dump -Fc получился 3094487 байт за 0,477 с. Восстановление в новый контейнер и новый том mtusi-lab2-restore-data заняло 0,610 с. Сошлись 3 пользователя, 155 чатов, 165 участий и 100100 сообщений, плюс пять выбранных сообщений: первое, среднее и последнее в большом чате, одно из среднего и единственное из маленького. На новой базе keyset снова пошёл в тот же индекс. Сессий в дампе нет, и всё, что записали после старта дампа, в файл не попадает. Это снимок, не архив WAL. Ограничения / известные ошибки: один процесс API, HTTP без TLS и только на localhost. Лимит частоты живёт в памяти процесса и после рестарта начинается заново. EXPLAIN снят на тёплом кэше, shared_buffers 128 МБ, вся таблица туда помещается, поэтому по shared hit видно число страниц, а не цену холодного диска. COUNT под advisory lock на каждое сообщение точный, но сериализует запись. Учебные пароли стенда лежат в .env и в git не входят. Источники: документация PostgreSQL про транзакции, EXPLAIN и pg_dump, документация Redis про AOF, RFC 7617, контракт и публичные тесты курса, свой код лабораторной 1. Библиотеки argon2-cffi 23.1.0, psycopg 3.2.9, redis 5.2.1. Замеры сняты локально на i7-12650H, Windows, около 15,7 ГБ памяти. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
vika added 1 commit 2026-10-23 13:08:46 +03:00
Перенести мессенджер в PostgreSQL и сессии в Redis.
Skeleton contracts / contracts (pull_request) Canceled after 0s
f9b2fd11e0
Подтверждённые сообщения и действующие сессии переживают перезапуск, история читается по индексу, копия восстанавливается в новый том.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-24 16:16:27 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab2#89