ЛР 2 - БПИ2301 - Журавлев - на 5 #91

Closed
killoq wants to merge 5 commits from killoq/mtusi2026lab2:solution/bpi2301-zhuravlev into master
First-time contributor

Лабораторная 2

Автор / группа: Журавлев Алексей, БПИ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2

Что реализовано и что перенесено: Реализован HTTP API мессенджера с PostgreSQL для пользователей, чатов, участников и сообщений; миграциями; Argon2-хешированием паролей; Basic-входом и opaque Bearer-сессиями в Redis с TTL/AOF; проверкой членства и keyset-пагинацией истории. Перенесена предметная модель lab1; идентификация через X-User-Id заменена аутентификацией по сессии. Создание чата с участниками транзакционно. Для трека 2 добавлены skewed seed, сравнение планов/стоимости записи и pg_dump → восстановление в отдельный PostgreSQL с проверкой counts и sample.

Команды запуска из чистого clone (Windows PowerShell, Docker Desktop, Python Launcher py -3; локальный Compose использует учебные настройки, .env не обязателен):

Set-Location 'C:\VMD2\mtusi2026lab2'
$password = py -3 -c "import secrets; print(secrets.token_hex(32))"
@"
POSTGRES_PASSWORD=$password
APP_PORT=8080
SESSION_TTL_SECONDS=3600
"@ | Set-Content -Encoding ascii .env
git check-ignore .env
docker compose config --quiet
docker compose up -d --build
Invoke-RestMethod http://localhost:8080/health/ready
make check
make test
make student-test
py -3 scripts/track2_run.py
$env:RUN_TRACK2_VERIFY = '1'
py -3 -m unittest student-tests.test_track2
Remove-Item Env:RUN_TRACK2_VERIFY
docker compose down

Для проверки persistence, отказов Redis/PostgreSQL и expiry команды приведены в REPORT.md. docker compose down останавливает сервисы, сохраняя volumes; down -v намеренно удаляет данные.

Результаты проверок и ссылка на REPORT.md: Локально выполнены: py -3 scripts/check_contract.py — PASS; py -3 tests/smoke.py --base-url http://localhost:8080 — PASS; py -3 -m unittest discover -s student-tests -p 'test_*.py' — 10 tests, OK, 5 skipped; track2 evidence tests — 2 tests, OK; persistence hook — PASS; infrastructure failure tests — 2 tests, OK; session expiry test при TTL=2 — 1 test, OK; полный track2 backup/restore — PASS, counts_match=true, sample_match=true. make check и make test также выполнялись ранее и прошли. Подробности, команды и ограничения — в REPORT.md. Результаты локального запуска не являются результатом CI.

Ограничения / известные ошибки: TLS и production secret manager не настроены; Redis в локальной сети не защищён паролем. Redis — единственное хранилище активных сессий; PostgreSQL не настроен на WAL archiving/PITR. Benchmark синтетический, однопроходный и без зафиксированных CPU/RAM; абсолютные времена и throughput зависят от среды. API запускается одной репликой; failover нескольких API-реплик не реализован. Приложение поддерживает file-based DB/cache configuration, но Compose secrets не монтируются.

  • [+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • [+] Контракт и публичные тесты не ослаблены.
  • [+] make check и make test выполнены; приложен реальный вывод.
  • [+] Сценарии отказов/безопасности своего уровня воспроизведены.
  • [+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • [+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 2 Автор / группа: Журавлев Алексей, БПИ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: 2 Что реализовано и что перенесено: Реализован HTTP API мессенджера с PostgreSQL для пользователей, чатов, участников и сообщений; миграциями; Argon2-хешированием паролей; Basic-входом и opaque Bearer-сессиями в Redis с TTL/AOF; проверкой членства и keyset-пагинацией истории. Перенесена предметная модель lab1; идентификация через X-User-Id заменена аутентификацией по сессии. Создание чата с участниками транзакционно. Для трека 2 добавлены skewed seed, сравнение планов/стоимости записи и `pg_dump` → восстановление в отдельный PostgreSQL с проверкой counts и sample. Команды запуска из чистого clone (Windows PowerShell, Docker Desktop, Python Launcher `py -3`; локальный Compose использует учебные настройки, `.env` не обязателен): ```powershell Set-Location 'C:\VMD2\mtusi2026lab2' $password = py -3 -c "import secrets; print(secrets.token_hex(32))" @" POSTGRES_PASSWORD=$password APP_PORT=8080 SESSION_TTL_SECONDS=3600 "@ | Set-Content -Encoding ascii .env git check-ignore .env docker compose config --quiet docker compose up -d --build Invoke-RestMethod http://localhost:8080/health/ready make check make test make student-test py -3 scripts/track2_run.py $env:RUN_TRACK2_VERIFY = '1' py -3 -m unittest student-tests.test_track2 Remove-Item Env:RUN_TRACK2_VERIFY docker compose down ``` Для проверки persistence, отказов Redis/PostgreSQL и expiry команды приведены в [REPORT.md](REPORT.md). `docker compose down` останавливает сервисы, сохраняя volumes; `down -v` намеренно удаляет данные. Результаты проверок и ссылка на REPORT.md: Локально выполнены: `py -3 scripts/check_contract.py` — PASS; `py -3 tests/smoke.py --base-url http://localhost:8080` — PASS; `py -3 -m unittest discover -s student-tests -p 'test_*.py'` — 10 tests, OK, 5 skipped; track2 evidence tests — 2 tests, OK; persistence hook — PASS; infrastructure failure tests — 2 tests, OK; session expiry test при TTL=2 — 1 test, OK; полный track2 backup/restore — PASS, `counts_match=true`, `sample_match=true`. `make check` и `make test` также выполнялись ранее и прошли. Подробности, команды и ограничения — в [REPORT.md](REPORT.md). Результаты локального запуска не являются результатом CI. Ограничения / известные ошибки: TLS и production secret manager не настроены; Redis в локальной сети не защищён паролем. Redis — единственное хранилище активных сессий; PostgreSQL не настроен на WAL archiving/PITR. Benchmark синтетический, однопроходный и без зафиксированных CPU/RAM; абсолютные времена и throughput зависят от среды. API запускается одной репликой; failover нескольких API-реплик не реализован. Приложение поддерживает file-based DB/cache configuration, но Compose secrets не монтируются. - [+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [+] Контракт и публичные тесты не ослаблены. - [+] make check и make test выполнены; приложен реальный вывод. - [+] Сценарии отказов/безопасности своего уровня воспроизведены. - [+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
killoq added 2 commits 2026-10-23 15:55:42 +03:00
fix and report update
Skeleton contracts / contracts (pull_request) Canceled after 0s
396d149849
Owner

Обнаруженные проблемы:

  1. Нет timeout выполнения SQL. Удержать ACCESS EXCLUSIVE на users и выполнить авторизованный GET /api/v1/users/me. Ожидается ограниченное ожидание с управляемой ошибкой. Фактически запрос ждал блокировку 8,13 с и завершился только после её снятия; statement_timeout=0, lock_timeout=0. Параметр pool timeout=5 ограничивает получение соединения. См. db.py:36.
  2. Регистрация при отказе PostgreSQL возвращает 500. Остановить PostgreSQL и отправить корректный POST /api/v1/users. Ожидается 503 unavailable; получено 500 internal_error. Обрабатывается только конфликт уникальности: db.py:95.
  3. Проверка backup/restore ломается на допустимом многострочном сообщении. Отправить текст "первая строка\nвторая строка", затем вызвать snapshot. Ожидается сохранение и сравнение полного текста; получен IndexError из-за splitlines() и позиционного разбора. Эта функция вызывается перед restore, поэтому такой сценарий останавливается. Основное восстановление до этой точечной проверки прошло. См. scripts/track2_backup_restore.py:46. Нужна безопасная сериализация строк, например JSON.
Обнаруженные проблемы: 1. Нет timeout выполнения SQL. Удержать ACCESS EXCLUSIVE на users и выполнить авторизованный GET /api/v1/users/me. Ожидается ограниченное ожидание с управляемой ошибкой. Фактически запрос ждал блокировку 8,13 с и завершился только после её снятия; statement_timeout=0, lock_timeout=0. Параметр pool timeout=5 ограничивает получение соединения. См. [db.py:36](https://gitea.privcloud.tech/killoq/mtusi2026lab2/src/commit/396d149849ea106bea5949c3c4374f5affa2d2a0/db.py#L36). 2. Регистрация при отказе PostgreSQL возвращает 500. Остановить PostgreSQL и отправить корректный POST /api/v1/users. Ожидается 503 unavailable; получено 500 internal_error. Обрабатывается только конфликт уникальности: [db.py:95](https://gitea.privcloud.tech/killoq/mtusi2026lab2/src/commit/396d149849ea106bea5949c3c4374f5affa2d2a0/db.py#L95). 3. Проверка backup/restore ломается на допустимом многострочном сообщении. Отправить текст "первая строка\nвторая строка", затем вызвать snapshot. Ожидается сохранение и сравнение полного текста; получен IndexError из-за splitlines() и позиционного разбора. Эта функция вызывается перед restore, поэтому такой сценарий останавливается. Основное восстановление до этой точечной проверки прошло. См. [scripts/track2_backup_restore.py:46](https://gitea.privcloud.tech/killoq/mtusi2026lab2/src/commit/396d149849ea106bea5949c3c4374f5affa2d2a0/scripts/track2_backup_restore.py#L46). Нужна безопасная сериализация строк, например JSON.
killoq added 1 commit 2026-10-23 18:29:41 +03:00
fixes
Skeleton contracts / contracts (pull_request) Canceled after 0s
3d33f0807f
killoq added 1 commit 2026-10-23 18:33:26 +03:00
fixed test import
Skeleton contracts / contracts (pull_request) Canceled after 0s
d49914a62f
Author
First-time contributor

Исправил

Исправил
killoq added 1 commit 2026-10-25 23:05:06 +03:00
объяснение 2 трека
Skeleton contracts / contracts (pull_request) Canceled after 0s
19452af70e
Author
First-time contributor

В коде индекс создаётся перед третьим EXPLAIN в \scripts\track2_benchmark.py:
conn.execute('CREATE INDEX messages_chat_id_only_idx ON messages (chat_id)')
conn.commit()
plan_keyset_with_extra = explain(conn, keyset_sql, (hot_id,))

То есть во время получения plan_keyset_with_extra PostgreSQL может использовать messages_chat_id_only_idx. Но поле index_name в JSON показывает индекс, выбранный для выполнения запроса, а не все индексы, доступные в таблице. В benchmark.json в третьем плане указан messages_chat_history_idx - составной индекс (chat_id, created_at, id). Он подходит для этого запроса лучше, поэтому оптимизатор PostgreSQL его и выбрал - дополнительный индекс не улучшил выбранный план keyset-запроса.

Я добавил проверку создания доп индекса в \track2_benchmark.py:
indexes = conn.execute(
"SELECT indexname, indexdef FROM pg_indexes "
"WHERE tablename = 'messages' ORDER BY indexname"
).fetchall()
print(indexes)

Вот вывод в консоли:
[('messages_chat_history_idx', 'CREATE INDEX messages_chat_history_idx ON public.messages USING btree (chat_id, created_at, id)'), ('messages_chat_id_only_idx', 'CREATE INDEX messages_chat_id_only_idx ON public.messages USING btree (chat_id)'), ('messages_pkey', 'CREATE UNIQUE INDEX messages_pkey ON public.messages USING btree (id)')]. Это подтверждает, что дополнительный индекс был доступен при выполнении следующего EXPLAIN.

В коде индекс создаётся перед третьим EXPLAIN в \scripts\track2_benchmark.py: conn.execute('CREATE INDEX messages_chat_id_only_idx ON messages (chat_id)') conn.commit() plan_keyset_with_extra = explain(conn, keyset_sql, (hot_id,)) То есть во время получения plan_keyset_with_extra PostgreSQL может использовать messages_chat_id_only_idx. Но поле index_name в JSON показывает индекс, выбранный для выполнения запроса, а не все индексы, доступные в таблице. В benchmark.json в третьем плане указан messages_chat_history_idx - составной индекс (chat_id, created_at, id). Он подходит для этого запроса лучше, поэтому оптимизатор PostgreSQL его и выбрал - дополнительный индекс не улучшил выбранный план keyset-запроса. Я добавил проверку создания доп индекса в \track2_benchmark.py: indexes = conn.execute( "SELECT indexname, indexdef FROM pg_indexes " "WHERE tablename = 'messages' ORDER BY indexname" ).fetchall() print(indexes) Вот вывод в консоли: [('messages_chat_history_idx', 'CREATE INDEX messages_chat_history_idx ON public.messages USING btree (chat_id, created_at, id)'), ('messages_chat_id_only_idx', 'CREATE INDEX messages_chat_id_only_idx ON public.messages USING btree (chat_id)'), ('messages_pkey', 'CREATE UNIQUE INDEX messages_pkey ON public.messages USING btree (id)')]. Это подтверждает, что дополнительный индекс был доступен при выполнении следующего EXPLAIN.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-26 11:41:57 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab2#91