Solution/bpi2304 sirenko #164

Closed
nothingredmouth wants to merge 6 commits from nothingredmouth/mtusi2026lab3-fork:solution/BPI2304-sirenko into main
First-time contributor

ЛР 3 — БПИ2304 — Сиренко — на 3

Что реализовано

  • Перенос приложения мессенджера с сессиями в PostgreSQL (messenger/*, migrations/001_initial.sql, requirements.txt): HTTP API на Flask (Waitress), точка запуска python -m messenger. Пользователи, чаты, сообщения и сессии хранятся в PostgreSQL (UUID, timestamptz, индексы, внешние ключи). Argon2id (argon2-cffi), вход Basic → Bearer, отзыв сессии, TTL (SESSION_TTL_SECONDS, дефолт 3600). Keyset-пагинация сообщений.
  • Общая идемпотентность отправки сообщения (migrations/002_idempotency.sql, scripts/check_idempotency.py, цель make test-idempotency): таблица message_requests + PostgreSQL advisory lock на idempotency key. Одновременный повтор с одной реплики блокируется, со второй — одна ждёт COMMIT первой. Тот же текст → тот же id/created_at и HTTP 201; другой текст по тому же ключу → 409; неверный scope → 404/401. Локального кэша результатов нет, токен проверяется при каждом повторе.
  • Балансировочный стенд из двух реплик за HAProxy (Dockerfile, compose.yaml, infra/haproxy.cfg, infra/DATABASE.md, scripts/init_local.py, .env.example): две независимые реплики API (api1/api2), каждая со своим X-Instance-Id, общий PostgreSQL; HAProxy — round-robin, healthcheck GET /health/ready (fall=2/rise=1), единственный опубликованный порт. Миграции вынесены из старта API в отдельный job.
  • Сценарии рестарта и остановки одной реплики (scripts/restart.sh, scripts/stop-one.sh, scripts/check_local.py): restart.sh перезапускает обе реплики (БД не трогает); stop-one.sh принимает TARGET_INSTANCE_ID и останавливает только соответствующую реплику.
  • Собственные интеграционные тесты и CI (student-tests/test_api.py, .github/workflows/application.yml): 6 in-process-тестов (атомарный чат + повтор миграции, аутентификация/logout, expiry + restart, идемпотентность/expiry/ошибки, пагинация после нового app, строгая валидация + private chat) + CI-проверка контрактов/валидации.

Валидация

Окружение: PostgreSQL 17 (127.0.0.1:5432, БД lab3db, запущена заранее — не пересоздавалась/не перезапускалась, pg_postmaster_start_time не менялся), Python 3.13 (venv: Flask 3.1.0, Waitress, psycopg, argon2-cffi). Две реплики — локальные процессы: api1:127.0.0.1:8083, api2:127.0.0.1:8084 (каждая со своим X-Instance-Id); временный локальный round-robin балансировщик на 127.0.0.1:8080 (эмуляция HAProxy: round-robin + healthcheck, отбрасывает недоступный backend). Все публичные тесты — через LB 127.0.0.1:8080. Команды и stdout сохранены в evidence/.

Команда Факт. результат
make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
make validate PYTHON=$PY PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
make migrate (DATABASE_URL=$DBURL, 2 раза) PASS: «Migrations applied successfully (already applied versions skipped)» — идемпотентность подтверждена
curl -fsS http://127.0.0.1:8083/health/ready / :8084 PASS: {"status":"ok"} — обе реплики
make test BASE_URL=http://127.0.0.1:8080 PYTHON=$PY PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
make test-idempotency BASE_URL=http://127.0.0.1:8080 PYTHON=$PY PASS: 24 concurrent requests / 8 clients / 2 replicas → one message; conflict, scopes, access and logout verified.
DATABASE_URL=$DBURL $PY -m unittest discover -s student-tests -v PASS: Ran 6 tests … OK (atomic chat + repeat migration, auth/logout, expiry+restart, idempotency expiry+errors, pagination survives new app, strict validation + private chat)
make test-persistence ACTION_SCRIPT=/tmp/lab3_restart.sh BASE_URL=http://127.0.0.1:8080 PASS: persistence preserved confirmed data and existing session. (PID реплик изменились, pg_postmaster_start_time не изменился — БД не трогалась)
make test-failover ACTION_SCRIPT=/tmp/lab3_stop_one.sh BASE_URL=http://127.0.0.1:8080 PASS: failover preserved confirmed data and existing session. (102 успешные записи, 0 неудач, first_recovery ≈ 0.33 s; до сбоя видно 2 инстанса, LB переключился на живую реплику)

Ограничения

  • Docker в среде подготовки отсутствует: compose-стенд не поднимался, HAProxy не ставился. Dockerfile/compose.yaml/infra/haproxy.cfg/scripts/init_local.py написаны для стандартной сдачи через Docker, но в этой среде не исполнялись (только синтаксис/структура).
  • Реплики и балансировщик проверялись локальными процессами: две реплики на 8083/8084 + временный round-robin балансировщик на 8080 (эмуляция HAProxy: round-robin + healthcheck, отбрасывает недоступный backend). Файл балансировщика и hooks лежали в /tmp и не входят в репозиторий.
  • test-persistence/test-failover проведены временными локальными хуками (/tmp/lab3_restart.sh, /tmp/lab3_stop_one.sh), которые перезапускали/останавливали процессы и не трогали БД (pg_postmaster_start_time не менялся). Коммит-скрипты scripts/restart.sh/stop-one.sh написаны под docker compose (стандартная сдача).
  • Отказ одного процесса API при живой второй реплике выдерживается. Единый PostgreSQL и единый HAProxy/host остаются точками отказа: потеря узла/диска/volume не покрыта, две API не делают БД высокодоступной.

Коммиты

b675074 Заполнить отчёт и доказательства проверок
368d707 Добавить собственные интеграционные тесты и CI-проверку
70363f0 Добавить сценарии рестарта и остановки одной реплики
7d506a0 Поднять балансировочный стенд из двух реплик за HAProxy
0e20efe Реализовать общую идемпотентность отправки сообщения
9698fae Перенести приложение мессенджера с сессиями в PostgreSQL

Ветка: solution/BPI2304-sirenko (создана от main, 1 исходный коммит skeleton).

# ЛР 3 — БПИ2304 — Сиренко — на 3 ## Что реализовано - **Перенос приложения мессенджера с сессиями в PostgreSQL** (`messenger/*`, `migrations/001_initial.sql`, `requirements.txt`): HTTP API на Flask (Waitress), точка запуска `python -m messenger`. Пользователи, чаты, сообщения и **сессии хранятся в PostgreSQL** (UUID, `timestamptz`, индексы, внешние ключи). Argon2id (`argon2-cffi`), вход `Basic → Bearer`, отзыв сессии, TTL (`SESSION_TTL_SECONDS`, дефолт 3600). Keyset-пагинация сообщений. - **Общая идемпотентность отправки сообщения** (`migrations/002_idempotency.sql`, `scripts/check_idempotency.py`, цель `make test-idempotency`): таблица `message_requests` + **PostgreSQL advisory lock** на `idempotency key`. Одновременный повтор с одной реплики блокируется, со второй — одна ждёт COMMIT первой. Тот же текст → тот же `id`/`created_at` и HTTP 201; другой текст по тому же ключу → **409**; неверный scope → 404/401. Локального кэша результатов нет, токен проверяется при каждом повторе. - **Балансировочный стенд из двух реплик за HAProxy** (`Dockerfile`, `compose.yaml`, `infra/haproxy.cfg`, `infra/DATABASE.md`, `scripts/init_local.py`, `.env.example`): две независимые реплики API (`api1`/`api2`), каждая со своим `X-Instance-Id`, общий PostgreSQL; HAProxy — `round-robin`, healthcheck `GET /health/ready` (`fall=2`/`rise=1`), единственный опубликованный порт. Миграции вынесены из старта API в отдельный job. - **Сценарии рестарта и остановки одной реплики** (`scripts/restart.sh`, `scripts/stop-one.sh`, `scripts/check_local.py`): `restart.sh` перезапускает обе реплики (БД не трогает); `stop-one.sh` принимает `TARGET_INSTANCE_ID` и останавливает только соответствующую реплику. - **Собственные интеграционные тесты и CI** (`student-tests/test_api.py`, `.github/workflows/application.yml`): 6 in-process-тестов (атомарный чат + повтор миграции, аутентификация/logout, expiry + restart, идемпотентность/expiry/ошибки, пагинация после нового app, строгая валидация + private chat) + CI-проверка контрактов/валидации. ## Валидация Окружение: PostgreSQL 17 (127.0.0.1:5432, БД `lab3db`, запущена заранее — **не пересоздавалась/не перезапускалась**, `pg_postmaster_start_time` не менялся), Python 3.13 (venv: Flask 3.1.0, Waitress, psycopg, argon2-cffi). Две реплики — локальные процессы: `api1:127.0.0.1:8083`, `api2:127.0.0.1:8084` (каждая со своим `X-Instance-Id`); временный локальный round-robin балансировщик на `127.0.0.1:8080` (эмуляция HAProxy: round-robin + healthcheck, отбрасывает недоступный backend). Все публичные тесты — **через LB `127.0.0.1:8080`**. Команды и stdout сохранены в `evidence/`. | Команда | Факт. результат | |---|---| | `make check` | PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. | | `make validate PYTHON=$PY` | PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. | | `make migrate` (`DATABASE_URL=$DBURL`, 2 раза) | PASS: «Migrations applied successfully (already applied versions skipped)» — идемпотентность подтверждена | | `curl -fsS http://127.0.0.1:8083/health/ready` / `:8084` | PASS: `{"status":"ok"}` — обе реплики | | `make test BASE_URL=http://127.0.0.1:8080 PYTHON=$PY` | PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. | | `make test-idempotency BASE_URL=http://127.0.0.1:8080 PYTHON=$PY` | PASS: 24 concurrent requests / 8 clients / 2 replicas → one message; conflict, scopes, access and logout verified. | | `DATABASE_URL=$DBURL $PY -m unittest discover -s student-tests -v` | PASS: Ran 6 tests … OK (atomic chat + repeat migration, auth/logout, expiry+restart, idempotency expiry+errors, pagination survives new app, strict validation + private chat) | | `make test-persistence ACTION_SCRIPT=/tmp/lab3_restart.sh BASE_URL=http://127.0.0.1:8080` | PASS: persistence preserved confirmed data and existing session. (PID реплик изменились, `pg_postmaster_start_time` не изменился — БД не трогалась) | | `make test-failover ACTION_SCRIPT=/tmp/lab3_stop_one.sh BASE_URL=http://127.0.0.1:8080` | PASS: failover preserved confirmed data and existing session. (102 успешные записи, 0 неудач, first_recovery ≈ 0.33 s; до сбоя видно 2 инстанса, LB переключился на живую реплику) | ## Ограничения - Docker в среде подготовки отсутствует: **compose-стенд не поднимался**, HAProxy не ставился. `Dockerfile`/`compose.yaml`/`infra/haproxy.cfg`/`scripts/init_local.py` написаны для стандартной сдачи через Docker, но **в этой среде не исполнялись** (только синтаксис/структура). - Реплики и балансировщик проверялись **локальными процессами**: две реплики на 8083/8084 + временный round-robin балансировщик на 8080 (эмуляция HAProxy: round-robin + healthcheck, отбрасывает недоступный backend). Файл балансировщика и hooks лежали в `/tmp` и **не входят в репозиторий**. - `test-persistence`/`test-failover` проведены **временными локальными хуками** (`/tmp/lab3_restart.sh`, `/tmp/lab3_stop_one.sh`), которые перезапускали/останавливали процессы и **не трогали БД** (`pg_postmaster_start_time` не менялся). Коммит-скрипты `scripts/restart.sh`/`stop-one.sh` написаны под `docker compose` (стандартная сдача). - Отказ одного процесса API при живой второй реплике выдерживается. Единый PostgreSQL и единый HAProxy/host остаются точками отказа: потеря узла/диска/volume не покрыта, две API не делают БД высокодоступной. ## Коммиты ``` b675074 Заполнить отчёт и доказательства проверок 368d707 Добавить собственные интеграционные тесты и CI-проверку 70363f0 Добавить сценарии рестарта и остановки одной реплики 7d506a0 Поднять балансировочный стенд из двух реплик за HAProxy 0e20efe Реализовать общую идемпотентность отправки сообщения 9698fae Перенести приложение мессенджера с сессиями в PostgreSQL ``` Ветка: `solution/BPI2304-sirenko` (создана от `main`, 1 исходный коммит skeleton).
nothingredmouth added 6 commits 2026-11-17 10:07:15 +03:00
Реализован Flask-мессенджер (авторизация с Argon2-сессиями в PostgreSQL,
чаты, сообщения, курсорная пагинация), миграции 001, зависимости и цели
make run/migrate. Отправка сообщения пока без идемпотентности.
Ключ Idempotency-Key с TTL (минимум 86400 c), таблица message_requests и
advisory-лок на (пользователь, чат, ключ): конкурентные повторные запросы
возвращают одно и то же сообщение, конфликт по body -> 409. Добавлена
миграция 002 и сценарий проверки scripts/check_idempotency.py.
Dockerfile, compose (api1, api2, postgres, migrate, lb), haproxy.cfg с
round-robin и healthcheck на /health/ready, secrets с DATABASE_URL и
инициализация локальной БД (scripts/init_local.py).
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-17 11:04:52 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#164