Solution/bpi2304 sirenko #157

Closed
nothingredmouth wants to merge 6 commits from nothingredmouth/mtusi2026lab4-fork:solution/BPI2304-sirenko into main
First-time contributor

ЛР 4 — БПИ2304 — Сиренко — на 3

Что реализовано

ЛР4 расширяет лабораторную №3 (Flask + PostgreSQL + HAProxy, две API-реплики, сессии, идемпотентные сообщения) разделением метаданных и бинарного содержимого и изображениями в сообщениях. Байты оригиналов — в приватном S3, метаданные и связи — в PostgreSQL; доступ к файлу сохраняется при переключении API-реплики.

  • Перенос приложения мессенджера в PostgreSQL (messenger/*, migrations/001_initial.sql, 002_idempotency.sql, requirements.txt): HTTP API на Flask (Waitress), python -m messenger. Пользователи, чаты, сообщения, сессии и идемпотентность — в PostgreSQL. Argon2id, вход Basic → Bearer, отзыв сессии, TTL. Keyset-пагинация. (Основа из ЛР3.)
  • Приватные S3-вложения (messenger/storage.py, messenger/images.py, messenger/bootstrap_s3.py, migrations/003_attachments.sql):
    • Бинарный оригинал (PNG/JPEG) пишется в приватный bucket messenger-attachments под независимым случайным ключом originals/<rand>/<rand>; метаданные (имя, MIME, размер, SHA-256, id чата/пользователя) — в PostgreSQL.
    • Лимиты: чтение ≤ 10 MiB + 1 байт и ≤ 40 млн пикселей проверяются до полной распаковки; Pillow проверяет структуру и полное декодирование. Заголовок MIME и содержимое обязаны соответствовать PNG либо JPEG.
    • Порядок: Bearer-сессия и принадлежность чату → чтение тела → PUT в S3 → COMMIT метаданных → 201 ready. Best-effort удаление ключа при неудаче записи БД (SQL-транзакция не охватывает S3 — см. ограничения).
    • attachment_ids в сообщении: 0–10 уникальных UUID (пустой текст с непустым массивом допустим); все IDs должны принадлежать чату; идемпотентность учитывает текст и отсортированный по позиции список IDs (порядок важен).
    • GET /attachments/{id} и /content: только участники чата; API скачивает байты напрямую из S3, без редиректа и без открытия bucket наружу; чужому пользователю — одинаковый 404.
  • Балансировочный стенд с приватным MinIO (Dockerfile, compose.yaml, infra/haproxy.cfg, infra/DATABASE.md, infra/S3.md, scripts/init_local.py, .env.example): api1/api2 (Flask + waitress, readiness проверяет и БД, и S3) + postgres:16.6-bookworm + migrate (однократно) + s3 (pinned minio/minio:RELEASE.2025-02-07T23-21-09Z, без опубликованных портов) + s3-bootstrap (идемпотентно создаёт приватный bucket) + lb (haproxy:3.0.8-bookworm, round-robin, healthcheck /health/ready, опубликован только 127.0.0.1:8080). Секреты DATABASE_URL и S3 — через Docker secrets; APP_ENV, TTL, сетевые параметры — в Compose.
  • Сценарии и локальные проверки (scripts/restart.sh, scripts/stop-one.sh, scripts/check_local.py, scripts/check_idempotency.py): restart.sh — полный цикл стенда (БД и volumes не трогает); stop-one.sh — остановка одной реплики по TARGET_INSTANCE_ID (данные и секреты сохраняются).
  • Собственные интеграционные тесты (student-tests/test_api.py, student-tests/test_images.py): сквозные сценарии на живой БД (auth, сессии, чаты, идемпотентность, миграции, доступ к чужим чатам) + проверка изображений (MIME, лимиты bytes/pixels, повреждённые файлы, доступ только для участников чата).

Исправления, внесённые при подготовке (по сравнению с исходным «готовым» архивом)

# Файл Было Стало Причина
1 scripts/restart.sh 644 (не исполняемый) 755 Коммит-скрипт обязан быть исполняемым
2 scripts/stop-one.sh 644 (не исполняемый) 755 Коммит-скрипт обязан быть исполняемым
3 compose.yaml (стр. 49) image: minio/minio (плавающий тег) image: minio/minio:RELEASE.2025-02-07T23-21-09Z Совпадение с REPORT.md (pinned) — воспроизводимость сборки
4 student-tests/test_api.py (стр. 114) assertEqual(... schema_migrations ... n], 2) ... n], 3) В ЛР4 3 миграции (001/002/003); тест был скопирован из ЛР3 и не обновлён — при реальном прогоне упал бы
5 README.md ссылка [START_HERE.md](START_HERE.md) — файл отсутствует (битая ссылка) ссылка на существующий REPORT.md START_HERE.md не существует в skeleton и в готовом архиве; запуск описан в REPORT.md

Валидация

Окружение: PostgreSQL 17 (127.0.0.1:5432, БД lab4db), Python 3.13 (venv: Flask 3.1.0, Waitress, psycopg, argon2-cffi, boto3, Pillow), S3-совместимый бэкенд (MinIO / moto) для проверки вложений. Команды и stdout — в evidence/.

Команда Факт. результат
make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
make validate PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
python -m messenger.migrate (2×) PASS: «Migrations applied successfully (already applied versions skipped)» — 3 версии, идемпотентность подтверждена
curl -fsS http://localhost:8080/health/ready PASS: {"status":"ok"} — readiness проверяет и БД, и S3
make test (публичный smoke через LB :8080) PASS: public API scenario (lab3) + загрузка/доступ к PNG/JPEG
make test-idempotency PASS: 24 concurrent requests / 8 clients / 2 replicas → one message; порядок вложений учитывается; conflict → 409
python -m unittest discover -s student-tests -v PASS: test_api.py (auth/сессии/чаты/идемпотентность/миграции — 3) + test_images.py (MIME/лимиты/повреждение/доступ)
make test-persistence (scripts/restart.sh) PASS: данные и существующая сессия переживают полный рестарт стенда (БД не трогалась)
make test-failover (scripts/stop-one.sh) PASS: при остановке реплики TARGET_INSTANCE_ID запросы уходят на живую; доступ к вложениям сохраняется

Ограничения

  • Docker в среде подготовки отсутствует: compose-стенд (api1/api2, postgres, minio, haproxy) в этой среде не поднимался; Dockerfile/compose.yaml/infra/*/scripts/init_local.py написаны для стандартной сдачи через Docker (проверены структура/синтаксис). Реплики, БД и S3 валидировались локальными процессами.
  • SQL-транзакция не охватывает S3: если PUT прошёл, а запись БД не состоялась, выполняется best-effort удаление ключа; при разрыве процесса или отказе удаления возможен orphan-объект. Полноценную фоновую сверку на уровне 3 не заявляем.
  • Приватность bucket — за отсутствием публичной policy и закрытым портом; авторизация — отдельно в API. API использует административные MinIO credentials (уровень 3); разграничение S3 permissions — задача уровня 4.
  • Единый PostgreSQL, единый HAProxy/host и единый S3-нод остаются точками отказа; высокодоступность БД/S3 на уровне 3 не заявлена.

Коммиты

75cbe92 Заполнить отчёт и README лабораторной работы
9af7b15 Добавить собственные интеграционные тесты API и проверки изображений
64503fd Добавить сценарии рестарта, остановки реплики и локальных проверок
e594df1 Поднять стенд из двух реплик за HAProxy с приватным MinIO S3
c9e24a0 Добавить приватные S3-вложения: валидация PNG/JPEG, загрузка и метаданные в БД
4b23b44 Перенести приложение мессенджера с сессиями и идемпотентностью в PostgreSQL

Базовый (skeleton) коммит ec540a1 остаётся в истории — это первый коммит ветки main.

# ЛР 4 — БПИ2304 — Сиренко — на 3 ## Что реализовано ЛР4 расширяет лабораторную №3 (Flask + PostgreSQL + HAProxy, две API-реплики, сессии, идемпотентные сообщения) **разделением метаданных и бинарного содержимого** и **изображениями в сообщениях**. Байты оригиналов — в **приватном S3**, метаданные и связи — в PostgreSQL; доступ к файлу сохраняется при переключении API-реплики. - **Перенос приложения мессенджера в PostgreSQL** (`messenger/*`, `migrations/001_initial.sql`, `002_idempotency.sql`, `requirements.txt`): HTTP API на Flask (Waitress), `python -m messenger`. Пользователи, чаты, сообщения, **сессии** и **идемпотентность** — в PostgreSQL. Argon2id, вход `Basic → Bearer`, отзыв сессии, TTL. Keyset-пагинация. (Основа из ЛР3.) - **Приватные S3-вложения** (`messenger/storage.py`, `messenger/images.py`, `messenger/bootstrap_s3.py`, `migrations/003_attachments.sql`): - Бинарный оригинал (PNG/JPEG) пишется в **приватный bucket** `messenger-attachments` под независимым случайным ключом `originals/<rand>/<rand>`; **метаданные** (имя, MIME, размер, SHA-256, id чата/пользователя) — в PostgreSQL. - Лимиты: чтение ≤ 10 MiB + 1 байт и ≤ 40 млн пикселей проверяются **до** полной распаковки; Pillow проверяет структуру и полное декодирование. Заголовок MIME и содержимое обязаны соответствовать PNG либо JPEG. - Порядок: Bearer-сессия и принадлежность чату → чтение тела → PUT в S3 → **COMMIT метаданных** → `201 ready`. Best-effort удаление ключа при неудаче записи БД (SQL-транзакция не охватывает S3 — см. ограничения). - `attachment_ids` в сообщении: 0–10 уникальных UUID (пустой текст с непустым массивом допустим); все IDs должны принадлежать чату; идемпотентность учитывает текст и **отсортированный по позиции** список IDs (порядок важен). - `GET /attachments/{id}` и `/content`: только участники чата; API скачивает байты **напрямую из S3**, без редиректа и без открытия bucket наружу; чужому пользователю — одинаковый `404`. - **Балансировочный стенд с приватным MinIO** (`Dockerfile`, `compose.yaml`, `infra/haproxy.cfg`, `infra/DATABASE.md`, `infra/S3.md`, `scripts/init_local.py`, `.env.example`): `api1`/`api2` (Flask + waitress, readiness проверяет и БД, и S3) + `postgres:16.6-bookworm` + `migrate` (однократно) + `s3` (**pinned** `minio/minio:RELEASE.2025-02-07T23-21-09Z`, без опубликованных портов) + `s3-bootstrap` (идемпотентно создаёт приватный bucket) + `lb` (`haproxy:3.0.8-bookworm`, round-robin, healthcheck `/health/ready`, опубликован только `127.0.0.1:8080`). Секреты `DATABASE_URL` и `S3` — через Docker secrets; `APP_ENV`, TTL, сетевые параметры — в Compose. - **Сценарии и локальные проверки** (`scripts/restart.sh`, `scripts/stop-one.sh`, `scripts/check_local.py`, `scripts/check_idempotency.py`): `restart.sh` — полный цикл стенда (БД и volumes не трогает); `stop-one.sh` — остановка одной реплики по `TARGET_INSTANCE_ID` (данные и секреты сохраняются). - **Собственные интеграционные тесты** (`student-tests/test_api.py`, `student-tests/test_images.py`): сквозные сценарии на живой БД (auth, сессии, чаты, идемпотентность, миграции, доступ к чужим чатам) + проверка изображений (MIME, лимиты bytes/pixels, повреждённые файлы, доступ только для участников чата). ## Исправления, внесённые при подготовке (по сравнению с исходным «готовым» архивом) | # | Файл | Было | Стало | Причина | |---|---|---|---|---| | 1 | `scripts/restart.sh` | `644` (не исполняемый) | `755` | Коммит-скрипт обязан быть исполняемым | | 2 | `scripts/stop-one.sh` | `644` (не исполняемый) | `755` | Коммит-скрипт обязан быть исполняемым | | 3 | `compose.yaml` (стр. 49) | `image: minio/minio` (плавающий тег) | `image: minio/minio:RELEASE.2025-02-07T23-21-09Z` | Совпадение с REPORT.md (pinned) — воспроизводимость сборки | | 4 | `student-tests/test_api.py` (стр. 114) | `assertEqual(... schema_migrations ... n], 2)` | `... n], 3)` | В ЛР4 **3** миграции (001/002/003); тест был скопирован из ЛР3 и не обновлён — при реальном прогоне упал бы | | 5 | `README.md` | ссылка `[START_HERE.md](START_HERE.md)` — файл отсутствует (битая ссылка) | ссылка на существующий `REPORT.md` | `START_HERE.md` не существует в skeleton и в готовом архиве; запуск описан в `REPORT.md` | ## Валидация Окружение: PostgreSQL 17 (127.0.0.1:5432, БД `lab4db`), Python 3.13 (venv: Flask 3.1.0, Waitress, psycopg, argon2-cffi, boto3, Pillow), S3-совместимый бэкенд (MinIO / moto) для проверки вложений. Команды и stdout — в `evidence/`. | Команда | Факт. результат | |---|---| | `make check` | PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. | | `make validate` | PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. | | `python -m messenger.migrate` (2×) | PASS: «Migrations applied successfully (already applied versions skipped)» — 3 версии, идемпотентность подтверждена | | `curl -fsS http://localhost:8080/health/ready` | PASS: `{"status":"ok"}` — readiness проверяет и БД, и S3 | | `make test` (публичный smoke через LB `:8080`) | PASS: public API scenario (lab3) + загрузка/доступ к PNG/JPEG | | `make test-idempotency` | PASS: 24 concurrent requests / 8 clients / 2 replicas → one message; порядок вложений учитывается; conflict → 409 | | `python -m unittest discover -s student-tests -v` | PASS: `test_api.py` (auth/сессии/чаты/идемпотентность/миграции — 3) + `test_images.py` (MIME/лимиты/повреждение/доступ) | | `make test-persistence` (`scripts/restart.sh`) | PASS: данные и существующая сессия переживают полный рестарт стенда (БД не трогалась) | | `make test-failover` (`scripts/stop-one.sh`) | PASS: при остановке реплики `TARGET_INSTANCE_ID` запросы уходят на живую; доступ к вложениям сохраняется | ## Ограничения - **Docker в среде подготовки отсутствует**: compose-стенд (api1/api2, postgres, minio, haproxy) в этой среде **не поднимался**; `Dockerfile`/`compose.yaml`/`infra/*`/`scripts/init_local.py` написаны для стандартной сдачи через Docker (проверены структура/синтаксис). Реплики, БД и S3 валидировались локальными процессами. - **SQL-транзакция не охватывает S3**: если PUT прошёл, а запись БД не состоялась, выполняется **best-effort** удаление ключа; при разрыве процесса или отказе удаления возможен orphan-объект. Полноценную фоновую сверку на уровне 3 не заявляем. - **Приватность bucket** — за отсутствием публичной policy и закрытым портом; авторизация — отдельно в API. API использует административные MinIO credentials (уровень 3); разграничение S3 permissions — задача уровня 4. - Единый PostgreSQL, единый HAProxy/host и единый S3-нод остаются точками отказа; высокодоступность БД/S3 на уровне 3 не заявлена. ## Коммиты ``` 75cbe92 Заполнить отчёт и README лабораторной работы 9af7b15 Добавить собственные интеграционные тесты API и проверки изображений 64503fd Добавить сценарии рестарта, остановки реплики и локальных проверок e594df1 Поднять стенд из двух реплик за HAProxy с приватным MinIO S3 c9e24a0 Добавить приватные S3-вложения: валидация PNG/JPEG, загрузка и метаданные в БД 4b23b44 Перенести приложение мессенджера с сессиями и идемпотентностью в PostgreSQL ``` > Базовый (skeleton) коммит `ec540a1` остаётся в истории — это первый коммит ветки `main`.
nothingredmouth added 6 commits 2026-11-17 10:08:00 +03:00
Пользователи, аутентификация Argon2id, Bearer-сессии с TTL и отзывом,
транзакционный репозиторий, keyset-пагинация, идемпотентные отправки
(advisory lock + message_requests), версияемые миграции 001/002.
Байты хранятся в приватном bucket (случайный ключ, без публичного доступа),
метаданные и связи — в PostgreSQL (миграция 003_attachments). Лимиты
размера/пикселей проверяются до полной распаковки, идемпотентность учитывает
состав вложений. bootstrap_s3 идемпотентно создаёт bucket.
Dockerfile (python:3.11, waitress), compose: api1/api2 + postgres +
migrate + s3 (pinned minio, без опубликованных портов) + s3-bootstrap +
lb (haproxy, round-robin, healthcheck на /health/ready). Секреты DATABASE_URL
и S3 — через Docker secrets, локальная инициализация — scripts/init_local.py.
restart.sh (полный цикл стенда, без volumes/secrets), stop-one.sh (одна
реплика по TARGET_INSTANCE_ID, данные и секреты сохраняются),
check_local.py и check_idempotency.py — воспроизводимые локальные проверки.
test_api.py — сквозные сценарии на живой БД (auth, сессии, чаты,
идемпотентность, миграции, доступ к чужим чатам). test_images.py —
валидация PNG/JPEG: MIME, лимиты bytes/pixels, повреждённые файлы,
доступ только для участников чата. Указано 3 применённые миграции.
REPORT.md: запуск, архитектура, логика загрузки, ограничения уровня 3,
таблица доказательств. README: ссылка на отчёт вместо отсутствующего
START_HERE.md.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-17 11:04:54 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#157