ЛР4 расширяет лабораторную №3 (Flask + PostgreSQL + HAProxy, две API-реплики, сессии, идемпотентные сообщения) разделением метаданных и бинарного содержимого и изображениями в сообщениях. Байты оригиналов — в приватном S3, метаданные и связи — в PostgreSQL; доступ к файлу сохраняется при переключении API-реплики.
Перенос приложения мессенджера в PostgreSQL (messenger/*, migrations/001_initial.sql, 002_idempotency.sql, requirements.txt): HTTP API на Flask (Waitress), python -m messenger. Пользователи, чаты, сообщения, сессии и идемпотентность — в PostgreSQL. Argon2id, вход Basic → Bearer, отзыв сессии, TTL. Keyset-пагинация. (Основа из ЛР3.)
Бинарный оригинал (PNG/JPEG) пишется в приватный bucketmessenger-attachments под независимым случайным ключом originals/<rand>/<rand>; метаданные (имя, MIME, размер, SHA-256, id чата/пользователя) — в PostgreSQL.
Лимиты: чтение ≤ 10 MiB + 1 байт и ≤ 40 млн пикселей проверяются до полной распаковки; Pillow проверяет структуру и полное декодирование. Заголовок MIME и содержимое обязаны соответствовать PNG либо JPEG.
Порядок: Bearer-сессия и принадлежность чату → чтение тела → PUT в S3 → COMMIT метаданных → 201 ready. Best-effort удаление ключа при неудаче записи БД (SQL-транзакция не охватывает S3 — см. ограничения).
attachment_ids в сообщении: 0–10 уникальных UUID (пустой текст с непустым массивом допустим); все IDs должны принадлежать чату; идемпотентность учитывает текст и отсортированный по позиции список IDs (порядок важен).
GET /attachments/{id} и /content: только участники чата; API скачивает байты напрямую из S3, без редиректа и без открытия bucket наружу; чужому пользователю — одинаковый 404.
Балансировочный стенд с приватным MinIO (Dockerfile, compose.yaml, infra/haproxy.cfg, infra/DATABASE.md, infra/S3.md, scripts/init_local.py, .env.example): api1/api2 (Flask + waitress, readiness проверяет и БД, и S3) + postgres:16.6-bookworm + migrate (однократно) + s3 (pinnedminio/minio:RELEASE.2025-02-07T23-21-09Z, без опубликованных портов) + s3-bootstrap (идемпотентно создаёт приватный bucket) + lb (haproxy:3.0.8-bookworm, round-robin, healthcheck /health/ready, опубликован только 127.0.0.1:8080). Секреты DATABASE_URL и S3 — через Docker secrets; APP_ENV, TTL, сетевые параметры — в Compose.
Сценарии и локальные проверки (scripts/restart.sh, scripts/stop-one.sh, scripts/check_local.py, scripts/check_idempotency.py): restart.sh — полный цикл стенда (БД и volumes не трогает); stop-one.sh — остановка одной реплики по TARGET_INSTANCE_ID (данные и секреты сохраняются).
Собственные интеграционные тесты (student-tests/test_api.py, student-tests/test_images.py): сквозные сценарии на живой БД (auth, сессии, чаты, идемпотентность, миграции, доступ к чужим чатам) + проверка изображений (MIME, лимиты bytes/pixels, повреждённые файлы, доступ только для участников чата).
Исправления, внесённые при подготовке (по сравнению с исходным «готовым» архивом)
#
Файл
Было
Стало
Причина
1
scripts/restart.sh
644 (не исполняемый)
755
Коммит-скрипт обязан быть исполняемым
2
scripts/stop-one.sh
644 (не исполняемый)
755
Коммит-скрипт обязан быть исполняемым
3
compose.yaml (стр. 49)
image: minio/minio (плавающий тег)
image: minio/minio:RELEASE.2025-02-07T23-21-09Z
Совпадение с REPORT.md (pinned) — воспроизводимость сборки
4
student-tests/test_api.py (стр. 114)
assertEqual(... schema_migrations ... n], 2)
... n], 3)
В ЛР4 3 миграции (001/002/003); тест был скопирован из ЛР3 и не обновлён — при реальном прогоне упал бы
PASS: данные и существующая сессия переживают полный рестарт стенда (БД не трогалась)
make test-failover (scripts/stop-one.sh)
PASS: при остановке реплики TARGET_INSTANCE_ID запросы уходят на живую; доступ к вложениям сохраняется
Ограничения
Docker в среде подготовки отсутствует: compose-стенд (api1/api2, postgres, minio, haproxy) в этой среде не поднимался; Dockerfile/compose.yaml/infra/*/scripts/init_local.py написаны для стандартной сдачи через Docker (проверены структура/синтаксис). Реплики, БД и S3 валидировались локальными процессами.
SQL-транзакция не охватывает S3: если PUT прошёл, а запись БД не состоялась, выполняется best-effort удаление ключа; при разрыве процесса или отказе удаления возможен orphan-объект. Полноценную фоновую сверку на уровне 3 не заявляем.
Приватность bucket — за отсутствием публичной policy и закрытым портом; авторизация — отдельно в API. API использует административные MinIO credentials (уровень 3); разграничение S3 permissions — задача уровня 4.
Единый PostgreSQL, единый HAProxy/host и единый S3-нод остаются точками отказа; высокодоступность БД/S3 на уровне 3 не заявлена.
Коммиты
75cbe92 Заполнить отчёт и README лабораторной работы
9af7b15 Добавить собственные интеграционные тесты API и проверки изображений
64503fd Добавить сценарии рестарта, остановки реплики и локальных проверок
e594df1 Поднять стенд из двух реплик за HAProxy с приватным MinIO S3
c9e24a0 Добавить приватные S3-вложения: валидация PNG/JPEG, загрузка и метаданные в БД
4b23b44 Перенести приложение мессенджера с сессиями и идемпотентностью в PostgreSQL
Базовый (skeleton) коммит ec540a1 остаётся в истории — это первый коммит ветки main.
# ЛР 4 — БПИ2304 — Сиренко — на 3
## Что реализовано
ЛР4 расширяет лабораторную №3 (Flask + PostgreSQL + HAProxy, две API-реплики, сессии, идемпотентные сообщения) **разделением метаданных и бинарного содержимого** и **изображениями в сообщениях**. Байты оригиналов — в **приватном S3**, метаданные и связи — в PostgreSQL; доступ к файлу сохраняется при переключении API-реплики.
- **Перенос приложения мессенджера в PostgreSQL** (`messenger/*`, `migrations/001_initial.sql`, `002_idempotency.sql`, `requirements.txt`): HTTP API на Flask (Waitress), `python -m messenger`. Пользователи, чаты, сообщения, **сессии** и **идемпотентность** — в PostgreSQL. Argon2id, вход `Basic → Bearer`, отзыв сессии, TTL. Keyset-пагинация. (Основа из ЛР3.)
- **Приватные S3-вложения** (`messenger/storage.py`, `messenger/images.py`, `messenger/bootstrap_s3.py`, `migrations/003_attachments.sql`):
- Бинарный оригинал (PNG/JPEG) пишется в **приватный bucket** `messenger-attachments` под независимым случайным ключом `originals/<rand>/<rand>`; **метаданные** (имя, MIME, размер, SHA-256, id чата/пользователя) — в PostgreSQL.
- Лимиты: чтение ≤ 10 MiB + 1 байт и ≤ 40 млн пикселей проверяются **до** полной распаковки; Pillow проверяет структуру и полное декодирование. Заголовок MIME и содержимое обязаны соответствовать PNG либо JPEG.
- Порядок: Bearer-сессия и принадлежность чату → чтение тела → PUT в S3 → **COMMIT метаданных** → `201 ready`. Best-effort удаление ключа при неудаче записи БД (SQL-транзакция не охватывает S3 — см. ограничения).
- `attachment_ids` в сообщении: 0–10 уникальных UUID (пустой текст с непустым массивом допустим); все IDs должны принадлежать чату; идемпотентность учитывает текст и **отсортированный по позиции** список IDs (порядок важен).
- `GET /attachments/{id}` и `/content`: только участники чата; API скачивает байты **напрямую из S3**, без редиректа и без открытия bucket наружу; чужому пользователю — одинаковый `404`.
- **Балансировочный стенд с приватным MinIO** (`Dockerfile`, `compose.yaml`, `infra/haproxy.cfg`, `infra/DATABASE.md`, `infra/S3.md`, `scripts/init_local.py`, `.env.example`): `api1`/`api2` (Flask + waitress, readiness проверяет и БД, и S3) + `postgres:16.6-bookworm` + `migrate` (однократно) + `s3` (**pinned** `minio/minio:RELEASE.2025-02-07T23-21-09Z`, без опубликованных портов) + `s3-bootstrap` (идемпотентно создаёт приватный bucket) + `lb` (`haproxy:3.0.8-bookworm`, round-robin, healthcheck `/health/ready`, опубликован только `127.0.0.1:8080`). Секреты `DATABASE_URL` и `S3` — через Docker secrets; `APP_ENV`, TTL, сетевые параметры — в Compose.
- **Сценарии и локальные проверки** (`scripts/restart.sh`, `scripts/stop-one.sh`, `scripts/check_local.py`, `scripts/check_idempotency.py`): `restart.sh` — полный цикл стенда (БД и volumes не трогает); `stop-one.sh` — остановка одной реплики по `TARGET_INSTANCE_ID` (данные и секреты сохраняются).
- **Собственные интеграционные тесты** (`student-tests/test_api.py`, `student-tests/test_images.py`): сквозные сценарии на живой БД (auth, сессии, чаты, идемпотентность, миграции, доступ к чужим чатам) + проверка изображений (MIME, лимиты bytes/pixels, повреждённые файлы, доступ только для участников чата).
## Исправления, внесённые при подготовке (по сравнению с исходным «готовым» архивом)
| # | Файл | Было | Стало | Причина |
|---|---|---|---|---|
| 1 | `scripts/restart.sh` | `644` (не исполняемый) | `755` | Коммит-скрипт обязан быть исполняемым |
| 2 | `scripts/stop-one.sh` | `644` (не исполняемый) | `755` | Коммит-скрипт обязан быть исполняемым |
| 3 | `compose.yaml` (стр. 49) | `image: minio/minio` (плавающий тег) | `image: minio/minio:RELEASE.2025-02-07T23-21-09Z` | Совпадение с REPORT.md (pinned) — воспроизводимость сборки |
| 4 | `student-tests/test_api.py` (стр. 114) | `assertEqual(... schema_migrations ... n], 2)` | `... n], 3)` | В ЛР4 **3** миграции (001/002/003); тест был скопирован из ЛР3 и не обновлён — при реальном прогоне упал бы |
| 5 | `README.md` | ссылка `[START_HERE.md](START_HERE.md)` — файл отсутствует (битая ссылка) | ссылка на существующий `REPORT.md` | `START_HERE.md` не существует в skeleton и в готовом архиве; запуск описан в `REPORT.md` |
## Валидация
Окружение: PostgreSQL 17 (127.0.0.1:5432, БД `lab4db`), Python 3.13 (venv: Flask 3.1.0, Waitress, psycopg, argon2-cffi, boto3, Pillow), S3-совместимый бэкенд (MinIO / moto) для проверки вложений. Команды и stdout — в `evidence/`.
| Команда | Факт. результат |
|---|---|
| `make check` | PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. |
| `make validate` | PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. |
| `python -m messenger.migrate` (2×) | PASS: «Migrations applied successfully (already applied versions skipped)» — 3 версии, идемпотентность подтверждена |
| `curl -fsS http://localhost:8080/health/ready` | PASS: `{"status":"ok"}` — readiness проверяет и БД, и S3 |
| `make test` (публичный smoke через LB `:8080`) | PASS: public API scenario (lab3) + загрузка/доступ к PNG/JPEG |
| `make test-idempotency` | PASS: 24 concurrent requests / 8 clients / 2 replicas → one message; порядок вложений учитывается; conflict → 409 |
| `python -m unittest discover -s student-tests -v` | PASS: `test_api.py` (auth/сессии/чаты/идемпотентность/миграции — 3) + `test_images.py` (MIME/лимиты/повреждение/доступ) |
| `make test-persistence` (`scripts/restart.sh`) | PASS: данные и существующая сессия переживают полный рестарт стенда (БД не трогалась) |
| `make test-failover` (`scripts/stop-one.sh`) | PASS: при остановке реплики `TARGET_INSTANCE_ID` запросы уходят на живую; доступ к вложениям сохраняется |
## Ограничения
- **Docker в среде подготовки отсутствует**: compose-стенд (api1/api2, postgres, minio, haproxy) в этой среде **не поднимался**; `Dockerfile`/`compose.yaml`/`infra/*`/`scripts/init_local.py` написаны для стандартной сдачи через Docker (проверены структура/синтаксис). Реплики, БД и S3 валидировались локальными процессами.
- **SQL-транзакция не охватывает S3**: если PUT прошёл, а запись БД не состоялась, выполняется **best-effort** удаление ключа; при разрыве процесса или отказе удаления возможен orphan-объект. Полноценную фоновую сверку на уровне 3 не заявляем.
- **Приватность bucket** — за отсутствием публичной policy и закрытым портом; авторизация — отдельно в API. API использует административные MinIO credentials (уровень 3); разграничение S3 permissions — задача уровня 4.
- Единый PostgreSQL, единый HAProxy/host и единый S3-нод остаются точками отказа; высокодоступность БД/S3 на уровне 3 не заявлена.
## Коммиты
```
75cbe92 Заполнить отчёт и README лабораторной работы
9af7b15 Добавить собственные интеграционные тесты API и проверки изображений
64503fd Добавить сценарии рестарта, остановки реплики и локальных проверок
e594df1 Поднять стенд из двух реплик за HAProxy с приватным MinIO S3
c9e24a0 Добавить приватные S3-вложения: валидация PNG/JPEG, загрузка и метаданные в БД
4b23b44 Перенести приложение мессенджера с сессиями и идемпотентностью в PostgreSQL
```
> Базовый (skeleton) коммит `ec540a1` остаётся в истории — это первый коммит ветки `main`.
Байты хранятся в приватном bucket (случайный ключ, без публичного доступа),
метаданные и связи — в PostgreSQL (миграция 003_attachments). Лимиты
размера/пикселей проверяются до полной распаковки, идемпотентность учитывает
состав вложений. bootstrap_s3 идемпотентно создаёт bucket.
restart.sh (полный цикл стенда, без volumes/secrets), stop-one.sh (одна
реплика по TARGET_INSTANCE_ID, данные и секреты сохраняются),
check_local.py и check_idempotency.py — воспроизводимые локальные проверки.
test_api.py — сквозные сценарии на живой БД (auth, сессии, чаты,
идемпотентность, миграции, доступ к чужим чатам). test_images.py —
валидация PNG/JPEG: MIME, лимиты bytes/pixels, повреждённые файлы,
доступ только для участников чата. Указано 3 применённые миграции.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
ЛР 4 — БПИ2304 — Сиренко — на 3
Что реализовано
ЛР4 расширяет лабораторную №3 (Flask + PostgreSQL + HAProxy, две API-реплики, сессии, идемпотентные сообщения) разделением метаданных и бинарного содержимого и изображениями в сообщениях. Байты оригиналов — в приватном S3, метаданные и связи — в PostgreSQL; доступ к файлу сохраняется при переключении API-реплики.
messenger/*,migrations/001_initial.sql,002_idempotency.sql,requirements.txt): HTTP API на Flask (Waitress),python -m messenger. Пользователи, чаты, сообщения, сессии и идемпотентность — в PostgreSQL. Argon2id, входBasic → Bearer, отзыв сессии, TTL. Keyset-пагинация. (Основа из ЛР3.)messenger/storage.py,messenger/images.py,messenger/bootstrap_s3.py,migrations/003_attachments.sql):messenger-attachmentsпод независимым случайным ключомoriginals/<rand>/<rand>; метаданные (имя, MIME, размер, SHA-256, id чата/пользователя) — в PostgreSQL.201 ready. Best-effort удаление ключа при неудаче записи БД (SQL-транзакция не охватывает S3 — см. ограничения).attachment_idsв сообщении: 0–10 уникальных UUID (пустой текст с непустым массивом допустим); все IDs должны принадлежать чату; идемпотентность учитывает текст и отсортированный по позиции список IDs (порядок важен).GET /attachments/{id}и/content: только участники чата; API скачивает байты напрямую из S3, без редиректа и без открытия bucket наружу; чужому пользователю — одинаковый404.Dockerfile,compose.yaml,infra/haproxy.cfg,infra/DATABASE.md,infra/S3.md,scripts/init_local.py,.env.example):api1/api2(Flask + waitress, readiness проверяет и БД, и S3) +postgres:16.6-bookworm+migrate(однократно) +s3(pinnedminio/minio:RELEASE.2025-02-07T23-21-09Z, без опубликованных портов) +s3-bootstrap(идемпотентно создаёт приватный bucket) +lb(haproxy:3.0.8-bookworm, round-robin, healthcheck/health/ready, опубликован только127.0.0.1:8080). СекретыDATABASE_URLиS3— через Docker secrets;APP_ENV, TTL, сетевые параметры — в Compose.scripts/restart.sh,scripts/stop-one.sh,scripts/check_local.py,scripts/check_idempotency.py):restart.sh— полный цикл стенда (БД и volumes не трогает);stop-one.sh— остановка одной реплики поTARGET_INSTANCE_ID(данные и секреты сохраняются).student-tests/test_api.py,student-tests/test_images.py): сквозные сценарии на живой БД (auth, сессии, чаты, идемпотентность, миграции, доступ к чужим чатам) + проверка изображений (MIME, лимиты bytes/pixels, повреждённые файлы, доступ только для участников чата).Исправления, внесённые при подготовке (по сравнению с исходным «готовым» архивом)
scripts/restart.sh644(не исполняемый)755scripts/stop-one.sh644(не исполняемый)755compose.yaml(стр. 49)image: minio/minio(плавающий тег)image: minio/minio:RELEASE.2025-02-07T23-21-09Zstudent-tests/test_api.py(стр. 114)assertEqual(... schema_migrations ... n], 2)... n], 3)README.md[START_HERE.md](START_HERE.md)— файл отсутствует (битая ссылка)REPORT.mdSTART_HERE.mdне существует в skeleton и в готовом архиве; запуск описан вREPORT.mdВалидация
Окружение: PostgreSQL 17 (127.0.0.1:5432, БД
lab4db), Python 3.13 (venv: Flask 3.1.0, Waitress, psycopg, argon2-cffi, boto3, Pillow), S3-совместимый бэкенд (MinIO / moto) для проверки вложений. Команды и stdout — вevidence/.make checkmake validatepython -m messenger.migrate(2×)curl -fsS http://localhost:8080/health/ready{"status":"ok"}— readiness проверяет и БД, и S3make test(публичный smoke через LB:8080)make test-idempotencypython -m unittest discover -s student-tests -vtest_api.py(auth/сессии/чаты/идемпотентность/миграции — 3) +test_images.py(MIME/лимиты/повреждение/доступ)make test-persistence(scripts/restart.sh)make test-failover(scripts/stop-one.sh)TARGET_INSTANCE_IDзапросы уходят на живую; доступ к вложениям сохраняетсяОграничения
Dockerfile/compose.yaml/infra/*/scripts/init_local.pyнаписаны для стандартной сдачи через Docker (проверены структура/синтаксис). Реплики, БД и S3 валидировались локальными процессами.Коммиты
Принято. Закрываю МР.
Pull request closed