From 261f9e1323781d0a05dcc119c22a60700f82d32a Mon Sep 17 00:00:00 2001 From: Rauf Date: Wed, 11 Nov 2026 21:46:11 +0300 Subject: [PATCH] + REPORT.MD --- REPORT.md | 227 +++++++----------------------------------------------- 1 file changed, 27 insertions(+), 200 deletions(-) diff --git a/REPORT.md b/REPORT.md index be034ef..be643b2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,208 +1,35 @@ -# Отчёт — лабораторная 3 +## Лабораторная 4 -- Автор / группа: Фараджев Р.Э / БПИ2303 -- Целевая оценка(3/4/5): 3 - -## Запуск из чистого clone - -**Prerequisites:** -- Docker Desktop для Windows (версия 4.25+) -- Go 1.22+ (локально не требуется, только в Docker) -- Python 3.10+ (для тестов) -- PowerShell 5.1+ или Git Bash - -**Команды запуска:** - -```powershell -# 1. Клонирование и переход в директорию -git clone -cd mtusi2026lab3 - -# 2. Создание .env файла (опционально, конфигурация в docker-compose.yaml) -cp .env.example .env - -# 3. Очистка старых контейнеров (если есть) -docker compose down -v - -# 4. Сборка и запуск -docker compose up -d --build - -# 5. Ожидание готовности (healthcheck ~15-20 секунд) -Start-Sleep -Seconds 20 -docker compose ps -# Все контейнеры должны быть в статусе "healthy" - -# 6. Применение миграций (ТОЛЬКО НА ОДНОЙ РЕПЛИКЕ) -docker compose exec api1 ./migrate up - -# 7. Проверка работоспособности -curl http://localhost:8080/health -# Ожидаемый ответ: {"instance":"api1","status":"ok"} или api2 - -# 8. Запуск тестов -python tests/client.py -python tests/load.py - -# 9. Безопасная остановка -docker compose down - -# 10. Удаление учебных данных (полная очистка) -docker compose down -v -``` - -**Необходимые действия оператора:** -- Миграции запускаются вручную один раз после первого поднятия -- Healthcheck автоматически проверяет готовность сервисов (15-20 сек) -- Для повторного запуска с чистыми данными: `docker compose down -v` +Автор / группа: Фараджев Р. Э. / БПИ2303 +Целевая оценка (3/4/5): 3 +Трек 5, если заявлен: не заявлен ## Архитектура и решения -**Схема компонентов:** +**Добавлено в lab4:** +- **S3-хранилище** (SeaweedFS) для файлов вложений +- **Таблица attachments** (id, s3_key, filename, content_type, size, checksum, message_id) +- **POST /api/attachments** — upload PNG/JPEG (≤10 MiB, ≤40M пикселей) +- **GET /api/attachments/{id}** — download с проверкой прав доступа +- **Валидация изображений**: MIME по содержимому, размеры через image.DecodeConfig +- **Failover**: файлы в общем S3, доступны с любой реплики +- **S3 unavailable**: возвращает 503 быстро (5s timeout) -``` -Клиент (curl/Python тесты) - ↓ - HAProxy:8080 (балансировщик, round-robin) - ↓ - ─────┴─────┐ - ↓ ↓ -api1:8080 api2:8080 (Go HTTP серверы) - ↓ ↓ - └─────┬─────┘ - ↓ - PostgreSQL:5432 (общая БД) - - users (пользователи) - - sessions (сессии) - - messages (сообщения) - - idempotency_keys (идемпотентность) -``` - -**Источник истины:** PostgreSQL — единственное хранилище состояния (сессии, сообщения, ключи идемпотентности). - -**Транзакционные границы:** -- Каждая HTTP обработка — отдельная транзакция -- Идемпотентность: `BEGIN` → `SELECT FOR UPDATE` → `INSERT` → `COMMIT` -- Блокировка на уровне БД предотвращает дубли при конкурентных запросах - -**Ограничения:** -- PostgreSQL и HAProxy — единые точки отказа (не реплицированы) -- Сессии хранятся 24 часа (sessionTTL) -- Максимальный размер запроса: 1MB -- Graceful shutdown: 15 секунд - -**Что перенесено из lab2:** -- Модели данных (users, sessions, messages) -- Хэширование паролей (bcrypt) -- Миграции SQL - -**Что изменено/добавлено:** -- Docker Compose оркестрация -- HAProxy балансировщик -- Две API-реплики (api1, api2) -- X-Instance-Id заголовок -- Идемпотентность через idempotency_keys таблицу -- Healthcheck endpoints -- Graceful shutdown - -**Соответствие .env.example:** -- `DATABASE_URL` → используется в docker-compose.yaml (postgres://app:app@postgres:5432/app) -- `APP_INSTANCE_ID` → передаётся как env в контейнеры (api1/api2) -- `APP_PORT` → 8080 (внутренний порт контейнера) +**Безопасность:** +- S3 использует случайные UUID-ключи (не filename) +- Filename хранится только в БД как metadata +- Проверка прав доступа: только sender или recipient могут скачать +- Валидация MIME по magic bytes (не по расширению) ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| **Публичный smoke** | `make test` или `python tests/client.py` | `All API checks passed` (12 PASS) | tests/client.py | -| **2 API-реплики** | `docker compose ps` | api1 и api2 в статусе Up (healthy) | docker-compose.yaml | -| **Одна точка входа** | `curl http://localhost:8080/health` | JSON с instance field | infra/haproxy.cfg | -| **Балансировка без sticky** | 4 запроса подряд к /health | Чередование api1/api2 | tests/load.py | -| **Общая БД и сессии** | Логин → GET /api/messages | Сессия работает на обеих репликах | cmd/server/main.go | -| **X-Instance-Id** | `curl -sI http://localhost:8080/health \| grep X-Instance-Id` | Заголовок присутствует | cmd/server/main.go | -| **Отказоустойчивость** | `docker compose stop api1` + запросы | В течение 10с запросы идут через api2 | tests/load.py | -| **Идемпотентность** | POST с Idempotency-Key дважды | Первый 201, второй 200, тот же id | cmd/server/main.go | -| **Миграции отдельно** | `docker compose exec api1 ./migrate up` | `migrate up: done` | cmd/migrate/main.go | -| **Graceful shutdown** | `docker compose stop api1` | В логах: "shutting down" | cmd/server/main.go | -| **Failover сценарий** | `python tests/load.py` | `Failover scenario passed` | tests/load.py | -| **Persistence** | `python tests/load.py` | `no duplicate messages in history` | tests/load.py | - -## Эксперименты и отказы - -**Гипотеза:** Система выдерживает остановку одной API-реплики без потери данных и с минимальным временем восстановления. - -**Hardware/лимиты:** -- CPU: AMD Ryzen 7 4000 series (8 cores) -- RAM: 16 GB -- Docker limits: api1/api2 — 256MB RAM, 1.0 CPU; postgres — 512MB RAM -- OS: Windows 11 + Docker Desktop - -**Профиль нагрузки:** -- Объём данных: 1 пользователь, ~10 сообщений -- Concurrency: 20 параллельных запросов (threading) -- Длительность: ~15 секунд (включая failover) -- Прогрев: 5 запросов перед тестом - -**Результаты:** - -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| `docker compose stop api1` | HAProxy перенаправляет на api2 | `requests recovered within 10s (5.24s, 3 transient errors)` | 5.24 сек / 0 потерянных сообщений | -| `docker compose start api1` | api1 возвращается в ротацию | `api1 is back in rotation: ['api1', 'api2']` | ~10 сек (healthcheck) / нет | -| POST с тем же Idempotency-Key | Не создаётся дубль | `replay returns the same id (1 vs 1)` | N/A / нет дублей | -| Запросы во время failover | Кратковременные ошибки 502/503 | `3 transient errors` за 5.24 сек | N/A / допустимы | - -**Raw summary (tests/load.py):** -``` -PASS: message written before failover (got 201) -PASS: requests reached at least two replicas: ['api1', 'api2'] -PASS: docker compose stop api1 succeeded -PASS: reads recovered within 10s (5.24s, 3 transient errors) -PASS: requests still served while api1 is down -PASS: api1 left rotation, served by: ['api2'] -PASS: write works while api1 is down (got 201) -PASS: docker compose start api1 succeeded -PASS: api1 is back in rotation: ['api1', 'api2'] -PASS: history readable after failover (got 200) -PASS: message written before failover survived -PASS: no duplicate messages in history - -Failover scenario passed -``` - -**Ограничения измерения:** -- Тесты запускаются локально (сетевая задержка минимальна) -- Не измеряется p95/p99 (мало запросов) -- Docker Desktop добавляет оверхед (~10-20%) -- Не тестируется отказ PostgreSQL или HAProxy - -## Ограничения и следующие шаги - -**Какие отказы выдерживаются:** -- ✅ Остановка одной API-реплики (api1 или api2) -- ✅ Конкурентные запросы с одинаковым Idempotency-Key (нет дублей) -- ✅ Graceful shutdown (15s timeout) - -**Какие отказы НЕ выдерживаются:** -- ❌ Отказ PostgreSQL (единая точка отказа) -- ❌ Отказ HAProxy (единая точка отказа) -- ❌ Потеря данных при `docker compose down -v` - -**Что не реализовано:** -- Репликация PostgreSQL (master-slave) -- Healthcheck для HAProxy (external) -- Rolling update (level 4) -- Нагрузочное тестирование (ab, wrk) -- Metrics (Prometheus) и логирование (ELK) - -**Учебное упрощение:** -- Сессии не инвалидизируются при logout на всех репликах (только в БД) -- Нет rate limiting -- Нет HTTPS (только HTTP) -- Пароль тестового пользователя захардкожен в миграции - -**Следующие шаги (если нужно улучшить):** -1. Добавить репликацию PostgreSQL (Patroni или pgpool) -2. Добавить keepalived для HAProxy (VIP) -3. Реализовать circuit breaker между репликами -4. Добавить Prometheus metrics (request_count, error_rate, latency) -5. Настроить централизованное логирование (Loki + Promtail) +| Критерий | Команда | Результат | +|---|---|---| +| Upload → 201 ready | POST /api/attachments | ✅ PASS | +| Download побайтно | GET /api/attachments/{id} | ✅ PASS | +| Failover: stop api1 | docker compose stop api1 | ✅ PASS | +| S3 unavailable → 503 | docker compose stop minio | ✅ PASS | +| Чужой чат → 403 | GET чужого файла | ✅ PASS | +| MIME валидация | POST не-PNG файла | ✅ 400 | +| Все тесты client.py | python tests\client.py | ✅ All passed | +| Все тесты load.py | python tests\load.py | ✅ Failover passed | \ No newline at end of file