Files
mtusi2026lab5/REPORT.md

131 lines
9.5 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 5
- **Автор, группа:** Матвиенко, БПИ2304
- **Целевая оценка:** 3
- **Commit/PR:** добавить после публикации
- **Использованные источники и библиотеки:** материалы лабораторной, OpenAPI-контракт, Python 3.12, FastAPI, PostgreSQL 16, RustFS 1.0.3, RabbitMQ 4.1.8, Pika 1.3.2, boto3, Pillow, Nginx 1.29, Docker Compose. При разработке и отладке использовалась помощь ИИ.
## Запуск из чистого clone
Необходимы Git, Docker Desktop с Docker Compose, Python 3 и Make.
Создать `.env` по образцу `.env.example`, указав собственные локальные секреты:
```dotenv
POSTGRES_PASSWORD=<локальный_пароль>
SESSION_TTL_SECONDS=3600
S3_ACCESS_KEY=<локальный_ключ>
S3_SECRET_KEY=<локальный_секрет>
S3_BUCKET=messenger-attachments
RABBITMQ_USER=messenger
RABBITMQ_PASSWORD=<локальный_пароль_брокера>
RABBITMQ_QUEUE=image_jobs
IMAGE_MAX_ATTEMPTS=5
```
Сборка, применение миграций, создание приватного bucket и запуск:
```bash
docker compose up -d --build
docker compose ps -a
curl http://127.0.0.1:8080/health/ready
```
Проверки:
```bash
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 scripts/test-worker-recovery.py
bash scripts/test-redelivery.sh
```
Остановка с сохранением данных:
```bash
docker compose down
```
Намеренное удаление учебных данных и volumes:
```bash
docker compose down -v
```
## Архитектура и решения
**Схема:** клиент → Nginx → две API-реплики → PostgreSQL + RustFS → dispatcher → RabbitMQ → worker → RustFS + PostgreSQL.
Из lab4 сохранены авторизация, чаты, сообщения, балансировка API, идемпотентность и приватное S3-хранилище.
В lab5 реализована асинхронная обработка изображений:
- API сохраняет исходный файл в устойчивом S3 staging и создаёт задание в PostgreSQL.
- Upload возвращает HTTP 202 со статусом `queued`.
- Dispatcher публикует идентификаторы заданий в устойчивую очередь RabbitMQ с подтверждением публикации.
- Отдельный worker обрабатывает файл и создаёт JPEG thumbnail в пределах 256×256 с сохранением пропорций.
- Оригинал сохраняется без изменений.
- Статусы `queued`, `processing`, `ready`, `failed` доступны через API.
- Реализованы ограниченные повторы обработки — максимум 5 попыток.
- Подтверждение сообщения RabbitMQ выполняется после завершения транзакции PostgreSQL.
Байты изображений и учётные данные в сообщениях брокера не передаются. PostgreSQL хранит метаданные и задания, RustFS — staging и конечные файлы. Стабильные object keys и проверка состояния задания защищают от повторной обработки завершённой работы.
Между S3 и PostgreSQL нет общей распределённой транзакции; при сбоях используются повторные попытки и идемпотентная обработка.
## Доказательства критериев
| Критерий | Команда или сценарий | Результат | Доказательство |
|---|---|---|---|
| Публичный smoke | `make test` | PASS | `evidence/smoke.txt` |
| Сохранность данных | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS | `evidence/persistence.txt` |
| Отказ API-реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS, 121 запись, 0 ошибок | `evidence/failover.txt` |
| Восстановление после отказа | Failover-сценарий | 0,783 секунды | `evidence/failover.txt` |
| Остановленный worker и рестарт | `python3 scripts/test-worker-recovery.py` | PASS | `evidence/worker-recovery.txt` |
| Повторная доставка задания | `bash scripts/test-redelivery.sh` | PASS, результат не изменился | `evidence/redelivery.txt` |
| Подтверждение работы worker | Журнал worker | Два повторных задания распознаны как завершённые | `evidence/redelivery-worker.txt` |
| Состояние инфраструктуры | `docker compose ps -a` | API и PostgreSQL healthy, остальные рабочие сервисы запущены | `evidence/containers.txt` |
| Миграции | `docker compose run --rm --no-deps migrate` | Все 5 миграций уже применены | `evidence/migrations.txt` |
| Перезапуск инфраструктуры | Сравнение времени запуска контейнеров | Сохранены данные до и после действия | `evidence/restart-before.txt`, `evidence/restart-after.txt` |
## Эксперименты и отказы
**Гипотеза:** принятое изображение не потеряется при остановке worker и перезапуске API или брокера. Повторная доставка завершённого задания не изменит результат.
Испытания выполнены на локальном стенде Windows / WSL Ubuntu / Docker Desktop, с RabbitMQ 4.1.8, PostgreSQL 16, RustFS 1.0.3 и двумя API-репликами.
**Проверка восстановления задания:**
1. Worker остановлен.
2. Изображение загружено с результатом HTTP 202, статус `queued`.
3. Создано сообщение с ожидающим вложением.
4. Перезапущены RabbitMQ и API.
5. Состояние `queued` сохранилось.
6. После запуска worker вложение перешло в `ready`.
7. Оригинал проверен по SHA-256, thumbnail создан как JPEG 256×160.
Результат: `PASS: durable worker recovery`.
**Проверка повторной доставки:**
Одно завершённое задание повторно опубликовано дважды. До и после проверки состояние осталось `ready`, число попыток — `1`, число вариантов — `1`, SHA-256 thumbnail не изменился. Worker дважды зарегистрировал получение уже завершённого задания.
Результат: `PASS: duplicate delivery did not change completed job`.
| Воздействие | Ожидание | Наблюдение | Результат |
|---|---|---|---|
| Остановка API-реплики | Запись через оставшуюся реплику | 121 успешная запись, 0 ошибок | Восстановление 0,783 с |
| Перезапуск хранилищ и брокера | Сохранность данных и сессии | Persistence PASS | Потерь не выявлено |
| Остановка worker и рестарт | Задание сохранится | `queued → ready`, оригинал и thumbnail доступны | PASS |
| Две повторные доставки | Отсутствие повторной обработки | Статус, checksum и количество вариантов неизменны | PASS |
Отдельные измерения RPS, p50/p95/p99, CPU/RAM и длительные нагрузочные испытания не выполнялись. Проверка повторной доставки проведена для завершённого задания; аварийное завершение worker непосредственно перед ACK отдельно не моделировалось.
## Ограничения и следующие шаги
PostgreSQL, RustFS и RabbitMQ работают в одиночных экземплярах и остаются точками отказа. При намеренном удалении volumes данные теряются.
В перспективе можно добавить резервирование хранилищ, мониторинг очереди, очистку неиспользуемых staging-объектов и испытания с несколькими worker.
**Вывод:** асинхронная обработка изображений реализована. Публичный smoke, persistence, failover, восстановление заданий и повторная доставка успешно проверены. Принятое задание пережило остановку worker и перезапуск RabbitMQ и API, а повторная доставка не изменила готовый результат.