13 KiB
Отчёт — лабораторная 5
- Автор, группа: Морозов Александр БВТ2304
- Целевая оценка; выбранный трек 5, если нужен: 4
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: ChatGPT для консультаций.
Запуск из чистого clone
Требуются Docker с Compose и BuildKit, Python 3.9+, openssl, make и Go 1.27.1 для Go-тестов. Оператор запускает Docker и освобождает порт 8080.
Приложение собирается в golang:1.27-alpine и работает в alpine:3.20 с Python 3.12.13 и Pillow 10.3.0. Используются postgres:16.4-alpine, redis:7.4-alpine, haproxy:3.0-alpine, chrislusf/seaweedfs:4.50, migrate/migrate:v4.17.1 и amazon/aws-cli:2.39.1.
./scripts/bootstrap.sh # создание локальных .env и secrets
docker compose config --quiet
docker compose up -d --build # сборка, миграции и запуск
./scripts/wait_ready.sh 180
make check
make test
make test-pipeline
go test ./...
go vet ./...
Миграции автоматически применяет сервис migrate, бакет создаёт s3-init. Секреты генерируются локально и исключены из Git. Проверки создают синтетические данные. make test-pipeline временно останавливает и восстанавливает сервисы.
Безопасная остановка сохраняет данные в volumes.
docker compose stop
Для намеренного удаления всех учебных данных оператор отдельно выполняет команду
docker compose down --volumes
Архитектура и решения
Клиент → HAProxy → API ×2 → PostgreSQL
→ Redis sessions/cache
→ S3 staging
PostgreSQL outbox → relay → Redis Streams → worker → S3 original/thumbnail/crop/WebP
→ PostgreSQL ready/failed
Из lab4 перенесены Go REST API, PostgreSQL, Redis-сессии, две API-реплики с HAProxy и приватный S3. В lab5 добавлены worker, Redis Streams, transactional outbox, состояния вложений и асинхронная обработка изображений.
PostgreSQL является источником истины для метаданных, состояний, заданий и аудита. Перед ответом 202 queued API сохраняет оригинал в устойчивый S3 staging и одной транзакцией создаёт attachment, job и outbox. Relay публикует задание в брокер с AOF и appendfsync always.
Worker захватывает задание с lease, сохраняет оригинал, thumbnail, crop и WebP, затем одной транзакцией фиксирует ready и метаданные вариантов. После COMMIT удаляется staging и отправляется ack. Детерминированные ключи объектов и проверка lease защищают результат при повторной доставке. Временные ошибки повторяются с backoff и jitter, постоянные ошибки и исчерпание попыток приводят к failed. Явный replay записывается в аудит.
Переменные POSTGRES_*, DATABASE_URL, PORT, CACHE_URL, SESSION_TTL_SECONDS, MAX_CONCURRENT_REQUESTS и DB_* из .env.example используются при подготовке secrets и в Compose. Приложение получает DSN и S3 credentials через _FILE. Внутренние адреса S3 и брокера заданы в Compose. WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS и STAGING_RETENTION_SECONDS управляют обработкой.
По умолчанию работают один consumer с prefetch 1, пять попыток, timeout 30 секунд и lease 40 секунд. Изображения ограничены 10 MiB, 40 млн пикселей, памятью дочернего процесса 384 MiB и временем выполнения. Стенд размещён на одном Docker host, PostgreSQL, S3 и брокер имеют по одному экземпляру.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS, upload возвращает 202, вложение достигает ready, оригинал и thumbnail доступны | evidence/lab5-smoke.txt |
| Устойчивый приём и отдельный worker | make test-pipeline, остановка worker |
Upload 202, queued-вложение прикрепляется к сообщению, content возвращает 409 | evidence/lab5-pipeline.json |
| Сохранность задания | make test-pipeline, SIGKILL брокера и рестарт API |
После восстановления та же задача достигает ready | evidence/lab5-pipeline.json |
| Ограниченные повторы и failed | make test-pipeline, недоступный S3 |
После двух тестовых попыток получен failed с кодом retry_exhausted | evidence/lab5-pipeline.json |
| Crop и optimized WebP | make test-pipeline, проверка вариантов |
Crop 128×128, корректный WebP, размеры и SHA-256 совпадают | evidence/lab5-pipeline.json |
| Ограничения изображений | make test-pipeline, повреждённые и большие файлы |
Ответы 415 и 413, при нехватке памяти — image_resource_limit | evidence/lab5-pipeline.json |
| Ограничение времени обработки | go test ./internal/images |
Дочерний процесс завершён по deadline | evidence/lab5-go-test.txt |
| Transactional outbox | make test-pipeline, crash до и после publish |
Намерение сохраняется, публикация восстанавливается автоматически | evidence/lab5-pipeline.txt |
| Backoff с jitter и replay | make test-pipeline, отказ S3 и replay |
Проверена задержка, failed попадает в реестр, replay создаёт аудит и приводит к ready | evidence/lab5-pipeline.json |
| Идемпотентность и lease | make test-pipeline, crash после записи S3 до ack |
Задача восстановлена на попытке 2, дубль оставляет ровно четыре объекта | evidence/lab5-pipeline.json |
| Конкуренция и очистка staging | make test-pipeline, go test ./... |
Один успешный захват из восьми, staging удаляется после ready | evidence/lab5-go-test.txt, evidence/lab5-pipeline.json |
| Сохранность данных и сессий | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
Данные и прежняя сессия сохранены после перезапуска API, PostgreSQL, Redis, S3, broker и worker/outbox | evidence/lab5-persistence.txt, evidence/lab5-restart-before.json, evidence/lab5-restart-after.json |
| Отказ API-реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
Подтверждены 133 записи, потери подтверждённых сообщений отсутствуют | evidence/lab5-failover.txt |
| Трек уровня 5 | Не заявлен | Целевая оценка — 4 | — |
Эксперименты и отказы
Гипотеза уровня 4: подтверждённый upload не теряется в проверяемых окнах отказа; после восстановления инфраструктуры задача завершится, повтор не изменит опубликованный результат. Это проверка инвариантов, без сравнения трёх конфигураций и без заявления исследования на 5.
| Воздействие | Ожидаем | Наблюдаем |
|---|---|---|
| Worker off, relay crash перед publish | 202 и сохранённый intent | После восстановления та же job ready |
| Relay crash после XADD до отметки outbox | Возможен дубль | Повторная публикация безопасна |
| Broker SIGKILL, API restart | Stream и принятая задача сохранены | После worker start original/3 варианта доступны |
| Worker exit после original до DB/ack | Processing до lease, новая попытка | Attempt 2, ready, 4 объекта; дубль no-op |
| Worker S3 endpoint недоступен | Backoff, bounded retry, failed | В тесте 2 попытки, затем replay при исправленном endpoint → ready |
| Декодер 64 MiB, 3000×3000 RGB | Контролируемый отказ без бесконечных повторов | image_resource_limit с попытки 1; replay с 384 MiB → ready |
| Зависший Python | Убит по deadline | Go-тест с sleep(60), deadline 100 ms прошёл |
| Перезапуск всех хранилищ | Сессия и данные сохранены | Публичный persistence PASS |
Raw результаты и длительности каждого сценария: evidence/lab5-pipeline.json.
Прогон без ручного сокращения lease занимает несколько минут; восстановление
после after_object ожидает настоящую аренду 40 секунд. Метрики нагрузки
API и sampled CPU/RAM находятся в evidence/lab5-load.json и
evidence/lab5-runtime.json. Методика — один 30-секундный closed-loop прогон,
4 клиента, POST сообщений, без автоматических retries; отдельный новый чат.
Это измерение HTTP-подтверждений сообщений, не throughput image pipeline.
Счётчики набора данных до/после измерения сохранены в runtime evidence.
Перед измерением стенд прогрет smoke и сценариями; дополнительный
фиксированный прогрев не выполняется. Повторов для статистической оценки нет.
p50/p95/p99 относятся к успешным запросам; возможны coordinated omission
и влияние генератора/Docker Desktop. Универсальный проходной RPS не заявлен.
Результат нагрузки на итоговой сборке
Один прогон: 35.243 s, concurrency 4, 4983 успешных POST, 12 ошибок, 141.389 successful RPS. Успешная latency: p50 4.8 ms, p95 20.439 ms, p99 47.073 ms. До прогона: 2988 сообщений, после: 7971; разница включает только созданные в новом нагрузочном чате сообщения. Во время прогона сборки/сценарии отказов не выполнялись. Ниже — максимумы из периодических samples Docker stats; между samples возможны более короткие пики. CPU в процентах одного ядра. В прогоне были 12 неуспешных запросов (0.2402%); публичный load-скрипт не сохраняет типы этих ошибок. В просмотренных логах LB не найдено соответствующих 5xx при POST, рестартов/OOM контейнеров не было. Причина не установлена; это ограничение измерения, без заявления безошибочной работы под этой нагрузкой.
| Контейнер | Sampled CPU peak | Sampled RAM peak / limit |
|---|---|---|
| mtusi2026lab5-api-1 | 35.7% | 178MiB / 512MiB |
| mtusi2026lab5-api-2 | 32.29% | 172.9MiB / 512MiB |
| mtusi2026lab5-broker-1 | 2.8% | 10.27MiB / 128MiB |
| mtusi2026lab5-lb-1 | 26.47% | 92.51MiB / 128MiB |
| mtusi2026lab5-outbox-1 | 1.16% | 7.992MiB / 192MiB |
| mtusi2026lab5-postgres-1 | 80.89% | 47.46MiB / 512MiB |
| mtusi2026lab5-reconciler-1 | 0.0% | 7.254MiB / 128MiB |
| mtusi2026lab5-redis-1 | 5.81% | 10.68MiB / 128MiB |
| mtusi2026lab5-s3-proxy-1 | 1.91% | 63.8MiB / 64MiB |
| mtusi2026lab5-seaweedfs-1 | 11.68% | 234.1MiB / 512MiB |
| mtusi2026lab5-worker-1 | 0.5% | 8.121MiB / 1GiB |