16 KiB
Отчёт — лабораторная 5
- Автор: Гришко Дмитрий Михайлович, БВТ2303.
- Целевая оценка: 5, трек 2 «Доказанная идемпотентность pipeline».
- Ветка:
solution/Grishko-BVT2303. - PR: ссылка
- Источники: задание, контракт состояний, OpenAPI. Библиотеки и версии — go.mod. Помощь ИИ: OpenAI Codex — код, проверки и оформление.
Запуск из чистого clone
WSL Ubuntu/Linux, Git, Make, Python 3.9+, Docker Compose с --wait. Для сборки нужен интернет. Порты: API 8080, UI 5173, HAProxy 8404, S3 9000; эксперимент — 18085 и 18900.
Внешний порт API задаётся API_HTTP_PORT в .env, по умолчанию 8080. Внутри Docker API слушают APP_PORT=8080.
git clone --branch solution/Grishko-BVT2303 https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab5-fork.git
cd mtusi2026lab5-fork
python3 scripts/init_env.py
docker compose --project-name highload-lab5 --env-file .env -f compose.yml config --quiet
docker compose --project-name highload-lab5 --env-file .env -f compose.yml up -d --build --wait
curl --fail http://127.0.0.1:8080/health/ready
make check
make test BASE_URL=http://127.0.0.1:8080
Инициализация создаёт .env и случайные credentials в secrets/, сохраняя существующие значения. Compose выполняет миграции и S3 bootstrap перед запуском API/worker; завершение этих служебных контейнеров с кодом 0 штатно. Bucket приватный, download требует Bearer и членство в чате. API и worker не получают S3 root credentials.
Образы: Go 1.22.2 → Debian 12.15, PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0-management, HAProxy 3.2.25; MinIO собирается из закреплённой версии в Dockerfile. Фактические image ID серии — в environment-r*.json.
Генератор запускается командой python3 scripts/generate_evidence.py после эксперимента по инструкции, когда его каталог находится в evidence/idempotency. Он выполняет smoke, backend -race, проверки уровней 3–4, restart/failover и аудит готовой серии. Markdown с командами, exit code и выводом создаётся в evidence/criteria; история — в runs/. Ошибка обозначается FAIL / NOT RUN. По умолчанию проверяется последняя основная серия, другую можно задать через --campaign. Эксперимент заново не запускается. Проверки перезапускают только highload-lab5; одновременно с экспериментом их запускать нельзя.
Остановка с сохранением данных и последующий запуск:
docker compose --project-name highload-lab5 --env-file .env -f compose.yml down
docker compose --project-name highload-lab5 --env-file .env -f compose.yml up -d --wait
Намеренное удаление всех данных обычного стенда: та же команда down --volumes. В проверках удаление томов не используется.
Архитектура и решения
React → HAProxy → API ×2 → S3 staging + PostgreSQL (attachment, job/outbox)
↓
dispatcher → RabbitMQ → worker → S3 original/variants
+ PostgreSQL ready
Redis: общие сессии; PostgreSQL: сообщения, ACL, задания, версии и аудит.
Из lab4 сохранены авторизация, общие сессии, сообщения, идемпотентность запросов, вложения, приватный S3 и балансировка. Upload теперь отвечает 202 queued: байты уже в staging, attachment и job сохранены одной транзакцией. Resize в API не выполняется. Клиент опрашивает метаданные; content до ready отвечает 409.
Frontend различает загрузку, очередь, обработку и ошибку. Принятое вложение можно отправить до ready; изображение появляется после обработки. Доступны thumbnail/crop/WebP и отдельное скачивание original. Повтор проверки состояния выполняет GET, не создавая новую job.
- Outbox: таблица заданий хранит намерение обработки. Dispatcher публикует persistent message в durable-очередь
attachments.v1с mandatory и publisher confirm. Неподтверждённая публикация повторяется; в сообщении только идентификаторы и версия. - Worker: отдельный процесс, prefetch 1 и одна активная задача на экземпляр. Попытка получает lease token; проверка версии/token и публикация метаданных защищены блокировками строк. ACK следует после COMMIT результата, намерения retry либо проверки терминального дубля.
- Варианты: thumbnail вписывается в 256×256, crop — центральный 128×128, optimized — WebP до 1280×1280; thumbnail/optimized без увеличения. JPEG quality v1/v2 — 85/75, WebP — 80/65; метаданные не копируются. Original сохраняется побайтно.
- Версии: уникальная job на
(attachment_id, pipeline_version), ключиvariants/{id}/v{version}/…, журнал публикаций. Upgrade v1→v2 создаёт новое намерение и помечает старую jobsuperseded. Старая версия или token не могут опубликовать результат поверх новой. - Ошибки: максимум 5 попыток; временные ошибки — backoff с equal jitter, потолок 2, 4, 8, 16, 30 с. Постоянная ошибка изображения завершает job сразу. Вместо DLQ — реестр failed; replay с причиной записывается в аудит и не открывает успешную job.
- Лимиты: upload ≤10 МиБ, API ≤40 млн пикселей, worker по умолчанию ≤8 млн. Worker: 1 CPU, RAM 512 МиБ, tmpfs 64 МиБ. Декодирование — дочерний процесс с timeout; родитель удаляет scratch. Staging удаляется после устойчивого
ready, для failed — после retention 24 ч; queued/processing защищены.
API получает 0.5 CPU/512 МиБ на реплику. Пул PostgreSQL — 10 соединений на процесс. JOB_TIMEOUT_SECONDS по умолчанию 60 с; родительский timeout — +15 с, lease — ещё +5 с. В эксперименте это 10/25/30 с. JOB_MAX_ATTEMPTS, WORKER_MAX_PIXELS и *_FILE читаются приложением. WORKER_CONCURRENCY из .env.example не задаёт число процессов: используется масштабирование Compose. Сессии всегда в Redis; лимиты API заданы константами, а не строками MAX_* примера. Failed staging хранится 24 ч; STAGING_RETENTION_SECONDS реализацию не переопределяет.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make check, make test BASE_URL=http://127.0.0.1:8080 |
202 → ready, original и JPEG thumbnail | smoke |
| 3: минимум lab4 | Backend -race, persistence/failover |
Авторизация, ACL, сообщения, общие данные | baseline |
| 3: устойчивый приём до 202 | check_async_grade3.py |
Worker остановлен; принятая задача переживает restart API | durable upload |
| 3: отдельные broker/worker, durable и ack | Inventory, grade3 | RabbitMQ с volume, worker отдельно; очередь переживает restart | broker/worker |
| 3: состояния и варианты | Smoke, grade3 | Queued/ready/failed, неизменный original и thumbnail | states/variants |
| 3: retry, идемпотентность | Grade3/4 | 5 попыток → failed; дубли не меняют ready | retry |
| 3: демонстрация restart | Grade3, persistence, StartedAt/mounts | Сообщение создано при worker off; после restart та же задача ready | recovery |
| 4: crop/WebP и лимиты | check_async_grade4.py, backend |
Размеры/SHA-256, ACL; timeout child, отказ на 9 млн пикселей | variants/limits |
| 4: разрыв COMMIT/publish | Grade4, commit_publish_gap |
После crash обрабатывается исходная job | outbox |
| 4: backoff, failed и replay | Grade4 | Jitter в заданном диапазоне; replay аудируется, ready не переоткрывается | replay |
| 4: crash после записи, lease, concurrency, staging | Grade4, stale_lease |
Повтор без второго набора вариантов; старая попытка отклонена; staging защищён | lease/cleanup |
| 5: трек 2 | Аудит основной серии | 135/135, нарушения/OOM/невалидные случаи — 0 | pipeline |
Эксперименты и отказы
H1: дубли, reorder и остановки процессов не теряют принятые задания и не позволяют старой версии заменить новую. Критерий — все 135 случаев без нарушения инвариантов, OOM, невалидных случаев и пропусков данных. Гипотеза, методика, ограничения, воспроизведение.
Основная серия main-20261105T183859Z-d93b7abf: 5 независимых Compose-проектов × 3 профиля PNG × 9 сценариев. RGB 320×200, RGBA 640×360, RGB 1600×1000; seed 2303, порядок перемешивается внутри повтора. Перед каждым повтором — одна прогревочная загрузка. Пилот в выборку не включён. Управляющий клиент последовательный, worker ×2 с prefetch 1; API ×2. API — 0.5 CPU/512 МиБ, worker — 1 CPU/512 МиБ на процесс. Срок завершения после восстановления — 180 с.
Хост: Ryzen 9 PRO 7940HS; Docker Desktop/WSL2, kernel 6.6.87.1, 16 CPU и 7.40 GiB памяти Docker; Engine 29.8.1, Compose 5.5.1, Python 3.12.3. Серия длилась 68 мин 54 с вместе с подготовкой, прогревом и управлением процессами. Окружение и image ID, manifest, сырые случаи.
| Сценарий | Успешно | Время всего сценария min / median / max, с |
|---|---|---|
| Без отказа | 15/15 | 15.81 / 18.27 / 22.30 |
| 5 дублей до ready и 5 после | 15/15 | 24.61 / 27.11 / 30.24 |
| Доставка v2 перед v1 | 15/15 | 20.60 / 23.33 / 26.74 |
| Crash после COMMIT до publish | 15/15 | 15.99 / 21.31 / 23.19 |
| Crash до side effect | 15/15 | 47.25 / 50.14 / 55.15 |
| Crash после S3 PUT до COMMIT | 15/15 | 43.77 / 49.49 / 55.31 |
| Crash после COMMIT до ACK | 15/15 | 17.95 / 20.63 / 23.86 |
| Доставка v1 после готовой v2 | 15/15 | 23.76 / 24.75 / 29.65 |
| Продолжение устаревшей попытки | 15/15 | 23.31 / 24.19 / 26.26 |
Результат: H1 подтверждена в исследованных условиях. Все 135 случаев завершены, нарушений, невалидных случаев и OOM нет. Аудит проверяет хеши архива исходников, матрицу случаев, журналы БД и 585 сохранённых файлов вариантов. После старой доставки опубликованная v2 и её SHA-256 сохраняются; принятые задания завершаются либо имеют учтённую замену новой версией.
Время в таблице включает остановки/запуски, опрос, проверку S3 и ожидание пустой очереди; это не latency обработки и не время восстановления. RPS, p50/p95/p99, фактические RSS и CPU не измерялись: выбранный трек проверяет корректность при отказах. Предыдущие незавершённые запуски остановились при подготовке RabbitMQ/исчерпании Docker-подсетей и не входят в эту серию.
Ограничения и следующие шаги
Доставка остаётся at least once. После сбоя S3 PUT и доставка сообщения могут повторяться; блокировки, версии, token и устойчивый журнал делают логический результат идемпотентным. Exactly-once доставка не заявляется.
Один host и три синтетических PNG не покрывают все изображения и порядки выполнения. Потеря диска/тома, сетевые разделения и HA зависимостей не проверялись. Блокировка строк удерживается во время обработки/S3-записи: это упрощает защиту от гонок, но занимает соединение БД. Старые версии объектов сохраняются; автоматическая очистка их истории не реализована. Вывод относится к проверенным v1/v2 и девяти сценариям.