16 KiB
Лабораторная 5 — уровень 5, трек 1
Автор: Нурлыгаянова Екатерина, группа БПИ2302. Реализация Go, PostgreSQL, Valkey и SeaweedFS; использована помощь Codex.
Стенд всех проверок: macOS arm64, Docker Desktop Linux aarch64, 12 vCPU / 7.65 GiB RAM виртуальной машины, отдельный Compose-проект lab5-audit. Дата и параметры среды записаны в evidence/environment.json. Проверялась текущая рабочая копия после исправления ожидания готовности API через балансировщик. Версии runtime/образов закреплены в Dockerfile и compose.yaml; лимиты CPU/RAM указаны в compose.yaml.
Запуск:
cp .env.example .env # только на чистом clone
sh scripts/init-secrets.sh
docker compose up -d --build --wait
make test
python3 scripts/check-pipeline.py
Остановка: docker compose stop; данные сохраняются в volumes. docker compose down -v намеренно удаляет учебные данные.
API сохраняет проверенный оригинал в S3 staging. Метаданные и outbox создаются одной транзакцией PostgreSQL, после COMMIT возвращается 202. Dispatcher в API и worker публикует незавершённые намерения в Valkey (AOF, fsync always, volume); интервал 1 с, повтор публикации через 30 с. Crash до publish или после publish до COMMIT dispatcher приводит к повтору, а не потере. Сообщение содержит только ID, версию, номер попытки и время. PostgreSQL — источник истины, брокер — доставка at least once.
Worker отдельный: один процесс-владелец защищён сессионной advisory lock PostgreSQL, внутри — WORKER_CONCURRENCY обработчиков (1–8) и общий WORKER_PREFETCH (concurrency–64, включает выполняемые и ожидающие локально сообщения). По умолчанию 1/1; префетч не означает одновременное декодирование всех сообщений. Потеря соединения с этой блокировкой завершает worker; Compose автоматически перезапускает его, заново захватывает блокировку и восстанавливает неподтверждённые сообщения. Попытка захватывается атомарным UPDATE, lease 60 с. Обработка в дочернем процессе с жёстким лимитом 45 с, смерть родителя завершает дочерний процесс. Просроченный processing восстанавливается через outbox. Запись ready проверяет номер захваченной попытки; ready/failed не исполняются повторно. Ключи объектов детерминированы по attachment_id и варианту, pipeline_version=1.
Варианты после применения EXIF orientation:
- thumbnail: JPEG quality 85, вписан в 256×256 без увеличения;
- crop: JPEG quality 85, центрированный квадрат 128×128, увеличение разрешено;
- optimized: WebP quality 80, вписан в 1280×1280 без увеличения.
Прозрачность компонуется на белый. Decode/re-encode удаляет EXIF/ICC/XMP; WebP дополнительно -metadata none. Масштабирование nearest neighbour — учебное упрощение качества. Оригинал сохраняется побайтно. Ready публикуется только после записи всех четырёх объектов. Staging удаляется после ready; неудачная очистка повторяется по сохранённой outbox-строке. Неуспешные staging сохраняются для ручного replay без автоматического удаления; бесконечный retention — ограничение учебного стенда. Непринятые orphan-объекты требуют ручной уборки; автоматический janitor не реализован.
Лимиты worker: 10 MiB, 40 млн пикселей до decode, 45 с на попытку, cgroup 1 GiB и GOMEMLIMIT 512 MiB. OOM/смерть процесса восстанавливается по lease. JPEG/PNG с ошибкой декодирования/размера — постоянная ошибка invalid_image. Ошибки I/O/encoder — временные; максимум JOB_MAX_ATTEMPTS (по умолчанию 5). Exponential backoff с jitter: 0.5–1, 1–2, 2–4… до 32–64 с; доставка дополнительно может задержаться до 30 с. При исчерпании — failed/retry_exhausted. Реестр failed — таблица attachments, error_code не содержит секретов.
Операторские команды:
docker compose exec worker /usr/local/bin/worker failed
docker compose exec worker /usr/local/bin/worker replay UUID
Replay разрешён только для failed при доступном staging; атомарно сбрасывает попытки, создаёт outbox и audit в attachment_replays. Ready не откатывается. Доступ оператора ограничен доступом к Docker/секретам стенда.
Короткие проверки:
cd app && go test ./...(Linux; на macOS используйте Docker из следующего пункта): сборка, размеры thumbnail, композиция alpha, границы jitter/backoff и целостность вариантов; WebP-проверка запускается при наличии cwebp.docker build --target tests -t mtusi-lab5-tests .: те же Go-тесты с установленным cwebp, без пропуска проверки вариантов. При DNS-проблемах сети Docker можно добавить--network host.make check: проверка структуры/контракта.make test: публичный API smoke.python3 scripts/check-pipeline.py: реальный exit API после COMMIT при остановленном broker; восстановление из outbox; exit worker после S3 до ready и после ready до ack; повторная доставка, запрет replay ready; перезапуск broker/API с принятой задачей; исчерпание двух попыток при недоступном S3, audit и успешный replay failed; автоматический перезапуск worker при потере PostgreSQL-сессии. В тесте lease переводится в прошлое SQL-командой вместо ожидания 60 с. Нагрузка не запускается.
Fault hooks FAULT_AFTER_UPLOAD_COMMIT, FAULT_AFTER_OBJECTS, FAULT_BEFORE_ACK выключены по умолчанию. Worker fault срабатывает один раз на контейнер (маркер в /tmp). Один Docker-host, одна БД, один брокер и один активный worker не обеспечивают HA host. Это идемпотентный эффект с повторной доставкой, не exactly-once.
Тест сбоев перед началом и после перезапуска API ждёт HTTP 200 от /health/ready по клиентскому адресу через балансировщик. Готовность процесса внутри контейнера ещё не означает, что HAProxy вернул реплики в работу; временный 503 допустим только во время этого ожидания. Проверки метаданных, файлов и состояний выполняются без ослабления требований.
Новый полный прогон: evidence/track1-check.txt; вывод аварийных сценариев — evidence/pipeline-check.txt, Go-тестов без кеша — evidence/go-tests.txt, smoke — evidence/smoke.txt, структуры — evidence/check.txt, сборки/запуска — evidence/build.txt. Сырые нагрузочные замеры — evidence/overload-results.json, stdout эксперимента — evidence/overload-check.txt. Ссылка на PR добавляется после его создания.
Трек 1: короткая перегрузка очереди
Гипотеза: увеличение concurrency ускоряет опустошение очереди крупных изображений ценой RSS; избыточный prefetch сам по себе не добавляет CPU. Сравниваем 1/1, 2/2, 4/8 при одинаковом лимите worker 2 CPU / 1 GiB, двух API по 1 CPU / 1 GiB. Глобальный JOB_MAX_INFLIGHT по умолчанию 64; в эксперименте 12. PostgreSQL сериализует проверку числа queued/processing и INSERT через транзакционную advisory lock, поэтому лимит общий для реплик. При заполнении возвращается 429, временный staging отклонённой загрузки удаляется компенсацией. Слоты HTTP-загрузок отдельно ограничивают ещё не принятые запросы.
Повторение на отдельном учебном проекте (предварительно создать .env и secrets по инструкции выше):
export COMPOSE_PROJECT_NAME=lab5-audit
export BASE_URL=http://localhost:28085 API_PUBLISH_PORT=28085
export POSTGRES_PORT=25435 VALKEY_PORT=26385 JOB_MAX_INFLIGHT=12
docker compose up -d --build --wait
python3 -u scripts/overload-study.py
make test BASE_URL="$BASE_URL"
docker compose down
Порт S3 gateway 19090 также должен быть свободен. Скрипт меняет/останавливает только worker выбранного проекта; запускать при пустой очереди без других клиентов.
Методика: один прогревочный render на настройку, затем по одному burst для PNG 320×200 и 2000×1400, детерминированная текстура seed=42. При остановленном worker четыре клиента предлагают 16 загрузок: 12 принимаются, 4 получают 429. После запуска worker проверяются ready всех принятых ID, метаданные вариантов и опустошение pending/active, затем новая загрузка и скачивание её оригинала/трёх вариантов. Получается шесть коротких прогонов вместо длительного нагрузочного теста.
Throughput = 12 / время от команды запуска worker до последнего ready; queue lag = первое processing минус created_at; latency = ready минус created_at. p95 — nearest rank по 12 задачам; включает намеренную остановку worker и сбор burst, но не передачу файла до создания строки. RSS — сумма VmRSS процессов контейнера worker (родитель, render и cwebp, плюс краткоживущий измеритель); сэмплирование с паузой 250 мс плюс время Docker/SQL-вызовов. Это RSS, не docker memory usage; общие страницы могут учитываться повторно. Исходные сэмплы и среда сохраняются в evidence/overload-results.json.
Результаты 2026-11-12: единый стенд lab5-audit, macOS arm64, Docker Desktop Linux aarch64, 12 vCPU / 7.65 GiB RAM VM. Начало нагрузочного прогона: 2026-11-12T16:52:03.496180+00:00. Суммарная активная нагрузка — десятки секунд.
| Concurrency/prefetch | Изображение | Throughput, задач/с | Queue lag p95, с | До ready p95, с | RSS max, МиБ | Drain, с |
|---|---|---|---|---|---|---|
| 1/1 | 320×200 | 7.08 | 2.77 | 2.79 | 29.39 | 1.69 |
| 1/1 | 2000×1400 | 1.62 | 7.78 | 8.12 | 86.66 | 7.41 |
| 2/2 | 320×200 | 7.93 | 2.30 | 2.33 | 13.96 | 1.51 |
| 2/2 | 2000×1400 | 2.34 | 4.59 | 5.96 | 151.33 | 5.12 |
| 4/8 | 320×200 | 8.27 | 2.49 | 2.52 | 81.05 | 1.45 |
| 4/8 | 2000×1400 | 3.55 | 3.20 | 3.80 | 236.79 | 3.38 |
В каждой строке: 12 принятых, 4 отказа 429, 12 ready с одной попытки, итоговые pending=active=0; дополнительный запрос после разгрузки принят и обработан, байты его оригинала и checksums вариантов проверены скачиванием. При 4/8 наблюдаемый максимум unacked для крупных изображений — 8; одновременно работают максимум 4 render-процесса. Для основных 72 задач проверены ready, список вариантов и checksum оригинала в метаданных.
Дополнительная перегрузка без остановки worker, настройка 4/8: 32 загрузки 2000×1400, 8 клиентов; 16 приняты, 16 получили 429. Наблюдаемый максимум queued+processing=12, все 16 принятых дошли до ready; следующая загрузка также успешна. Приём, разгрузка и контрольный запрос заняли 7.84 с. Сэмплы числа незавершённых задач записаны в JSON.
Вывод: для крупных файлов throughput 4/8 выше 1/1 на 119.3%, наблюдаемый RSS выше в 2.73 раза. При лимите 2 CPU дополнительные обработчики конкурируют за CPU и S3. Лучший p95 до ready в этом прогоне у 4/8: 3.80 с. Эта latency включает время набора burst и остановку worker, поэтому её нельзя трактовать как изолированную скорость обработки. Больший prefetch переносит ожидание из брокера в локальную очередь worker, но не увеличивает число render; отдельно эффект prefetch этим сравнением не изолирован.
Ограничения: по одному короткому прогону, всего 12 наблюдений на строку; p95 при таком n равен максимуму, доверительных интервалов нет. Для маленьких файлов получено по 2 RSS-сэмпла, для крупных — 6–14. Накладные расходы запуска/Docker существенны; краткий пик памяти может быть пропущен. Приведены наблюдаемые RSS, не гарантированные абсолютные пики. Замеры доказывают ограниченный burst, backpressure и восстановление, не устойчивую предельную производительность или длительную работу под перегрузкой. Worker с 8×40 Мп может исчерпать cgroup; такое значение не рекомендуется без отдельного подбора памяти. Лимит 12/64 ограничивает незавершённую работу, но не суммарный объём уже готовых/failed файлов; retention остаётся ограничением уровня 4.