forked from mtusi2026/mtusi2026lab5
89 lines
16 KiB
Markdown
89 lines
16 KiB
Markdown
# Лабораторная 5 — уровень 5, трек 1
|
||
|
||
Автор: Нурлыгаянова Екатерина, группа БПИ2302. Реализация Go, PostgreSQL, Valkey и SeaweedFS; использована помощь Codex.
|
||
|
||
Стенд всех проверок: macOS arm64, Docker Desktop Linux aarch64, 12 vCPU / 7.65 GiB RAM виртуальной машины, отдельный Compose-проект `lab5-audit`. Дата и параметры среды записаны в `evidence/environment.json`. Проверялась текущая рабочая копия после исправления ожидания готовности API через балансировщик. Версии runtime/образов закреплены в Dockerfile и compose.yaml; лимиты CPU/RAM указаны в compose.yaml.
|
||
|
||
Запуск:
|
||
```sh
|
||
cp .env.example .env # только на чистом clone
|
||
sh scripts/init-secrets.sh
|
||
docker compose up -d --build --wait
|
||
make test
|
||
python3 scripts/check-pipeline.py
|
||
```
|
||
Остановка: `docker compose stop`; данные сохраняются в volumes. `docker compose down -v` намеренно удаляет учебные данные.
|
||
|
||
API сохраняет проверенный оригинал в S3 staging. Метаданные и outbox создаются одной транзакцией PostgreSQL, после COMMIT возвращается 202. Dispatcher в API и worker публикует незавершённые намерения в Valkey (AOF, fsync always, volume); интервал 1 с, повтор публикации через 30 с. Crash до publish или после publish до COMMIT dispatcher приводит к повтору, а не потере. Сообщение содержит только ID, версию, номер попытки и время. PostgreSQL — источник истины, брокер — доставка at least once.
|
||
|
||
Worker отдельный: один процесс-владелец защищён сессионной advisory lock PostgreSQL, внутри — WORKER_CONCURRENCY обработчиков (1–8) и общий WORKER_PREFETCH (concurrency–64, включает выполняемые и ожидающие локально сообщения). По умолчанию 1/1; префетч не означает одновременное декодирование всех сообщений. Потеря соединения с этой блокировкой завершает worker; Compose автоматически перезапускает его, заново захватывает блокировку и восстанавливает неподтверждённые сообщения. Попытка захватывается атомарным UPDATE, lease 60 с. Обработка в дочернем процессе с жёстким лимитом 45 с, смерть родителя завершает дочерний процесс. Просроченный processing восстанавливается через outbox. Запись ready проверяет номер захваченной попытки; ready/failed не исполняются повторно. Ключи объектов детерминированы по attachment_id и варианту, pipeline_version=1.
|
||
|
||
Варианты после применения EXIF orientation:
|
||
- thumbnail: JPEG quality 85, вписан в 256×256 без увеличения;
|
||
- crop: JPEG quality 85, центрированный квадрат 128×128, увеличение разрешено;
|
||
- optimized: WebP quality 80, вписан в 1280×1280 без увеличения.
|
||
|
||
Прозрачность компонуется на белый. Decode/re-encode удаляет EXIF/ICC/XMP; WebP дополнительно `-metadata none`. Масштабирование nearest neighbour — учебное упрощение качества. Оригинал сохраняется побайтно. Ready публикуется только после записи всех четырёх объектов. Staging удаляется после ready; неудачная очистка повторяется по сохранённой outbox-строке. Неуспешные staging сохраняются для ручного replay без автоматического удаления; бесконечный retention — ограничение учебного стенда. Непринятые orphan-объекты требуют ручной уборки; автоматический janitor не реализован.
|
||
|
||
Лимиты worker: 10 MiB, 40 млн пикселей до decode, 45 с на попытку, cgroup 1 GiB и GOMEMLIMIT 512 MiB. OOM/смерть процесса восстанавливается по lease. JPEG/PNG с ошибкой декодирования/размера — постоянная ошибка invalid_image. Ошибки I/O/encoder — временные; максимум JOB_MAX_ATTEMPTS (по умолчанию 5). Exponential backoff с jitter: 0.5–1, 1–2, 2–4… до 32–64 с; доставка дополнительно может задержаться до 30 с. При исчерпании — failed/retry_exhausted. Реестр failed — таблица attachments, error_code не содержит секретов.
|
||
|
||
Операторские команды:
|
||
```sh
|
||
docker compose exec worker /usr/local/bin/worker failed
|
||
docker compose exec worker /usr/local/bin/worker replay UUID
|
||
```
|
||
Replay разрешён только для failed при доступном staging; атомарно сбрасывает попытки, создаёт outbox и audit в attachment_replays. Ready не откатывается. Доступ оператора ограничен доступом к Docker/секретам стенда.
|
||
|
||
Короткие проверки:
|
||
- `cd app && go test ./...` (Linux; на macOS используйте Docker из следующего пункта): сборка, размеры thumbnail, композиция alpha, границы jitter/backoff и целостность вариантов; WebP-проверка запускается при наличии cwebp.
|
||
- `docker build --target tests -t mtusi-lab5-tests .`: те же Go-тесты с установленным cwebp, без пропуска проверки вариантов. При DNS-проблемах сети Docker можно добавить `--network host`.
|
||
- `make check`: проверка структуры/контракта.
|
||
- `make test`: публичный API smoke.
|
||
- `python3 scripts/check-pipeline.py`: реальный exit API после COMMIT при остановленном broker; восстановление из outbox; exit worker после S3 до ready и после ready до ack; повторная доставка, запрет replay ready; перезапуск broker/API с принятой задачей; исчерпание двух попыток при недоступном S3, audit и успешный replay failed; автоматический перезапуск worker при потере PostgreSQL-сессии. В тесте lease переводится в прошлое SQL-командой вместо ожидания 60 с. Нагрузка не запускается.
|
||
|
||
Fault hooks FAULT_AFTER_UPLOAD_COMMIT, FAULT_AFTER_OBJECTS, FAULT_BEFORE_ACK выключены по умолчанию. Worker fault срабатывает один раз на контейнер (маркер в /tmp). Один Docker-host, одна БД, один брокер и один активный worker не обеспечивают HA host. Это идемпотентный эффект с повторной доставкой, не exactly-once.
|
||
|
||
Тест сбоев перед началом и после перезапуска API ждёт HTTP 200 от `/health/ready` по клиентскому адресу через балансировщик. Готовность процесса внутри контейнера ещё не означает, что HAProxy вернул реплики в работу; временный 503 допустим только во время этого ожидания. Проверки метаданных, файлов и состояний выполняются без ослабления требований.
|
||
|
||
Новый полный прогон: `evidence/track1-check.txt`; вывод аварийных сценариев — `evidence/pipeline-check.txt`, Go-тестов без кеша — `evidence/go-tests.txt`, smoke — `evidence/smoke.txt`, структуры — `evidence/check.txt`, сборки/запуска — `evidence/build.txt`. Сырые нагрузочные замеры — `evidence/overload-results.json`, stdout эксперимента — `evidence/overload-check.txt`. Ссылка на PR добавляется после его создания.
|
||
|
||
|
||
## Трек 1: короткая перегрузка очереди
|
||
|
||
Гипотеза: увеличение concurrency ускоряет опустошение очереди крупных изображений ценой RSS; избыточный prefetch сам по себе не добавляет CPU. Сравниваем 1/1, 2/2, 4/8 при одинаковом лимите worker 2 CPU / 1 GiB, двух API по 1 CPU / 1 GiB. Глобальный JOB_MAX_INFLIGHT по умолчанию 64; в эксперименте 12. PostgreSQL сериализует проверку числа queued/processing и INSERT через транзакционную advisory lock, поэтому лимит общий для реплик. При заполнении возвращается 429, временный staging отклонённой загрузки удаляется компенсацией. Слоты HTTP-загрузок отдельно ограничивают ещё не принятые запросы.
|
||
|
||
Повторение на отдельном учебном проекте (предварительно создать .env и secrets по инструкции выше):
|
||
```sh
|
||
export COMPOSE_PROJECT_NAME=lab5-audit
|
||
export BASE_URL=http://localhost:28085 API_PUBLISH_PORT=28085
|
||
export POSTGRES_PORT=25435 VALKEY_PORT=26385 JOB_MAX_INFLIGHT=12
|
||
docker compose up -d --build --wait
|
||
python3 -u scripts/overload-study.py
|
||
make test BASE_URL="$BASE_URL"
|
||
docker compose down
|
||
```
|
||
Порт S3 gateway 19090 также должен быть свободен. Скрипт меняет/останавливает только worker выбранного проекта; запускать при пустой очереди без других клиентов.
|
||
|
||
Методика: один прогревочный render на настройку, затем по одному burst для PNG 320×200 и 2000×1400, детерминированная текстура seed=42. При остановленном worker четыре клиента предлагают 16 загрузок: 12 принимаются, 4 получают 429. После запуска worker проверяются ready всех принятых ID, метаданные вариантов и опустошение pending/active, затем новая загрузка и скачивание её оригинала/трёх вариантов. Получается шесть коротких прогонов вместо длительного нагрузочного теста.
|
||
|
||
Throughput = 12 / время от команды запуска worker до последнего ready; queue lag = первое processing минус created_at; latency = ready минус created_at. p95 — nearest rank по 12 задачам; включает намеренную остановку worker и сбор burst, но не передачу файла до создания строки. RSS — сумма VmRSS процессов контейнера worker (родитель, render и cwebp, плюс краткоживущий измеритель); сэмплирование с паузой 250 мс плюс время Docker/SQL-вызовов. Это RSS, не docker memory usage; общие страницы могут учитываться повторно. Исходные сэмплы и среда сохраняются в evidence/overload-results.json.
|
||
|
||
Результаты 2026-11-12: единый стенд `lab5-audit`, macOS arm64, Docker Desktop Linux aarch64, 12 vCPU / 7.65 GiB RAM VM. Начало нагрузочного прогона: `2026-11-12T16:52:03.496180+00:00`. Суммарная активная нагрузка — десятки секунд.
|
||
|
||
| Concurrency/prefetch | Изображение | Throughput, задач/с | Queue lag p95, с | До ready p95, с | RSS max, МиБ | Drain, с |
|
||
| --- | --- | --- | --- | --- | --- | --- |
|
||
| 1/1 | 320×200 | 7.08 | 2.77 | 2.79 | 29.39 | 1.69 |
|
||
| 1/1 | 2000×1400 | 1.62 | 7.78 | 8.12 | 86.66 | 7.41 |
|
||
| 2/2 | 320×200 | 7.93 | 2.30 | 2.33 | 13.96 | 1.51 |
|
||
| 2/2 | 2000×1400 | 2.34 | 4.59 | 5.96 | 151.33 | 5.12 |
|
||
| 4/8 | 320×200 | 8.27 | 2.49 | 2.52 | 81.05 | 1.45 |
|
||
| 4/8 | 2000×1400 | 3.55 | 3.20 | 3.80 | 236.79 | 3.38 |
|
||
|
||
В каждой строке: 12 принятых, 4 отказа 429, 12 ready с одной попытки, итоговые pending=active=0; дополнительный запрос после разгрузки принят и обработан, байты его оригинала и checksums вариантов проверены скачиванием. При 4/8 наблюдаемый максимум unacked для крупных изображений — 8; одновременно работают максимум 4 render-процесса. Для основных 72 задач проверены ready, список вариантов и checksum оригинала в метаданных.
|
||
|
||
Дополнительная перегрузка **без остановки worker**, настройка 4/8: 32 загрузки 2000×1400, 8 клиентов; 16 приняты, 16 получили 429. Наблюдаемый максимум queued+processing=12, все 16 принятых дошли до ready; следующая загрузка также успешна. Приём, разгрузка и контрольный запрос заняли 7.84 с. Сэмплы числа незавершённых задач записаны в JSON.
|
||
|
||
Вывод: для крупных файлов throughput 4/8 выше 1/1 на 119.3%, наблюдаемый RSS выше в 2.73 раза. При лимите 2 CPU дополнительные обработчики конкурируют за CPU и S3. Лучший p95 до ready в этом прогоне у 4/8: 3.80 с. Эта latency включает время набора burst и остановку worker, поэтому её нельзя трактовать как изолированную скорость обработки. Больший prefetch переносит ожидание из брокера в локальную очередь worker, но не увеличивает число render; отдельно эффект prefetch этим сравнением не изолирован.
|
||
|
||
Ограничения: по одному короткому прогону, всего 12 наблюдений на строку; p95 при таком n равен максимуму, доверительных интервалов нет. Для маленьких файлов получено по 2 RSS-сэмпла, для крупных — 6–14. Накладные расходы запуска/Docker существенны; краткий пик памяти может быть пропущен. Приведены наблюдаемые RSS, не гарантированные абсолютные пики. Замеры доказывают ограниченный burst, backpressure и восстановление, не устойчивую предельную производительность или длительную работу под перегрузкой. Worker с 8×40 Мп может исчерпать cgroup; такое значение не рекомендуется без отдельного подбора памяти. Лимит 12/64 ограничивает незавершённую работу, но не суммарный объём уже готовых/failed файлов; retention остаётся ограничением уровня 4.
|