Files
mtusi2026lab5/REPORT.md
T

89 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Лабораторная 5 — уровень 5, трек 1
Автор: Нурлыгаянова Екатерина, группа БПИ2302. Реализация Go, PostgreSQL, Valkey и SeaweedFS; использована помощь Codex.
Стенд всех проверок: macOS arm64, Docker Desktop Linux aarch64, 12 vCPU / 7.65 GiB RAM виртуальной машины, отдельный Compose-проект `lab5-audit`. Дата и параметры среды записаны в `evidence/environment.json`. Проверялась текущая рабочая копия после исправления ожидания готовности API через балансировщик. Версии runtime/образов закреплены в Dockerfile и compose.yaml; лимиты CPU/RAM указаны в compose.yaml.
Запуск:
```sh
cp .env.example .env # только на чистом clone
sh scripts/init-secrets.sh
docker compose up -d --build --wait
make test
python3 scripts/check-pipeline.py
```
Остановка: `docker compose stop`; данные сохраняются в volumes. `docker compose down -v` намеренно удаляет учебные данные.
API сохраняет проверенный оригинал в S3 staging. Метаданные и outbox создаются одной транзакцией PostgreSQL, после COMMIT возвращается 202. Dispatcher в API и worker публикует незавершённые намерения в Valkey (AOF, fsync always, volume); интервал 1 с, повтор публикации через 30 с. Crash до publish или после publish до COMMIT dispatcher приводит к повтору, а не потере. Сообщение содержит только ID, версию, номер попытки и время. PostgreSQL — источник истины, брокер — доставка at least once.
Worker отдельный: один процесс-владелец защищён сессионной advisory lock PostgreSQL, внутри — WORKER_CONCURRENCY обработчиков (1–8) и общий WORKER_PREFETCH (concurrency–64, включает выполняемые и ожидающие локально сообщения). По умолчанию 1/1; префетч не означает одновременное декодирование всех сообщений. Потеря соединения с этой блокировкой завершает worker; Compose автоматически перезапускает его, заново захватывает блокировку и восстанавливает неподтверждённые сообщения. Попытка захватывается атомарным UPDATE, lease 60 с. Обработка в дочернем процессе с жёстким лимитом 45 с, смерть родителя завершает дочерний процесс. Просроченный processing восстанавливается через outbox. Запись ready проверяет номер захваченной попытки; ready/failed не исполняются повторно. Ключи объектов детерминированы по attachment_id и варианту, pipeline_version=1.
Варианты после применения EXIF orientation:
- thumbnail: JPEG quality 85, вписан в 256×256 без увеличения;
- crop: JPEG quality 85, центрированный квадрат 128×128, увеличение разрешено;
- optimized: WebP quality 80, вписан в 1280×1280 без увеличения.
Прозрачность компонуется на белый. Decode/re-encode удаляет EXIF/ICC/XMP; WebP дополнительно `-metadata none`. Масштабирование nearest neighbour — учебное упрощение качества. Оригинал сохраняется побайтно. Ready публикуется только после записи всех четырёх объектов. Staging удаляется после ready; неудачная очистка повторяется по сохранённой outbox-строке. Неуспешные staging сохраняются для ручного replay без автоматического удаления; бесконечный retention — ограничение учебного стенда. Непринятые orphan-объекты требуют ручной уборки; автоматический janitor не реализован.
Лимиты worker: 10 MiB, 40 млн пикселей до decode, 45 с на попытку, cgroup 1 GiB и GOMEMLIMIT 512 MiB. OOM/смерть процесса восстанавливается по lease. JPEG/PNG с ошибкой декодирования/размера — постоянная ошибка invalid_image. Ошибки I/O/encoder — временные; максимум JOB_MAX_ATTEMPTS (по умолчанию 5). Exponential backoff с jitter: 0.5–1, 1–2, 2–4… до 32–64 с; доставка дополнительно может задержаться до 30 с. При исчерпании — failed/retry_exhausted. Реестр failed — таблица attachments, error_code не содержит секретов.
Операторские команды:
```sh
docker compose exec worker /usr/local/bin/worker failed
docker compose exec worker /usr/local/bin/worker replay UUID
```
Replay разрешён только для failed при доступном staging; атомарно сбрасывает попытки, создаёт outbox и audit в attachment_replays. Ready не откатывается. Доступ оператора ограничен доступом к Docker/секретам стенда.
Короткие проверки:
- `cd app && go test ./...` (Linux; на macOS используйте Docker из следующего пункта): сборка, размеры thumbnail, композиция alpha, границы jitter/backoff и целостность вариантов; WebP-проверка запускается при наличии cwebp.
- `docker build --target tests -t mtusi-lab5-tests .`: те же Go-тесты с установленным cwebp, без пропуска проверки вариантов. При DNS-проблемах сети Docker можно добавить `--network host`.
- `make check`: проверка структуры/контракта.
- `make test`: публичный API smoke.
- `python3 scripts/check-pipeline.py`: реальный exit API после COMMIT при остановленном broker; восстановление из outbox; exit worker после S3 до ready и после ready до ack; повторная доставка, запрет replay ready; перезапуск broker/API с принятой задачей; исчерпание двух попыток при недоступном S3, audit и успешный replay failed; автоматический перезапуск worker при потере PostgreSQL-сессии. В тесте lease переводится в прошлое SQL-командой вместо ожидания 60 с. Нагрузка не запускается.
Fault hooks FAULT_AFTER_UPLOAD_COMMIT, FAULT_AFTER_OBJECTS, FAULT_BEFORE_ACK выключены по умолчанию. Worker fault срабатывает один раз на контейнер (маркер в /tmp). Один Docker-host, одна БД, один брокер и один активный worker не обеспечивают HA host. Это идемпотентный эффект с повторной доставкой, не exactly-once.
Тест сбоев перед началом и после перезапуска API ждёт HTTP 200 от `/health/ready` по клиентскому адресу через балансировщик. Готовность процесса внутри контейнера ещё не означает, что HAProxy вернул реплики в работу; временный 503 допустим только во время этого ожидания. Проверки метаданных, файлов и состояний выполняются без ослабления требований.
Новый полный прогон: `evidence/track1-check.txt`; вывод аварийных сценариев — `evidence/pipeline-check.txt`, Go-тестов без кеша — `evidence/go-tests.txt`, smoke — `evidence/smoke.txt`, структуры — `evidence/check.txt`, сборки/запуска — `evidence/build.txt`. Сырые нагрузочные замеры — `evidence/overload-results.json`, stdout эксперимента — `evidence/overload-check.txt`. Ссылка на PR добавляется после его создания.
## Трек 1: короткая перегрузка очереди
Гипотеза: увеличение concurrency ускоряет опустошение очереди крупных изображений ценой RSS; избыточный prefetch сам по себе не добавляет CPU. Сравниваем 1/1, 2/2, 4/8 при одинаковом лимите worker 2 CPU / 1 GiB, двух API по 1 CPU / 1 GiB. Глобальный JOB_MAX_INFLIGHT по умолчанию 64; в эксперименте 12. PostgreSQL сериализует проверку числа queued/processing и INSERT через транзакционную advisory lock, поэтому лимит общий для реплик. При заполнении возвращается 429, временный staging отклонённой загрузки удаляется компенсацией. Слоты HTTP-загрузок отдельно ограничивают ещё не принятые запросы.
Повторение на отдельном учебном проекте (предварительно создать .env и secrets по инструкции выше):
```sh
export COMPOSE_PROJECT_NAME=lab5-audit
export BASE_URL=http://localhost:28085 API_PUBLISH_PORT=28085
export POSTGRES_PORT=25435 VALKEY_PORT=26385 JOB_MAX_INFLIGHT=12
docker compose up -d --build --wait
python3 -u scripts/overload-study.py
make test BASE_URL="$BASE_URL"
docker compose down
```
Порт S3 gateway 19090 также должен быть свободен. Скрипт меняет/останавливает только worker выбранного проекта; запускать при пустой очереди без других клиентов.
Методика: один прогревочный render на настройку, затем по одному burst для PNG 320×200 и 2000×1400, детерминированная текстура seed=42. При остановленном worker четыре клиента предлагают 16 загрузок: 12 принимаются, 4 получают 429. После запуска worker проверяются ready всех принятых ID, метаданные вариантов и опустошение pending/active, затем новая загрузка и скачивание её оригинала/трёх вариантов. Получается шесть коротких прогонов вместо длительного нагрузочного теста.
Throughput = 12 / время от команды запуска worker до последнего ready; queue lag = первое processing минус created_at; latency = ready минус created_at. p95 — nearest rank по 12 задачам; включает намеренную остановку worker и сбор burst, но не передачу файла до создания строки. RSS — сумма VmRSS процессов контейнера worker (родитель, render и cwebp, плюс краткоживущий измеритель); сэмплирование с паузой 250 мс плюс время Docker/SQL-вызовов. Это RSS, не docker memory usage; общие страницы могут учитываться повторно. Исходные сэмплы и среда сохраняются в evidence/overload-results.json.
Результаты 2026-11-12: единый стенд `lab5-audit`, macOS arm64, Docker Desktop Linux aarch64, 12 vCPU / 7.65 GiB RAM VM. Начало нагрузочного прогона: `2026-11-12T16:52:03.496180+00:00`. Суммарная активная нагрузка — десятки секунд.
| Concurrency/prefetch | Изображение | Throughput, задач/с | Queue lag p95, с | До ready p95, с | RSS max, МиБ | Drain, с |
| --- | --- | --- | --- | --- | --- | --- |
| 1/1 | 320×200 | 7.08 | 2.77 | 2.79 | 29.39 | 1.69 |
| 1/1 | 2000×1400 | 1.62 | 7.78 | 8.12 | 86.66 | 7.41 |
| 2/2 | 320×200 | 7.93 | 2.30 | 2.33 | 13.96 | 1.51 |
| 2/2 | 2000×1400 | 2.34 | 4.59 | 5.96 | 151.33 | 5.12 |
| 4/8 | 320×200 | 8.27 | 2.49 | 2.52 | 81.05 | 1.45 |
| 4/8 | 2000×1400 | 3.55 | 3.20 | 3.80 | 236.79 | 3.38 |
В каждой строке: 12 принятых, 4 отказа 429, 12 ready с одной попытки, итоговые pending=active=0; дополнительный запрос после разгрузки принят и обработан, байты его оригинала и checksums вариантов проверены скачиванием. При 4/8 наблюдаемый максимум unacked для крупных изображений — 8; одновременно работают максимум 4 render-процесса. Для основных 72 задач проверены ready, список вариантов и checksum оригинала в метаданных.
Дополнительная перегрузка **без остановки worker**, настройка 4/8: 32 загрузки 2000×1400, 8 клиентов; 16 приняты, 16 получили 429. Наблюдаемый максимум queued+processing=12, все 16 принятых дошли до ready; следующая загрузка также успешна. Приём, разгрузка и контрольный запрос заняли 7.84 с. Сэмплы числа незавершённых задач записаны в JSON.
Вывод: для крупных файлов throughput 4/8 выше 1/1 на 119.3%, наблюдаемый RSS выше в 2.73 раза. При лимите 2 CPU дополнительные обработчики конкурируют за CPU и S3. Лучший p95 до ready в этом прогоне у 4/8: 3.80 с. Эта latency включает время набора burst и остановку worker, поэтому её нельзя трактовать как изолированную скорость обработки. Больший prefetch переносит ожидание из брокера в локальную очередь worker, но не увеличивает число render; отдельно эффект prefetch этим сравнением не изолирован.
Ограничения: по одному короткому прогону, всего 12 наблюдений на строку; p95 при таком n равен максимуму, доверительных интервалов нет. Для маленьких файлов получено по 2 RSS-сэмпла, для крупных — 6–14. Накладные расходы запуска/Docker существенны; краткий пик памяти может быть пропущен. Приведены наблюдаемые RSS, не гарантированные абсолютные пики. Замеры доказывают ограниченный burst, backpressure и восстановление, не устойчивую предельную производительность или длительную работу под перегрузкой. Worker с 8×40 Мп может исчерпать cgroup; такое значение не рекомендуется без отдельного подбора памяти. Лимит 12/64 ограничивает незавершённую работу, но не суммарный объём уже готовых/failed файлов; retention остаётся ограничением уровня 4.