Files
mtusi2026lab5/REPORT.md
T

25 KiB
Raw Blame History

Лабораторная 5

Автор: Каменский Никита, БВТ-2302. Целевая оценка: 5. Трек 1: очередь под перегрузкой. PR: ЛР 5 - БВТ-2302 - Каменский - на 5.

Запуск

Нужны Docker Desktop, Python 3.9+ и доступ в интернет для сборки. Для сборки вне Docker нужен .NET SDK 9.

make setup
make up
make check
make validate
make test
make student-test
make research-grade5
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore-api

Сайт: http://localhost:18085/. Lab5 использует отдельную базу и volumes. Для входа сначала зарегистрировать аккаунт с паролем 12–128 символов. Остановка с сохранением данных: make down. Намеренное удаление учебных данных: ./scripts/compose.sh down -v. Секреты создаёт scripts/init-secrets.py в исключённой папке secrets/. Повторный setup сохраняет существующие ключи. Общий volume RabbitMQ закреплён за hostname broker; миграции запускаются отдельно с блокировкой PostgreSQL.

Версии: .NET SDK 9.0.306/runtime 9.0.10, PostgreSQL 17.6, Redis 7.4.2, HAProxy 3.2.7-alpine, SeaweedFS 3.97, RabbitMQ 4.2.0-alpine, RabbitMQ.Client 7.1.2, AWSSDK.S3 4.0.0, SkiaSharp 3.119.1. Pillow 12.0.0 используется только для тестовых изображений и проверки результатов.

Изолированная сборка из копии исходников без .env, secrets, bin/obj и старых volumes проверена отдельно: evidence/clean-build.txt. Созданы новые secrets, проверен Compose config и собран Docker-образ.

Архитектура

Перенесены собственные исходники и интерфейс Lab4, Dockerfile, конфигурация HAProxy и операционные скрипты. Skeleton, contracts и публичные tests взяты из Lab5. Сопоставление архитектуры: docs/ARCHITECTURE.md.

Две API за HAProxy обслуживают общий PostgreSQL, Redis и приватный S3. Добавлены отдельные RabbitMQ, worker и outbox dispatcher. Один C# образ используется для нескольких ролей, но worker и API являются разными процессами. Интерфейс опрашивает метаданные; queued/processing показываются пользователю, после ready работает прежняя галерея с оригиналами. В браузере проверен переход при остановленном и затем запущенном worker: evidence/ui-queued.jpg и ui-ready.jpg.

Границы сохранности

API полностью принимает PNG/JPEG до 10 MiB, проверяет MIME, имя и максимум 40 млн пикселей. Проверка декодируемости остаётся на API для совместимости с ошибкой 415; resize выполняет только worker. Копирование ограничено буфером 64 KiB и временным файлом. Один upload/decoder на API, deadline 90 секунд.

Под блокировкой приёма проверяется количество queued/processing jobs. Если лимит PIPELINE_CAPACITY достигнут, возвращается 429 и Retry-After: 3, без записи нового объекта. По умолчанию лимит 128. Входящие HTTP-передачи и валидация занимают ограниченные ресурсы до этой проверки; лимит защищает принятую работу, а не означает отсутствие стоимости отклонённых запросов.

Полный оригинал сохраняется в приватный staging/. В одной транзакции PostgreSQL записываются Attachment queued, job и outbox. Только после S3 PUT и COMMIT API возвращает снимок 202 queued. Даже если worker уже успел завершиться, ответ upload остаётся queued по контракту. Broker и worker не входят в readiness API: при их отказе работа принимается до лимита outbox. PostgreSQL и S3 остаются критичными для синхронного приёма.

Outbox dispatcher выбирает доступную запись FOR UPDATE SKIP LOCKED, отправляет persistent сообщение в durable quorum queue attachments.v1 с mandatory и publisher confirms. Отметка published_at записывается только после confirm. Сбой между publish и COMMIT приводит к дублю, но не теряет намерение. Брокер получает только поля jobs.schema.json, без байтов и credentials. Job ID сохраняется при управляемых повторах и redelivery. Реальный carrier проверен по jobs.schema.json с FormatChecker: evidence/job-envelope.json.

Worker получает job с ручным ack и проверяет состояние в PostgreSQL. Для job используется session advisory lock; параллельный дубль не начинает второй эффект. queued атомарно становится processing с attempt и lease_token. Работа скачивается из доверенного staging_key в БД, проверяются размер и SHA-256. Клиентский filename не используется как путь или ключ.

Имена результатов определены attachment_id/pipeline_version/variant. Оригинал: originals//v1; варианты: variants//v1/. Оригинальные байты не перекодируются. После записи всех объектов одна транзакция публикует метаданные вариантов и ready. Фиксация проверяет lease_token и срок аренды. Ack выполняется после устойчивого результата или устойчивого решения о retry/failed. Дубль ready не меняет completed_at, attempts или варианты.

Изображения и ограничения worker

Thumbnail: JPEG 85, вписан в 256×256 без увеличения. Crop: центральный квадрат 128×128, для маленьких изображений возможно увеличение. Optimized: WebP 80, вписан в 1280×1280 без увеличения. Размеры округляются вниз с минимумом 1 px. EXIF orientation применяется перед расчётом размеров и crop. Alpha компонуется на белый. Перекодирование из bitmap удаляет EXIF. Для fixture 320×200 thumbnail имеет 256×160. Не гарантируется, что WebP каждого маленького файла меньше PNG.

Worker повторно проверяет bytes/checksum, заголовок, пиксели и декодирование. Нативное преобразование идёт в дочернем процессе, который принудительно останавливается по JOB_TIMEOUT_SECONDS, по умолчанию 30. Аренда дольше на 5 s. Один decoder хранит RGBA bitmap до 160 млн байт и небольшие выходные bitmap. Варианты формируются по очереди. Общие CPU/RAM worker ограничены Docker: 1 CPU, 1024 MiB. Время/память ограничены и при ошибках нативной библиотеки. Переменные WORKER_CONCURRENCY и WORKER_PREFETCH по умолчанию 2 и 1; каждый канал обрабатывает одно сообщение одновременно, prefetch ограничивает число полученных, но ещё не подтверждённых сообщений на канале.

Ошибки, повторы и replay

Невалидный или потерянный staging становится failed с безопасным invalid_image. Временные ошибки S3/БД/таймаута приводят к queued и следующей попытке. Backoff: min(30, 2^attempt) секунд плюс случайный jitter [0,1). По умолчанию JOB_MAX_ATTEMPTS=5, затем failed с retry_exhausted. Реестр failed находится в attachment_jobs, журнал в attachment_job_events. Секреты, внутренние адреса и stack trace не выдаются клиенту.

make replay JOB_ID=<UUID задания>

Replay разрешён только для failed с ещё сохранённым staging. Он открывает новый цикл попыток, увеличивает replay_count и сохраняет audit-событие; идентификатор логического задания и ключ результата остаются прежними. Replay уже ready является no-op. Контроль доступа к replay осуществляется операторским доступом к Docker, публичного HTTP endpoint replay нет.

После гибели worker просроченное processing восстанавливается dispatcher. Прежде чем менять его, проверяется advisory lock: работа живого владельца не захватывается вторым worker. Lease ограничивает восстановление зависшего состояния; нативный subprocess имеет отдельный принудительный timeout. Потерянная доставка queued восстанавливается из сохранённого намерения по истечении 30 s. Это at-least-once доставка с идемпотентным эффектом, не exactly-once.

Очистка staging

После ready dispatcher удаляет staging только под блокировкой job и после проверки устойчивого завершения. Отказ между DELETE и отметкой повторяется безопасно. Failed staging сохраняется 86400 секунд для replay; минимум retention 3600. Текущие queued/processing не очищаются.

make reconcile
./scripts/compose.sh exec -T dispatcher dotnet Messenger.Api.dll --reconcile --apply

Сверка untracked staging имеет grace 1 час и общую блокировку с приёмом upload. Она не удаляет staging, известный job, в том числе текущую работу. Это закрывает сбой S3 PUT до COMMIT приёма. Автоматически копировать отсутствующие байты без резервной копии невозможно; такое задание получает failed.

Проверки

Критерий Сценарий Доказательство
Весь обязательный HTTP, 202, оригинал, thumbnail make test evidence/checks.txt
Worker остановлен, API и broker перезапущены make student-test evidence/pipeline.json
Сохранность опубликованного задания в broker volume make student-test evidence/pipeline.json
Crop/WebP, EXIF orientation, alpha, отсутствие EXIF make student-test evidence/pipeline.json
Bytes/pixels/MIME/filename и worker pixel guard make student-test evidence/pipeline.json
COMMIT без publish, confirm без отметки outbox make student-test evidence/pipeline.json
Повтор готовой job, crash после S3 и после COMMIT до ack make student-test evidence/pipeline.json
Ограниченные retries, failed, явный replay и no-op ready make student-test evidence/pipeline.json
Очистка готового staging и retention failed make student-test evidence/pipeline.json
Три настройки, два размера, lag/p95/RSS make research-grade5 evidence/overload.json, docs/OVERLOAD.md
Backpressure и восстановление принятой работы make research-grade5 evidence/overload.json
Сессия и оригинал после restart всех хранилищ make test-persistence evidence/persistence.txt
Переключение API и общая идемпотентность make test-failover evidence/failover.txt

Fault injection включается только оператором через PIPELINE_FAULT_FILE для worker/dispatcher. Локальный файл содержит выбранный job ID и точку остановки; он одноразовый. Публичный клиент не может включить паузу. Тест ждёт marker, убивает настоящий контейнер и проверяет восстановление. По умолчанию путь пустой и инструментация не исполняется. Тесты создают только синтетические данные.

Исследование

Гипотеза: при одинаковых CPU/RAM рост concurrency может повысить расход памяти без пропорционального роста скорости. Методика: 1/1, 2/2, 4/4 для concurrency / prefetch; два размера PNG; три повтора каждой точки. Порядок меняется между повторами. Каждая точка прогревается одним изображением. Затем batch 8 файлов, четыре HTTP-клиента, ожидание ready всех восьми. Метрики и ограничения измерения описаны в docs/OVERLOAD.md, индивидуальные job/HTTP и выборки в overload.json.

Отдельная серия останавливает worker, устанавливает лимит 4 и отправляет 8 файлов одновременно. Проверяются ровно 4 принятых и 4 отклонённых с 429, непревышение лимита в БД и последующая готовность всех принятых после запуска. Для крупных PNG медиана throughput составила 0.808, 0.951 и 0.813 готовых/с для профилей 1/1, 2/2 и 4/4. Их медианы p95 готовности: 7.693, 6.520 и 8.308 s; RSS процессов worker: 189.7, 268.6 и 378.8 MiB. У маленьких PNG лучше оказался 1/1. Рост concurrency не оказался универсальным ускорением. Профили меняют concurrency и prefetch вместе; отдельный эффект каждого параметра из этой серии не выводится. По умолчанию оставлено 2/1 как ограниченный рабочий вариант; этот профиль отдельно не измерен и не объявляется оптимальным.

Пилотная серия выявила нехватку свободных томов S3 при настройке volume.max=8, перенесённой из маленького стенда Lab4. До окончательных измерений лимит поднят до 64; volumes сохранены, неудавшиеся пилотные задания восстановлены явным replay. Пилотные результаты отделены от основной серии и не включаются в её статистику. Это изменение ёмкости хранилища, не результат ускорения worker.

Отдельный запуск публичного smoke во время намеренного рестарта API получил 503; этот вывод сохранён в evidence/checks-during-restart.txt. Финальные проверки на готовом стенде записаны в evidence/checks.txt.

Ограничения и настройки

Один Docker-host и единственные PostgreSQL, S3, RabbitMQ и HAProxy являются точками отказа. Несколько API и durable queue не защищают от потери host/диска. Для исходников и broker volume требуются резервные копии. Внешний доступ и настройка туннеля не входят в Lab5; наружу опубликован только localhost:18085.

Из .env.example используются APP_HOST/PORT, SESSION_TTL_SECONDS, API_REPLICAS, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS и STAGING_RETENTION_SECONDS. BROKER_URL_FILE сопоставлен BROKER_HOST и BROKER_PASSWORD_FILE. S3_ACCESS_KEY_ID_FILE/S3_SECRET_ACCESS_KEY_FILE сопоставлены S3_ACCESS_KEY_FILE/ S3_SECRET_KEY_FILE. Endpoint S3 http://s3:8333, регион us-east-1, bucket messenger. Redis остаётся кэшем, PostgreSQL источником сессий. Byte/pixel/Idempotency TTL фиксированы контрактом в коде. Отдельно реализованы WORKER_PREFETCH и PIPELINE_CAPACITY.

Источники: контракт Lab5; официальная документация RabbitMQ publisher confirms, consumer acknowledgements и .NET Client API Guide; AWS SDK for .NET; SkiaSharp. ChatGPT использован при реализации и проверках.

Панель обработки изображений

Кнопка «Обработка» под изображением открывает состояния, число попыток, время всего цикла и события задания из PostgreSQL. После готовности доступны оригинал, миниатюра, crop и WebP с размерами и скачиванием. Endpoint GET /api/v1/attachments/{id}/processing доступен только участникам чата; ключи S3 и служебные lease не возвращаются. Панель обновляется только пока открыта и задание выполняется. Проверка: .venv/bin/python student-tests/processing_panel.py. Результаты нагрузочного эксперимента выше относятся к версии до добавления этого интерфейса.

Панель системы и внешний доступ

Кнопка «Система» доступна только аккаунту, UUID которого задан в OPS_USER_ID. После регистрации владельца: make operator USERNAME=ваш_логин. Команда записывает UUID в локальный .env и обновляет API. Если OPS_USER_ID не настроен, панель закрыта для всех. Клиентское скрытие кнопки дополнено проверкой каждой серверной операции.

Панель показывает две API-реплики по heartbeat Redis, PostgreSQL, Redis, S3, RabbitMQ, worker и dispatcher. Heartbeat процессов хранится в pipeline_presence; срок свежести 10 секунд. Это признак работающего процесса, а не гарантия успешной обработки любого задания. Проверка HAProxy основана на ответе текущего адреса. Графики содержат последние 60 замеров открытой панели: активные задания в БД и длительность запроса проверки зависимостей. CPU и память здесь не измеряются. При ошибке запроса старые состояния отмечаются как неизвестные.

Последние 30 заданий и событий доступны владельцу. Кнопка «Повторить» использует существующий механизм replay: только failed с сохранённым staging. Проверка состояния и изменение задания выполняются в одной транзакции под advisory lock; второй запрос не создаёт ещё один replay. Обычный пользователь получает 404, анонимный 401. Проверка: OPS_TEST_PASSWORD=пароль_владельца make operations-test (логин по умолчанию n1k0der, другой задаётся OPS_TEST_USERNAME). Тест использует контролируемый failed fixture и проверяет завершение настоящим worker, восстанавливая worker в finally.

Создать чат можно по @логину или UUID. Поиск выполняется только по точному логину, после входа; возвращает публичный User DTO без password_hash.

Временный внешний доступ: установить cloudflared, затем make share. Отключение: make stop-share. Ссылка и состояние процесса остаются в .local вне Git. Ссылка работает, пока включён компьютер, запущены Docker и туннель; при следующем запуске адрес может измениться. Снаружи доступен только HTTP-вход мессенджера, порты БД и RabbitMQ не публикуются. Собеседник регистрирует свой аккаунт и создаёт чат с @логином владельца. Учётная запись собеседника не получает права оператора.

Через HTTPS-туннель пустой POST входа может приходить с Transfer-Encoding: chunked. API проверяет фактическое отсутствие тела (с таймаутом 3 секунды), а не отклоняет такой способ передачи целиком. Непустое тело по-прежнему возвращает 400. Проверка: .venv/bin/python student-tests/chunked_login.py. Внешняя регистрация, вход, точный поиск, создание общего чата и сообщение проверены через публичный HTTPS-адрес; результат без токенов записан в evidence/operations.txt.

Оформление интерфейса

Общие стили мессенджера находятся в wwwroot/design.css, панель системы в operations.css и operations.js. Добавлены 16 SVG на общей сетке и спрайт, две новые иллюстрации персонажа в WebP с прозрачностью. Использование графики описано в docs/ASSETS.md. Изображения загружаются в размерах 320/640, без исходных PNG в webroot. На ширине 1366 и 390 проверены отсутствие горизонтальной прокрутки, загрузка иллюстраций, навигация панели и доступность поля сообщения. В браузере проверены реальные состояния восьми карточек API/зависимостей. SVG разобраны XML-парсером, все новые asset URL отвечают 200. make check, make validate и публичный smoke-сценарий прошли после изменений.