23 KiB
Отчёт — лабораторная 5
- Автор, группа: Орлова Владислава, БПИ2301
- Целевая оценка: 5. Трек 2, идемпотентность pipeline
- Commit/PR: ещё не публиковала
- Источники и помощь: задание и контракт этой лабораторной, рабочий стенд лабораторной 4, документация RabbitMQ про publisher confirm и consumer ack. Код и отчёт я собирала в Cursor. Числа ниже сняты с моего запуска 12 ноября 2026, я их не округляла
Запуск из чистого clone
Нужны Docker Engine и Python 3.9+. У меня Docker Engine 26.1.4 и Python на Windows. Программы make в системе нет, поэтому команды из Makefile я запускала через python -X utf8. Флаг нужен, чтобы Windows не читала JSON в кодировке cp1251. Публичные .sh Windows не запускает как программу, их я запускала через WSL.
python -X utf8 scripts/bootstrap.py
docker compose --env-file .env up -d --build --scale api=2
python -X utf8 scripts/wait_ready.py
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
Проверки сохранности и остановки реплики:
wsl -e bash -lc "cd '/mnt/c/Git/высоконагруженные приложения/Lab5' && python3 -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080"
wsl -e bash -lc "cd '/mnt/c/Git/высоконагруженные приложения/Lab5' && python3 -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080"
bootstrap.py один раз создаёт secrets/ и .env. Пароли в консоль не печатаются. Повторный запуск уже созданные файлы не перезаписывает. В git эти файлы не входят.
Остановить стенд, не удаляя данные: docker compose --env-file .env stop. Удалить учебные данные вместе с volume: docker compose --env-file .env down -v. Вторую команду я использую только когда хочу чистую базу.
Имя проекта Compose — mtusi-lab5. Соседняя папка лабораторной 4 из-за этого не пересекается со стендом. Наружу открыт только 127.0.0.1:8080 у балансировщика.
Образы, которые реально поднимаются:
| Роль | Образ |
|---|---|
| API и worker | свой Dockerfile, база python:3.12.10-slim-bookworm@sha256:fd95fa221297a88e1cf49c55ec1828edd7c5a428187e67b5d1805692d11588db |
| Postgres | postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74 |
| Redis | redis:7.4.2-bookworm@sha256:fbdbaea47b9ae4ecc2082ecdb4e1cea81e32176ffb1dcf643d422ad07427e5d9 |
| RabbitMQ | rabbitmq:3.13.7-alpine@sha256:d7af1c87c5f1eda13fcfca06db452bf3aeab6619fc3358b68535c0c02c4e52bc |
| Балансировщик | haproxy:2.8.14@sha256:2344d1efbf7a932c7a3d49b60748c28af81c70fd11fcadd983e2be1f0376a69d |
| MinIO | pgsty/minio@sha256:b6bfe7239bfc83fb90d31612d9704d86039dd714f7904b3f1ad68f211e602372 |
Сервер внутри образа MinIO отвечает minio version RELEASE.2026-08-04T00-00-00Z. Официальный minio/minio с Docker Hub больше не скачивается, а quay.io/minio/minio без логина отвечает unauthorized. Поэтому стенд закреплён на публичном образе pgsty/minio с digest. Это сервер MinIO с тем же протоколом S3.
У образа RabbitMQ 3.13.7 входной скрипт отвергает переменные RABBITMQ_DEFAULT_USER_FILE и RABBITMQ_DEFAULT_PASS_FILE. scripts/rabbit-entry.sh читает секреты и пишет rabbitmq.conf с default_user и default_pass. Имя узла зафиксировано как rabbit@rabbitmq: каталог mnesia переживает пересоздание контейнера. При первой загрузке имя узла было случайным, брокер не стал healthy, и я один раз удалила volume RabbitMQ. Это было до измеренного прогона сохранности. Сам прогон volume не удалял.
Лимиты: две реплики API по 0,50 CPU и 512 МиБ, worker 1,00 CPU и 768 МиБ, Postgres 1,00 CPU и 512 МиБ, Redis 0,25 CPU и 128 МиБ, RabbitMQ 1,00 CPU и 1024 МиБ, MinIO 0,50 CPU и 512 МиБ, HAProxy 0,25 CPU и 128 МиБ. Память API я подняла с 256 МиБ лабораторной 4, потому что приём файла всё ещё проверяет картинку до ответа 202.
Архитектура и решения
Клиент ходит в HAProxy. HAProxy по кругу отправляет запрос на одну из двух реплик API. X-Instance-Id — hostname контейнера, поэтому scripts/stop-one.sh останавливает именно ту реплику, которую назвал тест. restart: unless-stopped: явный docker stop оставляет контейнер остановленным.
Сессии лежат в Redis с AOF. Сообщения, пользователи, вложения и задания лежат в PostgreSQL. Это источник истины. Сами байты лежат в приватном bucket messenger-attachments. Миграции применяет одноразовый контейнер migrate. Реплики API схему не накатывают. Схема ждёт версию 004_jobs.
Из лабораторной 4 я перенесла регистрацию, сессии, чаты, ленту, идемпотентность POST сообщения, две реплики, приватный bucket и сверку объектов. Чужой объект по-прежнему даёт 404. UUID в разном регистре — один идентификатор, в базе он в нижнем регистре. Пропущенное поле attachment_ids и пустой список дают одно и то же тело идемпотентности. Ключ идемпотентности — это пользователь, метод, путь и заголовок Idempotency-Key. Это не id сообщения. Тот же ключ с другим телом даёт 409, вторая строка не создаётся. Тот же ключ в другом чате создаёт новое сообщение, потому что путь другой. Ошибка пользователя остаётся 4xx.
Загрузка теперь отвечает 202 и status=queued. Ответ уходит после двух устойчивых записей: байты уже лежат в staging/<id>/original, а в одной транзакции записаны строка вложения, задание и строка outbox. Байтов и паролей в сообщении брокера нет. В сообщении только поля contracts/jobs.schema.json: job_id, attachment_id, pipeline_version, attempt и время. job_id не меняется при повторной доставке. Повторная доставка сама по себе не увеличивает attempt.
Публикация в RabbitMQ идёт после COMMIT. У канала включён publisher confirm, сообщение persistent. Если брокер в этот момент недоступен, API всё равно возвращает 202: строка outbox остаётся с пустым published_at, worker позже её публикует. Непрерывного публикатора внутри API нет. Цикл чтения outbox крутится в worker раз в секунду, и API один раз пытается опустошить outbox при своём старте.
Worker — отдельный процесс. Пока он остановлен, API не уменьшает картинку. Он пишет оригинал байт в байт и три производных файла: JPEG thumbnail вписывается в 256×256 без увеличения, JPEG crop — центр 128×128, для маленького кадра увеличение разрешено, WebP optimized вписывается в 1280×1280 без увеличения. JPEG пишется с quality 85 и optimize=True. WebP пишется с quality 80 и method 4, без EXIF. Перед декодированием проверяются сигнатура, размер заголовка и предел 40 миллионов пикселей. Ориентация EXIF применяется к кадру до уменьшения.
Попыток по умолчанию 5. Временная ошибка ставит следующую попытку с паузой: база min(30, 0.5 * 2^(attempt-1)) секунд плюс случайная добавка до 25 процентов. Постоянная ошибка, например битый файл, сразу даёт failed и invalid_image, без серии повторов. Зависший processing с истёкшим lease_until sweeper возвращает в queued и не увеличивает attempt. Живой worker продлевает аренду. Чужой владелец аренды получает отложенную доставку на 2 секунды и не начинает вторую копию. Подтверждение потребителя уходит после COMMIT эффекта. Для уже готового или уже проваленного задания подтверждение тоже уходит, но файлы заново не пишутся. Это at-least-once. Exactly-once доставки здесь нет. Ключ эффекта — attachment_id, pipeline_version и имя варианта.
/health/ready проверяет миграцию 004_jobs, Redis и bucket. Остановленный брокер или worker сам по себе готовность API не роняет: иначе демонстрация «загрузить файл при остановленном worker» была бы невозможна. Текст 503 у API фиксированный: «Сервис временно недоступен».
Переменные из .env.example попали в стенд так. SESSION_STORE в примере равен postgres, в compose.yaml у API стоит redis. BROKER_URL_FILE, WORKER_CONCURRENCY=2, JOB_MAX_ATTEMPTS=5, JOB_TIMEOUT_SECONDS=60, STAGING_RETENTION_SECONDS=86400, MAX_UPLOAD_BYTES=10485760, MAX_IMAGE_PIXELS=40000000 читаются так, как названы. Имена файлов ключей S3 в примере длиннее, контейнер читает S3_ACCESS_KEY_FILE и S3_SECRET_KEY_FILE.
Доказательства критериев
Машина: Intel Core i5-10300H, 8 логических процессоров, 17008717824 байт памяти. Дата прогона 12 ноября 2026.
| Критерий | Команда и что я увидела | Файл |
|---|---|---|
| Контракт на диске | python -X utf8 scripts/check_contract.py напечатал PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. |
вывод в этом разделе |
| Публичный smoke | python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 напечатал PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. Ответ загрузки 202, затем ready, оригинал совпал, thumbnail 256×160 |
— |
| Сохранность после рестарта хранилищ | tests/resilience.py --mode persistence, hook scripts/restart.sh, через WSL, код выхода 0. PASS. StartedAt изменился у postgres, redis, minio, rabbitmq и обеих API. У балансировщика и worker не изменился. Volume не удалялись |
evidence/persistence.txt |
| Остановка одной реплики | Два прогона tests/resilience.py --mode failover через WSL. До остановки были видны 2 реплики. Ошибок за прогон: 1 и 1. Успешных записей: 97 и 98. Восстановление: 1,469 с и 0,975 с. Оба раза остановился api-2 с кодом 143. Отдельно TARGET_INSTANCE_ID=2e03f20dd3b5 остановил api-1, тоже код 143, api-2 остался работать |
evidence/failover.txt |
| Старые текстовые правила и границы файла | python -X utf8 student-tests/run_negative.py. Пустой текст, битый JSON и короткий пароль — 400. Пропущенный список и [] — одно сообщение. Другое тело при том же ключе — 409, второй строки нет. Тот же ключ в другом чате — новое сообщение. Чужой чат и неизвестный UUID вложения — 404. Без токена — 401. Имя с / — 400. Заголовок 8000×8000 и тело больше 10 МиБ — 413. Битый PNG и PNG с типом image/jpeg — 415 |
evidence/negative.json |
| Файл при остановленном worker | python -X utf8 student-tests/run_pipeline.py. Загрузка 202, скачивание 409, текстовое сообщение 201, вложение можно прикрепить к сообщению. В очереди attachments.process было 1 сообщение до рестарта API, 1 после рестарта API и 1 после рестарта RabbitMQ. Затем worker довёл файл до ready. SHA-256 оригинала 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75. Thumbnail 256×160, crop 128×128, optimized 320×200, строк вариантов 4 |
evidence/pipeline.json, сценарий durability |
| Разрыв COMMIT и publish | Тот же скрипт, сценарий outbox_gap. Worker остановлен, публикация из API пропущена специально. У outbox published_at пустой, глубина очереди 0. После старта worker файл стал ready, строк вариантов 4 |
evidence/pipeline.json |
| Повтор, чужой порядок, старая версия | Дубль того же задания оставил 4 строки вариантов. Сообщение с attempt=2 при задании на попытке 1 не сменило попытку, итог ready. Новая pipeline_version 2 дошла до ready, старое задание стало superseded, повтор старого задания байты thumbnail не изменил |
evidence/pipeline.json |
| Падение до ack | crash_before_effect: RestartCount worker с 0 стал 1, файл ready. crash_after_objects: StartedAt сменился с 2026-11-12T09:24:05.644199607Z на 2026-11-12T09:24:09.042866995Z. crash_after_commit: с 2026-11-12T09:24:21.448659497Z на 2026-11-12T09:24:24.489665631Z. Во всех трёх случаях строк вариантов 4 |
evidence/pipeline.json |
| Временная ошибка и битый файл | transient_once: события leased, retry, leased, ready, попытка стала 2, строк вариантов 4. Битые байты в staging дали invalid_image на попытке 1. После возврата байтов replay вернул queued, повторный replay вернул already_ready, строк вариантов 4 |
evidence/pipeline.json |
| Истёкшая аренда | Заданию вручную поставлены lease_owner=dead и lease_until на две минуты в прошлом, неопубликованный outbox удалён. Worker сам вернул его в работу. События: lease_expired, leased, ready. Попытка осталась 1. До ready прошло 17,078 с от старта worker |
evidence/pipeline.json, сценарий lease |
| Текст 503 | После остановки Redis балансировщик ответил 503 страницей HAProxy: 503 Service Unavailable и No server is available to handle this request. Прямой запрос в контейнер API ответил 503 и «Сервис временно недоступен». В обоих текстах не было слов redis, postgres, minio, password, select, rabbit, amqp, secret, database, bucket, messenger-attachments. После healthy Redis первый запрос через балансировщик получил 200 за 0,063 с |
evidence/pipeline.json, сценарий ready_503 |
| EXIF | JPEG 200×100 с Orientation 6 загружен через API. Ответ 202, затем ready. Thumbnail 100×200, crop 128×128, optimized 100×200. Отдельный вызов render в контейнере worker сохранил исходные байты |
evidence/exif.json |
| Очередь failed в конце | rabbitmqctl list_queues: attachments.failed — 1, attachments.process — 0, attachments.retry — 0. Единица осталась от намеренного invalid_image. Replay пишет новую рабочую доставку и старое сообщение DLQ не удаляет |
вывод этой команды |
Публичные файлы в contracts/ и tests/ я не меняла. После всех сценариев smoke я запустила ещё раз, он снова напечатал PASS.
Трек 2
Я выбрала трек 2, а не трек про очередь под перегрузкой. Трек 2 стоит на тех же механизмах, которые и так нужны для оценки 4: outbox, повтор с паузой, падение после записи объекта и до ack, явный replay. Их можно показать на одном файле и конкретных идентификаторах. Трек 1 требовал бы отдельный нагрузочный опыт. Таких чисел у меня нет, и я их не придумывала.
Гипотеза: повторная доставка, чужой порядок и старое задание после новой версии не создают второй набор файлов и не затирают более новый результат. Доставка при этом остаётся at-least-once.
Как я ломала worker. В таблице fault_injections есть строка с видом сбоя. Пока строки нет, код её не включает. Виды: пропуск публикации из API, выход процесса до эффекта, после записи объектов и после COMMIT, одна временная ошибка. Выход — os._exit(75). Политика unless-stopped поднимает контейнер снова.
Что наблюдали. Все семь сценариев трека в evidence/pipeline.json закончились ok: true. Новый pipeline_version остался 2. Старое задание получило error_code=superseded только на строке задания, у вложения error_code пустой. Повтор успешного задания вернул already_ready и не создал пятый вариант.
Это не exactly-once. Брокер может принести сообщение дважды. Второй раз worker видит уже записанный эффект или уже закрытое задание и только подтверждает доставку.
Ограничения
Стенд переживает остановку одной реплики API, рестарт Postgres, Redis, MinIO и RabbitMQ, если volume на месте, и остановку worker на время приёма файла. Выключение компьютера и поломка диска данные не сохраняют. Postgres, Redis, MinIO, RabbitMQ и HAProxy в стенде по одному экземпляру. Их отказ останавливает соответствующую часть сервиса.
Прямую загрузку по временной ссылке я не добавляла.
Если обе реплики API не проходят проверку готовности, клиент через HAProxy видит английскую HTML-страницу 503, а не JSON API. Сам API при этом отвечает фиксированной русской фразой. Оба текста я проверила: имён хранилищ, SQL и секретов там нет.
Непрерывная публикация outbox живёт в worker. Если worker остановлен и разовая публикация из API пропущена, задание ждёт старта worker. Это я показала. Отдельного второго публикатора нет.
Аренду я проверила записью в SQL уже истёкшего срока, а не убийством процесса на середине Pillow. Сработал путь sweeper: lease_expired, затем обычная обработка, попытка не выросла.
Если декодирование упирается в срок аренды, рабочий поток Pillow остаётся демоном и может досчитать кадр уже после того, как попытка брошена. Такой случай я не запускала.
Строки fault_injections — учебный переключатель. В обычной работе таблица пустая, и эти ветки не выполняются.
Повтор успешного задания не исполняет его заново, но старое сообщение в attachments.failed не стирает. После прогона там осталось 1 сообщение.
Байты JPEG и WebP зависят от этой сборки Pillow. Другая версия библиотеки может дать другой файл при тех же правилах размера.
Нагрузку, throughput и p95 я не измеряла. Трек 1 я не заявляю.