ЛР 5 - БВТ2303 - Ситосенко - на 5 #24

Closed
Roflyan wants to merge 3 commits from Roflyan/mtusi2026lab5-fork:solution/bvt2303-sitosenko into main
First-time contributor

Лабораторная 5

  • Автор и группа — Ситосенко, БВТ2303.
  • Целевая оценка — 5.
  • Трек 2 — доказанная идемпотентность версионированного pipeline.

Что реализовано и что перенесено

  • Из собственной lab4 перенесены Go API, PostgreSQL с миграциями, общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset-пагинация и идемпотентная отправка сообщений. Сохранены проверка членства в чате и авторизованная выдача вложений через API.
  • Загрузка стала асинхронной. API возвращает 202 queued после сохранения исходника в приватный S3 staging и фиксации вложения и задания в одной транзакции PostgreSQL. Сообщение можно создать со ссылкой на queued-вложение. Пока файл обрабатывается, скачивание отвечает 409.
  • Добавлены transactional outbox, отдельный брокер Valkey Streams с AOF и отдельный worker. После сбоя между COMMIT и публикацией dispatcher отправляет задание из outbox. При потере подтверждения возможна повторная доставка.
  • Worker сохраняет исходник побайтно и создаёт три варианта. Thumbnail вписывается в 256×256, crop составляет 128×128, optimized WebP вписывается в 1280×1280. Учитывается EXIF-поворот, прозрачность компонуется на белый фон, метаданные вариантов удаляются.
  • При загрузке проверяются MIME по содержимому, целостность файла, имя и лимиты 10 MiB и 40 млн пикселей. Worker ограничен одним заданием одновременно, таймаутом обработки, 640 MiB памяти и 32 MiB tmpfs. Для API и фоновой обработки используются отдельные S3-учётные записи.
  • Реализованы lease, до пяти попыток на цикл по умолчанию, backoff с jitter, реестр failed и операторский replay с аудитом. Staging очищается после публикации результата.
  • Результаты хранятся по ключу (attachment_id, pipeline_version, variant). Условная запись в S3 защищает существующий объект от перезаписи. PostgreSQL переключает опубликованный результат на v2 после записи всех вариантов. Пока готовится v2, клиенту доступна v1.

Команды запуска из чистого clone

Нужны Docker Desktop с Linux-контейнерами, Compose и Python 3.9+. Команды выполняются в PowerShell из корня клона.

python -X utf8 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 150
$env:BASE_URL = 'http://127.0.0.1:8080'

python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py
python -X utf8 student-tests/image_rules.py
python -X utf8 student-tests/pipeline_faults.py

Bootstrap создаёт локальные .env и secrets/, сохраняя существующие значения. При старте Compose применяет миграции и создаёт приватный S3-бакет с ограниченными правами. Подробные команды проверок и оператора приведены в отчёте.

docker compose ps
docker compose logs --tail 100 dispatcher worker
docker compose run --rm --no-deps dispatcher jobs failed
docker compose down

docker compose down сохраняет volumes.

Результаты проверок и отчёт

  • Прошли структурная проверка, полная валидация OpenAPI, публичный smoke, persistence и failover. После перезапуска сохранились подтверждённые сообщения, оригинал вложения и действующая сессия. Smoke · Persistence · Failover
  • При failover наблюдались две API-реплики. Зафиксировано 115 успешных записей и 4 переходные ошибки. Первая успешная запись после остановки реплики получена через 3,881 с от запуска сценария. Зачётный прогон выполнен через 127.0.0.1 после прогрева Argon2id. Журнал failover
  • Собственная проверка подтвердила геометрию JPEG и WebP, EXIF-поворот, прозрачность на белом фоне, удаление метаданных и обработку превышения лимитов. Проверка изображений

Эксперимент трека 2 — 9 из 9 сценариев прошли. Во всех сценариях принятая загрузка дошла до ready.

Воздействие Наблюдаемый результат
Перезапуск API и брокера при остановленном worker Тот же job_id сохранился в Streams. Сообщение с queued-вложением было принято, файл стал доступен после запуска worker.
Сбой до и после публикации в Streams В первом случае задание восстановилось из outbox. Во втором брокер получил две доставки одного job_id, обработка завершилась одной попыткой.
Сбой worker до записи S3 и после записи оригинала Истечение lease запустило вторую попытку. При повторе после записи оригинала его ETag и LastModified сохранились, недостающие варианты были записаны.
Сбой после фиксации ready до ACK Повторная доставка подтверждена с одной попыткой обработки и без перезаписи объекта.
Постоянная и временная ошибки Постоянная ошибка завершилась на первой попытке, временная — на пятой с retry_exhausted. После явного replay оба вложения дошли до ready, создана запись аудита.
Перестановка заданий и поздние дубли При порядке доставки 2 → 1 → 2 → 1 → 2 итоговой осталась v2. Для каждой версии сохранён один набор результатов. Сверены контрольные суммы, ETag и LastModified.

Гипотеза, методика и границы эксперимента приведены в отчёте. Идентификаторы, длительности, номера попыток и измеренные интервалы retry сохранены в журнале эксперимента.

Ограничения

  • Стенд работает на одном Docker-хосте. Эксперимент охватывает отказы процессов и перезапуск брокера с сохранением volume. Потеря хоста, диска или постоянного хранилища находится за пределами проверки.
  • Брокер использует доставку at least once. Потребитель может получить дубль после успешной записи, поэтому уникальность результата обеспечивают условная запись S3 и проверка версии в PostgreSQL.
  • Длительности сценариев включают перезапуск контейнеров и ожидание обработки. Нагрузочные испытания и оценка максимальной пропускной способности находятся за пределами выбранного трека.
  • HTTP используется на локальном стенде с синтетическими данными. MinIO доступен через внутренний сегмент. Результат govulncheck относится к достижимому Go-коду приложения. Журнал проверки Go

Источники и использование ИИ

Использованы требования и контракты lab5, собственная реализация lab4, официальная документация Valkey Streams и AOF, документация S3 по условной записи и библиотека Pillow. Codex использован для переноса кода, реализации обработки, подготовки эксперимента и документации. Заявленные результаты взяты из сохранённых журналов. Отчёт

  • Выполнены требования уровней 3 и 4 и выбранный трек уровня 5.
  • Контракты, публичные тесты и README задания сохранены.
  • Приложены команды запуска из чистого клона и результаты проверок.
  • Секреты создаются локально и исключены из Git.
## Лабораторная 5 - **Автор и группа** — Ситосенко, БВТ2303. - **Целевая оценка** — 5. - **Трек 2** — доказанная идемпотентность версионированного pipeline. ### Что реализовано и что перенесено - Из собственной lab4 перенесены Go API, PostgreSQL с миграциями, общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset-пагинация и идемпотентная отправка сообщений. Сохранены проверка членства в чате и авторизованная выдача вложений через API. - Загрузка стала асинхронной. API возвращает `202 queued` после сохранения исходника в приватный S3 staging и фиксации вложения и задания в одной транзакции PostgreSQL. Сообщение можно создать со ссылкой на `queued`-вложение. Пока файл обрабатывается, скачивание отвечает `409`. - Добавлены transactional outbox, отдельный брокер Valkey Streams с AOF и отдельный worker. После сбоя между COMMIT и публикацией dispatcher отправляет задание из outbox. При потере подтверждения возможна повторная доставка. - Worker сохраняет исходник побайтно и создаёт три варианта. Thumbnail вписывается в `256×256`, crop составляет `128×128`, optimized WebP вписывается в `1280×1280`. Учитывается EXIF-поворот, прозрачность компонуется на белый фон, метаданные вариантов удаляются. - При загрузке проверяются MIME по содержимому, целостность файла, имя и лимиты `10 MiB` и `40 млн пикселей`. Worker ограничен одним заданием одновременно, таймаутом обработки, `640 MiB` памяти и `32 MiB` tmpfs. Для API и фоновой обработки используются отдельные S3-учётные записи. - Реализованы lease, до пяти попыток на цикл по умолчанию, backoff с jitter, реестр `failed` и операторский replay с аудитом. Staging очищается после публикации результата. - Результаты хранятся по ключу `(attachment_id, pipeline_version, variant)`. Условная запись в S3 защищает существующий объект от перезаписи. PostgreSQL переключает опубликованный результат на v2 после записи всех вариантов. Пока готовится v2, клиенту доступна v1. ### Команды запуска из чистого clone Нужны Docker Desktop с Linux-контейнерами, Compose и Python 3.9+. Команды выполняются в PowerShell из корня клона. ```powershell python -X utf8 scripts/bootstrap.py docker compose config --quiet docker compose up -d --build --wait --wait-timeout 150 $env:BASE_URL = 'http://127.0.0.1:8080' python -X utf8 scripts/check_contract.py python -X utf8 tests/smoke.py python -X utf8 student-tests/image_rules.py python -X utf8 student-tests/pipeline_faults.py ``` Bootstrap создаёт локальные `.env` и `secrets/`, сохраняя существующие значения. При старте Compose применяет миграции и создаёт приватный S3-бакет с ограниченными правами. Подробные команды проверок и оператора приведены в [отчёте][report]. ```powershell docker compose ps docker compose logs --tail 100 dispatcher worker docker compose run --rm --no-deps dispatcher jobs failed docker compose down ``` `docker compose down` сохраняет volumes. ### Результаты проверок и отчёт - Прошли структурная проверка, полная валидация OpenAPI, публичный smoke, persistence и failover. После перезапуска сохранились подтверждённые сообщения, оригинал вложения и действующая сессия. [Smoke][smoke] · [Persistence][persistence] · [Failover][failover] - При failover наблюдались две API-реплики. Зафиксировано **115 успешных записей и 4 переходные ошибки**. Первая успешная запись после остановки реплики получена через **3,881 с от запуска сценария**. Зачётный прогон выполнен через `127.0.0.1` после прогрева Argon2id. [Журнал failover][failover] - Собственная проверка подтвердила геометрию JPEG и WebP, EXIF-поворот, прозрачность на белом фоне, удаление метаданных и обработку превышения лимитов. [Проверка изображений][images] **Эксперимент трека 2 — 9 из 9 сценариев прошли.** Во всех сценариях принятая загрузка дошла до `ready`. | Воздействие | Наблюдаемый результат | | --- | --- | | Перезапуск API и брокера при остановленном worker | Тот же `job_id` сохранился в Streams. Сообщение с `queued`-вложением было принято, файл стал доступен после запуска worker. | | Сбой до и после публикации в Streams | В первом случае задание восстановилось из outbox. Во втором брокер получил две доставки одного `job_id`, обработка завершилась одной попыткой. | | Сбой worker до записи S3 и после записи оригинала | Истечение lease запустило вторую попытку. При повторе после записи оригинала его ETag и LastModified сохранились, недостающие варианты были записаны. | | Сбой после фиксации `ready` до ACK | Повторная доставка подтверждена с одной попыткой обработки и без перезаписи объекта. | | Постоянная и временная ошибки | Постоянная ошибка завершилась на первой попытке, временная — на пятой с `retry_exhausted`. После явного replay оба вложения дошли до `ready`, создана запись аудита. | | Перестановка заданий и поздние дубли | При порядке доставки `2 → 1 → 2 → 1 → 2` итоговой осталась v2. Для каждой версии сохранён один набор результатов. Сверены контрольные суммы, ETag и LastModified. | Гипотеза, методика и границы эксперимента приведены в [отчёте][report]. Идентификаторы, длительности, номера попыток и измеренные интервалы retry сохранены в [журнале эксперимента][pipeline]. ### Ограничения - Стенд работает на одном Docker-хосте. Эксперимент охватывает отказы процессов и перезапуск брокера с сохранением volume. Потеря хоста, диска или постоянного хранилища находится за пределами проверки. - Брокер использует доставку at least once. Потребитель может получить дубль после успешной записи, поэтому уникальность результата обеспечивают условная запись S3 и проверка версии в PostgreSQL. - Длительности сценариев включают перезапуск контейнеров и ожидание обработки. Нагрузочные испытания и оценка максимальной пропускной способности находятся за пределами выбранного трека. - HTTP используется на локальном стенде с синтетическими данными. MinIO доступен через внутренний сегмент. Результат `govulncheck` относится к достижимому Go-коду приложения. [Журнал проверки Go][govuln] ### Источники и использование ИИ Использованы требования и контракты lab5, собственная реализация lab4, официальная документация Valkey Streams и AOF, документация S3 по условной записи и библиотека Pillow. Codex использован для переноса кода, реализации обработки, подготовки эксперимента и документации. Заявленные результаты взяты из сохранённых журналов. [Отчёт][report] - [x] Выполнены требования уровней 3 и 4 и выбранный трек уровня 5. - [x] Контракты, публичные тесты и README задания сохранены. - [x] Приложены команды запуска из чистого клона и результаты проверок. - [x] Секреты создаются локально и исключены из Git. [report]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/REPORT.md [smoke]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/smoke.txt [persistence]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/persistence.txt [failover]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/failover.txt [images]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/image-rules.txt [pipeline]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/pipeline.json [govuln]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/go-vuln.txt
Roflyan added 2 commits 2026-11-06 18:00:07 +03:00
Roflyan added 1 commit 2026-11-06 18:01:58 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:50 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#24