Из собственной lab4 перенесены Go API, PostgreSQL с миграциями, общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset-пагинация и идемпотентная отправка сообщений. Сохранены проверка членства в чате и авторизованная выдача вложений через API.
Загрузка стала асинхронной. API возвращает 202 queued после сохранения исходника в приватный S3 staging и фиксации вложения и задания в одной транзакции PostgreSQL. Сообщение можно создать со ссылкой на queued-вложение. Пока файл обрабатывается, скачивание отвечает 409.
Добавлены transactional outbox, отдельный брокер Valkey Streams с AOF и отдельный worker. После сбоя между COMMIT и публикацией dispatcher отправляет задание из outbox. При потере подтверждения возможна повторная доставка.
Worker сохраняет исходник побайтно и создаёт три варианта. Thumbnail вписывается в 256×256, crop составляет 128×128, optimized WebP вписывается в 1280×1280. Учитывается EXIF-поворот, прозрачность компонуется на белый фон, метаданные вариантов удаляются.
При загрузке проверяются MIME по содержимому, целостность файла, имя и лимиты 10 MiB и 40 млн пикселей. Worker ограничен одним заданием одновременно, таймаутом обработки, 640 MiB памяти и 32 MiB tmpfs. Для API и фоновой обработки используются отдельные S3-учётные записи.
Реализованы lease, до пяти попыток на цикл по умолчанию, backoff с jitter, реестр failed и операторский replay с аудитом. Staging очищается после публикации результата.
Результаты хранятся по ключу (attachment_id, pipeline_version, variant). Условная запись в S3 защищает существующий объект от перезаписи. PostgreSQL переключает опубликованный результат на v2 после записи всех вариантов. Пока готовится v2, клиенту доступна v1.
Команды запуска из чистого clone
Нужны Docker Desktop с Linux-контейнерами, Compose и Python 3.9+. Команды выполняются в PowerShell из корня клона.
Bootstrap создаёт локальные .env и secrets/, сохраняя существующие значения. При старте Compose применяет миграции и создаёт приватный S3-бакет с ограниченными правами. Подробные команды проверок и оператора приведены в отчёте.
Прошли структурная проверка, полная валидация OpenAPI, публичный smoke, persistence и failover. После перезапуска сохранились подтверждённые сообщения, оригинал вложения и действующая сессия. Smoke · Persistence · Failover
При failover наблюдались две API-реплики. Зафиксировано 115 успешных записей и 4 переходные ошибки. Первая успешная запись после остановки реплики получена через 3,881 с от запуска сценария. Зачётный прогон выполнен через 127.0.0.1 после прогрева Argon2id. Журнал failover
Собственная проверка подтвердила геометрию JPEG и WebP, EXIF-поворот, прозрачность на белом фоне, удаление метаданных и обработку превышения лимитов. Проверка изображений
Эксперимент трека 2 — 9 из 9 сценариев прошли. Во всех сценариях принятая загрузка дошла до ready.
Воздействие
Наблюдаемый результат
Перезапуск API и брокера при остановленном worker
Тот же job_id сохранился в Streams. Сообщение с queued-вложением было принято, файл стал доступен после запуска worker.
Сбой до и после публикации в Streams
В первом случае задание восстановилось из outbox. Во втором брокер получил две доставки одного job_id, обработка завершилась одной попыткой.
Сбой worker до записи S3 и после записи оригинала
Истечение lease запустило вторую попытку. При повторе после записи оригинала его ETag и LastModified сохранились, недостающие варианты были записаны.
Сбой после фиксации ready до ACK
Повторная доставка подтверждена с одной попыткой обработки и без перезаписи объекта.
Постоянная и временная ошибки
Постоянная ошибка завершилась на первой попытке, временная — на пятой с retry_exhausted. После явного replay оба вложения дошли до ready, создана запись аудита.
Перестановка заданий и поздние дубли
При порядке доставки 2 → 1 → 2 → 1 → 2 итоговой осталась v2. Для каждой версии сохранён один набор результатов. Сверены контрольные суммы, ETag и LastModified.
Гипотеза, методика и границы эксперимента приведены в отчёте. Идентификаторы, длительности, номера попыток и измеренные интервалы retry сохранены в журнале эксперимента.
Ограничения
Стенд работает на одном Docker-хосте. Эксперимент охватывает отказы процессов и перезапуск брокера с сохранением volume. Потеря хоста, диска или постоянного хранилища находится за пределами проверки.
Брокер использует доставку at least once. Потребитель может получить дубль после успешной записи, поэтому уникальность результата обеспечивают условная запись S3 и проверка версии в PostgreSQL.
Длительности сценариев включают перезапуск контейнеров и ожидание обработки. Нагрузочные испытания и оценка максимальной пропускной способности находятся за пределами выбранного трека.
HTTP используется на локальном стенде с синтетическими данными. MinIO доступен через внутренний сегмент. Результат govulncheck относится к достижимому Go-коду приложения. Журнал проверки Go
Источники и использование ИИ
Использованы требования и контракты lab5, собственная реализация lab4, официальная документация Valkey Streams и AOF, документация S3 по условной записи и библиотека Pillow. Codex использован для переноса кода, реализации обработки, подготовки эксперимента и документации. Заявленные результаты взяты из сохранённых журналов. Отчёт
Выполнены требования уровней 3 и 4 и выбранный трек уровня 5.
Контракты, публичные тесты и README задания сохранены.
Приложены команды запуска из чистого клона и результаты проверок.
Секреты создаются локально и исключены из Git.
## Лабораторная 5
- **Автор и группа** — Ситосенко, БВТ2303.
- **Целевая оценка** — 5.
- **Трек 2** — доказанная идемпотентность версионированного pipeline.
### Что реализовано и что перенесено
- Из собственной lab4 перенесены Go API, PostgreSQL с миграциями, общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset-пагинация и идемпотентная отправка сообщений. Сохранены проверка членства в чате и авторизованная выдача вложений через API.
- Загрузка стала асинхронной. API возвращает `202 queued` после сохранения исходника в приватный S3 staging и фиксации вложения и задания в одной транзакции PostgreSQL. Сообщение можно создать со ссылкой на `queued`-вложение. Пока файл обрабатывается, скачивание отвечает `409`.
- Добавлены transactional outbox, отдельный брокер Valkey Streams с AOF и отдельный worker. После сбоя между COMMIT и публикацией dispatcher отправляет задание из outbox. При потере подтверждения возможна повторная доставка.
- Worker сохраняет исходник побайтно и создаёт три варианта. Thumbnail вписывается в `256×256`, crop составляет `128×128`, optimized WebP вписывается в `1280×1280`. Учитывается EXIF-поворот, прозрачность компонуется на белый фон, метаданные вариантов удаляются.
- При загрузке проверяются MIME по содержимому, целостность файла, имя и лимиты `10 MiB` и `40 млн пикселей`. Worker ограничен одним заданием одновременно, таймаутом обработки, `640 MiB` памяти и `32 MiB` tmpfs. Для API и фоновой обработки используются отдельные S3-учётные записи.
- Реализованы lease, до пяти попыток на цикл по умолчанию, backoff с jitter, реестр `failed` и операторский replay с аудитом. Staging очищается после публикации результата.
- Результаты хранятся по ключу `(attachment_id, pipeline_version, variant)`. Условная запись в S3 защищает существующий объект от перезаписи. PostgreSQL переключает опубликованный результат на v2 после записи всех вариантов. Пока готовится v2, клиенту доступна v1.
### Команды запуска из чистого clone
Нужны Docker Desktop с Linux-контейнерами, Compose и Python 3.9+. Команды выполняются в PowerShell из корня клона.
```powershell
python -X utf8 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 150
$env:BASE_URL = 'http://127.0.0.1:8080'
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py
python -X utf8 student-tests/image_rules.py
python -X utf8 student-tests/pipeline_faults.py
```
Bootstrap создаёт локальные `.env` и `secrets/`, сохраняя существующие значения. При старте Compose применяет миграции и создаёт приватный S3-бакет с ограниченными правами. Подробные команды проверок и оператора приведены в [отчёте][report].
```powershell
docker compose ps
docker compose logs --tail 100 dispatcher worker
docker compose run --rm --no-deps dispatcher jobs failed
docker compose down
```
`docker compose down` сохраняет volumes.
### Результаты проверок и отчёт
- Прошли структурная проверка, полная валидация OpenAPI, публичный smoke, persistence и failover. После перезапуска сохранились подтверждённые сообщения, оригинал вложения и действующая сессия. [Smoke][smoke] · [Persistence][persistence] · [Failover][failover]
- При failover наблюдались две API-реплики. Зафиксировано **115 успешных записей и 4 переходные ошибки**. Первая успешная запись после остановки реплики получена через **3,881 с от запуска сценария**. Зачётный прогон выполнен через `127.0.0.1` после прогрева Argon2id. [Журнал failover][failover]
- Собственная проверка подтвердила геометрию JPEG и WebP, EXIF-поворот, прозрачность на белом фоне, удаление метаданных и обработку превышения лимитов. [Проверка изображений][images]
**Эксперимент трека 2 — 9 из 9 сценариев прошли.** Во всех сценариях принятая загрузка дошла до `ready`.
| Воздействие | Наблюдаемый результат |
| --- | --- |
| Перезапуск API и брокера при остановленном worker | Тот же `job_id` сохранился в Streams. Сообщение с `queued`-вложением было принято, файл стал доступен после запуска worker. |
| Сбой до и после публикации в Streams | В первом случае задание восстановилось из outbox. Во втором брокер получил две доставки одного `job_id`, обработка завершилась одной попыткой. |
| Сбой worker до записи S3 и после записи оригинала | Истечение lease запустило вторую попытку. При повторе после записи оригинала его ETag и LastModified сохранились, недостающие варианты были записаны. |
| Сбой после фиксации `ready` до ACK | Повторная доставка подтверждена с одной попыткой обработки и без перезаписи объекта. |
| Постоянная и временная ошибки | Постоянная ошибка завершилась на первой попытке, временная — на пятой с `retry_exhausted`. После явного replay оба вложения дошли до `ready`, создана запись аудита. |
| Перестановка заданий и поздние дубли | При порядке доставки `2 → 1 → 2 → 1 → 2` итоговой осталась v2. Для каждой версии сохранён один набор результатов. Сверены контрольные суммы, ETag и LastModified. |
Гипотеза, методика и границы эксперимента приведены в [отчёте][report]. Идентификаторы, длительности, номера попыток и измеренные интервалы retry сохранены в [журнале эксперимента][pipeline].
### Ограничения
- Стенд работает на одном Docker-хосте. Эксперимент охватывает отказы процессов и перезапуск брокера с сохранением volume. Потеря хоста, диска или постоянного хранилища находится за пределами проверки.
- Брокер использует доставку at least once. Потребитель может получить дубль после успешной записи, поэтому уникальность результата обеспечивают условная запись S3 и проверка версии в PostgreSQL.
- Длительности сценариев включают перезапуск контейнеров и ожидание обработки. Нагрузочные испытания и оценка максимальной пропускной способности находятся за пределами выбранного трека.
- HTTP используется на локальном стенде с синтетическими данными. MinIO доступен через внутренний сегмент. Результат `govulncheck` относится к достижимому Go-коду приложения. [Журнал проверки Go][govuln]
### Источники и использование ИИ
Использованы требования и контракты lab5, собственная реализация lab4, официальная документация Valkey Streams и AOF, документация S3 по условной записи и библиотека Pillow. Codex использован для переноса кода, реализации обработки, подготовки эксперимента и документации. Заявленные результаты взяты из сохранённых журналов. [Отчёт][report]
- [x] Выполнены требования уровней 3 и 4 и выбранный трек уровня 5.
- [x] Контракты, публичные тесты и README задания сохранены.
- [x] Приложены команды запуска из чистого клона и результаты проверок.
- [x] Секреты создаются локально и исключены из Git.
[report]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/REPORT.md
[smoke]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/smoke.txt
[persistence]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/persistence.txt
[failover]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/failover.txt
[images]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/image-rules.txt
[pipeline]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/pipeline.json
[govuln]: https://gitea.privcloud.tech/Roflyan/mtusi2026lab5-fork/src/branch/solution/bvt2303-sitosenko/evidence/go-vuln.txt
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Что реализовано и что перенесено
202 queuedпосле сохранения исходника в приватный S3 staging и фиксации вложения и задания в одной транзакции PostgreSQL. Сообщение можно создать со ссылкой наqueued-вложение. Пока файл обрабатывается, скачивание отвечает409.256×256, crop составляет128×128, optimized WebP вписывается в1280×1280. Учитывается EXIF-поворот, прозрачность компонуется на белый фон, метаданные вариантов удаляются.10 MiBи40 млн пикселей. Worker ограничен одним заданием одновременно, таймаутом обработки,640 MiBпамяти и32 MiBtmpfs. Для API и фоновой обработки используются отдельные S3-учётные записи.failedи операторский replay с аудитом. Staging очищается после публикации результата.(attachment_id, pipeline_version, variant). Условная запись в S3 защищает существующий объект от перезаписи. PostgreSQL переключает опубликованный результат на v2 после записи всех вариантов. Пока готовится v2, клиенту доступна v1.Команды запуска из чистого clone
Нужны Docker Desktop с Linux-контейнерами, Compose и Python 3.9+. Команды выполняются в PowerShell из корня клона.
Bootstrap создаёт локальные
.envиsecrets/, сохраняя существующие значения. При старте Compose применяет миграции и создаёт приватный S3-бакет с ограниченными правами. Подробные команды проверок и оператора приведены в отчёте.docker compose downсохраняет volumes.Результаты проверок и отчёт
127.0.0.1после прогрева Argon2id. Журнал failoverЭксперимент трека 2 — 9 из 9 сценариев прошли. Во всех сценариях принятая загрузка дошла до
ready.job_idсохранился в Streams. Сообщение сqueued-вложением было принято, файл стал доступен после запуска worker.job_id, обработка завершилась одной попыткой.readyдо ACKretry_exhausted. После явного replay оба вложения дошли доready, создана запись аудита.2 → 1 → 2 → 1 → 2итоговой осталась v2. Для каждой версии сохранён один набор результатов. Сверены контрольные суммы, ETag и LastModified.Гипотеза, методика и границы эксперимента приведены в отчёте. Идентификаторы, длительности, номера попыток и измеренные интервалы retry сохранены в журнале эксперимента.
Ограничения
govulncheckотносится к достижимому Go-коду приложения. Журнал проверки GoИсточники и использование ИИ
Использованы требования и контракты lab5, собственная реализация lab4, официальная документация Valkey Streams и AOF, документация S3 по условной записи и библиотека Pillow. Codex использован для переноса кода, реализации обработки, подготовки эксперимента и документации. Заявленные результаты взяты из сохранённых журналов. Отчёт
Принято. Закрываю МР.
Pull request closed