Реализована асинхронная обработка изображений с durable handoff и доставкой at-least-once:
API сохраняет загруженный файл в приватный S3 staging, атомарно записывает attachments, attachment_jobs и outbox в PostgreSQL и возвращает 202 Accepted.
Dispatcher публикует задания из transactional outbox в Kafka; publisher delivery report используется как подтверждение публикации.
Отдельный worker получает сообщения с идентификаторами, захватывает job в PostgreSQL с lease, обрабатывает изображение в дочернем процессе и публикует оригинал и три варианта в S3.
Результат фиксируется в PostgreSQL до commit Kafka offset. Повторная доставка безопасна за счёт состояния job, lease, детерминированных ключей S3 и уникальности вариантов.
Реализованы retry с exponential backoff и jitter, различение постоянных и временных ошибок, reaper истёкших lease, реестр окончательно неудавшихся задач в PostgreSQL и безопасный операторский replay.
Добавлены ограничения размера файла, числа пикселей, времени, памяти и CPU обработки, ограниченная конкуренция worker и очистка staging/s3-сирот.
Сохранены функциональность и контракты предыдущей лабораторной работы.
Архитектурные решения
PostgreSQL - источник истины для состояния вложений и заданий.
Kafka - персистентный транспорт at-least-once; используется основной топик attachment-jobs.
Неудавшиеся задания хранятся в реестре PostgreSQL (attachment_jobs и job_events).
Задержка повторной попытки реализована через available_at в outbox, поскольку Kafka не предоставляет per-message delayed delivery.
Dispatcher выполняет relay outbox и reaper истёкших lease.
Проверки
make check - успешно (scripts/check_contract.py).
make validate
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
make test
python3 student-tests/level4_failures.py all
Результаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в REPORT1.md, а доказательства - в evidence/evidence.txt
Команды запуска из чистого clone
- `make check`
- `make validate`
cp .env.example .env
# Заполнить локальные значения секретов в .env; файл .env не коммитить.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until curl -fs http://localhost:8080/health/ready;do sleep 2;done
make test
python3 student-tests/level4_failures.py all
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Ограничения
Kafka развёрнута одним брокером с RF=1; потеря его диска может привести к потере сообщений брокерного лога. Автоматическое восстановление потерянного лога не заявляется.
Replay доступен оператору через CLI, а не через публичный API.
Трек 5 и нагрузочные измерения pipeline не входят в объём этой реализации.
Источники и использование ИИ
Реализация основана на предыдущей лабораторной. Исользовалась помощь ИИ
Чек-лист
Сохранён README задания и контракты лабораторной.
Основная реализация уровня 4 и реестр failed/replay сохранены.
make check выполнен успешно.
make test выполнен на запущенном стенде; вывод приложен.
Сценарии отказов уровня 4 воспроизведены; выводы приложены в evidence/.
.env исключён из Git через .gitignore; перед созданием PR нужно проверить git status и staged diff, чтобы локальные секреты не попали в коммит, более подробное описание в REPORT1.md отчёте.
## Лабораторная работа 5
- Автор / группа: Алексей Миронов, БВТ2302
- Целевая оценка: **4**
- Трек 5: не заявляется
## Что реализовано
Реализована асинхронная обработка изображений с durable handoff и доставкой at-least-once:
- API сохраняет загруженный файл в приватный S3 staging, атомарно записывает `attachments`, `attachment_jobs` и `outbox` в PostgreSQL и возвращает `202 Accepted`.
- Dispatcher публикует задания из transactional outbox в Kafka; publisher delivery report используется как подтверждение публикации.
- Отдельный worker получает сообщения с идентификаторами, захватывает job в PostgreSQL с lease, обрабатывает изображение в дочернем процессе и публикует оригинал и три варианта в S3.
- Результат фиксируется в PostgreSQL до commit Kafka offset. Повторная доставка безопасна за счёт состояния job, lease, детерминированных ключей S3 и уникальности вариантов.
- Реализованы retry с exponential backoff и jitter, различение постоянных и временных ошибок, reaper истёкших lease, реестр окончательно неудавшихся задач в PostgreSQL и безопасный операторский replay.
- Добавлены ограничения размера файла, числа пикселей, времени, памяти и CPU обработки, ограниченная конкуренция worker и очистка staging/s3-сирот.
- Сохранены функциональность и контракты предыдущей лабораторной работы.
## Архитектурные решения
- PostgreSQL - источник истины для состояния вложений и заданий.
- Kafka - персистентный транспорт at-least-once; используется основной топик `attachment-jobs`.
- Неудавшиеся задания хранятся в реестре PostgreSQL (`attachment_jobs` и `job_events`).
- Задержка повторной попытки реализована через `available_at` в outbox, поскольку Kafka не предоставляет per-message delayed delivery.
- Dispatcher выполняет relay outbox и reaper истёкших lease.
## Проверки
- `make check` - успешно (`scripts/check_contract.py`).
- `make validate`
- `docker compose --env-file .env config --quiet`
- `docker compose --env-file .env up -d --build`
- `make test`
- `python3 student-tests/level4_failures.py all`
Результаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в `REPORT1.md`, а доказательства - в `evidence/evidence.txt`
## Команды запуска из чистого clone
```sh
- `make check`
- `make validate`
cp .env.example .env
# Заполнить локальные значения секретов в .env; файл .env не коммитить.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until curl -fs http://localhost:8080/health/ready; do sleep 2; done
make test
python3 student-tests/level4_failures.py all
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
## Ограничения
- Kafka развёрнута одним брокером с RF=1; потеря его диска может привести к потере сообщений брокерного лога. Автоматическое восстановление потерянного лога не заявляется.
- Replay доступен оператору через CLI, а не через публичный API.
- Трек 5 и нагрузочные измерения pipeline не входят в объём этой реализации.
## Источники и использование ИИ
Реализация основана на предыдущей лабораторной. Исользовалась помощь ИИ
## Чек-лист
- [x] Сохранён README задания и контракты лабораторной.
- [x] Основная реализация уровня 4 и реестр failed/replay сохранены.
- [x] `make check` выполнен успешно.
- [x] `make test` выполнен на запущенном стенде; вывод приложен.
- [x] Сценарии отказов уровня 4 воспроизведены; выводы приложены в `evidence/`.
- [x] `.env` исключён из Git через `.gitignore`; перед созданием PR нужно проверить `git status` и staged diff, чтобы локальные секреты не попали в коммит, более подробное описание в REPORT1.md отчёте.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная работа 5
Что реализовано
Реализована асинхронная обработка изображений с durable handoff и доставкой at-least-once:
attachments,attachment_jobsиoutboxв PostgreSQL и возвращает202 Accepted.Архитектурные решения
attachment-jobs.attachment_jobsиjob_events).available_atв outbox, поскольку Kafka не предоставляет per-message delayed delivery.Проверки
make check- успешно (scripts/check_contract.py).make validatedocker compose --env-file .env config --quietdocker compose --env-file .env up -d --buildmake testpython3 student-tests/level4_failures.py allРезультаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в
REPORT1.md, а доказательства - вevidence/evidence.txtКоманды запуска из чистого clone
Ограничения
Источники и использование ИИ
Реализация основана на предыдущей лабораторной. Исользовалась помощь ИИ
Чек-лист
make checkвыполнен успешно.make testвыполнен на запущенном стенде; вывод приложен.evidence/..envисключён из Git через.gitignore; перед созданием PR нужно проверитьgit statusи staged diff, чтобы локальные секреты не попали в коммит, более подробное описание в REPORT1.md отчёте.Принято. Закрываю МР.
Pull request closed