4.9 KiB
Отчёт — лабораторная 5
- Автор, группа: Будилова Ярослава, БВТ2304
- Целевая оценка; 4
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI, SQLAlchemy, RabbitMQ (aio-pika), SeaweedFS (S3), PostgreSQL, Valkey.
Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Архитектура и решения
- Разделение ответственности: API принимает файл, валидирует его (MIME через
python-magic, размер до 10 MiB, разрешение до 40 Мпикселей), сохраняет во временный префикс S3 (staging/) и создаёт запись в БД (Attachment,AttachmentJob,JobOutbox). Возвращает202 Accepted. - Transactional Outbox: Фоновый процесс в API (
app/broker.py) каждую секунду опрашивает таблицуjob_outboxна наличие непубликованных задач и отправляет их в RabbitMQ сDeliveryMode.PERSISTENT. Это гарантирует, что даже если API упадёт сразу после COMMIT в БД, задача не будет потеряна. - Worker: Отдельный процесс, который забирает сообщения из очереди
attachment.process.v1. ИспользуетSELECT ... FOR UPDATEдля блокировки задачи (lease на 30 секунд). Обрабатывает изображение (создаётthumbnail256x256,crop128x128,optimizedWebP 1280x1280), сохраняет в конечный префикс S3, обновляет статус в БД наreadyи только затем отправляетackброкеру. - Идемпотентность: Если Worker падает после записи в S3, но до
ackили COMMIT, RabbitMQ повторно доставит сообщение. Worker проверяет статус задачи в БД: если она ужеreadyилиprocessingс живым lease, он игнорирует дубль (no-op). Первичный ключ(attachment_id, variant_name)физически предотвращает создание дубликатов на уровне БД. - Очистка: После успешного COMMIT статус
ready, Worker удаляет объект изstaging/.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| TODO | TODO | TODO | TODO |
Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.