ЛР 5 — БПИ2301 — Каменский — на 4 #85

Closed
gonne wants to merge 1 commits from gonne/mtusi2026lab5:main into main
137 changed files with 7918 additions and 206 deletions
+56 -18
View File
@@ -1,25 +1,63 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
POSTGRES_DB=messenger
POSTGRES_USER=messenger
# Задай свой локальный пароль перед запуском. Не добавляй .env в Git.
POSTGRES_PASSWORD=
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
# REDIS_URL задаётся в compose.yaml; Redis хранит сессии с TTL и кэш профилей на 60 секунд.
LOG_LEVEL=INFO
# DATABASE_URL и REDIS_URL передаёт Compose. При ручном запуске задай их в окружении.
# Остальные параметры и значения по умолчанию: src/core/settings.py (AppSettings).
# Стартовый администратор; повторный запуск не меняет существующий пароль.
ADMIN_USERNAME=admin
ADMIN_PASSWORD=admin-password-123
ADMIN_DISPLAY_NAME=Администратор
# APP_ENV=production запрещает учебный ADMIN_PASSWORD. Пароль существующего
# администратора должен совпадать с настройкой; автоматического сброса нет.
# HTTP_MAX_BODY_BYTES=65536
# HTTP_BODY_TIMEOUT_SECONDS=5
# HTTP_REQUEST_TIMEOUT_SECONDS=5
# HTTP_CONCURRENCY_LIMIT=64
# PASSWORD_HASH_CONCURRENCY=2
# Lab3: число реплик и лимиты каждой API-реплики. Наружу доступен только LB.
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_REGION=us-east-1
API_CPUS=0.5
API_MEMORY=512m
DATABASE_POOL_SIZE=10
POSTGRES_CPUS=1.0
# Lab4. Local synthetic credentials; MinIO is accessible only inside Compose.
MINIO_ROOT_USER=messenger
MINIO_ROOT_PASSWORD=local-messenger-s3-password
S3_ACCESS_KEY_ID=messenger-api
S3_SECRET_ACCESS_KEY=local-messenger-api-password
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
BROKER_URL_FILE=/run/secrets/broker_url
WORKER_CONCURRENCY=2
UPLOAD_CONCURRENCY=1
# Manual API startup additionally needs S3_ENDPOINT=http://host:9000.
# Automatic reconciliation runs every 300 seconds; default grace is five minutes.
S3_RECONCILE_ACCESS_KEY_ID=messenger-reconciler
S3_RECONCILE_SECRET_ACCESS_KEY=local-messenger-reconciler-password
RECONCILE_GRACE_SECONDS=300
# Lab5: separate durable Redis Streams broker and isolated image worker.
BROKER_URL=redis://broker:6379/0
S3_WORKER_ACCESS_KEY_ID=messenger-worker
S3_WORKER_SECRET_ACCESS_KEY=local-messenger-worker-password
WORKER_CONCURRENCY=1
WORKER_MEMORY=1g
WORKER_MEMORY_MB=768
WORKER_CPUS=1.0
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
STAGING_RETENTION_SECONDS=86400
JOB_TIMEOUT_SECONDS=30
JOB_LEASE_SECONDS=120
JOB_RETRY_BASE_SECONDS=2
JOB_RETRY_CAP_SECONDS=60
STAGING_RETENTION_SECONDS=604800
# Only enable on an isolated fault-test stand, never normal operation.
PIPELINE_FAULT_INJECTION=false
+4
View File
@@ -0,0 +1,4 @@
# Matplotlib SVG paths contain generated trailing separators.
evidence/**/*.svg -whitespace
# Preserve generated measurements byte-for-byte for evidence checksums.
evidence/**/*.csv -text -whitespace
+18 -15
View File
@@ -1,18 +1,21 @@
## Лабораторная 5
## Лабораторная 5: очередь и обработка изображений
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: **Каменский Андрей, БПИ2301**.
Целевая оценка: **4**. Исследовательский трек на 5 не заявлен.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Загрузка возвращает 202 queued после устойчивого staging и COMMIT вложения с
job/outbox. Отдельный Redis Streams broker и worker готовят thumbnail, crop и
optimized WebP. Сохранены авторизация, сообщения, оригиналы и работа двух API.
Dispatcher восстанавливает непубликованные задания и истёкшие processing.
Есть ограниченный retry с jitter, реестр failed, audit replay и staging retention.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Проверка: `make verify-lab5 PYTHON=.venv/bin/python`. Отчёт: REPORT.md,
сводка: evidence/lab5-summary.json. Проверки используют отдельный новый Compose
проект и реальные падения процессов; публичные tests взяты из skeleton lab5.
- [x] Сохранены обязательные возможности предыдущих работ с переходом 201 → 202.
- [x] Есть отдельные broker/worker, persistence и подтверждение после DB COMMIT.
- [x] Оригинал и три варианта создаются по контракту.
- [x] Реализованы outbox, ограниченный retry, failed registry и replay с audit.
- [x] Есть lease recovery, ограниченная конкуренция и безопасная очистка staging.
- [x] Инструкции запуска, проверок, ограничения и помощь ИИ описаны в отчёте.
+21 -5
View File
@@ -1,4 +1,4 @@
name: Skeleton contracts
name: Lab5 contracts and application
on: [push, pull_request]
permissions:
contents: read
@@ -9,8 +9,24 @@ jobs:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.12'
python-version: '3.13'
- run: python -m pip install -r requirements-dev.txt
- run: make check validate PYTHON=python
# This job validates the skeleton, not a student solution.
# Add build, readiness and make test in a separate application job.
- run: make check validate lint PYTHON=python
application:
needs: contracts
runs-on: ubuntu-latest
timeout-minutes: 25
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.13'
- run: python -m pip install -r requirements.txt -r requirements-dev.txt
- run: make verify-lab5 PYTHON=python
- uses: actions/upload-artifact@v4
if: always()
with:
name: lab5-evidence
path: |
evidence/lab5-*.json
evidence/lab5-*.txt
+2
View File
@@ -30,3 +30,5 @@ coverage/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
.ruff_cache/
+25
View File
@@ -0,0 +1,25 @@
FROM python:3.13.0-slim-bookworm
ENV PYTHONDONTWRITEBYTECODE=1 \
PYTHONUNBUFFERED=1
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt \
&& python -m pip uninstall --yes pip \
&& addgroup --system app \
&& adduser --system --ingroup app app
COPY --chown=app:app src ./src
COPY --chown=app:app migrations ./migrations
COPY --chown=app:app infra/s3 ./infra/s3
COPY --chown=app:app alembic.ini ./alembic.ini
USER app
EXPOSE 8080
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
CMD python -c "import urllib.request; from src.core.settings import settings; urllib.request.urlopen(f'http://127.0.0.1:{settings.app_port}/health/ready', timeout=settings.healthcheck_timeout_seconds)"
CMD ["python", "-m", "src"]
-8
View File
@@ -1,8 +0,0 @@
# Teaching outline, not a runnable Dockerfile. Implement your own Dockerfile.
# 1. Choose a runtime/toolchain version and pin the base image tag/digest.
# 2. Copy dependency manifests first; install from the language lockfile.
# 3. Copy source and build. For compiled languages use a separate runtime stage.
# 4. Run the HTTP process as PID 1; listen on 0.0.0.0:8080.
# 5. Add non-root, signals and healthcheck according to the current rubric.
# 6. Pass runtime config/secrets at startup, never COPY .env or secret files.
# This file deliberately has no FROM/CMD: selecting/implementing them is the task.
+125
View File
@@ -0,0 +1,125 @@
# Lab5: объяснение реализации и подготовка к защите
Автор: **Каменский Андрей, БПИ2301**.
## Что добавлено к четвёртой работе
Раньше API принимал файл, сохранял оригинал и отвечал 201 ready. Теперь API
сначала надёжно принимает исходник, записывает работу и отвечает 202 queued.
Отдельный worker готовит версии изображения. У пользователя остаётся одно
вложение с одним ID; thumbnail нужен для превью, crop — для квадратного показа,
optimized — для показа большого изображения с ограниченным разрешением.
Пример для 4000×3000: оригинал 4000×3000, thumbnail 256×192, crop 128×128,
optimized WebP 1280×960. Оригинал остаётся побайтно прежним.
## Какие процессы запускаются
| Процесс | Что делает |
| --- | --- |
| API × 2 | Пользователи, чаты, сообщения, приём и чтение вложений |
| PostgreSQL | Источник истины для вложений, jobs/outbox, попыток и результатов |
| Redis | Сессии и кэш предыдущих работ |
| Broker: отдельный Redis | Хранит Stream очереди и неподтверждённые доставки |
| Dispatcher | Отправляет outbox, восстанавливает истёкшие lease, очищает staging |
| Worker | Читает Stream и выполняет обработку |
| MinIO | Сохраняет staging, исходные изображения и варианты |
| Reconciler | Сохраняет прежнюю сверку originals/ с БД, пропускает незавершённую обработку |
| Migration / bootstrap | Подготавливают БД, bucket и S3-политики |
Pillow делает преобразования в дочернем процессе worker. Redis Streams работает
как очередь с consumer group, а не как обычный Pub/Sub. Дополнительный RabbitMQ
для этого решения не требуется.
## Что уже гарантировано в момент 202
1. Клиент передал все байты, прошли базовые проверки.
2. В MinIO надёжно сохранён полный исходник в staging/.
3. В одной транзакции PostgreSQL сохранены Attachment и AttachmentJob.
4. Эта job является также записью outbox: published_at=NULL означает, что её
ещё требуется отправить в брокер.
Ответ не обещает, что сообщение уже находится в брокере или варианты готовы.
Если broker не работает, dispatcher продолжает попытки публикации. API readiness
зависит от PostgreSQL, Redis-сессий и MinIO, но не от worker/broker.
## Зачем outbox
Обычная последовательность «COMMIT в БД → отправить в очередь» имеет разрыв:
процесс может умереть между действиями. У нас намерение отправки — сама job,
сохранённая вместе с вложением. Dispatcher найдёт её после восстановления.
XADD выполняется перед фиксацией published_at. Если broker сохранил сообщение,
а dispatcher умер до COMMIT, сообщение будет отправлено повторно. Это допустимо:
потеря исключается за счёт сохранённого намерения, а дубли обрабатывает worker.
Redis настроен с AOF, appendfsync=always, persistent volume и noeviction.
## Как переживаем повторную доставку и падение worker
job_id обозначает одну логическую работу и сохраняется при повторе доставки.
Управляемый retry увеличивает attempt, простая redelivery этого не делает.
Итоговый ключ эффекта — attachment_id + pipeline_version=1 + variant.
В S3 используются детерминированные ключи: повтор не создаёт новый набор файлов.
Worker фиксирует processing и lease, затем удерживает блокировку строки job
на время ограниченной обработки и публикации результата. Конкурирующий consumer
пропускает занятую строку. Dispatcher восстанавливает только истёкшие processing,
которые не удерживаются живой попыткой. Crash освобождает блокировку; следующая
попытка использует тот же исходник и те же конечные ключи.
После ready повтор проверяет наличие/размер уже зафиксированных объектов и
подтверждает доставку без повторной обработки. Нельзя вернуть ready в processing.
ACK и удаление записи Stream выполняются одной Redis-транзакцией после DB COMMIT.
Это **at least once + идемпотентный эффект**, а не exactly-once доставка.
## Ошибки, повторы и очистка
Временная ошибка S3/обработки приводит к retry. Задержка: случайное значение
между половиной и полным значением min(cap, base × 2^(номер_попытки−1)).
По умолчанию base=2 с, cap=60 с, максимум 5 попыток на цикл.
Повреждённый исходник, несовпадение checksum и превышение ресурсов завершаются
без бессмысленных повторов. Исчерпание временных попыток даёт retry_exhausted.
Реестр failed хранится в PostgreSQL и доступен через CLI. Replay принимает
только failed с ещё доступным staging и требует operator/reason для аудита.
Это новый ограниченный цикл, а не безусловное выполнение успешного дубля.
После ready staging удаляется отдельным проходом. Между COMMIT ready и удалением
может быть задержка; ошибка удаления повторяется. Активные queued/processing
никогда не удаляются по возрасту. Failed хранится семь дней. Незавершённые
загрузки без задания удаляются по журналу pending после grace (по умолчанию
300 с) с той же advisory lock, что используется при загрузке.
У старых вложений lab4 staging и конечный original — один ключ: очистка снимает
ссылку staging, но не удаляет оригинал.
## Что показать преподавателю
Сначала `make test`, затем `make test-lab5`. Для воспроизводимого набора сбоев —
`make verify-lab5 PYTHON=.venv/bin/python`: команды и результаты сохраняются
в evidence/. Проверки отказов показывают реальные exit codes процессов,
неподтверждённую доставку, сохранение ID и неизменность конечных объектов.
Порядок устного объяснения:
1. Чем 202 отличается от прежнего 201 и где исходник в этот момент.
2. Как dispatcher найдёт задачу после crash между COMMIT и публикацией.
3. Почему повтор нормален и почему число объектов не растёт.
4. Что случится после S3 PUT до COMMIT результата и после COMMIT до ACK.
5. Как lease, DB lock и лимит попыток помогают восстановлению.
6. Как посмотреть failed и безопасно повторить его с audit.
В Redis успешный ответ XADD при выбранной конфигурации подтверждает принятие
брокером; XACK означает завершение обработки consumer. В RabbitMQ аналогичные
границы называются publisher confirm и consumer acknowledgement — это разные
подтверждения.
## Где читать код
- src/service/attachment.py — приём и атомарная запись queued + job/outbox.
- src/pipeline/dispatcher.py — публикация, lease recovery, staging cleanup.
- src/pipeline/worker.py — получение, retry, фиксация результата и ACK.
- src/pipeline/images.py — crop, thumbnail, WebP и лимиты дочернего процесса.
- src/pipeline/admin.py — реестр failed и явный replay.
- migrations/versions/009_pipeline.py — изменение схемы и переход с lab4.
- tests/lab5.py — HTTP и реальные fault-injection сценарии.
- tests/lab5_migration.py — сохранность старого вложения при миграции.
+105
View File
@@ -0,0 +1,105 @@
# Лабораторная 5. Очереди и асинхронная обработка изображений
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
## Откуда начинаем
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
## Что сделать
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
## Оценка «3»: работающий минимум
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
## Оценка «4»: уровень стажёра/джуна
Весь уровень 3 **и все** пункты ниже:
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
## Оценка «5»: исследование и доказанный результат
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
## Как начать и проверить
```sh
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
make check
# После реализации запустите свой сервер/стенд по REPORT.md.
# По умолчанию тест использует http://localhost:8080.
make test
```
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
```sh
# Compose-вариант после реализации:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь /health/ready; затем make test.
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
```
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
```
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
## Сценарий защиты
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
## Что должно быть в PR
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
## Вопросы на защите
- Чем publisher confirm отличается от consumer ack?
- Что именно уже сохранено в момент 202?
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
## Первичные материалы
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
+34 -12
View File
@@ -4,27 +4,49 @@ CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
.PHONY: help up down migrate lint format check validate test load test-attachments test-idempotency test-api-regressions test-attachment-failover test-persistence test-failover test-lab5 test-lab5-faults verify-lab5 jobs-failed
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@echo "up: start; test: public lab5 smoke; test-lab5: images; verify-lab5: isolated full acceptance"
up:
docker compose up -d --build --wait
down:
docker compose down
migrate:
docker compose run --rm migration
lint:
$(PYTHON) -m ruff check src
$(PYTHON) -m ruff format --check src
format:
$(PYTHON) -m ruff check --fix src
$(PYTHON) -m ruff format src
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-attachments:
$(PYTHON) tests/attachments.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-idempotency:
$(PYTHON) tests/idempotency.py --base-url "$(BASE_URL)"
test-api-regressions:
$(PYTHON) tests/api_regressions.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-attachment-failover:
$(PYTHON) tests/attachment_failover.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/restart.sh"; exit 2)
$(PYTHON) scripts/test-persistence.py --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/stop-one.sh"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-lab5:
$(PYTHON) tests/lab5.py --base-url "$(BASE_URL)"
test-lab5-faults:
@test -n "$(COMPOSE_PROJECT_NAME)" || (echo "Set COMPOSE_PROJECT_NAME to your isolated test project"; exit 2)
$(PYTHON) tests/lab5.py --faults --project "$(COMPOSE_PROJECT_NAME)" --base-url "$(BASE_URL)"
verify-lab5:
$(PYTHON) scripts/verify-lab5.py
jobs-failed:
docker compose exec -T dispatcher python -m src.pipeline.admin failed
+118 -81
View File
@@ -1,105 +1,142 @@
# Лабораторная 5. Очереди и асинхронная обработка изображений
# Лабораторная 5: очередь и обработка изображений
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
Мессенджер на FastAPI: PostgreSQL, Redis-сессии, две API-реплики за HAProxy,
приватный MinIO, отдельный Redis Streams broker, dispatcher и worker.
Автор: **Каменский Андрей, БПИ2301**.
Целевой уровень — **4**. Лабораторная продолжает собственную lab4.
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
[Задание](LAB5_TASK.md) · [Отчёт](REPORT.md) · [Объяснение и защита](LAB5_GUIDE.md) ·
[Контракт](contracts/README.md) · [Состояния](contracts/attachment-states.md) ·
[OpenAPI](contracts/openapi.json)
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
## Запуск
## Откуда начинаем
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
## Что сделать
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
## Оценка «3»: работающий минимум
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
## Оценка «4»: уровень стажёра/джуна
Весь уровень 3 **и все** пункты ниже:
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
## Оценка «5»: исследование и доказанный результат
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
## Как начать и проверить
Нужен Docker с Compose v2. Для публичного smoke достаточно Python 3.9+;
для полного набора проверок — Python 3.13 и зависимости проекта.
```sh
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
make check
# После реализации запустите свой сервер/стенд по REPORT.md.
# По умолчанию тест использует http://localhost:8080.
make test
# Только если .env ещё нет; существующие настройки сохраняем:
python3 scripts/setup-env.py
docker compose config --quiet
docker compose up -d --build --wait
python3 tests/smoke.py
```
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
API: http://localhost:8080, документация: http://localhost:8080/docs.
На хост опубликован только HAProxy на loopback. Broker, PostgreSQL и MinIO
доступны во внутренней сети Compose. Консоль MinIO выключена.
Первый build MinIO компилирует закреплённый исходный commit и требует интернета.
Bootstrap создаёт приватный bucket и ограниченные S3-учётные записи.
Миграции выполняются автоматически до **009**.
```sh
# Compose-вариант после реализации:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь /health/ready; затем make test.
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
Существующий `.env` менять целиком не нужно: у новых настроек есть значения
по умолчанию, полный список находится в `.env.example`. Для собственного стенда
задайте отдельный `S3_WORKER_SECRET_ACCESS_KEY` до bootstrap. Старые данные
и их идентификаторы сохраняются; миграция ставит прежние вложения в обработку,
чтобы создать варианты и для них.
Остановка с сохранением всех данных: `docker compose down`.
Намеренное удаление **всех учебных данных выбранного проекта**:
`docker compose down --volumes`. Последнюю команду обычный запуск не требует.
## Как работает загрузка
```mermaid
flowchart LR
C[Клиент] --> LB[HAProxy]
LB --> A[API × 2]
A --> S[MinIO: staging]
A --> PG[(PostgreSQL: вложение + job/outbox)]
PG --> D[Dispatcher]
D --> Q[(Redis Streams broker)]
Q --> W[Worker]
S --> W
W --> R[MinIO: оригинал и 3 варианта]
W --> PG
```
API проверяет доступ, имя, MIME, целостность, 10 MiB и 40 млн пикселей.
После сохранения исходника в S3 и атомарного COMMIT вложения/задания возвращает
`202`, `status=queued`. До этого ответа файл полностью передан клиентом.
Недоступность worker или broker не приводит к синхронному resize в API:
задание ждёт в PostgreSQL/outbox.
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
Dispatcher публикует только ID и служебные данные. Worker берёт ключ исходника
из БД, проверяет его SHA-256, создаёт варианты, сохраняет все объекты и лишь
потом атомарно фиксирует `ready` с метаданными вариантов. Подтверждение доставки
в Streams следует после COMMIT. Повторы используют те же ключи объектов.
| Вариант | Результат |
| --- | --- |
| original | Исходные байты PNG/JPEG без изменений |
| thumbnail | JPEG quality=85, до 256×256, пропорции, без увеличения |
| crop | JPEG quality=85, центральный квадрат 128×128, увеличение допустимо |
| optimized | WebP quality=80, method=4, до 1280×1280, без увеличения |
EXIF orientation применяется к производным изображениям; EXIF/XMP/ICC туда
не копируются. Прозрачность компонуется на белый RGB-фон. Размеры при вписывании
округляются вниз, минимум 1 px. WebP не обязан быть меньше любого исходника.
## API
Загрузка — сырые байты, не multipart:
`POST /api/v1/chats/{chat_id}/attachments?filename=photo.png`.
Нужны Bearer-токен и `Content-Type: image/png` либо `image/jpeg`.
`GET /api/v1/attachments/{id}` показывает `queued`, `processing`, `ready` или
`failed`. Сообщение может ссылаться на queued/processing; failed отклоняется с 409.
До ready скачивание возвращает 409. После готовности:
```text
GET /api/v1/attachments/{id}/content
GET /api/v1/attachments/{id}/content?variant=thumbnail
GET /api/v1/attachments/{id}/content?variant=crop
GET /api/v1/attachments/{id}/content?variant=optimized
```
Все варианты читаются через авторизованный API без redirect. Посторонний
пользователь получает 404. В публичных метаданных нет S3-ключей и внутренних URL.
Сессии, права, пагинация и идемпотентность сообщений из предыдущих работ сохранены.
## Проверки
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make lint check validate PYTHON=.venv/bin/python
make test test-attachments test-lab5 test-idempotency PYTHON=.venv/bin/python
```
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
Полная приёмка создаёт новый проект Compose, новые случайные пароли и пустые
volumes на свободном порту. Проверяет миграцию старого вложения, реальные падения,
persistence и failover. В конце удаляет только собственный тестовый проект и
его volumes; сохраняет логи в `evidence/lab5-*.txt` и сводку `lab5-summary.json`.
## Сценарий защиты
```sh
make verify-lab5 PYTHON=.venv/bin/python
```
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
Отдельный запуск проверок отказов требует явно выбранного изолированного проекта:
## Что должно быть в PR
```sh
COMPOSE_PROJECT_NAME=my-lab5-test docker compose up -d --build --wait
COMPOSE_PROJECT_NAME=my-lab5-test make test-lab5-faults PYTHON=.venv/bin/python
```
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
Эти тесты временно останавливают процессы и включают fault injection; обычная
конфигурация восстанавливается в `finally`. Публичные tests не подменяют реализацией:
`course-tests/` содержит файлы из skeleton lab5 без изменения их проверок.
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
## Неудачные задания и повтор
## Вопросы на защите
```sh
make jobs-failed
# Подставить job_id из реестра; повтор разрешён только для failed:
docker compose exec -T dispatcher python -m src.pipeline.admin replay JOB_UUID \
--operator student --reason "Хранилище восстановлено"
```
- Чем publisher confirm отличается от consumer ack?
- Что именно уже сохранено в момент 202?
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
## Первичные материалы
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
Повтор сохраняет прежний job_id, увеличивает attempt, начинает новый ограниченный
цикл попыток и пишет audit в `job_replays`. Ready-задание повторять нельзя.
Failed-исходник хранится семь дней; после очистки staging replay отклоняется.
Подробнее о гарантиях, настройках и ограничениях — в отчёте и руководстве.
+190 -22
View File
@@ -1,37 +1,205 @@
# Отчёт — лабораторная 5
# Лабораторная 5. Очереди и асинхронная обработка изображений
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Автор: Каменский Андрей, БПИ2301. Целевая оценка: **4**.
Трек на 5 не заявлен. Реализация продолжает собственный мессенджер lab1–4.
Commit/PR в рамках этой работы не публиковались.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker/Compose v2 и интернет для первой сборки MinIO из закреплённого
commit. Приложение использует Python 3.13.0, PostgreSQL 16.6, Redis 7.4.2,
HAProxy 3.0.12, MinIO RELEASE.2025-10-15T17-29-55Z. Версии Python-библиотек
зафиксированы в requirements.txt; обработка — Pillow 13.0.0.
## Архитектура и решения
```sh
python3 scripts/setup-env.py # только если .env отсутствует
# Скрипт создаёт случайные пароли, права 0600; секреты не печатает.
docker compose config --quiet
docker compose up -d --build --wait
python3 tests/smoke.py
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab4, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Автоматически выполняются миграции до 009, создание bucket, пользователей и
S3-политик. Для старого стенда сохраняются прежние .env/volumes. Отдельные действия
оператора: создать .env при первом запуске, обеспечить Docker ресурсы и дождаться
сборки/healthchecks. БД, S3 или broker вне репозитория не требуются.
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make verify-lab5 PYTHON=.venv/bin/python
```
Полная проверка создаёт собственный UUID-проект на свободном порту, новые пароли
и пустые volumes. После проверки удаляется только этот тестовый проект.
Результаты сохраняются в evidence/lab5-summary.json и связанных текстовых логах.
Обычный останов: `docker compose down` (volumes остаются).
Намеренное удаление учебных данных выбранного проекта:
`docker compose down --volumes` (не является частью обычного запуска).
## Архитектура и транзакционные границы
API × 2 → staging MinIO + PostgreSQL job/outbox → dispatcher → отдельный
Redis Streams broker → worker → originals/ + variants/ MinIO → COMMIT ready.
HAProxy распределяет HTTP между API. Redis сессий отделён от Redis очереди.
PostgreSQL — источник истины для задания, попыток, состояния, результатов и audit.
MinIO — источник сохранённых байтов. API и worker не требуют локального
постоянного диска: временные файлы используются только в пределах операции.
1. До PUT отдельно коммитится UploadIntent pending, как в lab4. Advisory lock
на staging-ключ защищает загрузку от преждевременной очистки.
2. После полного приёма, проверки и S3 PUT одной транзакцией сохраняются
Attachment queued, AttachmentJob и committed-состояние UploadIntent.
3. Только после этого COMMIT возвращается 202 queued. Ответ не зависит от
готовности worker и не утверждает, что broker уже принял сообщение.
4. Job одновременно служит outbox. Dispatcher выбирает queued с published_at=NULL
и наступившим next_run_at, делает XADD, затем коммитит published_at.
5. Worker сохраняет processing/lease, затем блокирует строку job на время
ограниченной попытки. После записи всех четырёх объектов атомарно сохраняет
варианты, ready и снятие lease.
6. XACK и XDEL выполняются одной Redis-транзакцией после DB COMMIT. При retry
до ACK фиксируется новое намерение публикации, при failed — конечный результат.
Успех XADD при AOF appendfsync=always означает принятие брокером. XACK означает,
что consumer уже сохранил устойчивый результат либо retry/failed. Это разные
границы. При потере ответа XADD публикация повторяется, поэтому доставка at least
once, а не exactly once. В Stream не помещаются bytes, credentials или клиентские
пути; envelope соответствует contracts/jobs.schema.json. Ключ исходника worker
читает из доверенной записи БД, не из произвольного URL сообщения.
Все прежние возможности сохранены в пределах перехода 201 ready → 202 queued:
сессии с TTL, ACL, два API, идемпотентность сообщений, история, лимиты файлов и
побайтный оригинал. Queued/processing разрешено прикреплять к сообщению; failed —
409. Content для любого неготового вложения — 409. Чужие вложения/варианты — 404.
Миграция 009 сохраняет старые ID/связи и добавляет job для каждого старого вложения.
Его прежний original используется как staging-источник. Очистка учитывает
совпадение staging/final key и не удаляет старый оригинал.
## Преобразования и ограничения
Все производные версии создаются независимо из исходника после EXIF orientation.
Новый RGB canvas не наследует EXIF/XMP/ICC. Alpha компонуется на белый фон.
Оригинал никогда не перекодируется, его размер и SHA-256 проверяются worker.
| Вариант | Параметры |
| --- | --- |
| thumbnail | JPEG, quality=85, optimize=True, вписать в 256×256 без увеличения |
| crop | JPEG, quality=85, optimize=True, центральный квадрат 128×128 |
| optimized | WebP, quality=80, method=4, вписать в 1280×1280 без увеличения |
Вписывание использует целочисленное округление вниз и минимум 1 px. Crop может
увеличивать маленький исходник. Не заявляется уменьшение каждого WebP относительно
оригинала. Формат, размеры и SHA-256 вариантов находятся в публичных метаданных,
ключи S3 там отсутствуют. Скачивание идёт через API без redirect.
Лимит HTTP — 10 MiB, декодированных пикселей — 40 млн. Проверки размера/формата
сохранены в API и повторяются при обработке. Дочерний Linux-процесс Pillow имеет
RLIMIT_AS=768 MiB и CPU limit; parent завершает и дожидается его по wall timeout
30 с. Worker-контейнер ограничен 1 GiB, 1 CPU, tmpfs 128 MiB. S3-вызовы имеют
ограничения connect/read (5 с); timeout обработки относится к преобразованию,
а не к полной HTTP-загрузке или всей очереди.
## Повторы, конкурентность, восстановление и retention
По умолчанию один consumer, prefetch=1. WORKER_CONCURRENCY задаёт число consumers;
каждый берёт по одному сообщению. После ошибки временного класса применяется
backoff с jitter: U(cap/2, cap), cap=min(60 с, 2 с × 2^(cycle_attempt−1)).
Максимум JOB_MAX_ATTEMPTS=5 на цикл. Ошибки формата/checksum/ресурсов постоянные;
ошибки доступности и wall timeout временные. Клиент видит безопасный error_code,
при исчерпании попыток — retry_exhausted. Бесконечного retry обработки нет.
Публикация durable outbox при недоступном broker повторяется до восстановления.
Lease по умолчанию 120 с. Dispatcher восстанавливает истёкшее processing через
SELECT FOR UPDATE SKIP LOCKED. Живая попытка удерживает строку на время обработки;
это исключает одновременную публикацию двумя попытками. После crash DB lock
освобождается, lease позволяет запустить восстановление. Простая redelivery
не увеличивает attempt. Управляемый retry/replay увеличивает его, сохраняя job_id.
Ключ эффекта: (attachment_id, pipeline_version=1, variant). Конечные S3-ключи
детерминированы. Дубль ready проверяет наличие/размер зафиксированных объектов и
подтверждается без повторной обработки. Поддержка разных pipeline_version и
эксперимент с устаревшей версией относятся к треку 5 и здесь не заявлены.
Реестр failed — таблица attachment_jobs, CLI `src.pipeline.admin failed`.
Replay допускает только failed с существующим staging, требует operator/reason,
пишет job_replays и запускает новый ограниченный цикл. Ready отклоняется.
Задание и аудит сохраняются после очистки staging.
Ready staging удаляется после COMMIT результата; failed — после семи дней.
Очистка блокирует Attachment так же, как replay, и повторяется при ошибках S3.
Queued/processing не удаляются по возрасту. Незавершённый staging без задания
обслуживается по durable UploadIntent после grace=300 с; действующая загрузка
защищена advisory lock. Reconciler lab4 продолжает контролировать originals/,
но не отмечает queued/processing как missing.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Полный повтор: `make verify-lab5 PYTHON=.venv/bin/python`.
В tests/lab5.py fault hooks включаются только на явном изолированном стенде;
в обычной конфигурации PIPELINE_FAULT_INJECTION=false. Код ошибки 81/82/83/84
соответствует реальному аварийному завершению dispatcher/worker через os._exit,
а не симуляции успешного HTTP-ответа.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий | Проверка / наблюдение | Доказательство |
| --- | --- | --- |
| Контракт и качество | lint, offline check, OpenAPI/JSON Schema | lab5-quality.txt |
| Чистый запуск | Новый Compose project, новые credentials и пустые volumes | lab5-clean-start.txt |
| Публичный минимум | Неизменённый course-tests/smoke.py lab5: 202, ready, настоящий JPEG и оригинал | lab5-public-smoke.txt |
| Предыдущие возможности | PNG/JPEG, ACL, лимиты, вложения и 16 повторов через две API-реплики | lab5-regression.txt |
| Переход с lab4 | Настоящая БД 008 → 009, прежний original неизменен, созданы 3 варианта | lab5-migration.txt |
| Лимиты worker | Реальное отклонение повреждённых/огромных по пикселям изображений и ограничение памяти subprocess | lab5-limits.txt |
| Геометрия и форматы | 320×200 → 256×160; 1001×667 → 256×170; маленькое не увеличивается; crop, WebP, EXIF, alpha | lab5-faults.txt |
| Worker остановлен | 202, queued прикрепляется к сообщению, content 409, сообщения работают | lab5-faults.txt |
| API/broker restart | После restart с volumes тот же ID и оригинал доходят до ready | lab5-faults.txt |
| Broker недоступен | API принимает файл; job остаётся в outbox и выполняется после восстановления | lab5-faults.txt |
| COMMIT/publish | Exit 81 до XADD; после восстановления прежняя job ready | lab5-faults.txt |
| Потеря подтверждения публикации | Exit 82 после XADD до COMMIT флага; повтор безопасен | lab5-faults.txt |
| S3 side effect до COMMIT/ACK | Exit 83, processing/неподтверждённая доставка; восстановление в те же четыре объекта | lab5-faults.txt |
| COMMIT результата до ACK | Exit 84; redelivery подтверждает готовый результат без новой попытки | lab5-faults.txt |
| Дубли | Два дубля ready не меняют attempt и набор/ETag объектов | lab5-faults.txt |
| Retry/failed/replay | Временная ошибка исчерпывает 3 тестовые попытки, постоянная завершается на первой; replay с audit; ready replay отвергнут | lab5-faults.txt |
| Wall timeout | Задержанный дочерний decoder завершается parent, исчерпывает ограниченные попытки; replay после снятия сбоя успешен | lab5-faults.txt |
| Staging cleanup | Ready удаляется после COMMIT, failed хранится до retention, после очистки replay отклоняется; orphan очищается, queued защищён | lab5-faults.txt |
| Сохранность | Прежняя сессия и файл после restart API и всех хранилищ, включая broker | lab5-persistence.txt |
| Failover | Остановлена именно принявшая файл API-реплика, другая возвращает прежние байты | lab5-failover.txt |
| Регрессии замечаний | 40 MP, MIME/PNG, filename, pause PostgreSQL после начала SQL, восстановление | lab5-review.txt |
| Итоговый smoke | Повтор после всех отказов | lab5-final-smoke.txt |
## Эксперименты и отказы
Имена файлов в таблице находятся в evidence/. Машинная сводка —
evidence/lab5-summary.json. Fault-стенд использует lease=5 с, max_attempts=3,
backoff base=0.5 с/cap=2 с и decoder timeout=1 с, чтобы сценарии были короткими;
после завершения обычная конфигурация восстановлена.
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
## Ограничения
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Это локальный учебный стенд с синтетическими данными. Broker, PostgreSQL, MinIO,
HAProxy и host не реплицируются и остаются точками отказа. AOF/volumes защищают
от проверенных рестартов, но не от физической потери диска или всех копий данных.
Нет backup-restore и обещания восстановления произвольно удалённых объектов.
## Ограничения и следующие шаги
Во время обработки удерживается DB row lock и соединение; это сознательное
упрощение для ограниченной конкуренции, не доказательство масштабирования.
Результаты действительны для pipeline_version=1 с неизменными правилами кодирования.
Дубликат ready проверяет наличие и размеры, не перечитывает все байты для SHA-256;
от произвольной порчи объекта тем же размером эта проверка не защищает.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Нет глобального лимита числа принятых jobs и исследования очереди под перегрузкой.
В broker действует noeviction: при заполнении outbox сохраняется в БД до освобождения
места. Нет публичного HTTP replay; CLI предназначен для оператора с доступом к стенду.
После истечения retention для failed исходник повторно обработать нельзя.
В репозиторий включены только актуальные проверки lab5 и регрессии обязательных
возможностей предыдущих работ. Полная приёмка — verify-lab5.
## Источники и помощь
Задание и contracts взяты из предоставленного skeleton mtusi2026lab5.
Публичные course-tests скопированы без ослабления проверок. Собственные тесты lab4
адаптированы только к объявленному переходу на 202 и ожиданию ready.
Использован Codex для реализации, ревью кода, тестов и подготовки документации.
- Redis Streams: https://redis.io/docs/latest/develop/data-types/streams/
- XAUTOCLAIM: https://redis.io/docs/latest/commands/xautoclaim/
- Redis persistence: https://redis.io/docs/latest/operate/oss_and_stack/management/persistence/
- Pillow ImageOps: https://pillow.readthedocs.io/en/stable/reference/ImageOps.html
- Pillow WebP: https://pillow.readthedocs.io/en/stable/handbook/image-file-formats.html#webp
+3
View File
@@ -0,0 +1,3 @@
[alembic]
script_location = %(here)s/migrations
prepend_sys_path = .
-14
View File
@@ -1,14 +0,0 @@
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
# Service names below are logical roles, not imposed container names.
x-lab-number: 5
x-required-roles:
- api
- postgres
- load_balancer
- s3
- broker
- worker
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
services: {}
+298
View File
@@ -0,0 +1,298 @@
x-logging: &logging
driver: json-file
options:
max-size: "10m"
max-file: "3"
x-app: &app
build: .
image: ${APP_IMAGE:-mtusi-messenger:lab5}
env_file: ${ENV_FILE:-.env}
logging: *logging
services:
minio:
build: ./infra/minio
image: ${MINIO_IMAGE:-mtusi-minio:RELEASE.2025-10-15T17-29-55Z}
logging: *logging
mem_limit: 512m
cpus: 1.0
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
MINIO_BROWSER: "off"
MINIO_API_STALE_UPLOADS_EXPIRY: "24h"
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVAL: "1h"
volumes:
- minio_data:/data
healthcheck:
test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9000/minio/health/live"]
interval: 2s
timeout: 3s
retries: 60
start_period: 10s
s3-bootstrap:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab5}-s3-bootstrap
command: ["python", "-m", "src.core.storage_bootstrap"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
DATABASE_URL: postgresql://unused:unused@postgres/unused
REDIS_URL: redis://redis:6379/0
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
depends_on:
minio:
condition: service_healthy
healthcheck:
disable: true
postgres:
logging: *logging
image: postgres:16.6-bookworm
cpus: ${POSTGRES_CPUS:-1.0}
mem_limit: 512m
environment:
POSTGRES_DB: ${POSTGRES_DB:-messenger}
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
interval: 2s
timeout: 3s
retries: 30
redis:
logging: *logging
image: redis:7.4.2-bookworm
cpus: 0.25
mem_limit: 128m
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "64mb", "--maxmemory-policy", "noeviction"]
volumes:
- redis_data:/data
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 2s
timeout: 3s
retries: 30
migration:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab5}-migration
command: ["alembic", "upgrade", "head"]
cpus: 0.5
mem_limit: 256m
environment:
REDIS_URL: &redis_url redis://redis:6379/0
DATABASE_URL: &database_url postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}@postgres:5432/${POSTGRES_DB:-messenger}
depends_on:
postgres:
condition: service_healthy
healthcheck:
disable: true
api:
<<: *app
cpus: ${API_CPUS:-0.5}
mem_limit: ${API_MEMORY:-512m}
stop_grace_period: 15s
deploy:
replicas: ${API_REPLICAS:-2}
read_only: true
tmpfs:
- /tmp:rw,noexec,nosuid,size=64m
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment:
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
S3_WORKER_ACCESS_KEY_ID: ""
S3_WORKER_SECRET_ACCESS_KEY: ""
# Do not inherit privileged S3 credentials from env_file into API containers.
MINIO_ROOT_USER: ""
MINIO_ROOT_PASSWORD: ""
S3_RECONCILE_ACCESS_KEY_ID: ""
S3_RECONCILE_SECRET_ACCESS_KEY: ""
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-1}
APP_HOST: 0.0.0.0
APP_PORT: 8080
DATABASE_URL: *database_url
REDIS_URL: *redis_url
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
LOG_LEVEL: ${LOG_LEVEL:-INFO}
APP_WORKERS: 1
DATABASE_POOL_SIZE: ${DATABASE_POOL_SIZE:-10}
DATABASE_POOL_TIMEOUT_SECONDS: 2
DATABASE_CONNECT_TIMEOUT_SECONDS: 1
DATABASE_COMMAND_TIMEOUT_SECONDS: 3
DATABASE_STATEMENT_TIMEOUT_MS: 2500
SHUTDOWN_TIMEOUT_SECONDS: 10
HTTP_REQUEST_TIMEOUT_SECONDS: ${HTTP_REQUEST_TIMEOUT_SECONDS:-5}
expose: ["8080"]
depends_on:
s3-bootstrap:
condition: service_completed_successfully
migration:
condition: service_completed_successfully
redis:
condition: service_healthy
healthcheck:
interval: 2s
timeout: 3s
retries: 30
start_period: 10s
reconciler:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab5}-reconciler
command: ["python", "-m", "src.maintenance.reconcile", "--apply", "--interval", "300"]
mem_limit: 256m
cpus: 0.5
read_only: true
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment:
DATABASE_URL: *database_url
REDIS_URL: *redis_url
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-300}
MINIO_ROOT_USER: ""
MINIO_ROOT_PASSWORD: ""
S3_ACCESS_KEY_ID: ""
S3_SECRET_ACCESS_KEY: ""
depends_on:
migration:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
interval: 10s
timeout: 3s
retries: 3
start_period: 2s
broker:
image: redis:7.4.2-bookworm
logging: *logging
mem_limit: 256m
cpus: 0.25
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "192mb", "--maxmemory-policy", "noeviction"]
volumes:
- broker_data:/data
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 2s
timeout: 3s
retries: 30
worker:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab5}-worker
command: ["python", "-m", "src.pipeline.worker"]
init: true
mem_limit: ${WORKER_MEMORY:-1g}
cpus: ${WORKER_CPUS:-1.0}
stop_grace_period: 45s
read_only: true
tmpfs: ["/tmp:rw,noexec,nosuid,size=128m"]
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment: &pipeline_env
DATABASE_URL: *database_url
REDIS_URL: *redis_url
BROKER_URL: redis://broker:6379/0
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
MINIO_ROOT_USER: ""
MINIO_ROOT_PASSWORD: ""
S3_RECONCILE_ACCESS_KEY_ID: ""
S3_RECONCILE_SECRET_ACCESS_KEY: ""
S3_ACCESS_KEY_ID: ""
S3_SECRET_ACCESS_KEY: ""
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1}
WORKER_MEMORY_MB: ${WORKER_MEMORY_MB:-768}
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-120}
JOB_RETRY_BASE_SECONDS: ${JOB_RETRY_BASE_SECONDS:-2}
JOB_RETRY_CAP_SECONDS: ${JOB_RETRY_CAP_SECONDS:-60}
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-604800}
PIPELINE_FAULT_INJECTION: ${PIPELINE_FAULT_INJECTION:-false}
depends_on:
migration:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
broker:
condition: service_healthy
healthcheck:
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
interval: 5s
timeout: 3s
retries: 3
dispatcher:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab5}-dispatcher
command: ["python", "-m", "src.pipeline.dispatcher"]
init: true
mem_limit: 256m
cpus: 0.25
read_only: true
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment: *pipeline_env
depends_on:
migration:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
broker:
condition: service_healthy
healthcheck:
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
interval: 5s
timeout: 3s
retries: 3
lb:
image: haproxy:3.0.12-alpine
logging: *logging
cpus: 0.5
mem_limit: 128m
read_only: true
tmpfs: ["/tmp:rw,noexec,nosuid,size=4m"]
security_opt: ["no-new-privileges:true"]
ports:
- "127.0.0.1:${APP_PORT:-8080}:8080"
volumes:
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
depends_on:
api:
condition: service_healthy
stop_signal: SIGUSR1
stop_grace_period: 15s
volumes:
redis_data:
postgres_data:
minio_data:
broker_data:
+57
View File
@@ -0,0 +1,57 @@
# Публичные проверки
Python **3.9+**, стандартная библиотека. Сервер уже должен быть запущен; проверки не создают готовое приложение и сами не управляют Docker. `make check` можно выполнить на исходном skeleton, `make test` — только после реализации API. Полная OpenAPI-валидация отдельно: `make validate` после установки `requirements-dev.txt` в venv.
```sh
make check
make test BASE_URL=http://localhost:8080
# без make:
python3 tests/smoke.py --base-url http://localhost:8080
```
`smoke.py` выполняет **один сквозной сценарий**, автоматически выбирая профиль из `lab.json`: health → три пользователя → вход с lab2 → чат → сообщения → пагинация → ошибки доступа → идемпотентность с lab3 → файл с lab4 → thumbnail с lab5 → logout. Он проверяет JSON по используемому подмножеству схемы, коды/headers, Unicode, SHA-256 оригинала и фактические JPEG-размеры thumbnail. Это публичный минимум, не полный fuzz/security/load suite.
Каждый запуск создаёт уникальных синтетических пользователей, чат и сообщения. Данные автоматически не удаляются: в API курса нет delete. Для чистого повтора используйте отдельный тестовый стенд/volume и осознанный сброс своего окружения. Session tokens хранятся только в памяти процесса и не печатаются/не сохраняются.
## Проверка сохранности, lab2+
Скопируйте `scripts/restart.example.sh` в `scripts/restart.sh`, реализуйте перезапуск **API и всех используемых хранилищ** с сохранением volumes и задайте executable bit. Скрипт может опираться на ваш compose.yaml или stack.yaml. Он не должен удалять volumes, повторно seed-ить БД или менять тестовые данные.
```sh
chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
Тест создаёт данные и сессию, запускает указанный файл без shell interpolation, ожидает готовности и проверяет те же данные **с прежним токеном**. В lab4+ также проверяется исходный файл. Hook может работать до 90 секунд, готовность затем ожидается до 90 секунд. TTL сессии для этого теста — минимум 300 секунд. Успех не доказывает, что hook действительно перезапустил БД: приложите команды/состояния контейнеров до и после.
## Проверка отказа, lab3+
Реализуйте `scripts/stop-one.sh` на основе примера. `TARGET_INSTANCE_ID` в окружении содержит alias обслужившей тест API-реплики: сопоставьте его своему контейнеру/Swarm task и остановите именно его. Скрипт должен быстро вернуть 0 и **оставить эту реплику остановленной**; восстановление выполняйте отдельно. Swarm может создать новую task с другим ID — это допустимо.
```sh
chmod +x scripts/stop-one.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
Перед отказом тест наблюдает ≥2 API-реплики; 15 секунд отправляет сообщения параллельно выполнению hook, повторяет неопределённый POST с тем же ключом, проверяет восстановление записи за ≤10 секунд, отсутствие остановленной реплики в последних ответах, сохранность подтверждённых сообщений и отсутствие дублей. Ошибки переходного периода учитываются. Затем восстановите реплику и повторите для другой. Скрипт — проверка одного отказа API, не гарантия HA БД/LB/host. Вывод hook скрыт, чтобы не утекли секреты; отлаживайте его отдельно с безопасным выводом.
## Нагрузка
```sh
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
```
Это простой **closed-loop** генератор POST сообщений; он ограничен производительностью клиента и страдает coordinated omission. Он выдаёт successful RPS, ошибки и p50/p95/p99 **только успешных запросов**. Во время нагрузки нет прозрачных retry; timeout мог скрыть совершённую запись, поэтому это throughput HTTP-подтверждений, не точный счётчик COMMIT. Изменение размера истории входит в профиль. Для серьёзного исследования используйте k6/Locust/wrk либо свой обоснованный генератор, а не выводите максимальную пропускную способность из одного запуска этого скрипта. Для нагрузки pipeline изображений нужен отдельный сценарий студента.
## HTTPS, lab7
```sh
make test BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
make test-security BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
```
Все скрипты принимают `--ca-file`/`CA_FILE` и проверяют серверный сертификат и hostname. `--insecure` отсутствует. TLS-тест сначала проверяет рабочее доверенное соединение, затем намеренно пустой trust store и именно ошибку проверки сертификата; network timeout не засчитывается как правильный отказ. **Внутреннее mTLS, identity/authorization, OpenBao policy и hardening проверяют отдельные тесты студента** по trust matrix. Клиентский сертификат внешнему учебному REST-клиенту не требуется: mTLS находится на внутренних связях.
## Что ещё остаётся доказать
Smoke не доказывает persistence, число реальных контейнеров, durability брокера, outbox, отсутствие утечек/уязвимостей, полноту telemetry или выполнение уровня 4/5. Конкурентные/нагрузочные/негативные проверки своего решения добавляйте отдельно. Список защиты текущей лабы находится в README.md. Проверки рассчитаны на localhost-стенд, не на production.
+217
View File
@@ -0,0 +1,217 @@
"""HTTP helpers for public black-box tests; Python 3.9+, standard library only."""
import base64
import datetime as dt
import hashlib
import json
import os
from pathlib import Path
import re
import ssl
import time
import urllib.error
import urllib.request
import uuid
ROOT = Path(__file__).resolve().parents[1]
LAB = json.loads((ROOT / 'lab.json').read_text())['number']
SPEC = json.loads((ROOT / 'contracts/openapi.json').read_text())
class Failure(AssertionError):
pass
def check(condition, message):
if not condition:
raise Failure(message)
def timestamp(value):
check(isinstance(value, str) and value.endswith('Z'), 'timestamp must be UTC ending in Z')
try:
return dt.datetime.fromisoformat(value[:-1] + '+00:00')
except ValueError as exc:
raise Failure('invalid RFC3339 timestamp') from exc
def validate(value, schema, where='response'):
"""Validate the JSON Schema subset used by the supplied contract, not arbitrary OpenAPI."""
if '$ref' in schema:
target = SPEC
for part in schema['$ref'].split('/')[1:]:
target = target[part]
return validate(value, target, where)
kinds = schema.get('type', [])
if isinstance(kinds, str):
kinds = [kinds]
matches = {'null':value is None, 'boolean':isinstance(value,bool), 'integer':isinstance(value,int) and not isinstance(value,bool), 'number':isinstance(value,(int,float)) and not isinstance(value,bool), 'string':isinstance(value,str), 'array':isinstance(value,list), 'object':isinstance(value,dict)}
if kinds:
check(any(matches.get(k,False) for k in kinds), where + ': incorrect type')
if 'enum' in schema:
check(value in schema['enum'], where + ': invalid enum')
if 'const' in schema:
check(value == schema['const'], where + ': invalid const')
if isinstance(value,dict):
props = schema.get('properties',{})
check(all(k in value for k in schema.get('required',[])), where + ': missing required fields')
if schema.get('additionalProperties') is False:
check(not set(value).difference(props), where + ': unexpected fields')
for key, sub in props.items():
if key in value:
validate(value[key], sub, where + '.' + key)
if isinstance(value,list):
check(len(value) >= schema.get('minItems',0), where + ': too few items')
check(len(value) <= schema.get('maxItems',float('inf')), where + ': too many items')
if schema.get('uniqueItems'):
encoded = [json.dumps(x,sort_keys=True) for x in value]
check(len(encoded)==len(set(encoded)), where + ': duplicate items')
if 'items' in schema:
for item in value:
validate(item, schema['items'], where + '[]')
if isinstance(value,str):
check(len(value) >= schema.get('minLength',0), where + ': too short')
check(len(value) <= schema.get('maxLength',float('inf')), where + ': too long')
if 'pattern' in schema:
check(re.search(schema['pattern'], value) is not None, where + ': pattern mismatch')
if schema.get('format') == 'uuid':
try:
uuid.UUID(value)
except ValueError as exc:
raise Failure(where + ': invalid UUID') from exc
if schema.get('format') == 'date-time':
timestamp(value)
if isinstance(value,(int,float)) and not isinstance(value,bool):
check(value >= schema.get('minimum',-float('inf')), where + ': below minimum')
check(value <= schema.get('maximum',float('inf')), where + ': above maximum')
if 'anyOf' in schema:
for alternative in schema['anyOf']:
try:
validate(value, alternative, where)
break
except Failure:
pass
else:
raise Failure(where + ': no anyOf branch matches')
def shape(value, name):
validate(value, SPEC['components']['schemas'][name])
return value
class NoRedirect(urllib.request.HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
class Client:
def __init__(self, base_url=None, ca_file=None, timeout=10):
self.base = (base_url or os.environ.get('BASE_URL') or ('https://localhost:8443' if LAB==7 else 'http://localhost:8080')).rstrip('/')
check(self.base.startswith(('http://','https://')), 'BASE_URL must be HTTP(S)')
check(LAB != 7 or self.base.startswith('https://'), 'lab7 requires HTTPS')
self.timeout = timeout
context = ssl.create_default_context(cafile=ca_file or os.environ.get('CA_FILE') or None)
self.opener = urllib.request.build_opener(NoRedirect(), urllib.request.HTTPSHandler(context=context))
def call(self, method, path, expected=200, body=None, actor=None, headers=None, raw=None, schema=None):
h = {'Accept':'application/json'}
if actor:
h['X-User-Id' if LAB==1 else 'Authorization'] = actor['id'] if LAB==1 else 'Bearer ' + actor['token']
if body is not None:
raw = json.dumps(body,ensure_ascii=False).encode('utf-8')
h['Content-Type'] = 'application/json'
h.update(headers or {})
req = urllib.request.Request(self.base + path, data=raw, headers=h, method=method)
start = time.monotonic()
try:
response = self.opener.open(req, timeout=self.timeout)
except urllib.error.HTTPError as error:
response = error
except (urllib.error.URLError,TimeoutError,OSError) as exc:
# Do not print URL query, headers, request body, or credentials.
raise Failure(method + ' ' + path.split('?')[0] + ': connection/TLS failure (' + type(exc).__name__ + ')') from None
with response:
status = response.code
rh = response.headers
data = response.read(16*1024*1024 + 1)
check(len(data) <= 16*1024*1024, 'response exceeds test safety limit')
allowed = [expected] if isinstance(expected,int) else expected
check(status in allowed, method + ' ' + path.split('?')[0] + ': expected ' + str(allowed) + ', received ' + str(status))
check(bool(rh.get('X-Request-Id')), 'missing X-Request-Id')
if LAB>=3:
check(bool(rh.get('X-Instance-Id')), 'missing X-Instance-Id')
payload = None
if schema or status>=400:
check(rh.get_content_type()=='application/json', 'expected application/json')
try:
payload = json.loads(data)
except (ValueError,UnicodeError):
raise Failure('invalid response JSON') from None
shape(payload, 'Error' if status>=400 else schema)
if status>=400:
check(payload['error']['request_id']==rh.get('X-Request-Id'),'error request_id differs from header')
if status==401 and LAB>=2:
scheme = 'Basic' if path=='/api/v1/auth/sessions' else 'Bearer'
check(rh.get('WWW-Authenticate','').lower().startswith(scheme.lower()), 'incorrect WWW-Authenticate challenge')
if status==204:
check(not data, '204 must not contain body')
return {'status':status,'headers':rh,'json':payload,'bytes':data,'elapsed':time.monotonic()-start}
def user(self, label):
username = 'u_' + label + '_' + uuid.uuid4().hex[:12]
password = 'T3st-' + uuid.uuid4().hex
body = {'username':username,'display_name':'Студент ' + label}
if LAB>=2:
body['password'] = password
user = self.call('POST','/api/v1/users',201,body=body,schema='User')['json']
check(user['username']==username,'username changed')
actor = {'id':user['id'],'user':user,'registration':body}
if LAB>=2:
credential = base64.b64encode((username+':'+password).encode()).decode()
session = self.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')['json']
check(session['user']==user,'session user mismatch')
check(timestamp(session['expires_at']) > dt.datetime.now(dt.timezone.utc),'session already expired')
actor['token'] = session['token']
return actor
def bootstrap(self):
self.call('GET','/health/live',schema='Health')
self.call('GET','/health/ready',schema='Health')
alice, bob, eve = (self.user(label) for label in ('alice','bob','eve'))
chat = self.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Контрактный тест','member_ids':[alice['id'],bob['id']]},schema='Chat')['json']
check(set(chat['member_ids'])=={alice['id'],bob['id']},'chat member mismatch')
return alice,bob,eve,chat
def message(self, actor, chat, text, key=None, attachments=None):
body = {'text':text}
if attachments is not None:
body['attachment_ids'] = attachments
headers = {'Idempotency-Key':key or uuid.uuid4().hex} if LAB>=3 else {}
return self.call('POST','/api/v1/chats/'+chat['id']+'/messages',201,actor=actor,body=body,headers=headers,schema='Message')
def attachment(self, actor, chat):
content = (ROOT / 'tests/fixtures/sample.png').read_bytes()
att = self.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',201 if LAB==4 else 202,actor=actor,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')['json']
check(att['status']==('ready' if LAB==4 else 'queued'),'incorrect upload status')
check(att['chat_id']==chat['id'] and att['owner_id']==actor['id'],'attachment ownership mismatch')
check(att['sha256']==hashlib.sha256(content).hexdigest() and att['size_bytes']==len(content),'original checksum/size mismatch')
return att,content
def wait_ready(self, actor, att, wait_seconds=60):
deadline = time.monotonic()+wait_seconds
while time.monotonic()<deadline:
att = self.call('GET','/api/v1/attachments/'+att['id'],actor=actor,schema='Attachment')['json']
check(att['status']!='failed','attachment reached failed')
if att['status']=='ready':
return att
time.sleep(0.3)
raise Failure('attachment did not become ready within test deadline')
def arguments(description, configure=None):
import argparse
p = argparse.ArgumentParser(description=description)
p.add_argument('--base-url', default=None)
p.add_argument('--ca-file', default=None)
if configure:
configure(p)
return p.parse_args()
def run(main):
try:
main()
except (Failure,ValueError,OSError) as exc:
print('FAIL:', str(exc))
raise SystemExit(1)
+9
View File
@@ -0,0 +1,9 @@
# Синтетический fixture
sample.png: RGB PNG 320×200, создан программно специально для курса, без персональных данных и EXIF. Можно свободно использовать и менять в собственных тестах; исходный публичный fixture сохраните.
- Размер: 111817 байт.
- SHA-256: `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75`.
- Обязательный thumbnail с lab5: JPEG 256×160.
Проверяющий читает SHA-256 оригинала, metadata вариантов и реальные размеры JPEG, а не только JSON-обещание сервера. Повреждённые, oversized и decompression-bomb fixtures для собственного negative suite создавайте отдельно; не храните огромные файлы в Git.
Binary file not shown.

After

Width:  |  Height:  |  Size: 109 KiB

+26
View File
@@ -0,0 +1,26 @@
"""Read JPEG SOF dimensions without external libraries; not a full image decoder."""
from client import Failure, check
def jpeg_size(data):
check(data[:2]==b'\xff\xd8','thumbnail is not JPEG')
i = 2
sof = {0xc0,0xc1,0xc2,0xc3,0xc5,0xc6,0xc7,0xc9,0xca,0xcb,0xcd,0xce,0xcf}
while i < len(data):
check(data[i]==0xff,'invalid JPEG marker')
while i<len(data) and data[i]==0xff:
i += 1
check(i<len(data),'truncated JPEG marker')
marker = data[i]
i += 1
if marker in {0xd9,0xda}:
break
if marker in {0x01,0xd8} or 0xd0<=marker<=0xd7:
continue
check(i+2<=len(data),'truncated JPEG segment')
length = int.from_bytes(data[i:i+2],'big')
check(length>=2 and i+length<=len(data),'invalid JPEG segment length')
if marker in sof:
check(length>=8,'invalid JPEG SOF')
return (int.from_bytes(data[i+5:i+7],'big'),int.from_bytes(data[i+3:i+5],'big'))
i += length
raise Failure('JPEG dimensions not found')
+58
View File
@@ -0,0 +1,58 @@
#!/usr/bin/env python3
"""Small closed-loop HTTP write benchmark; not an open-loop capacity proof."""
from concurrent.futures import ThreadPoolExecutor
import json
import math
from pathlib import Path
import threading
import time
from client import Client, Failure, LAB, arguments, check, run
def main():
def configure(p):
p.add_argument('--duration',type=float,default=30)
p.add_argument('--concurrency',type=int,default=4)
p.add_argument('--output',default=None,help='Optional JSON metrics, no session tokens')
args = arguments('Synthetic POST message load, closed loop; creates users/messages',configure)
check(1<=args.duration<=3600,'duration must be 1..3600 seconds')
check(1<=args.concurrency<=128,'concurrency must be 1..128')
c = Client(args.base_url,args.ca_file)
alice,bob,eve,chat = c.bootstrap()
barrier = threading.Barrier(args.concurrency)
def worker(worker_id):
local = Client(args.base_url,args.ca_file,timeout=5)
barrier.wait()
deadline = time.monotonic()+args.duration
latencies,errors = [],0
index = 0
while time.monotonic()<deadline:
start = time.monotonic()
try:
local.message(alice,chat,'load-%s-%s' % (worker_id,index))
latencies.append(time.monotonic()-start)
except Failure:
errors += 1
index += 1
return latencies,errors
started = time.monotonic()
with ThreadPoolExecutor(max_workers=args.concurrency) as pool:
results = list(pool.map(worker,range(args.concurrency)))
elapsed = time.monotonic()-started
latencies = sorted(x for values,_ in results for x in values)
errors = sum(n for _,n in results)
total = len(latencies)+errors
def percentile(p):
return round(1000*latencies[max(0,math.ceil(p*len(latencies))-1)],3) if latencies else None
report = {'lab':LAB,'workload':'closed-loop POST messages; no automatic retries','requested_duration_seconds':args.duration,'elapsed_seconds':round(elapsed,3),'concurrency':args.concurrency,'successful_requests':len(latencies),'failed_requests':errors,'error_ratio':round(errors/total,6) if total else None,'successful_rps':round(len(latencies)/elapsed,3),'successful_latency_ms':{'p50':percentile(.50),'p95':percentile(.95),'p99':percentile(.99)},'note':'Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.'}
text = json.dumps(report,ensure_ascii=False,indent=2)
if args.output:
dest = Path(args.output)
dest.parent.mkdir(parents=True,exist_ok=True)
dest.write_text(text+'\n')
print(text)
check(bool(latencies),'no successful writes')
# Errors are reported, not treated as a universal load-test threshold.
if __name__=='__main__':
run(main)
+129
View File
@@ -0,0 +1,129 @@
#!/usr/bin/env python3
"""Explicit operator-authored hook; tokens remain in memory, volumes are never removed by this test."""
import json
import os
from pathlib import Path
import subprocess
import time
import uuid
from urllib.parse import quote
from client import Client, Failure, LAB, arguments, check, run
def history(c, actor, chat):
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100'
result = []
seen = set()
for _ in range(1000):
page = c.call('GET',path,actor=actor,schema='MessagePage')['json']
result.extend(page['items'])
cursor = page['next_cursor']
if cursor is None:
return result
check(cursor not in seen,'cursor cycle')
seen.add(cursor)
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(cursor,safe='')
raise Failure('history pagination exceeded safety bound')
def main():
def configure(p):
p.add_argument('--mode', choices=['persistence','failover'], required=True)
p.add_argument('--action-script',required=True,help='Executable script authored by student; restarts stack or stops ONE API replica')
args = arguments('Explicit restart/failover scenario; modifies only synthetic API data',configure)
check(LAB>=2,'persistence requires lab2+')
check(args.mode!='failover' or LAB>=3,'failover requires lab3+')
script = Path(args.action_script).expanduser().resolve()
check(script.is_file() and os.access(script,os.X_OK),'action script must exist and be executable (chmod +x)')
check('.example.' not in script.name,'copy and implement the example hook first')
c = Client(args.base_url,args.ca_file,timeout=2)
alice,bob,eve,chat = c.bootstrap()
sent = c.message(alice,chat,'Сохранить при отказе')
original = sent['json']
target = sent['headers'].get('X-Instance-Id','')
attachment = content = None
if LAB>=4:
attachment,content = c.attachment(alice,chat)
if LAB>=5:
attachment = c.wait_ready(alice,attachment)
env = dict(os.environ)
env['TARGET_INSTANCE_ID'] = target
observed = set()
if args.mode=='failover':
for _ in range(40):
observed.add(c.call('GET','/api/v1/users/me',actor=alice,schema='User')['headers']['X-Instance-Id'])
check(len(observed)>=2,'less than two API instances observed before failure; verify LB/session affinity')
print('Executing explicit '+args.mode+' hook; hook output suppressed to avoid leaking secrets.')
# No shell interpolation and no Docker commands in this test.
proc = subprocess.Popen([str(script)],env=env,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
started = time.monotonic()
successes,failures,after_instances = [],0,[]
try:
if args.mode=='persistence':
try:
code = proc.wait(timeout=90)
except subprocess.TimeoutExpired:
raise Failure('restart hook exceeded 90 seconds') from None
check(code==0,'restart hook failed (inspect your script locally)')
deadline = time.monotonic()+90
while True:
try:
c.call('GET','/health/ready',schema='Health')
c.call('GET','/api/v1/users/me',actor=alice,schema='User')
break
except Failure:
check(time.monotonic()<deadline,'stack/session did not recover within 90 seconds')
time.sleep(0.5)
else:
first_recovery = None
key = uuid.uuid4().hex
text = 'Запись во время отказа ' + key
while time.monotonic()-started < 15:
code = proc.poll()
check(code is None or code==0,'stop-one hook failed (inspect your script locally)')
check(code is not None or time.monotonic()-started<10,'stop-one hook must return within 10 seconds')
try:
response = c.message(alice,chat,text,key=key)
msg = response['json']
if code==0:
if first_recovery is None:
first_recovery = time.monotonic()-started
after_instances.append(response['headers']['X-Instance-Id'])
successes.append(msg)
key = uuid.uuid4().hex
text = 'Запись во время отказа ' + key
except Failure:
failures += 1
# Keep SAME key/body after an uncertain POST result.
time.sleep(0.1)
check(proc.poll()==0,'stop-one hook did not finish successfully')
check(first_recovery is not None and first_recovery<=10,'writes did not recover within 10 seconds from hook start')
check(len(after_instances)>=5,'too few successful writes after stop')
check(target not in after_instances[-5:],'target replica still serves requests; hook must leave it stopped')
print(json.dumps({'observed_instances_before':len(observed),'successful_writes':len(successes),'failed_attempts':failures,'first_recovery_seconds':round(first_recovery,3)},ensure_ascii=False))
# Existing token, no re-login. Read all confirmations and reject duplicates.
messages = history(c,bob,chat)
ids = [m['id'] for m in messages]
check(len(ids)==len(set(ids)),'duplicated message IDs in history')
check(any(m==original for m in messages),'confirmed pre-failure message lost or altered')
for msg in successes:
check(any(m==msg for m in messages),'confirmed in-flight message lost or altered')
# Bodies are unique in this scenario: an uncertain request may exist once, never twice.
texts = [m['text'] for m in messages]
check(len(texts)==len(set(texts)),'uncertain retry created duplicate message')
if attachment:
c.call('GET','/api/v1/attachments/'+attachment['id'],actor=bob,schema='Attachment')
downloaded = c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob)
check(downloaded['bytes']==content,'attachment lost or changed across failure')
print('PASS: '+args.mode+' preserved confirmed data and existing session. Hook scope needs operator evidence.')
finally:
if proc.poll() is None:
proc.terminate()
try:
proc.wait(timeout=5)
except subprocess.TimeoutExpired:
proc.kill()
proc.wait()
if __name__=='__main__':
run(main)
+82
View File
@@ -0,0 +1,82 @@
#!/usr/bin/env python3
"""One complete public acceptance scenario, cumulative by lab number."""
import base64
import hashlib
import uuid
from client import Client, LAB, arguments, check, run, timestamp
def main():
args = arguments('Messenger public smoke; creates synthetic users and messages')
c = Client(args.base_url,args.ca_file)
alice,bob,eve,chat = c.bootstrap()
path = '/api/v1/chats/'+chat['id']
c.call('POST','/api/v1/users',409,body=alice['registration'])
c.call('GET','/api/v1/users/me',401)
c.call('GET',path,404,actor=eve)
me = c.call('GET','/api/v1/users/me',actor=alice,schema='User')['json']
check(me==alice['user'],'current user mismatch')
listed = c.call('GET','/api/v1/chats?limit=100',actor=bob,schema='ChatPage')['json']
check(any(x['id']==chat['id'] for x in listed['items']),'member cannot list chat')
hidden = c.call('GET','/api/v1/chats?limit=100',actor=eve,schema='ChatPage')['json']
check(all(x['id']!=chat['id'] for x in hidden['items']),'chat leaks to outsider')
key = uuid.uuid4().hex
first = c.message(alice,chat,'Привет, мир 👋',key=key)['json']
second = c.message(bob,chat,'Сообщение Боба')['json']
check(first['sender_id']==alice['id'] and second['sender_id']==bob['id'],'sender was not derived from actor')
check(first['chat_id']==second['chat_id']==chat['id'],'wrong chat in message')
check(first['text']=='Привет, мир 👋' and second['text']=='Сообщение Боба','message text changed')
page1 = c.call('GET',path+'/messages?limit=1',actor=bob,schema='MessagePage')['json']
check(len(page1['items'])==1 and page1['next_cursor'],'first page must have one item and cursor')
from urllib.parse import quote
page2 = c.call('GET',path+'/messages?limit=1&cursor='+quote(page1['next_cursor'],safe=''),actor=alice,schema='MessagePage')['json']
check(len(page2['items'])==1 and page2['next_cursor'] is None,'second page must finish history')
ordered = sorted([first,second],key=lambda x:(timestamp(x['created_at']),uuid.UUID(x['id']).int))
check(page1['items']+page2['items']==ordered,'pagination lost, duplicated or reordered a message')
h = {'Idempotency-Key':uuid.uuid4().hex} if LAB>=3 else {}
c.call('POST',path+'/messages',400,actor=alice,body={'text':''},headers=h)
c.call('POST',path+'/messages',404,actor=eve,body={'text':'чужое'},headers=h)
c.call('GET',path+'/messages?limit=0',400,actor=alice)
if LAB>=2:
bad = base64.b64encode((alice['registration']['username']+':wrong-password').encode()).decode()
c.call('POST','/api/v1/auth/sessions',401,headers={'Authorization':'Basic '+bad})
good = base64.b64encode((alice['registration']['username']+':'+alice['registration']['password']).encode()).decode()
c.call('GET','/api/v1/users/me',401,headers={'Authorization':'Basic '+good})
c.call('GET','/api/v1/users/me',401,headers={'X-User-Id':alice['id']})
me = c.call('GET','/api/v1/users/me',actor=alice,headers={'X-User-Id':eve['id']},schema='User')['json']
check(me['id']==alice['id'],'X-User-Id overrode bearer identity')
if LAB>=3:
replay = c.message(alice,chat,first['text'],key=key)['json']
check(replay==first,'idempotency replay differs')
c.call('POST',path+'/messages',409,actor=alice,body={'text':'другой body'},headers={'Idempotency-Key':key})
c.call('POST',path+'/messages',400,actor=alice,body={'text':'без ключа'})
if LAB>=4:
att,content = c.attachment(alice,chat)
# A queued attachment must already be linkable to its own chat.
attached = c.message(alice,chat,'',attachments=[att['id']])['json']
check(attached['attachment_ids']==[att['id']],'message lost attachment')
ready = c.wait_ready(bob,att) if LAB>=5 else att
check(ready['error_code'] is None,'ready attachment has an error')
download = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
check(download['bytes']==content,'download differs from original')
check(download['headers'].get_content_type()=='image/png','original content type mismatch')
for suffix in ('','/content'):
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
if LAB>=5:
variants = [x for x in ready['variants'] if x['name']=='thumbnail']
check(len(variants)==1,'expected exactly one thumbnail')
v = variants[0]
check((v['width'],v['height'])==(256,160),'thumbnail metadata has wrong dimensions')
thumb = c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',actor=bob)
check(thumb['headers'].get_content_type()=='image/jpeg','thumbnail content type mismatch')
check(len(thumb['bytes'])==v['size_bytes'] and hashlib.sha256(thumb['bytes']).hexdigest()==v['sha256'],'thumbnail checksum mismatch')
from image_probe import jpeg_size
check(jpeg_size(thumb['bytes'])==(256,160),'actual JPEG dimensions mismatch')
if LAB>=2:
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
c.call('GET','/api/v1/users/me',401,actor=alice)
c.call('DELETE','/api/v1/auth/sessions/current',401,actor=alice)
print('PASS: lab%d public API scenario; infrastructure and grading evidence remain separate.' % LAB)
if __name__=='__main__':
run(main)
+8 -3
View File
@@ -1,5 +1,10 @@
# Доказательства
# Доказательства lab5
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Автор: Каменский Андрей, БПИ2301.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
lab5-summary.json и lab5-*.txt перенесены из проверенной реализации. Код приложения,
миграции, инфраструктура и версии зависимостей сохранены. Публичные проверки
skeleton не изменены. Для повторения полного прогона в этом репозитории:
`make verify-lab5 PYTHON=.venv/bin/python`.
Повтор быстрой проверки запущенного приложения: `make test`.
+299
View File
@@ -0,0 +1,299 @@
#1 [internal] load local bake definitions
#1 reading from stdin 3.65kB done
#1 DONE 0.0s
#2 [dispatcher internal] load build definition from Dockerfile
#2 transferring dockerfile: 831B done
#2 DONE 0.0s
#3 [minio internal] load build definition from Dockerfile
#3 transferring dockerfile: 779B done
#3 DONE 0.0s
#4 [worker internal] load metadata for docker.io/library/python:3.13.0-slim-bookworm
#4 ...
#5 [minio internal] load metadata for docker.io/library/golang:1.24.8-alpine3.22
#5 DONE 0.8s
#4 [migration internal] load metadata for docker.io/library/python:3.13.0-slim-bookworm
#4 DONE 0.9s
#6 [reconciler internal] load .dockerignore
#6 transferring context:
#6 transferring context: 196B done
#6 DONE 0.1s
#7 [minio internal] load metadata for docker.io/library/alpine:3.22.2
#7 DONE 0.9s
#8 [minio internal] load .dockerignore
#8 transferring context: 2B done
#8 DONE 0.0s
#9 [api internal] load build context
#9 transferring context: 31.97kB 0.0s done
#9 DONE 0.0s
#10 [worker 1/8] FROM docker.io/library/python:3.13.0-slim-bookworm@sha256:0de818129b26ed8f46fd772f540c80e277b67a28229531a1ba0fdacfaed19bcb
#10 resolve docker.io/library/python:3.13.0-slim-bookworm@sha256:0de818129b26ed8f46fd772f540c80e277b67a28229531a1ba0fdacfaed19bcb 0.0s done
#10 DONE 0.0s
#11 [worker 2/8] WORKDIR /app
#11 CACHED
#12 [worker 3/8] COPY requirements.txt .
#12 CACHED
#13 [worker 4/8] RUN pip install --no-cache-dir -r requirements.txt && python -m pip uninstall --yes pip && addgroup --system app && adduser --system --ingroup app app
#13 CACHED
#14 [minio build 1/5] FROM docker.io/library/golang:1.24.8-alpine3.22@sha256:3d78beb141d98f42337f1252ecf2a5f20374109929a4c3f6817f9e4179cc0ae5
#14 resolve docker.io/library/golang:1.24.8-alpine3.22@sha256:3d78beb141d98f42337f1252ecf2a5f20374109929a4c3f6817f9e4179cc0ae5 0.0s done
#14 DONE 0.0s
#15 [minio stage-1 1/3] FROM docker.io/library/alpine:3.22.2@sha256:4b7ce07002c69e8f3d704a9c5d6fd3053be500b7f1c69fc0d80990c2ad8dd412
#15 resolve docker.io/library/alpine:3.22.2@sha256:4b7ce07002c69e8f3d704a9c5d6fd3053be500b7f1c69fc0d80990c2ad8dd412 0.0s done
#15 DONE 0.0s
#16 [minio build 5/5] RUN go build -p 2 -trimpath -o /minio .
#16 CACHED
#17 [minio build 2/5] RUN apk add --no-cache git
#17 CACHED
#18 [minio build 4/5] RUN git init . && git remote add origin https://github.com/minio/minio.git && git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a && git checkout --detach FETCH_HEAD
#18 CACHED
#19 [minio build 3/5] WORKDIR /source
#19 CACHED
#20 [minio stage-1 2/3] RUN apk add --no-cache ca-certificates && addgroup -S minio && adduser -S -G minio minio && mkdir /data && chown minio:minio /data
#20 CACHED
#21 [minio stage-1 3/3] COPY --from=build /minio /usr/local/bin/minio
#21 CACHED
#22 [worker 5/8] COPY --chown=app:app src ./src
#22 DONE 0.0s
#23 [worker 6/8] COPY --chown=app:app migrations ./migrations
#23 DONE 0.0s
#24 [minio] exporting to image
#24 exporting layers done
#24 exporting manifest sha256:7547cd354c48f3227f2cbf000fda700ed96a36ee681e781703ddb44d0b5bdefc done
#24 exporting config sha256:1ce4e0a6020317919dab8f7b32e289d3dd392c47142aedbfd08eb57c8d4bd8c6 0.0s done
#24 exporting attestation manifest sha256:4fcc01b189bcf76fc55780b452dc94fa6b080eabf4ec59c6be55ab20d8590f10 0.0s done
#24 exporting manifest list sha256:3031680c8698766546de981def666873825ff3968c7735abd4df93a66e785669 done
#24 naming to docker.io/library/mtusi-minio:RELEASE.2025-10-15T17-29-55Z done
#24 unpacking to docker.io/library/mtusi-minio:RELEASE.2025-10-15T17-29-55Z done
#24 DONE 0.1s
#25 [s3-bootstrap 7/8] COPY --chown=app:app infra/s3 ./infra/s3
#25 DONE 0.1s
#26 [reconciler 8/8] COPY --chown=app:app alembic.ini ./alembic.ini
#26 DONE 0.0s
#27 [minio] resolving provenance for metadata file
#27 DONE 0.0s
#28 [reconciler] exporting to image
#28 exporting layers 0.1s done
#28 exporting manifest sha256:50624980f21d07241c862b909e4fb9442a90ffeb40dd8206d7aac26f66eccbd7 0.0s done
#28 exporting config sha256:7a1e1df4f997b43aff5781110bdb5836534b12c0808d473eda71db0af8a74c9d
#28 exporting config sha256:7a1e1df4f997b43aff5781110bdb5836534b12c0808d473eda71db0af8a74c9d 0.0s done
#28 exporting attestation manifest sha256:684614a5b7e4b799a96dcbbefa80fc23055d4efa150efe9f6000f76a22968655
#28 exporting attestation manifest sha256:684614a5b7e4b799a96dcbbefa80fc23055d4efa150efe9f6000f76a22968655 0.1s done
#28 exporting manifest list sha256:ce20eef078d33139ef31c9284f405a5cf7467585124eab4622315d4ac2f2d533 0.0s done
#28 naming to docker.io/library/mtusi-messenger:lab5-reconciler done
#28 unpacking to docker.io/library/mtusi-messenger:lab5-reconciler 0.1s done
#28 DONE 0.4s
#29 [migration] exporting to image
#29 exporting layers 0.1s done
#29 exporting manifest sha256:0385053620d9e1a8a4a42e2ee25cba2585f282894e7db7d169fad9c4f0b8f6cf done
#29 exporting config sha256:f08c2229f6e9496adf93c011bf6c30b4399e516ead9379b1cc4f788fa2cb2274 0.0s done
#29 exporting attestation manifest sha256:1f3020eb34ad00f0bc6c103ba69c5ee328586adb687a6d8b7b6f2219df90d867 0.1s done
#29 exporting manifest list sha256:3a7d7d90175da94d20a55bc9cb7d77e803b127c8d5bdd2d15e887174c8ef4132 0.0s done
#29 naming to docker.io/library/mtusi-messenger:lab5-migration done
#29 unpacking to docker.io/library/mtusi-messenger:lab5-migration 0.1s done
#29 DONE 0.4s
#30 [worker] exporting to image
#30 exporting layers 0.1s done
#30 exporting manifest sha256:cd94f7e10851594c1bcb474b4aafd4c45e3f86351d420519ad737617c5f22408 0.0s done
#30 exporting config sha256:907bbd17062e1a89d46f590ea352b3e5a030a99483d22ade499513d80a50fedb 0.0s done
#30 exporting attestation manifest sha256:f5cecdf3b9f59a063aef552f69eb042dbf170e2a069b86c3a4aeb3285b5fb9ac 0.1s done
#30 exporting manifest list sha256:884bd713de3e6a20e1212d78eaf80d9520626282882193533e04350d6b467d45 0.0s done
#30 naming to docker.io/library/mtusi-messenger:lab5-worker done
#30 unpacking to docker.io/library/mtusi-messenger:lab5-worker 0.1s done
#30 DONE 0.4s
#31 [s3-bootstrap] exporting to image
#31 exporting layers 0.1s done
#31 exporting manifest sha256:bebb0457cf8e613cc3010f79f7b78e14f58aec1ee81f8018b959aacdc6df9bc5 0.0s done
#31 exporting config sha256:60bc6cd4c9fa29ae86cfc08564f73e80dbb368ad0287c28bce5f625c37ed2d92 0.0s done
#31 exporting attestation manifest sha256:91242fd52b8851d33605e3d2655192fea6337dd936ecda56f98677496f62d00e 0.1s done
#31 exporting manifest list sha256:b6f922ddcd6403c88b2e5a7b420fdb588b2fc7fc69cb8fcacf7867b397217d53 0.0s done
#31 naming to docker.io/library/mtusi-messenger:lab5-s3-bootstrap done
#31 unpacking to docker.io/library/mtusi-messenger:lab5-s3-bootstrap 0.1s done
#31 DONE 0.4s
#32 [api] exporting to image
#32 exporting layers 0.1s done
#32 exporting manifest sha256:6b608618a809cf7d22e8e28fbc275ed5ba5957054b1626cd25abfd4ad6864583 0.0s done
#32 exporting config sha256:24256444dc55a855fecea3b6a78728ec1c48c285e4ea03734e8a2da6b48a6c26 0.0s done
#32 exporting attestation manifest sha256:14cc24ddfb28222b78b0166b03d593186409604eb6767bad22076ccc4e71a414 0.1s done
#32 exporting manifest list sha256:47d30287724d27a149b5a9337f6400387576646795c949a7554fa501673d8974 0.0s done
#32 naming to docker.io/library/mtusi-messenger:lab5 done
#32 unpacking to docker.io/library/mtusi-messenger:lab5 0.1s done
#32 DONE 0.4s
#33 [dispatcher] exporting to image
#33 exporting layers 0.1s done
#33 exporting manifest sha256:518a36053285088844983fc382234219366e9dcf1d960c01c2c0b06b7d023fb0 0.0s done
#33 exporting config sha256:420b0fc74dde2d0cd5e29f339b4cdbb4ccaf2081d0680936712c921fae364096 0.0s done
#33 exporting attestation manifest sha256:12e2ad2ad54aafe4ff4cdf978332f41633a7ef17d734320a26561ee96d72c480 0.1s done
#33 exporting manifest list sha256:c811e7517b6fe0debbabb61b80c9c0a9cd6d1663d4b89fde0daef83113d1c6e1 0.0s done
#33 naming to docker.io/library/mtusi-messenger:lab5-dispatcher done
#33 unpacking to docker.io/library/mtusi-messenger:lab5-dispatcher 0.1s done
#33 DONE 0.4s
#34 [migration] resolving provenance for metadata file
#34 DONE 0.0s
#35 [s3-bootstrap] resolving provenance for metadata file
#35 DONE 0.0s
#36 [api] resolving provenance for metadata file
#36 DONE 0.0s
#37 [reconciler] resolving provenance for metadata file
#37 DONE 0.0s
#38 [worker] resolving provenance for metadata file
#38 DONE 0.0s
#39 [dispatcher] resolving provenance for metadata file
#39 DONE 0.0s
mtusi-messenger:lab5-migration Built
mtusi-minio:RELEASE.2025-10-15T17-29-55Z Built
mtusi-messenger:lab5-s3-bootstrap Built
mtusi-messenger:lab5-reconciler Built
mtusi-messenger:lab5 Built
mtusi-messenger:lab5-worker Built
mtusi-messenger:lab5-dispatcher Built
Network mtusilab5-f651108561_default Creating
Network mtusilab5-f651108561_default Created
Volume mtusilab5-f651108561_broker_data Creating
Volume mtusilab5-f651108561_broker_data Created
Volume mtusilab5-f651108561_minio_data Creating
Volume mtusilab5-f651108561_minio_data Created
Volume mtusilab5-f651108561_postgres_data Creating
Volume mtusilab5-f651108561_postgres_data Created
Volume mtusilab5-f651108561_redis_data Creating
Volume mtusilab5-f651108561_redis_data Created
Container mtusilab5-f651108561-postgres-1 Creating
Container mtusilab5-f651108561-broker-1 Creating
Container mtusilab5-f651108561-redis-1 Creating
Container mtusilab5-f651108561-minio-1 Creating
Container mtusilab5-f651108561-minio-1 Created
Container mtusilab5-f651108561-s3-bootstrap-1 Creating
Container mtusilab5-f651108561-broker-1 Created
Container mtusilab5-f651108561-redis-1 Created
Container mtusilab5-f651108561-postgres-1 Created
Container mtusilab5-f651108561-migration-1 Creating
Container mtusilab5-f651108561-s3-bootstrap-1 Created
Container mtusilab5-f651108561-migration-1 Created
Container mtusilab5-f651108561-reconciler-1 Creating
Container mtusilab5-f651108561-worker-1 Creating
Container mtusilab5-f651108561-api-1 Creating
Container mtusilab5-f651108561-api-2 Creating
Container mtusilab5-f651108561-dispatcher-1 Creating
Container mtusilab5-f651108561-dispatcher-1 Created
Container mtusilab5-f651108561-worker-1 Created
Container mtusilab5-f651108561-reconciler-1 Created
Container mtusilab5-f651108561-api-1 Created
Container mtusilab5-f651108561-api-2 Created
Container mtusilab5-f651108561-lb-1 Creating
Container mtusilab5-f651108561-lb-1 Created
Container mtusilab5-f651108561-redis-1 Starting
Container mtusilab5-f651108561-broker-1 Starting
Container mtusilab5-f651108561-postgres-1 Starting
Container mtusilab5-f651108561-minio-1 Starting
Container mtusilab5-f651108561-broker-1 Started
Container mtusilab5-f651108561-minio-1 Started
Container mtusilab5-f651108561-minio-1 Waiting
Container mtusilab5-f651108561-redis-1 Started
Container mtusilab5-f651108561-postgres-1 Started
Container mtusilab5-f651108561-postgres-1 Waiting
Container mtusilab5-f651108561-postgres-1 Healthy
Container mtusilab5-f651108561-migration-1 Starting
Container mtusilab5-f651108561-migration-1 Started
Container mtusilab5-f651108561-minio-1 Healthy
Container mtusilab5-f651108561-s3-bootstrap-1 Starting
Container mtusilab5-f651108561-s3-bootstrap-1 Started
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
Container mtusilab5-f651108561-migration-1 Waiting
Container mtusilab5-f651108561-redis-1 Waiting
Container mtusilab5-f651108561-broker-1 Waiting
Container mtusilab5-f651108561-migration-1 Waiting
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
Container mtusilab5-f651108561-migration-1 Waiting
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
Container mtusilab5-f651108561-migration-1 Waiting
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
Container mtusilab5-f651108561-broker-1 Waiting
Container mtusilab5-f651108561-broker-1 Healthy
Container mtusilab5-f651108561-broker-1 Healthy
Container mtusilab5-f651108561-migration-1 Exited
Container mtusilab5-f651108561-migration-1 Exited
Container mtusilab5-f651108561-migration-1 Exited
Container mtusilab5-f651108561-redis-1 Healthy
Container mtusilab5-f651108561-migration-1 Exited
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
Container mtusilab5-f651108561-api-2 Starting
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
Container mtusilab5-f651108561-worker-1 Starting
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
Container mtusilab5-f651108561-reconciler-1 Starting
Container mtusilab5-f651108561-dispatcher-1 Starting
Container mtusilab5-f651108561-api-2 Started
Container mtusilab5-f651108561-api-1 Starting
Container mtusilab5-f651108561-dispatcher-1 Started
Container mtusilab5-f651108561-worker-1 Started
Container mtusilab5-f651108561-reconciler-1 Started
Container mtusilab5-f651108561-api-1 Started
Container mtusilab5-f651108561-api-2 Waiting
Container mtusilab5-f651108561-api-1 Waiting
Container mtusilab5-f651108561-api-2 Healthy
Container mtusilab5-f651108561-api-1 Healthy
Container mtusilab5-f651108561-lb-1 Starting
Container mtusilab5-f651108561-lb-1 Started
Container mtusilab5-f651108561-redis-1 Waiting
Container mtusilab5-f651108561-api-2 Waiting
Container mtusilab5-f651108561-api-1 Waiting
Container mtusilab5-f651108561-postgres-1 Waiting
Container mtusilab5-f651108561-lb-1 Waiting
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
Container mtusilab5-f651108561-worker-1 Waiting
Container mtusilab5-f651108561-migration-1 Waiting
Container mtusilab5-f651108561-broker-1 Waiting
Container mtusilab5-f651108561-reconciler-1 Waiting
Container mtusilab5-f651108561-minio-1 Waiting
Container mtusilab5-f651108561-dispatcher-1 Waiting
Container mtusilab5-f651108561-lb-1 Healthy
Container mtusilab5-f651108561-redis-1 Healthy
Container mtusilab5-f651108561-postgres-1 Healthy
Container mtusilab5-f651108561-dispatcher-1 Healthy
Container mtusilab5-f651108561-migration-1 Exited
Container mtusilab5-f651108561-worker-1 Healthy
Container mtusilab5-f651108561-minio-1 Healthy
Container mtusilab5-f651108561-reconciler-1 Healthy
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
Container mtusilab5-f651108561-broker-1 Healthy
Container mtusilab5-f651108561-api-2 Healthy
Container mtusilab5-f651108561-api-1 Healthy
+13
View File
@@ -0,0 +1,13 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusilab5-f651108561-api-1 mtusi-messenger:lab5 "python -m src" api 48 seconds ago Up 22 seconds (healthy) 8080/tcp
mtusilab5-f651108561-api-2 mtusi-messenger:lab5 "python -m src" api 48 seconds ago Up 41 seconds (healthy) 8080/tcp
mtusilab5-f651108561-broker-1 redis:7.4.2-bookworm "docker-entrypoint.s…" broker 3 minutes ago Up 48 seconds (healthy) 6379/tcp
mtusilab5-f651108561-dispatcher-1 mtusi-messenger:lab5-dispatcher "python -m src.pipel…" dispatcher 57 seconds ago Up 34 seconds (healthy) 8080/tcp
mtusilab5-f651108561-lb-1 haproxy:3.0.12-alpine "docker-entrypoint.s…" lb 3 minutes ago Up 34 seconds 127.0.0.1:50689->8080/tcp
mtusilab5-f651108561-migration-1 mtusi-messenger:lab5-migration "alembic upgrade head" migration 3 minutes ago Exited (0) 23 seconds ago
mtusilab5-f651108561-minio-1 mtusi-minio:RELEASE.2025-10-15T17-29-55Z "minio server /data …" minio 3 minutes ago Up 48 seconds (healthy) 9000/tcp
mtusilab5-f651108561-postgres-1 postgres:16.6-bookworm "docker-entrypoint.s…" postgres 3 minutes ago Up 48 seconds (healthy) 5432/tcp
mtusilab5-f651108561-reconciler-1 mtusi-messenger:lab5-reconciler "python -m src.maint…" reconciler 3 minutes ago Up 33 seconds (healthy) 8080/tcp
mtusilab5-f651108561-redis-1 redis:7.4.2-bookworm "docker-entrypoint.s…" redis 3 minutes ago Up 48 seconds (healthy) 6379/tcp
mtusilab5-f651108561-s3-bootstrap-1 mtusi-messenger:lab5-s3-bootstrap "python -m src.core.…" s3-bootstrap 3 minutes ago Exited (0) 23 seconds ago
mtusilab5-f651108561-worker-1 mtusi-messenger:lab5-worker "python -m src.pipel…" worker 57 seconds ago Up 34 seconds (healthy) 8080/tcp
+2
View File
@@ -0,0 +1,2 @@
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/attachment_failover.py --base-url "http://127.0.0.1:50689"
PASS: exact uploading replica stopped; another replica returns identical original
+17
View File
@@ -0,0 +1,17 @@
{"case": "variants", "result": "PASS", "original": [320, 200], "thumbnail": [256, 160]}
{"case": "variants", "result": "PASS", "original": [7, 3], "thumbnail": [7, 3]}
{"case": "variants", "result": "PASS", "original": [1001, 667], "thumbnail": [256, 170]}
{"case": "variants", "result": "PASS", "original": [1600, 1000], "thumbnail": [256, 160]}
{"case": "alpha_EXIF_metadata_center_crop", "result": "PASS"}
{"case": "stopped_worker_API_broker_restart", "result": "PASS", "attachment_id": "b0bf639f-3b10-4f04-8cce-745068cf7726"}
{"case": "broker_unavailable_outbox_recovered", "result": "PASS"}
{"case": "before_publish_recovered", "result": "PASS", "job_id": "fc72ddbf-9a01-47eb-8351-ccb232db495c"}
{"case": "after_publish_recovered", "result": "PASS", "job_id": "69c7248f-eb9e-4ca2-a475-6be26a754cc2"}
{"case": "after_objects_redelivery_idempotent", "result": "PASS", "attempt": 2, "objects": 4}
{"case": "after_commit_redelivery_idempotent", "result": "PASS", "attempt": 1, "objects": 4}
{"case": "temporary_failed_audited_replay", "result": "PASS", "attempts_before_replay": 3}
{"case": "permanent_failed_audited_replay", "result": "PASS", "attempts_before_replay": 1}
{"case": "timeout_failed_audited_replay", "result": "PASS", "attempts_before_replay": 3}
{"case": "staging_cleanup_after_ready", "result": "PASS"}
{"case": "failed_retention_and_expired_replay_rejected", "result": "PASS"}
{"case": "abandoned_staging_cleaned_active_job_protected", "result": "PASS"}
+1
View File
@@ -0,0 +1 @@
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
+1
View File
@@ -0,0 +1 @@
{"result": "PASS", "invalid_image_rejected": true, "truncated_image_rejected": true, "decoded_pixel_limit": true, "address_space_limit": true, "subprocess_memory_mb": 768, "wall_timeout_seconds": 30, "concurrency": 1, "prefetch_per_consumer": 1}
+2
View File
@@ -0,0 +1,2 @@
.venv/bin/python tests/smoke.py --base-url "http://localhost:8080"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
+1
View File
@@ -0,0 +1 @@
{"result": "PASS", "migration": "008 -> 009", "legacy_original_unchanged": true, "variants": 3, "staging_cleanup_safe": true}
+6
View File
@@ -0,0 +1,6 @@
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/test-persistence.py --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:50689"
ДО: {"api": {"e4a842f35f484acc35935112b130d646210045abdcee5f59befe5bb20f468bbb": {"StartedAt": "2026-11-17T14:46:04.716602763Z", "Pid": 91531}, "d42816e025a1702e0e8af9afbb333c0f9b8c323c1bf366e774bc0857e500d058": {"StartedAt": "2026-11-17T14:46:04.776293055Z", "Pid": 91583}}, "postgres": {"21403d8daa4f88a3dd4a1d65b046ccf1559c8c8a27ca87cc514474d813b75293": {"StartedAt": "2026-11-17T14:45:27.245103135Z", "Pid": 84608}}, "redis": {"7693f901578657c947d97e77d9842b9700898323c4b97a9f25a70303132da4fc": {"StartedAt": "2026-11-17T14:45:27.24363226Z", "Pid": 84590}}, "minio": {"845ae9d5dcc502fca0ed87faedc7c99516ab8f4e11a5b6527395f4f32bde48a7": {"StartedAt": "2026-11-17T14:45:27.248952176Z", "Pid": 84607}}, "broker": {"3069a07e189065fb9c3b61bec00b04a5353d45640d4f7c3a7f8b10e89c8b5208": {"StartedAt": "2026-11-17T14:46:12.064916877Z", "Pid": 92915}}, "worker": {"827cfda20ca8f2376438448867d58f7b68a6bca788b003f0172c8bc04c14add9": {"StartedAt": "2026-11-17T14:48:16.936601838Z", "Pid": 15057}}, "dispatcher": {"25cd05b566f77b33cfb623c6a52cf122685581c00c6489f3dc8a5269766a7745": {"StartedAt": "2026-11-17T14:48:16.933687755Z", "Pid": 15049}}, "reconciler": {"8f5eb9d6400f93b226c51f018196f6be2e4a798b40859b3d4fcf95ba6e67ca68": {"StartedAt": "2026-11-17T14:45:34.081448096Z", "Pid": 85718}}, "lb": {"9e2f28be5025f4289933fd21125b1f0e4031f721d3ad8c426edc5e169c51ebf2": {"StartedAt": "2026-11-17T14:45:40.321214418Z", "Pid": 86786}}}
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
ПОСЛЕ: {"api": {"028e5d08c7c8a0dc2fb3e1825b0a5b4482b82cbbb2c2ab72bbf75d4ecf4ab15e": {"StartedAt": "2026-11-17T14:48:31.632796262Z", "Pid": 18173}, "cc09b02c275532835ed1321fc044535169da1486ef11eed29557df1910a9477c": {"StartedAt": "2026-11-17T14:48:31.794788845Z", "Pid": 18228}}, "postgres": {"21403d8daa4f88a3dd4a1d65b046ccf1559c8c8a27ca87cc514474d813b75293": {"StartedAt": "2026-11-17T14:48:24.449627633Z", "Pid": 16975}}, "redis": {"7693f901578657c947d97e77d9842b9700898323c4b97a9f25a70303132da4fc": {"StartedAt": "2026-11-17T14:48:24.380714508Z", "Pid": 16903}}, "minio": {"845ae9d5dcc502fca0ed87faedc7c99516ab8f4e11a5b6527395f4f32bde48a7": {"StartedAt": "2026-11-17T14:48:24.360345258Z", "Pid": 16901}}, "broker": {"3069a07e189065fb9c3b61bec00b04a5353d45640d4f7c3a7f8b10e89c8b5208": {"StartedAt": "2026-11-17T14:48:24.492273467Z", "Pid": 17003}}, "worker": {"827cfda20ca8f2376438448867d58f7b68a6bca788b003f0172c8bc04c14add9": {"StartedAt": "2026-11-17T14:48:38.267002584Z", "Pid": 19338}}, "dispatcher": {"25cd05b566f77b33cfb623c6a52cf122685581c00c6489f3dc8a5269766a7745": {"StartedAt": "2026-11-17T14:48:38.389830001Z", "Pid": 19450}}, "reconciler": {"8f5eb9d6400f93b226c51f018196f6be2e4a798b40859b3d4fcf95ba6e67ca68": {"StartedAt": "2026-11-17T14:48:39.280074668Z", "Pid": 19637}}, "lb": {"9e2f28be5025f4289933fd21125b1f0e4031f721d3ad8c426edc5e169c51ebf2": {"StartedAt": "2026-11-17T14:48:38.356520834Z", "Pid": 19393}}}
PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, broker, worker, dispatcher, reconciler и LB; прежний токен и данные сохранены
+1
View File
@@ -0,0 +1 @@
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
+8
View File
@@ -0,0 +1,8 @@
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff check src
All checks passed!
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff format --check src
62 files already formatted
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+13
View File
@@ -0,0 +1,13 @@
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/attachments.py --base-url "http://127.0.0.1:50689"
PASS: PNG/JPEG bytes, metadata, ACL, chat boundaries, limits and idempotency
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/lab3.py --base-url "http://127.0.0.1:50689"
{
"parallel_repeats": 16,
"instances": [
"61c93bdc-83e2-4770-9915-5573f91b6eac",
"b1fefaf1-795c-48ed-a590-28248b6cf1b9"
],
"messages_created": 1,
"checks": "normalization, conflict, key scope, invalid keys, access, logout, headers",
"result": "PASS"
}
+93
View File
@@ -0,0 +1,93 @@
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/lab4_review.py --base-url "http://127.0.0.1:50689"
{
"result": "PASS",
"checks": [
{
"case": "username_control_characters",
"result": "PASS",
"status": 400
},
{
"case": "truncated_png",
"result": "PASS",
"status": 415
},
{
"case": "header_only_png",
"result": "PASS",
"status": 415
},
{
"case": "mismatched_mime",
"result": "PASS",
"status": 415
},
{
"case": "DEL_filename",
"result": "PASS",
"status": 400
},
{
"case": "missing_filename",
"result": "PASS",
"status": 400
},
{
"case": "pixels",
"dimensions": [
8000,
5000
],
"result": "PASS",
"status": 202
},
{
"case": "pixels",
"dimensions": [
8000,
5001
],
"result": "PASS",
"status": 413
},
{
"case": "pixels",
"dimensions": [
20000,
10000
],
"result": "PASS",
"status": 413
},
{
"case": "API_cannot_create_foreign_bucket",
"result": "PASS"
},
{
"case": "client_abort_and_oversized_chunked_body",
"result": "PASS",
"oversized_status": 413,
"durable_state_unchanged": true
},
{
"case": "PostgreSQL_frozen_after_SQL_started",
"result": "PASS",
"history": {
"status": 503,
"seconds": 5.0998,
"request_id_present": true,
"instance_id_present": true
},
"readiness": {
"status": 503,
"seconds": 2.0718,
"request_id_present": true,
"instance_id_present": true
}
},
{
"case": "PostgreSQL_resume_without_API_restart",
"result": "PASS"
}
]
}
+156
View File
@@ -0,0 +1,156 @@
{
"project": "mtusilab5-f651108561",
"fresh_volumes": true,
"code_manifest": {
"src/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/__main__.py": "b1b472fa858b203911db455eb5c25965b961510985ec4d2c94f627d378aaa9f8",
"src/api/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/dependencies.py": "73c3f94d7c14d6c34031214933340124ebc4e22730b2b1bf8a2eb89a0d42e986",
"src/api/router.py": "4ac01f4ab0e646e0782c760a29fe7b5caa577046eb1ae981328daa1510393915",
"src/api/v1/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/v1/routers/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/v1/routers/attachments.py": "186c976232f76018761792aa53dea560fe24b1bfbd2bae8b698eba31da28d8fb",
"src/api/v1/routers/auth/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/v1/routers/auth/callback.py": "69a2cde6ac37f445e64d9afdea55437240846d158460e6fc5601ff0ce2045d2c",
"src/api/v1/routers/auth/router.py": "075648602d66bdc3497c4714d9789b2ea5661501478b05ba845b65c55a725fd8",
"src/api/v1/routers/auth/schemas.py": "ba3345570c35b8a9e55751202f9c8a27f7d338cfcd85b300c196a43ac03aa311",
"src/api/v1/routers/chats/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/v1/routers/chats/router.py": "85cac2d5ade6917c99e4e6a82053f681e1d253eca4fe3eee726e9f7621635bce",
"src/api/v1/routers/chats/schemas.py": "00e0fc283069cca6c7929ef8d704aa1e577e6bfb555a496eb1b8170231c3b240",
"src/api/v1/routers/messages/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/v1/routers/messages/router.py": "88f020fc60fdbf00f574308aa7b811416e308588fad27ff78ccc0f3d3b77f032",
"src/api/v1/routers/messages/schemas.py": "fa82dfb70f2f8f344c3e3577a8df4e5e365241ddcc9f2bcd43021ab952a40316",
"src/api/v1/routers/users/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/api/v1/routers/users/router.py": "fedd9cb7da2fb21caccd8ae2080d013719b4f13382dc795de880fb8ca87f857f",
"src/api/v1/routers/users/schemas.py": "c30356333a3f6bd1b80b8cf6f4208d550201adfaaa0667e1db074c4aecc70dd7",
"src/api/v1/schemas.py": "403d5821588d8abcc33a285cd2689be5eba0e7ab0373d1e17856ff0464934766",
"src/core/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/core/cache.py": "1973038f948f2eff50b18ba9c0ea3aa1eedd712932a41045ba6dd18dee358966",
"src/core/callback.py": "9046a504d8324a32e428ff8f4d159d452160828d470e3205400473394d380fee",
"src/core/db/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/core/db/models.py": "6d0b911c8ed642e747789ff5377bf582b997a561c2e4834d695253a0cf6c16ac",
"src/core/db/repo/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/core/db/repo/auth.py": "63fb17b55cf05a4b05c5f0b08d3e4f6dc6c83981c7f9d89a0d798b0d270283f2",
"src/core/db/repo/chat.py": "fa1042b689e1e2242360d1432ca84ca49f35a6a2de03810135907333466e76fd",
"src/core/db/repo/message.py": "81a5155d94a2c5b55636774d460033a1ad83daed66a2ad56de839f44dd6db4d3",
"src/core/db/repo/user.py": "f1d36be8530772e6a969687e78bc7bb9bfe7daf8be67d1e079acb1e6c9d7017b",
"src/core/db/session.py": "9d4c07446ccc0990843c7f978c487a9976f9d926bf1e69a57f88021f742c7c5f",
"src/core/db/types.py": "1e8890cfa43c31ce77ce0c95f0a8a535d0730835db16f33b086226bb189ad7aa",
"src/core/errors.py": "5f93764110b969832766be8a6302515edf2eecc44de4d43c4d350c9c20d31432",
"src/core/pagination.py": "3e1c7e5232dc27688f20c622f312ea10d5ce45e9d3960a4c1b61af3e885079c6",
"src/core/readiness.py": "4064b105e7157e5dfbf3591983e3d6cbf27daf418b764f9ea2ee5f3140772ee1",
"src/core/request_deadline.py": "908433803b2238b9b9bd004a5ca74010a05ee60fcb68b80f589bb3c7e1e3044a",
"src/core/request_limits.py": "69ce991f604b8c6f6a225c1f3c09002402c680ce89b2146fdedf5b816c7f836b",
"src/core/security.py": "64d6769b36090ab2824f19668f99d23669f838e82d6a785636c339b7c1876663",
"src/core/session_store.py": "874b3ffa5b52b5b6a4587dc785784f41b6958d1b3be5a6a62470623f2182a6c1",
"src/core/settings.py": "b284cf7d0c9728a7c831f6c7fcd858851c9b4ac20c8aba4f5f21f77616fc43dd",
"src/core/storage.py": "b25940300924f2a895a4f0091bb729100c2e2e41b57889b981dcfd91e2ff47e3",
"src/core/storage_bootstrap.py": "a0b0b6edded744eb0d3a9621ba4baab69576b5be17603adb6ac8ab0413aeb0c9",
"src/core/upload_coordination.py": "9ee87e7cf79cad25af1e9454c7997f5d9312f1f978301ce801ef1596a7effe48",
"src/main.py": "8d3aae82b2a74a859ecd0d71bfe30dff85ea44e98d3aa1fedadaed0b41b2eba9",
"src/maintenance/__init__.py": "bd9fc4293e0380e6b62c869dfa75a798f83090c85490c9e6b42df87e8d344b71",
"src/maintenance/reconcile.py": "ba4ce84154dee28e4a28aed680cb4e18c4b82e02c775c84a04de4d0d5b0b97b6",
"src/pipeline/__init__.py": "fb2cc311d1797b3ab311edfc2a9d7ec601ff349f8cdcfe4e3a58fa223e4dc194",
"src/pipeline/admin.py": "c55f22bea18732204c5ab8745b9ed86532ce69bac2a1d92803d84dd38b2806ea",
"src/pipeline/common.py": "8834e4a61f00e1476274044092b799e236562ccd6c6260f81cbece4917216aa6",
"src/pipeline/dispatcher.py": "4f5a6f7975906481e5e1e890c82fce31ee95ed95ed487e52601d9c0ac48baf42",
"src/pipeline/images.py": "f950f269bfef7035da28d00f19d25889712c520a8f50121e93d677491a1ab17a",
"src/pipeline/worker.py": "bc526f8917b1e09ffe07265291f3dc04e1c93332723b88323b4670d3e8f95605",
"src/service/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"src/service/attachment.py": "b3ac2c63190abda06ea22a41eb253247ab1e198bb014a26b2dce457c2d9fe601",
"src/service/auth.py": "c979b1bdf157d7468ec584093e56a16abbb6b3fb25da0a1cce6eecac792db5ce",
"src/service/chat.py": "baa2b0eb570fa0965a0e4b929313ecb1c96464997b592872f4ed193e22c48489",
"src/service/dto.py": "c44fdd911f063348efff8471277d8dcb0ffaf91672e139ad1d97c5140b813a29",
"src/service/exceptions.py": "32a232596795b28c1ca5ebbd19ed938cc6086263ceaf476716e9ae310da9f685",
"src/service/message.py": "87ea10afea7ce0d2b666015135e052cfa58af39977965712d3ca8c940ff9e977",
"src/service/user.py": "44e561c97aff49d358e5f9ed02cfe6ae85abdd384423fe9dcc7b9b05f13f4bbb",
"migrations/env.py": "67360cd30a7dd1295ee80b1991c773d817bc601b30cd32d88fb38769c91144f9",
"migrations/script.py.mako": "d7558dcb7ce01d3e44830898336d3027de66e5ffdb1491c0cd27f6159b021902",
"migrations/versions/001_initial.py": "72862742da825a042bb63deef80e22cbef79da8a9b0f369644c344211c8a5a87",
"migrations/versions/002_redis_sessions.py": "5bdd751818e8577f81cbb96cd28031b569f62afff43ee72660f980bc0ee7614a",
"migrations/versions/003_admin.py": "24fcc923b12d0b68e401c7b47642563de3d5b5808821e4fefed8d69e48eb8b6d",
"migrations/versions/004_idempotency.py": "4f51289fd202cde682bf1256f9f4bfc2f17c35fc00ada7d1c4bf36182968e9b9",
"migrations/versions/005_message_unicode.py": "0851e4ae1e4d3ca8e11b00cb7714827c0de1651d9bb49cd2bfb4525cd1f2c999",
"migrations/versions/006_unicode_names.py": "fb087985717e280b7b6f67348e9cd8abb9c193ab759cff23a6e5628ecd2818ac",
"migrations/versions/007_attachments.py": "c4936a499313cd22f32fac9538d5892cfe2f2eb49aa8427d54dc72b73c7b5a7c",
"migrations/versions/008_reconciliation.py": "84fd1650ee4338c57f68328221cb82c9e75b69c52512b58907be9660677a3963",
"migrations/versions/009_pipeline.py": "036e5c409c829c629e00623db72d2244c77e1b3ebca7d14fb63bb56a22508c30",
"infra/haproxy.cfg": "6640795207cee655e5c22d685d73b2a57ae1a987156783ad5226d57d7ed6d59c",
"infra/minio/Dockerfile": "632a16d3468aa0290a0dcb69cdbdba7a8827ada9ab56d5b9903d1ba8eaf182d7",
"infra/s3/api-policy.json": "b53c930e1fbcd2317ec1d438b7b8223358173257fe2a5cb823f3b57c126b8df2",
"infra/s3/reconciler-policy.json": "315cd3f537fa865bcea81e9e6b3e26cbb09b5b4985c9909a9d2866eafd453b95",
"infra/s3/worker-policy.json": "ab1c516b190d0c37fd99012a47279ce9777a0923b0d76152db47a285a780ba89",
"Dockerfile": "f6d3a539fd5b0787c366c76dc0e02086857eb465790bcaa599ab7a36ea2f5c35",
"compose.yaml": "86d10bca6aa0e506e066672ad5afd40fea021de5852baf132606deb4d65285ac",
"requirements.txt": "977716fbc3ee1b11681500aa61cf1d561ec1d4267a1f2c35dbbed8bdcf7493e0",
"lab.json": "334580cb36093c3bb022df11190ac44929ac357916022641013ddf39e19814c2"
},
"results": [
{
"step": "quality",
"result": "PASS",
"seconds": 0.7,
"evidence": "lab5-quality.txt"
},
{
"step": "clean-start",
"result": "PASS",
"seconds": 17.65,
"evidence": "lab5-clean-start.txt"
},
{
"step": "public-smoke",
"result": "PASS",
"seconds": 2.63,
"evidence": "lab5-public-smoke.txt"
},
{
"step": "regression",
"result": "PASS",
"seconds": 5.36,
"evidence": "lab5-regression.txt"
},
{
"step": "migration",
"result": "PASS",
"seconds": 3.15,
"evidence": "lab5-migration.txt"
},
{
"step": "limits",
"result": "PASS",
"seconds": 1.01,
"evidence": "lab5-limits.txt"
},
{
"step": "faults",
"result": "PASS",
"seconds": 144.17,
"evidence": "lab5-faults.txt"
},
{
"step": "persistence",
"result": "PASS",
"seconds": 24.86,
"evidence": "lab5-persistence.txt"
},
{
"step": "failover",
"result": "PASS",
"seconds": 14.48,
"evidence": "lab5-failover.txt"
},
{
"step": "review",
"result": "PASS",
"seconds": 14.21,
"evidence": "lab5-review.txt"
},
{
"step": "final-smoke",
"result": "PASS",
"seconds": 2.37,
"evidence": "lab5-final-smoke.txt"
}
]
}
+5 -6
View File
@@ -1,7 +1,6 @@
# Инфраструктура студента
# Инфраструктура lab5
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
Стенд описан в ../compose.yaml: PostgreSQL, Redis сессий, отдельный Redis Streams
broker, MinIO, две API-реплики, HAProxy, worker, dispatcher и reconciler.
Миграции и S3 bootstrap запускаются автоматически. Полные инструкции — в README.md
и REPORT.md в корне репозитория.
+43
View File
@@ -0,0 +1,43 @@
global
log stdout format raw local0
maxconn 2048
stats socket /tmp/haproxy.sock mode 600 level admin
stats socket ipv4@127.0.0.1:9999 level admin
defaults
log global
mode http
option httplog
timeout connect 1s
timeout client 15s
timeout server 12s
timeout http-request 7s
timeout http-keep-alive 2s
timeout check 1s
# Не повторяем POST автоматически: неизвестный результат повторяет клиент
# с исходным Idempotency-Key. Соединения к недоступному API не ждут долго.
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
hold nx 1s
hold timeout 1s
hold refused 1s
accepted_payload_size 8192
frontend public
bind :8080
default_backend api_pool
backend api_pool
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 2
server-template api 1-16 api:8080 check resolvers docker resolve-prefer ipv4 init-addr none
+20
View File
@@ -0,0 +1,20 @@
# MinIO community distribution is source-only; pin the reviewed release commit.
FROM golang:1.24.8-alpine3.22 AS build
RUN apk add --no-cache git
WORKDIR /source
RUN git init . \
&& git remote add origin https://github.com/minio/minio.git \
&& git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
&& git checkout --detach FETCH_HEAD
ENV CGO_ENABLED=0 GOMAXPROCS=2
RUN go build -p 2 -trimpath -o /minio .
FROM alpine:3.22.2
RUN apk add --no-cache ca-certificates \
&& addgroup -S minio && adduser -S -G minio minio \
&& mkdir /data && chown minio:minio /data
COPY --from=build /minio /usr/local/bin/minio
USER minio
EXPOSE 9000
ENTRYPOINT ["minio"]
CMD ["server", "/data", "--console-address", ":9001"]
+29
View File
@@ -0,0 +1,29 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::${bucket}"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListMultipartUploadParts"
],
"Resource": [
"arn:aws:s3:::${bucket}/originals/*",
"arn:aws:s3:::${bucket}/staging/*",
"arn:aws:s3:::${bucket}/variants/*"
]
}
]
}
+28
View File
@@ -0,0 +1,28 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation",
"s3:GetBucketVersioning"
],
"Resource": [
"arn:aws:s3:::${bucket}"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::${bucket}/originals/*",
"arn:aws:s3:::${bucket}/staging/*",
"arn:aws:s3:::${bucket}/variants/*"
]
}
]
}
+30
View File
@@ -0,0 +1,30 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::${bucket}"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListMultipartUploadParts",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::${bucket}/originals/*",
"arn:aws:s3:::${bucket}/staging/*",
"arn:aws:s3:::${bucket}/variants/*"
]
}
]
}
+1 -1
View File
@@ -4,5 +4,5 @@
"contract_version": "1.5.0",
"default_base_url": "http://localhost:8080",
"grading": "3; 4 includes 3; 5 includes 4 plus one completed research track",
"scaffold_has_application": false
"scaffold_has_application": true
}
+34
View File
@@ -0,0 +1,34 @@
import asyncio
from alembic import context
from sqlalchemy import pool
from sqlalchemy.ext.asyncio import create_async_engine
from src.core.db.models import Base
from src.core.settings import settings
url = settings.sqlalchemy_database_url
target_metadata = Base.metadata
def run_migrations(connection):
context.configure(connection=connection, target_metadata=target_metadata, compare_type=True)
with context.begin_transaction():
context.run_migrations()
async def run_online():
engine = create_async_engine(url, poolclass=pool.NullPool)
try:
async with engine.connect() as connection:
await connection.run_sync(run_migrations)
finally:
await engine.dispose()
if context.is_offline_mode():
context.configure(url=url, target_metadata=target_metadata, literal_binds=True)
with context.begin_transaction():
context.run_migrations()
else:
asyncio.run(run_online())
+17
View File
@@ -0,0 +1,17 @@
"""${message}"""
from alembic import op
import sqlalchemy as sa
${imports if imports else ""}
revision = ${repr(up_revision)}
down_revision = ${repr(down_revision)}
branch_labels = ${repr(branch_labels)}
depends_on = ${repr(depends_on)}
def upgrade():
${upgrades if upgrades else "pass"}
def downgrade():
${downgrades if downgrades else "pass"}
+60
View File
@@ -0,0 +1,60 @@
"""Пользователи, чаты, участники, сообщения и сессии."""
from alembic import op
import sqlalchemy as sa
revision = '001'
down_revision = None
branch_labels = None
depends_on = None
def upgrade():
op.create_table(
'users',
sa.Column('id', sa.Uuid(), primary_key=True),
sa.Column('username', sa.String(32), nullable=False, unique=True),
sa.Column('display_name', sa.String(100), nullable=False),
sa.Column('password_hash', sa.Text(), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
sa.CheckConstraint('length(trim(display_name)) > 0'),
)
op.create_table(
'chats',
sa.Column('id', sa.Uuid(), primary_key=True),
sa.Column('title', sa.String(100), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
sa.CheckConstraint('length(trim(title)) > 0'),
)
op.create_table(
'chat_members',
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id', ondelete='CASCADE'), primary_key=True),
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id'), primary_key=True),
)
op.create_index('chat_members_user_idx', 'chat_members', ['user_id', 'chat_id'])
op.create_table(
'messages',
sa.Column('id', sa.Uuid(), primary_key=True),
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id'), nullable=False),
sa.Column('sender_id', sa.Uuid(), sa.ForeignKey('users.id'), nullable=False),
sa.Column('text', sa.String(4000), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
sa.ForeignKeyConstraint(['chat_id', 'sender_id'], ['chat_members.chat_id', 'chat_members.user_id']),
sa.CheckConstraint('length(trim(text)) > 0'),
)
op.create_index('messages_history_idx', 'messages', ['chat_id', 'created_at', 'id'])
op.create_table(
'sessions',
sa.Column('token_hash', sa.Text(), primary_key=True),
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
)
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
def downgrade():
op.drop_table('sessions')
op.drop_table('messages')
op.drop_table('chat_members')
op.drop_table('chats')
op.drop_table('users')
+22
View File
@@ -0,0 +1,22 @@
"""Сессии перенесены в Redis."""
from alembic import op
import sqlalchemy as sa
revision = '002'
down_revision = '001'
branch_labels = None
depends_on = None
def upgrade():
op.drop_table('sessions')
def downgrade():
op.create_table(
'sessions',
sa.Column('token_hash', sa.Text(), primary_key=True),
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
)
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
+16
View File
@@ -0,0 +1,16 @@
"""Признак системного администратора."""
from alembic import op
import sqlalchemy as sa
revision = '003'
down_revision = '002'
branch_labels = None
depends_on = None
def upgrade():
op.add_column('users', sa.Column('is_admin', sa.Boolean(), nullable=False, server_default=sa.false()))
def downgrade():
op.drop_column('users', 'is_admin')
+25
View File
@@ -0,0 +1,25 @@
"""Общая идемпотентность сообщений, совместимая с предыдущей схемой."""
from alembic import op
import sqlalchemy as sa
revision = "004"
down_revision = "003"
branch_labels = None
depends_on = None
def upgrade():
op.create_table(
"message_requests",
sa.Column("sender_id", sa.Uuid(), sa.ForeignKey("users.id"), primary_key=True),
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), primary_key=True),
sa.Column("key", sa.String(128), primary_key=True),
sa.Column("request_text", sa.String(4000), nullable=False),
sa.Column("message_id", sa.Uuid(), sa.ForeignKey("messages.id"), nullable=True),
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
)
def downgrade():
op.drop_table("message_requests")
@@ -0,0 +1,55 @@
"""Сохранять весь допустимый Unicode сообщений, включая U+0000, без потерь."""
import sqlalchemy as sa
from alembic import op
revision = "005"
down_revision = "004"
branch_labels = None
depends_on = None
def upgrade():
op.drop_constraint("messages_text_check", "messages", type_="check")
op.alter_column(
"messages",
"text",
existing_type=sa.String(4000),
type_=sa.LargeBinary(),
existing_nullable=False,
postgresql_using="convert_to(text, 'UTF8')",
)
op.alter_column(
"message_requests",
"request_text",
existing_type=sa.String(4000),
type_=sa.LargeBinary(),
existing_nullable=False,
postgresql_using="convert_to(request_text, 'UTF8')",
)
op.create_check_constraint(
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
)
def downgrade():
# convert_from откажет при наличии U+0000: не удаляем символы или строки
# молча. Откат возможен только если все данные представимы в PostgreSQL text.
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
op.alter_column(
"messages",
"text",
existing_type=sa.LargeBinary(),
type_=sa.String(4000),
existing_nullable=False,
postgresql_using="convert_from(text, 'UTF8')",
)
op.alter_column(
"message_requests",
"request_text",
existing_type=sa.LargeBinary(),
type_=sa.String(4000),
existing_nullable=False,
postgresql_using="convert_from(request_text, 'UTF8')",
)
op.create_check_constraint("messages_text_check", "messages", "length(trim(text)) > 0")
+40
View File
@@ -0,0 +1,40 @@
"""Сохранение допустимого Unicode имён и названий, включая U+0000."""
import sqlalchemy as sa
from alembic import op
revision = "006"
down_revision = "005"
branch_labels = None
depends_on = None
def upgrade():
for table, column in [("users", "display_name"), ("chats", "title")]:
op.drop_constraint(f"{table}_{column}_check", table, type_="check")
op.alter_column(
table,
column,
existing_type=sa.String(100),
type_=sa.LargeBinary(),
existing_nullable=False,
postgresql_using=f"convert_to({column}, 'UTF8')",
)
op.create_check_constraint(
f"{table}_{column}_bytes_check", table, f"octet_length({column}) BETWEEN 1 AND 400"
)
def downgrade():
# PostgreSQL откажет при U+0000 и откатит транзакцию вместо потери символов.
for table, column in [("users", "display_name"), ("chats", "title")]:
op.drop_constraint(f"{table}_{column}_bytes_check", table, type_="check")
op.alter_column(
table,
column,
existing_type=sa.LargeBinary(),
type_=sa.String(100),
existing_nullable=False,
postgresql_using=f"convert_from({column}, 'UTF8')",
)
op.create_check_constraint(f"{table}_{column}_check", table, f"length(trim({column})) > 0")
+65
View File
@@ -0,0 +1,65 @@
"""Private S3 attachment metadata and ordered message links."""
from alembic import op
import sqlalchemy as sa
revision = "007"
down_revision = "006"
branch_labels = None
depends_on = None
def upgrade():
op.create_table(
"attachments",
sa.Column("id", sa.Uuid(), primary_key=True),
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), nullable=False),
sa.Column("owner_id", sa.Uuid(), sa.ForeignKey("users.id"), nullable=False),
sa.Column("filename", sa.String(255), nullable=False),
sa.Column("object_key", sa.Text(), nullable=False, unique=True),
sa.Column("content_type", sa.String(32), nullable=False),
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
sa.Column("sha256", sa.String(64), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
sa.UniqueConstraint("chat_id", "id"),
sa.CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
sa.CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
)
op.create_index("attachments_chat_idx", "attachments", ["chat_id"])
op.create_unique_constraint("messages_chat_id_id_key", "messages", ["chat_id", "id"])
op.create_table(
"message_attachments",
sa.Column("message_id", sa.Uuid(), primary_key=True),
sa.Column("attachment_id", sa.Uuid(), primary_key=True),
sa.Column("chat_id", sa.Uuid(), nullable=False),
sa.Column("position", sa.Integer(), nullable=False),
sa.ForeignKeyConstraint(
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
),
sa.ForeignKeyConstraint(
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
),
sa.UniqueConstraint("message_id", "position"),
sa.CheckConstraint("position BETWEEN 0 AND 9"),
)
op.add_column("message_requests", sa.Column(
"request_attachment_ids", sa.Text(), nullable=False, server_default=""
))
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
op.create_check_constraint(
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 0 AND 16000"
)
def downgrade():
# Refuse downgrade if attachment-only messages cannot satisfy the old schema.
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
op.create_check_constraint(
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
)
op.drop_column("message_requests", "request_attachment_ids")
op.drop_table("message_attachments")
op.drop_constraint("messages_chat_id_id_key", "messages", type_="unique")
op.drop_index("attachments_chat_idx", "attachments")
op.drop_table("attachments")
+37
View File
@@ -0,0 +1,37 @@
"""Durable upload intents, missing-content marker and reconciliation observations."""
import sqlalchemy as sa
from alembic import op
revision = "008"
down_revision = "007"
branch_labels = None
depends_on = None
def upgrade():
op.add_column("attachments", sa.Column("storage_missing_since", sa.DateTime(timezone=True)))
op.create_table(
"upload_intents",
sa.Column("object_key", sa.Text(), primary_key=True),
sa.Column("state", sa.String(16), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False,
server_default=sa.func.now()),
sa.CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),
)
op.create_table(
"storage_findings",
sa.Column("object_key", sa.Text(), primary_key=True),
sa.Column("kind", sa.String(16), primary_key=True),
sa.Column("fingerprint", sa.Text()),
sa.Column("first_seen", sa.DateTime(timezone=True), nullable=False),
sa.Column("last_seen", sa.DateTime(timezone=True), nullable=False),
sa.Column("resolved_at", sa.DateTime(timezone=True)),
sa.CheckConstraint("kind IN ('orphan', 'missing')"),
)
def downgrade():
op.drop_table("storage_findings")
op.drop_table("upload_intents")
op.drop_column("attachments", "storage_missing_since")
+67
View File
@@ -0,0 +1,67 @@
"""Asynchronous image pipeline, durable jobs/outbox and replay audit."""
import sqlalchemy as sa
from alembic import op
revision = "009"
down_revision = "008"
branch_labels = None
depends_on = None
def upgrade():
op.add_column("attachments", sa.Column("status", sa.String(16), nullable=False, server_default="ready"))
op.add_column("attachments", sa.Column("error_code", sa.String(64)))
op.add_column("attachments", sa.Column("staging_key", sa.Text()))
op.add_column("attachments", sa.Column("variants", sa.JSON(), nullable=False, server_default="[]"))
op.create_check_constraint("attachments_status_check", "attachments", "status IN ('queued', 'processing', 'ready', 'failed')")
op.create_table(
"attachment_jobs",
sa.Column("id", sa.Uuid(), primary_key=True),
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
sa.Column("pipeline_version", sa.Integer(), nullable=False),
sa.Column("state", sa.String(16), nullable=False),
sa.Column("attempt", sa.Integer(), nullable=False),
sa.Column("cycle_attempt", sa.Integer(), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("next_run_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("published_at", sa.DateTime(timezone=True)),
sa.Column("lease_until", sa.DateTime(timezone=True)),
sa.Column("claim_token", sa.Uuid()),
sa.Column("error_code", sa.String(64)),
sa.Column("fault", sa.String(32)),
sa.UniqueConstraint("attachment_id", "pipeline_version"),
sa.CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
sa.CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
sa.CheckConstraint("pipeline_version = 1"),
)
op.create_index("attachment_jobs_dispatch_idx", "attachment_jobs", ["state", "next_run_at"])
op.create_table(
"job_replays",
sa.Column("id", sa.Uuid(), primary_key=True),
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("attachment_jobs.id"), nullable=False),
sa.Column("operator", sa.String(100), nullable=False),
sa.Column("reason", sa.String(500), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("attempt", sa.Integer(), nullable=False),
)
# Existing lab4 originals remain readable by the worker as their staging
# source. Retention must never delete this shared source/final key.
op.execute("""
INSERT INTO attachment_jobs
(id, attachment_id, pipeline_version, state, attempt, cycle_attempt,
created_at, updated_at, next_run_at)
SELECT gen_random_uuid(), id, 1, 'queued', 1, 1,
clock_timestamp(), clock_timestamp(), clock_timestamp()
FROM attachments
""")
op.execute("UPDATE attachments SET staging_key=object_key, status='queued', updated_at=clock_timestamp()")
def downgrade():
op.drop_table("job_replays")
op.drop_table("attachment_jobs")
op.drop_constraint("attachments_status_check", "attachments")
for name in ("variants", "staging_key", "error_code", "status"):
op.drop_column("attachments", name)
+7
View File
@@ -0,0 +1,7 @@
[tool.ruff]
target-version = "py313"
line-length = 100
include = ["src/**/*.py"]
[tool.ruff.lint]
select = ["E4", "E7", "E9", "F", "I"]
+1 -1
View File
@@ -1,2 +1,2 @@
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
openapi-spec-validator==0.7.2
ruff==0.14.2
+21
View File
@@ -0,0 +1,21 @@
annotated-doc==0.0.5
annotated-types==0.8.0
anyio==4.15.1
click==8.5.0
fastapi==0.141.1
h11==0.16.0
idna==3.20
pydantic==2.13.5
pydantic-core==2.46.5
starlette==1.7.0
typing-extensions==4.16.0
typing-inspection==0.4.4
uvicorn==0.53.0
asyncpg==0.30.0
redis==5.2.1
argon2-cffi==25.1.0
SQLAlchemy[asyncio]==2.0.44
alembic==1.17.0
pydantic-settings==2.15.0
minio==7.2.20
Pillow==13.0.0
+56
View File
@@ -0,0 +1,56 @@
"""Управление только API-контейнерами текущего Compose-проекта."""
import json
import os
import subprocess
import time
import urllib.request
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
def docker(*args):
return subprocess.check_output(["docker", *args], cwd=ROOT, text=True).strip()
def compose(*args):
return docker("compose", "--env-file", os.environ.get("ENV_FILE", ".env"), *args)
def containers():
return compose("ps", "--all", "-q", "api").split()
def describe(container):
# Никогда не выводим Config.Env: там credentials.
return json.loads(docker("inspect", "--format", "{{json .State}}", container))
def instance_id(container):
code = "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2); print(r.headers['X-Instance-Id'])"
return docker("exec", container, "python", "-c", code)
def wait_ready(container, timeout=60):
deadline = time.monotonic() + timeout
while time.monotonic() < deadline:
state = describe(container)
if state.get("Health", {}).get("Status") == "healthy":
return instance_id(container)
time.sleep(0.5)
raise RuntimeError("API container did not become healthy: " + container[:12])
def wait_visible(instance, timeout=30):
base = os.environ.get("BASE_URL", "http://localhost:8080").rstrip("/")
deadline = time.monotonic() + timeout
while time.monotonic() < deadline:
try:
with urllib.request.urlopen(base + "/health/ready", timeout=2) as response:
if response.headers.get("X-Instance-Id") == instance:
return
except OSError:
pass
time.sleep(0.1)
raise RuntimeError("New replica was not discovered by HAProxy")
-10
View File
@@ -1,10 +0,0 @@
#!/bin/sh
set -eu
# TODO: copy to restart.sh and implement using YOUR compose/stack services.
# Restart API and ALL used state stores (DB, sessions, S3, broker as applicable).
# Preserve persistent volumes and schema/data; never down -v / flush / re-seed.
# Allow operator unseal if required in lab7; do not print credentials.
# Exit 0 only after the intended action; test waits for API readiness separately.
printf '%s
' 'TODO: implement restart.sh for your infrastructure' >&2
exit 2
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# Полный restart работающих ролей; volumes не удаляются.
docker compose --env-file "${ENV_FILE:-.env}" restart postgres redis minio broker
docker compose --env-file "${ENV_FILE:-.env}" up -d --wait --force-recreate api
docker compose --env-file "${ENV_FILE:-.env}" restart reconciler dispatcher worker lb
+27
View File
@@ -0,0 +1,27 @@
"""Create local synthetic credentials without overwriting an existing .env."""
import argparse
import os
import secrets
from pathlib import Path
root=Path(__file__).resolve().parents[1]
parser=argparse.ArgumentParser(description=__doc__)
parser.add_argument('--output',type=Path,default=root/'.env')
args=parser.parse_args()
values={
'POSTGRES_PASSWORD':secrets.token_hex(24),
'ADMIN_PASSWORD':secrets.token_hex(24),
'MINIO_ROOT_PASSWORD':secrets.token_hex(24),
'S3_SECRET_ACCESS_KEY':secrets.token_hex(24),
'S3_RECONCILE_SECRET_ACCESS_KEY':secrets.token_hex(24),
'S3_WORKER_SECRET_ACCESS_KEY':secrets.token_hex(24),
}
lines=(root/'.env.example').read_text().splitlines()
content='\n'.join(key+'='+values[key] if '=' in line and (key:=line.split('=',1)[0]) in values else line for line in lines)+'\n'
try:
descriptor=os.open(args.output,os.O_WRONLY|os.O_CREAT|os.O_EXCL,0o600)
except FileExistsError:
parser.exit(1,'Файл уже существует; его настройки и пароли сохранены.\n')
with os.fdopen(descriptor,'w') as stream:
stream.write(content)
print('Создан файл локальных настроек с новыми паролями; значения не выводятся.')
-10
View File
@@ -1,10 +0,0 @@
#!/bin/sh
set -eu
# TODO: copy to stop-one.sh, map TARGET_INSTANCE_ID to ONE API container/task.
# Stop that instance and leave it stopped; no stop of DB/LB/volumes.
# Return quickly (within 10 s); the test sends requests during this script.
# Restore the replica explicitly after the test. Never print credentials.
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
printf '%s
' 'TODO: implement stop-one.sh for your infrastructure' >&2
exit 2
+34
View File
@@ -0,0 +1,34 @@
"""Сопоставить X-Instance-Id реальному контейнеру и оставить его остановленным."""
import json
import os
import time
from replicas import containers, describe, docker, instance_id
target = os.environ["TARGET_INSTANCE_ID"]
running = [c for c in containers() if describe(c)["Running"]]
if len(running) < 2:
raise SystemExit("Need at least two running API containers")
for container in running:
if instance_id(container) == target:
before = describe(container)
started = time.monotonic()
docker("stop", "--time", "10", container)
after = describe(container)
assert not after["Running"]
print(
json.dumps(
{
"container": container[:12],
"instance_id": target,
"started_at": before["StartedAt"],
"finished_at": after["FinishedAt"],
"stop_seconds": round(time.monotonic() - started, 3),
"exit_code": after["ExitCode"],
}
)
)
break
else:
raise SystemExit("Requested instance not found in this Compose project")
+4
View File
@@ -0,0 +1,4 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
exec "${PYTHON:-python3}" scripts/stop-one.py
+46
View File
@@ -0,0 +1,46 @@
"""Исходный persistence-сценарий плюс доказательство рестарта API и всех хранилищ."""
import argparse
import json
from pathlib import Path
import subprocess
import sys
ROOT = Path(__file__).resolve().parents[1]
def states():
result = {}
for service in ('api', 'postgres', 'redis', 'minio', 'broker', 'worker', 'dispatcher', 'reconciler', 'lb'):
ids = subprocess.check_output(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, text=True).split()
if not ids:
raise RuntimeError('Не запущен сервис ' + service)
result[service] = {}
for container in ids:
state = json.loads(subprocess.check_output(['docker', 'inspect', '--format', '{{json .State}}', container], cwd=ROOT, text=True))
result[service][container] = {'StartedAt': state['StartedAt'], 'Pid': state['Pid']}
return result
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--base-url', default='http://localhost:8080')
parser.add_argument('--action-script', required=True)
parser.add_argument('--ca-file')
args = parser.parse_args()
before = states()
print('ДО: ' + json.dumps(before), flush=True)
command = [sys.executable, str(ROOT / 'tests/resilience.py'), '--mode', 'persistence',
'--action-script', args.action_script, '--base-url', args.base_url]
if args.ca_file:
command += ['--ca-file', args.ca_file]
subprocess.run(command, cwd=ROOT, check=True)
after = states()
print('ПОСЛЕ: ' + json.dumps(after), flush=True)
for service in before:
if before[service] == after[service]:
raise AssertionError('Сервис не перезапущен: ' + service)
print('PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, broker, worker, dispatcher, reconciler и LB; прежний токен и данные сохранены')
if __name__ == '__main__':
main()
+71
View File
@@ -0,0 +1,71 @@
"""Reproducible lab5 acceptance on a fresh isolated Compose project."""
import json
import hashlib
import os
import socket
import subprocess
import sys
import tempfile
import time
import uuid
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
def main():
evidence = ROOT / 'evidence'
evidence.mkdir(exist_ok=True)
project = 'mtusilab5-' + uuid.uuid4().hex[:10]
with socket.socket() as listener:
listener.bind(('127.0.0.1', 0))
port = listener.getsockname()[1]
results = []
code_manifest = {}
for directory in ('src', 'migrations', 'infra'):
for path in sorted((ROOT/directory).rglob('*')):
if path.is_file() and '__pycache__' not in path.parts:
code_manifest[str(path.relative_to(ROOT))] = hashlib.sha256(path.read_bytes()).hexdigest()
for name in ('Dockerfile','compose.yaml','requirements.txt','lab.json'):
code_manifest[name] = hashlib.sha256((ROOT/name).read_bytes()).hexdigest()
with tempfile.TemporaryDirectory(prefix='mtusi-lab5-') as temporary:
envfile = Path(temporary) / '.env'
subprocess.run([sys.executable, 'scripts/setup-env.py', '--output', str(envfile)], cwd=ROOT, check=True)
env = dict(os.environ, ENV_FILE=str(envfile), COMPOSE_ENV_FILES=str(envfile),
COMPOSE_PROJECT_NAME=project, APP_PORT=str(port),
BASE_URL=f'http://127.0.0.1:{port}')
compose = ['docker', 'compose', '--env-file', str(envfile), '-p', project]
def step(name, command):
started = time.monotonic()
path = evidence / ('lab5-' + name + '.txt')
with path.open('w') as output:
process = subprocess.run(command, cwd=ROOT, env=env, stdout=output, stderr=subprocess.STDOUT)
result = dict(step=name, result='PASS' if process.returncode == 0 else 'FAIL',
seconds=round(time.monotonic() - started, 2), evidence=path.name)
results.append(result)
print(json.dumps(result), flush=True)
if process.returncode:
raise RuntimeError(name + ' failed; see ' + str(path))
try:
step('quality', ['make', 'lint', 'check', 'validate', 'PYTHON=' + sys.executable])
step('clean-start', compose + ['up', '-d', '--build', '--wait'])
step('public-smoke', [sys.executable, 'course-tests/smoke.py', '--base-url', env['BASE_URL']])
step('regression', ['make','test-attachments','test-idempotency','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
step('migration', compose + ['exec','-T','worker','python','-c', (ROOT/'tests/lab5_migration.py').read_text()])
step('limits', compose + ['exec','-T','worker','python','-c', (ROOT/'tests/lab5_limits.py').read_text()])
step('faults', [sys.executable,'tests/lab5.py','--faults','--project',project,'--base-url',env['BASE_URL']])
step('persistence', ['make','test-persistence','ACTION_SCRIPT=scripts/restart.sh','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
step('failover', ['make','test-attachment-failover','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
step('review', ['make','test-api-regressions','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
step('final-smoke', [sys.executable,'course-tests/smoke.py','--base-url',env['BASE_URL']])
finally:
with (evidence/'lab5-container-status.txt').open('w') as output:
subprocess.run(compose+['ps','-a'],cwd=ROOT,env=env,stdout=output,stderr=subprocess.STDOUT)
subprocess.run(compose+['down','--volumes','--remove-orphans'],cwd=ROOT,env=env,
stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL,check=True)
(evidence/'lab5-summary.json').write_text(json.dumps(dict(project=project,
fresh_volumes=True, code_manifest=code_manifest, results=results),ensure_ascii=False,indent=2)+'\n')
if __name__ == '__main__':
main()
View File
+13
View File
@@ -0,0 +1,13 @@
import uvicorn
from src.core.settings import settings
if __name__ == "__main__":
uvicorn.run(
"src.main:app",
host=settings.app_host,
port=settings.app_port,
workers=settings.app_workers,
log_level=settings.log_level.lower(),
timeout_graceful_shutdown=settings.shutdown_timeout_seconds,
)
View File
+106
View File
@@ -0,0 +1,106 @@
import base64
import binascii
import re
from typing import Annotated
from fastapi import Depends, Request
from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer
from fastapi.security.http import HTTPBase, HTTPBasicCredentials
from sqlalchemy.ext.asyncio import AsyncSession
from src.core.db.session import get_db_session
from src.core.errors import ApiError
from src.core.settings import settings
from src.service.auth import AuthService
from src.service.chat import ChatService
from src.service.dto import UserDTO
from src.service.exceptions import InvalidSessionException
from src.service.message import MessageService
from src.service.user import UserService
bearer_scheme = HTTPBearer(
scheme_name="bearerAuth",
description="Вставьте токен из ответа на вход, без префикса Bearer.",
auto_error=False,
)
basic_scheme = HTTPBase(scheme="basic", scheme_name="basicAuth", auto_error=False)
async def get_basic_credentials(
request: Request,
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(basic_scheme)],
) -> HTTPBasicCredentials:
if await request.body():
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
try:
authorization = request.headers.getlist("authorization")
if len(authorization) != 1 or len(authorization[0]) > settings.authorization_max_length:
raise ValueError
if credentials is None or credentials.scheme.lower() != "basic":
raise ValueError
decoded = base64.b64decode(credentials.credentials, validate=True).decode("utf-8")
username, separator, password = decoded.partition(":")
if (
not separator
or re.fullmatch(r"[a-z0-9_]{3,32}", username) is None
or not 12 <= len(password) <= 128
or not password.strip()
):
raise ValueError
except (ValueError, UnicodeError, binascii.Error):
raise ApiError(401, "unauthorized", "Неверный логин или пароль") from None
return HTTPBasicCredentials(username=username, password=password)
def get_user_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> UserService:
return UserService(db_session=db_session)
def get_chat_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> ChatService:
return ChatService(db_session=db_session)
def get_message_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> MessageService:
return MessageService(db_session=db_session)
def get_auth_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> AuthService:
return AuthService(
db_session=db_session,
session_ttl_seconds=settings.session_ttl_seconds,
)
def get_bearer_token(
request: Request,
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(bearer_scheme)],
) -> str:
if credentials is None or len(request.headers.getlist("authorization")) != 1:
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
token = credentials.credentials
if (
credentials.scheme.lower() != "bearer"
or not token
or len(token) > 512
or any(c.isspace() for c in token)
):
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
return token
async def get_current_user(
auth: Annotated[AuthService, Depends(get_auth_service)],
token: Annotated[str, Depends(get_bearer_token)],
) -> UserDTO:
try:
return await auth.get_user(token=token)
except InvalidSessionException as error:
raise ApiError(401, "unauthorized", str(error)) from error
+17
View File
@@ -0,0 +1,17 @@
from fastapi import APIRouter
from src.api.v1.routers.attachments import router as attachments_router
from src.api.v1.routers.auth.router import router as auth_router
from src.api.v1.routers.chats.router import router as chats_router
from src.api.v1.routers.messages.router import router as messages_router
from src.api.v1.routers.users.router import router as users_router
router = APIRouter(prefix="/api/v1", tags=["Версия 1"])
router.include_router(users_router)
router.include_router(chats_router)
router.include_router(messages_router)
router.include_router(auth_router)
router.include_router(attachments_router)
View File
View File
+134
View File
@@ -0,0 +1,134 @@
from datetime import datetime
from typing import Annotated, Literal
from uuid import UUID
from anyio import to_thread
from fastapi import APIRouter, Depends, Query, Request
from fastapi.responses import StreamingResponse
from pydantic import BaseModel, Field
from sqlalchemy.ext.asyncio import AsyncSession
from src.api.dependencies import get_current_user
from src.core.db.models import Attachment
from src.core.db.session import get_db_session
from src.core.errors import ApiError
from src.core.settings import settings
from src.core.storage import STORAGE_ERRORS, get_storage, unavailable
from src.service.attachment import AttachmentService
from src.service.dto import UserDTO
router = APIRouter(tags=["Вложения"])
class VariantOut(BaseModel):
name: Literal["thumbnail", "crop", "optimized"]
content_type: Literal["image/jpeg", "image/webp"]
size_bytes: int
sha256: str
width: int
height: int
class AttachmentOut(BaseModel):
id: UUID
chat_id: UUID
owner_id: UUID
filename: str
content_type: str
size_bytes: int
sha256: str
status: Literal["queued", "processing", "ready", "failed"]
variants: list[VariantOut] = Field(default_factory=list)
error_code: str | None = None
created_at: datetime
updated_at: datetime
def to_output(attachment: Attachment) -> AttachmentOut:
return AttachmentOut.model_validate(attachment, from_attributes=True)
def get_service(
session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> AttachmentService:
return AttachmentService(session)
@router.post(
"/chats/{chat_id}/attachments",
status_code=202,
openapi_extra={
"requestBody": {
"required": True,
"content": {
mime: {"schema": {"type": "string", "format": "binary"}}
for mime in ("image/png", "image/jpeg")
},
}
},
)
async def upload_attachment(
chat_id: UUID,
request: Request,
user: Annotated[UserDTO, Depends(get_current_user)],
service: Annotated[AttachmentService, Depends(get_service)],
filename: Annotated[str, Query(min_length=1, max_length=255)],
) -> AttachmentOut:
if len(request.query_params.getlist("filename")) != 1:
raise ApiError(400, "invalid_request", "Неоднозначное имя файла")
return to_output(await service.upload(request, chat_id, user.id, filename))
@router.get("/attachments/{attachment_id}")
async def get_attachment(
attachment_id: UUID,
user: Annotated[UserDTO, Depends(get_current_user)],
service: Annotated[AttachmentService, Depends(get_service)],
) -> AttachmentOut:
return to_output(await service.get(attachment_id, user.id))
@router.get("/attachments/{attachment_id}/content")
async def download_attachment(
attachment_id: UUID,
request: Request,
user: Annotated[UserDTO, Depends(get_current_user)],
service: Annotated[AttachmentService, Depends(get_service)],
variant: str = "original",
):
attachment = await service.get(attachment_id, user.id)
if len(request.query_params.getlist("variant")) > 1:
raise ApiError(400, "invalid_request", "Неоднозначный вариант")
if variant not in {"original", "thumbnail", "crop", "optimized"}:
raise ApiError(400, "invalid_request", "Некорректный вариант")
if attachment.status != "ready":
raise ApiError(409, "conflict", "Вложение ещё не готово")
key, mime, size = attachment.object_key, attachment.content_type, attachment.size_bytes
if variant != "original":
item = next((v for v in attachment.variants if v["name"] == variant), None)
if item is None:
raise ApiError(404, "not_found", "Вариант не найден")
key = f"variants/{attachment.id}/v1/{variant}"
mime, size = item["content_type"], item["size_bytes"]
try:
response = await to_thread.run_sync(
lambda: get_storage().get_object(settings.s3_bucket, key)
)
except STORAGE_ERRORS as error:
raise unavailable(error) from error
async def content():
try:
while chunk := await to_thread.run_sync(response.read, 64 * 1024):
yield chunk
finally:
response.close()
response.release_conn()
return StreamingResponse(
content(),
media_type=mime,
headers={
"Content-Length": str(size),
},
)
View File
+31
View File
@@ -0,0 +1,31 @@
import logging
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
from src.core.db.repo.auth import fetch_user_credentials
from src.core.security import verify_password_async
from src.core.settings import settings
from src.service.user import UserService
logger = logging.getLogger(__name__)
async def create_admin(session_factory: async_sessionmaker[AsyncSession]) -> None:
async with session_factory.begin() as session:
admin = await UserService(db_session=session).create_admin(
username=settings.admin_username,
display_name=settings.admin_display_name,
password=settings.admin_password.get_secret_value(),
)
if admin is None and settings.app_env == "production":
credentials = await fetch_user_credentials(session, settings.admin_username)
if credentials is None or not await verify_password_async(
settings.admin_password.get_secret_value(), credentials.password_hash
):
raise RuntimeError(
"Пароль существующего администратора не совпадает с настройкой production"
)
if admin is None:
logger.info("Администратор уже существует")
else:
logger.info("Администратор создан: пользователь=%s", admin.id)
+50
View File
@@ -0,0 +1,50 @@
from dataclasses import asdict
from typing import Annotated
from fastapi import APIRouter, Depends, Response
from fastapi.security import HTTPBasicCredentials
from src.api.dependencies import (
get_auth_service,
get_basic_credentials,
get_bearer_token,
get_current_user,
)
from src.api.v1.routers.auth.schemas import SessionOut
from src.api.v1.routers.users.schemas import UserOut
from src.core.errors import ApiError
from src.service.auth import AuthService
from src.service.dto import UserDTO
from src.service.exceptions import InvalidCredentialsException
router = APIRouter(prefix="/auth/sessions", tags=["Сессии"])
@router.post("", status_code=201, response_model=SessionOut)
async def login(
credentials: Annotated[HTTPBasicCredentials, Depends(get_basic_credentials)],
auth: Annotated[AuthService, Depends(get_auth_service)],
) -> SessionOut:
try:
result = await auth.login(
username=credentials.username,
password=credentials.password,
)
except InvalidCredentialsException as error:
raise ApiError(401, "unauthorized", str(error)) from error
return SessionOut(
token=result.token,
token_type=result.token_type,
expires_at=result.expires_at,
user=UserOut(**asdict(result.user)),
)
@router.delete("/current", status_code=204)
async def logout(
current_user: Annotated[UserDTO, Depends(get_current_user)],
token: Annotated[str, Depends(get_bearer_token)],
auth: Annotated[AuthService, Depends(get_auth_service)],
) -> Response:
await auth.logout(token=token)
return Response(status_code=204)
+13
View File
@@ -0,0 +1,13 @@
from datetime import datetime
from typing import Literal
from pydantic import BaseModel
from src.api.v1.routers.users.schemas import UserOut
class SessionOut(BaseModel):
token: str
token_type: Literal["Bearer"]
expires_at: datetime
user: UserOut
+86
View File
@@ -0,0 +1,86 @@
from typing import Annotated
from uuid import UUID
from fastapi import APIRouter, Depends, Query, status
from src.api.dependencies import get_chat_service, get_current_user
from src.api.v1.routers.chats.schemas import ChatOut, CreateChatIn, GetChatOut
from src.api.v1.schemas import PaginationQuery
from src.core.errors import ApiError
from src.core.pagination import decode_cursor, encode_cursor
from src.service.chat import ChatService
from src.service.dto import ChatDTO, UserDTO
from src.service.exceptions import ChatNotFoundException, InvalidChatMembersException
router = APIRouter(prefix="/chats", tags=["Чаты"])
def _to_chat_out(chat: ChatDTO) -> ChatOut:
return ChatOut(
id=chat.id,
title=chat.title,
member_ids=list(chat.member_ids),
created_at=chat.created_at,
)
@router.post("", status_code=status.HTTP_201_CREATED)
async def create_chat(
chat_in: CreateChatIn,
current_user: Annotated[UserDTO, Depends(get_current_user)],
chat_service: Annotated[ChatService, Depends(get_chat_service)],
) -> ChatOut:
try:
chat = await chat_service.create_chat(
title=chat_in.title,
member_ids=chat_in.member_ids,
current_user_id=current_user.id,
)
except InvalidChatMembersException as error:
raise ApiError(400, "invalid_request", str(error)) from error
return _to_chat_out(chat)
@router.get("", status_code=status.HTTP_200_OK)
async def get_chats(
pagination: Annotated[PaginationQuery, Query()],
current_user: Annotated[UserDTO, Depends(get_current_user)],
chat_service: Annotated[ChatService, Depends(get_chat_service)],
) -> GetChatOut:
after = None
if pagination.cursor is not None:
after = decode_cursor(
pagination.cursor,
expected_kind="chats",
expected_owner_id=current_user.id,
)
chats = await chat_service.get_chats(
current_user_id=current_user.id, limit=pagination.limit + 1, after=after
)
page = chats[: pagination.limit]
next_cursor = None
if len(chats) > pagination.limit:
last = page[-1]
next_cursor = encode_cursor("chats", current_user.id, last.created_at, last.id)
return GetChatOut(
items=[_to_chat_out(chat) for chat in page],
next_cursor=next_cursor,
)
@router.get("/{chat_id}", summary="Получить доступный чат")
async def get_chat(
chat_id: UUID,
current_user: Annotated[UserDTO, Depends(get_current_user)],
chat_service: Annotated[ChatService, Depends(get_chat_service)],
) -> ChatOut:
try:
chat = await chat_service.get_chat(
chat_id=chat_id,
current_user_id=current_user.id,
)
except ChatNotFoundException as error:
raise ApiError(404, "not_found", str(error)) from error
return _to_chat_out(chat)
+42
View File
@@ -0,0 +1,42 @@
from datetime import datetime
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field, field_validator
class CreateChatIn(BaseModel):
model_config = ConfigDict(extra="forbid")
title: str = Field(min_length=1, max_length=100)
member_ids: list[UUID] = Field(min_length=1, max_length=100)
@field_validator("title")
@classmethod
def title_must_not_be_blank(cls, value: str) -> str:
value.encode("utf-8")
if not value.strip():
raise ValueError("title не может состоять только из пробелов")
return value
@field_validator("member_ids")
@classmethod
def member_ids_must_be_unique(cls, value: list[UUID]) -> list[UUID]:
if len(value) != len(set(value)):
raise ValueError("member_ids не должен содержать дубликаты")
return value
class ChatOut(BaseModel):
model_config = ConfigDict(extra="forbid")
id: UUID
title: str
member_ids: list[UUID]
created_at: datetime
class GetChatOut(BaseModel):
model_config = ConfigDict(extra="forbid")
items: list[ChatOut]
next_cursor: str | None
+96
View File
@@ -0,0 +1,96 @@
import re
from typing import Annotated
from uuid import UUID
from fastapi import APIRouter, Depends, Header, Query, Request, status
from src.api.dependencies import get_current_user, get_message_service
from src.api.v1.routers.messages.schemas import (
CreateMessageIn,
MessageOut,
MessagePageOut,
)
from src.api.v1.schemas import PaginationQuery
from src.core.errors import ApiError
from src.core.pagination import decode_cursor, encode_cursor
from src.service.dto import MessageDTO, UserDTO
from src.service.exceptions import ChatNotFoundException, IdempotencyConflictException
from src.service.message import MessageService
router = APIRouter(prefix="/chats", tags=["Сообщения"])
def _to_message_out(message: MessageDTO) -> MessageOut:
return MessageOut(
id=message.id,
chat_id=message.chat_id,
sender_id=message.sender_id,
text=message.text,
attachment_ids=list(message.attachment_ids),
created_at=message.created_at,
)
@router.post("/{chat_id}/messages", status_code=status.HTTP_201_CREATED)
async def create_message(
chat_id: UUID,
message_in: CreateMessageIn,
request: Request,
current_user: Annotated[UserDTO, Depends(get_current_user)],
message_service: Annotated[MessageService, Depends(get_message_service)],
idempotency_key: Annotated[str, Header()],
) -> MessageOut:
if (
len(request.headers.getlist("idempotency-key")) != 1
or re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", idempotency_key) is None
):
raise ApiError(400, "invalid_request", "Требуется корректный Idempotency-Key")
try:
message = await message_service.create_message(
chat_id=chat_id,
sender_id=current_user.id,
text=message_in.text,
attachment_ids=message_in.attachment_ids,
idempotency_key=idempotency_key,
)
except ChatNotFoundException as error:
raise ApiError(404, "not_found", str(error)) from error
except IdempotencyConflictException as error:
raise ApiError(409, "conflict", "Ключ уже использован для другого сообщения") from error
return _to_message_out(message)
@router.get("/{chat_id}/messages", status_code=status.HTTP_200_OK)
async def get_messages(
chat_id: UUID,
pagination: Annotated[PaginationQuery, Query()],
current_user: Annotated[UserDTO, Depends(get_current_user)],
message_service: Annotated[MessageService, Depends(get_message_service)],
) -> MessagePageOut:
after = None
if pagination.cursor is not None:
after = decode_cursor(
pagination.cursor,
expected_kind="messages",
expected_owner_id=chat_id,
)
try:
messages = await message_service.get_messages(
chat_id=chat_id,
current_user_id=current_user.id,
limit=pagination.limit + 1,
after=after,
)
except ChatNotFoundException as error:
raise ApiError(404, "not_found", str(error)) from error
page = messages[: pagination.limit]
next_cursor = None
if len(messages) > pagination.limit:
last = page[-1]
next_cursor = encode_cursor("messages", chat_id, last.created_at, last.id)
return MessagePageOut(
items=[_to_message_out(message) for message in page],
next_cursor=next_cursor,
)
+43
View File
@@ -0,0 +1,43 @@
from datetime import datetime
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field, field_validator, model_validator
class CreateMessageIn(BaseModel):
model_config = ConfigDict(extra="forbid")
text: str = Field(max_length=4000)
attachment_ids: list[UUID] = Field(default_factory=list, max_length=10)
@field_validator("text")
@classmethod
def text_must_not_be_blank(cls, value: str) -> str:
value.encode("utf-8")
return value
@model_validator(mode="after")
def validate_message(self):
if not self.text.strip() and not self.attachment_ids:
raise ValueError("Требуется текст или вложение")
if len(set(self.attachment_ids)) != len(self.attachment_ids):
raise ValueError("Вложения не должны повторяться")
return self
class MessageOut(BaseModel):
model_config = ConfigDict(extra="forbid")
id: UUID
chat_id: UUID
sender_id: UUID
text: str
attachment_ids: list[UUID]
created_at: datetime
class MessagePageOut(BaseModel):
model_config = ConfigDict(extra="forbid")
items: list[MessageOut]
next_cursor: str | None
+44
View File
@@ -0,0 +1,44 @@
from typing import Annotated
from fastapi import APIRouter, Depends, status
from src.api.dependencies import get_current_user, get_user_service
from src.api.v1.routers.users.schemas import CreateUserIn, UserOut
from src.core.errors import ApiError
from src.service.dto import UserDTO
from src.service.exceptions import UserAlreadyExistsException
from src.service.user import UserService
router = APIRouter(prefix="/users", tags=["Пользователи"])
def _to_user_out(user: UserDTO) -> UserOut:
return UserOut(
id=user.id,
username=user.username,
display_name=user.display_name,
created_at=user.created_at,
)
@router.post("", status_code=status.HTTP_201_CREATED)
async def create_user(
user_in: CreateUserIn,
user_service: Annotated[UserService, Depends(get_user_service)],
) -> UserOut:
try:
user = await user_service.create_user(
password=user_in.password,
username=user_in.username,
display_name=user_in.display_name,
)
except UserAlreadyExistsException as error:
raise ApiError(409, "conflict", str(error)) from error
return _to_user_out(user)
@router.get("/me", status_code=status.HTTP_200_OK)
async def get_me(
current_user: Annotated[UserDTO, Depends(get_current_user)],
) -> UserOut:
return _to_user_out(current_user)
+29
View File
@@ -0,0 +1,29 @@
from datetime import datetime
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field, field_validator
class CreateUserIn(BaseModel):
model_config = ConfigDict(extra="forbid")
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
password: str = Field(min_length=12, max_length=128)
display_name: str = Field(min_length=1, max_length=100)
@field_validator("display_name", "password")
@classmethod
def required_string_must_not_be_blank(cls, value: str) -> str:
value.encode("utf-8")
if not value.strip():
raise ValueError("Обязательная строка не может состоять только из пробелов")
return value
class UserOut(BaseModel):
model_config = ConfigDict(extra="forbid")
id: UUID
username: str
display_name: str
created_at: datetime
+21
View File
@@ -0,0 +1,21 @@
import re
from pydantic import BaseModel, ConfigDict, Field, field_validator
from src.core.settings import settings
class PaginationQuery(BaseModel):
model_config = ConfigDict(extra="forbid")
limit: int = Field(default=50, ge=1, le=100)
cursor: str | None = Field(default=None, min_length=1, max_length=settings.cursor_max_length)
@field_validator("limit", mode="before")
@classmethod
def limit_must_be_integer(cls, value):
if isinstance(value, bool) or isinstance(value, float):
raise ValueError("limit должен быть целым числом")
if isinstance(value, str) and re.fullmatch(r"[0-9]+", value) is None:
raise ValueError("limit должен содержать десятичные цифры")
return value
View File
+68
View File
@@ -0,0 +1,68 @@
"""Клиент Redis и необязательный кэш профилей пользователей."""
import logging
from redis.asyncio import Redis
from redis.exceptions import RedisError
from src.core.settings import settings
logger = logging.getLogger(__name__)
cache: Redis | None = None
def open_cache():
global cache
cache = Redis.from_url(
settings.redis_url.get_secret_value(),
decode_responses=True,
max_connections=settings.redis_max_connections,
socket_connect_timeout=settings.redis_connect_timeout_seconds,
socket_timeout=settings.redis_read_timeout_seconds,
retry_on_timeout=settings.redis_retry_on_timeout,
)
async def close_cache():
global cache
if cache is not None:
await cache.aclose()
cache = None
async def get(key: str) -> str | None:
if cache is None:
return None
try:
return await cache.get(key)
except UnicodeError:
logger.warning("Повреждённый UTF-8 в кэше профиля; читаем PostgreSQL")
await delete(key)
return None
except (RedisError, OSError):
logger.warning("Redis недоступен; читаем профиль из PostgreSQL")
return None
async def set(key: str, value: str):
if cache is None:
return
try:
await cache.set(key, value, ex=settings.profile_cache_ttl_seconds)
except (RedisError, OSError):
logger.warning("Redis недоступен; пропускаем запись кэша")
async def delete(key: str) -> None:
if cache is None:
return
try:
await cache.delete(key)
except (RedisError, OSError):
logger.warning("Redis недоступен; пропускаем удаление кэша профиля")
def get_client() -> Redis:
if cache is None:
raise RedisError("Клиент Redis не настроен")
return cache
+24
View File
@@ -0,0 +1,24 @@
from collections.abc import AsyncIterator
from contextlib import asynccontextmanager
from fastapi import FastAPI
from src.api.v1.routers.auth.callback import create_admin
from src.core import readiness
from src.core.db import session as database
STARTUP_CALLBACKS = (create_admin,)
@asynccontextmanager
async def lifespan(app: FastAPI) -> AsyncIterator[None]:
async with database.database_lifespan(app):
session_factory = database.session_factory
if session_factory is None:
raise RuntimeError("Фабрика сессий не запущена")
for callback in STARTUP_CALLBACKS:
await callback(session_factory)
try:
yield
finally:
await readiness.close()
View File
+205
View File
@@ -0,0 +1,205 @@
from datetime import datetime
from uuid import UUID
from sqlalchemy import (
JSON,
BigInteger,
Boolean,
CheckConstraint,
DateTime,
ForeignKey,
ForeignKeyConstraint,
Index,
Integer,
String,
Text,
UniqueConstraint,
false,
)
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column, relationship
from src.core.db.types import Utf8Text
class Base(DeclarativeBase):
pass
class User(Base):
__tablename__ = "users"
__table_args__ = (
CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
CheckConstraint(
"octet_length(display_name) BETWEEN 1 AND 400", name="users_display_name_bytes_check"
),
)
id: Mapped[UUID] = mapped_column(primary_key=True)
username: Mapped[str] = mapped_column(String(32), unique=True)
display_name: Mapped[str] = mapped_column(Utf8Text())
password_hash: Mapped[str] = mapped_column(Text)
is_admin: Mapped[bool] = mapped_column(Boolean, default=False, server_default=false())
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
class Chat(Base):
__tablename__ = "chats"
__table_args__ = (
CheckConstraint("octet_length(title) BETWEEN 1 AND 400", name="chats_title_bytes_check"),
)
id: Mapped[UUID] = mapped_column(primary_key=True)
title: Mapped[str] = mapped_column(Utf8Text())
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
members: Mapped[list["ChatMember"]] = relationship(order_by="ChatMember.user_id")
class ChatMember(Base):
__tablename__ = "chat_members"
__table_args__ = (Index("chat_members_user_idx", "user_id", "chat_id"),)
chat_id: Mapped[UUID] = mapped_column(
ForeignKey("chats.id", ondelete="CASCADE"), primary_key=True
)
user_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"), primary_key=True)
class Message(Base):
__tablename__ = "messages"
__table_args__ = (
ForeignKeyConstraint(
["chat_id", "sender_id"], ["chat_members.chat_id", "chat_members.user_id"]
),
CheckConstraint("octet_length(text) BETWEEN 0 AND 16000", name="messages_text_bytes_check"),
UniqueConstraint("chat_id", "id"),
Index("messages_history_idx", "chat_id", "created_at", "id"),
)
id: Mapped[UUID] = mapped_column(primary_key=True)
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"))
sender_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"))
attachments: Mapped[list["MessageAttachment"]] = relationship(
lazy="selectin", order_by="MessageAttachment.position"
)
text: Mapped[str] = mapped_column(Utf8Text())
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
class MessageRequest(Base):
# Таблица обслуживает только POST /chats/{chat_id}/messages: метод и путь
# однозначно заданы таблицей и chat_id. Общая область ключа: sender/chat/key.
__tablename__ = "message_requests"
sender_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"), primary_key=True)
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"), primary_key=True)
key: Mapped[str] = mapped_column(String(128), primary_key=True)
request_text: Mapped[str] = mapped_column(Utf8Text())
request_attachment_ids: Mapped[str] = mapped_column(Text, default="", server_default="")
message_id: Mapped[UUID | None] = mapped_column(ForeignKey("messages.id"))
expires_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
class Attachment(Base):
__tablename__ = "attachments"
__table_args__ = (
UniqueConstraint("chat_id", "id"),
CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
CheckConstraint(
"status IN ('queued', 'processing', 'ready', 'failed')", name="attachments_status_check"
),
CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
Index("attachments_chat_idx", "chat_id"),
)
id: Mapped[UUID] = mapped_column(primary_key=True)
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"))
owner_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"))
filename: Mapped[str] = mapped_column(String(255))
object_key: Mapped[str] = mapped_column(Text, unique=True)
content_type: Mapped[str] = mapped_column(String(32))
size_bytes: Mapped[int] = mapped_column(BigInteger)
sha256: Mapped[str] = mapped_column(String(64))
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
storage_missing_since: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
status: Mapped[str] = mapped_column(String(16), default="ready", server_default="ready")
error_code: Mapped[str | None] = mapped_column(String(64))
staging_key: Mapped[str | None] = mapped_column(Text)
variants: Mapped[list] = mapped_column(JSON, default=list, server_default="[]")
class AttachmentJob(Base):
"""A job is also its transactional outbox: published_at=NULL means send it."""
__tablename__ = "attachment_jobs"
__table_args__ = (
UniqueConstraint("attachment_id", "pipeline_version"),
CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
CheckConstraint("pipeline_version = 1"),
Index("attachment_jobs_dispatch_idx", "state", "next_run_at"),
)
id: Mapped[UUID] = mapped_column(primary_key=True)
attachment_id: Mapped[UUID] = mapped_column(ForeignKey("attachments.id"))
pipeline_version: Mapped[int] = mapped_column(Integer, default=1)
state: Mapped[str] = mapped_column(String(16), default="queued")
attempt: Mapped[int] = mapped_column(Integer, default=1)
cycle_attempt: Mapped[int] = mapped_column(Integer, default=1)
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
next_run_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
published_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
lease_until: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
claim_token: Mapped[UUID | None] = mapped_column()
error_code: Mapped[str | None] = mapped_column(String(64))
fault: Mapped[str | None] = mapped_column(String(32))
class JobReplay(Base):
__tablename__ = "job_replays"
id: Mapped[UUID] = mapped_column(primary_key=True)
job_id: Mapped[UUID] = mapped_column(ForeignKey("attachment_jobs.id"))
operator: Mapped[str] = mapped_column(String(100))
reason: Mapped[str] = mapped_column(String(500))
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
attempt: Mapped[int] = mapped_column(Integer)
class MessageAttachment(Base):
__tablename__ = "message_attachments"
__table_args__ = (
ForeignKeyConstraint(
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
),
ForeignKeyConstraint(
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
),
UniqueConstraint("message_id", "position"),
CheckConstraint("position BETWEEN 0 AND 9"),
)
message_id: Mapped[UUID] = mapped_column(primary_key=True)
attachment_id: Mapped[UUID] = mapped_column(primary_key=True)
chat_id: Mapped[UUID] = mapped_column()
position: Mapped[int] = mapped_column(Integer)
class UploadIntent(Base):
__tablename__ = "upload_intents"
__table_args__ = (CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),)
object_key: Mapped[str] = mapped_column(Text, primary_key=True)
state: Mapped[str] = mapped_column(String(16))
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
class StorageFinding(Base):
__tablename__ = "storage_findings"
__table_args__ = (CheckConstraint("kind IN ('orphan', 'missing')"),)
object_key: Mapped[str] = mapped_column(Text, primary_key=True)
kind: Mapped[str] = mapped_column(String(16), primary_key=True)
fingerprint: Mapped[str | None] = mapped_column(Text)
first_seen: Mapped[datetime] = mapped_column(DateTime(timezone=True))
last_seen: Mapped[datetime] = mapped_column(DateTime(timezone=True))
resolved_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
View File
+16
View File
@@ -0,0 +1,16 @@
from sqlalchemy import select
from sqlalchemy.ext.asyncio import AsyncSession
from src.core.db.models import User
from src.core.db.repo.user import to_user
from src.service.dto import UserCredentialsDTO
async def fetch_user_credentials(
session: AsyncSession,
username: str,
) -> UserCredentialsDTO | None:
user = await session.scalar(select(User).where(User.username == username))
if user is None:
return None
return UserCredentialsDTO(user=to_user(user), password_hash=user.password_hash)
+59
View File
@@ -0,0 +1,59 @@
from datetime import datetime
from uuid import UUID
from sqlalchemy import select, tuple_
from sqlalchemy.ext.asyncio import AsyncSession
from sqlalchemy.orm import selectinload
from src.core.db.models import Chat, ChatMember
from src.service.dto import ChatDTO
def to_chat(chat: Chat) -> ChatDTO:
return ChatDTO(
chat.id, chat.title, tuple(member.user_id for member in chat.members), chat.created_at
)
async def fetch_chat_by_id(session: AsyncSession, chat_id: UUID) -> ChatDTO | None:
chat = await session.scalar(
select(Chat).options(selectinload(Chat.members)).where(Chat.id == chat_id),
)
return to_chat(chat) if chat else None
async def fetch_chats(
session: AsyncSession,
user_id: UUID,
limit: int,
after: tuple[datetime, UUID] | None = None,
) -> list[ChatDTO]:
query = (
select(Chat)
.options(selectinload(Chat.members))
.join(ChatMember)
.where(ChatMember.user_id == user_id)
)
if after is not None:
query = query.where(tuple_(Chat.created_at, Chat.id) > after)
chats = await session.scalars(query.order_by(Chat.created_at, Chat.id).limit(limit))
return [to_chat(chat) for chat in chats]
async def create_chat(
session: AsyncSession,
chat_id: UUID,
title: str,
member_ids: list[UUID],
created_at: datetime,
) -> ChatDTO:
chat = Chat(
id=chat_id,
title=title,
created_at=created_at,
members=[ChatMember(user_id=user_id) for user_id in member_ids],
)
session.add(chat)
# ORM сохраняет чат и участников в транзакции текущего запроса.
await session.flush()
return to_chat(chat)
+151
View File
@@ -0,0 +1,151 @@
from datetime import datetime
from uuid import UUID
from sqlalchemy import or_, select, tuple_
from sqlalchemy.ext.asyncio import AsyncSession
from src.core.db.models import Attachment, Message, MessageAttachment, MessageRequest
from src.service.dto import MessageDTO
def to_message(message: Message) -> MessageDTO:
return MessageDTO(
message.id,
message.chat_id,
message.sender_id,
message.text,
message.created_at,
tuple(link.attachment_id for link in message.attachments),
)
def history_query(chat_id: UUID, limit: int, after: tuple[datetime, UUID] | None = None):
query = select(Message).where(Message.chat_id == chat_id)
if after is not None:
query = query.where(tuple_(Message.created_at, Message.id) > after)
return query.order_by(Message.created_at, Message.id).limit(limit)
async def fetch_messages_by_chat_id(
session: AsyncSession,
chat_id: UUID,
limit: int,
after: tuple[datetime, UUID] | None = None,
) -> list[MessageDTO]:
messages = await session.scalars(history_query(chat_id, limit, after))
return [to_message(message) for message in messages]
async def create_message(
session: AsyncSession,
message_id: UUID,
chat_id: UUID,
sender_id: UUID,
text: str,
created_at: datetime,
attachment_ids: list[UUID] | None = None,
) -> MessageDTO:
message = Message(
id=message_id,
chat_id=chat_id,
sender_id=sender_id,
text=text,
created_at=created_at,
attachments=[
MessageAttachment(chat_id=chat_id, attachment_id=aid, position=i)
for i, aid in enumerate(attachment_ids or [])
],
)
session.add(message)
await session.flush()
return to_message(message)
async def create_idempotent_message(
session: AsyncSession,
message_id: UUID,
chat_id: UUID,
sender_id: UUID,
text: str,
created_at: datetime,
idempotency_key: str,
attachment_ids: list[UUID] | None = None,
) -> MessageDTO:
from sqlalchemy import func, update
from sqlalchemy import text as sql_text
from sqlalchemy.dialects.postgresql import insert
from src.core.errors import ApiError
from src.service.exceptions import IdempotencyConflictException
attachment_ids = attachment_ids or []
request_attachments = ",".join(str(aid) for aid in attachment_ids)
if attachment_ids:
found = set(
await session.scalars(
select(Attachment.id).where(
Attachment.chat_id == chat_id, Attachment.id.in_(attachment_ids)
)
)
)
if found != set(attachment_ids):
raise ApiError(404, "not_found", "Вложение не найдено")
identity = (
MessageRequest.sender_id == sender_id,
MessageRequest.chat_id == chat_id,
MessageRequest.key == idempotency_key,
)
# UNIQUE/UPSERT сериализует конкурентные повторы даже на разных процессах.
# Проигравший ждёт COMMIT; при rollback он сам получает право на создание.
values = dict(
sender_id=sender_id,
chat_id=chat_id,
key=idempotency_key,
request_text=text,
request_attachment_ids=request_attachments,
message_id=None,
expires_at=func.clock_timestamp() + sql_text("interval '24 hours'"),
)
claim = (
insert(MessageRequest)
.values(**values)
.on_conflict_do_update(
index_elements=["sender_id", "chat_id", "key"],
set_={
k: v
for k, v in values.items()
if k in {"request_text", "request_attachment_ids", "message_id", "expires_at"}
},
where=MessageRequest.expires_at <= func.clock_timestamp(),
)
.returning(MessageRequest.key)
)
owned = await session.scalar(claim)
if owned is None:
existing = (await session.execute(select(MessageRequest).where(*identity))).scalar_one()
if existing.request_text != text or existing.request_attachment_ids != request_attachments:
raise IdempotencyConflictException
message = await session.get(Message, existing.message_id)
if message is None:
raise RuntimeError("Нарушена атомарность результата идемпотентности")
return to_message(message)
if attachment_ids:
missing = await session.scalar(
select(Attachment.id)
.where(
Attachment.id.in_(attachment_ids),
or_(Attachment.storage_missing_since.is_not(None), Attachment.status == "failed"),
)
.limit(1)
)
if missing is not None:
raise ApiError(409, "conflict", "Оригинал вложения недоступен")
message = await create_message(
session, message_id, chat_id, sender_id, text, created_at, attachment_ids
)
await session.execute(update(MessageRequest).where(*identity).values(message_id=message.id))
# COMMIT сообщения и ключа выполняется вместе в get_db_session до HTTP 201.
return message
+120
View File
@@ -0,0 +1,120 @@
import json
import re
from dataclasses import asdict
from datetime import datetime, timezone
from uuid import UUID
from sqlalchemy import func, select
from sqlalchemy.dialects.postgresql import insert
from sqlalchemy.ext.asyncio import AsyncSession
from src.core import cache
from src.core.db.models import User
from src.service.dto import UserDTO
def to_user(user: User) -> UserDTO:
return UserDTO(user.id, user.username, user.display_name, user.created_at)
async def fetch_user_by_id(session: AsyncSession, user_id: UUID) -> UserDTO | None:
key = f"user:v1:{user_id}"
cached = await cache.get(key)
if cached is not None:
try:
data = json.loads(cached)
if (
not isinstance(data, dict)
or set(data) != {"id", "username", "display_name", "created_at"}
or not all(isinstance(value, str) for value in data.values())
):
raise ValueError
created_at = datetime.fromisoformat(data["created_at"])
if created_at.tzinfo is None:
raise ValueError
data["display_name"].encode("utf-8")
user = UserDTO(
UUID(data["id"]),
data["username"],
data["display_name"],
created_at.astimezone(timezone.utc),
)
if (
user.id != user_id
or re.fullmatch(r"[a-z0-9_]{3,32}", user.username) is None
or not 1 <= len(user.display_name) <= 100
or not user.display_name.strip()
or user.created_at.tzinfo is None
):
raise ValueError
return user
except (ValueError, KeyError, TypeError, OverflowError):
await cache.delete(key)
model = await session.get(User, user_id)
user = to_user(model) if model else None
if user:
await cache.set(key, json.dumps(asdict(user), default=str))
return user
async def fetch_user_by_username(session: AsyncSession, username: str) -> UserDTO | None:
model = await session.scalar(select(User).where(User.username == username))
return to_user(model) if model else None
async def create_user(
session: AsyncSession,
user_id: UUID,
username: str,
display_name: str,
created_at: datetime,
password_hash: str,
) -> UserDTO:
user = User(
id=user_id,
username=username,
display_name=display_name,
created_at=created_at,
password_hash=password_hash,
)
session.add(user)
await session.flush()
return to_user(user)
async def users_exist(session: AsyncSession, user_ids: list[UUID]) -> bool:
count = await session.scalar(
select(func.count()).select_from(User).where(User.id.in_(user_ids))
)
return count == len(user_ids)
async def create_admin(
session: AsyncSession,
user_id: UUID,
username: str,
display_name: str,
password_hash: str,
created_at: datetime,
) -> UserDTO | None:
user = await session.scalar(
insert(User)
.values(
id=user_id,
username=username,
display_name=display_name,
password_hash=password_hash,
created_at=created_at,
is_admin=True,
)
.on_conflict_do_nothing(index_elements=[User.username])
.returning(User)
)
return to_user(user) if user else None
async def admin_exists(session: AsyncSession, username: str) -> bool:
user_id = await session.scalar(
select(User.id).where(User.username == username, User.is_admin.is_(True))
)
return user_id is not None

Some files were not shown because too many files have changed in this diff Show More