ЛР 5 — БПИ2301 — Каменский — на 4 #85
+56
-18
@@ -1,25 +1,63 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
POSTGRES_DB=messenger
|
||||
POSTGRES_USER=messenger
|
||||
# Задай свой локальный пароль перед запуском. Не добавляй .env в Git.
|
||||
POSTGRES_PASSWORD=
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
# REDIS_URL задаётся в compose.yaml; Redis хранит сессии с TTL и кэш профилей на 60 секунд.
|
||||
LOG_LEVEL=INFO
|
||||
# DATABASE_URL и REDIS_URL передаёт Compose. При ручном запуске задай их в окружении.
|
||||
# Остальные параметры и значения по умолчанию: src/core/settings.py (AppSettings).
|
||||
|
||||
# Стартовый администратор; повторный запуск не меняет существующий пароль.
|
||||
ADMIN_USERNAME=admin
|
||||
ADMIN_PASSWORD=admin-password-123
|
||||
ADMIN_DISPLAY_NAME=Администратор
|
||||
|
||||
# APP_ENV=production запрещает учебный ADMIN_PASSWORD. Пароль существующего
|
||||
# администратора должен совпадать с настройкой; автоматического сброса нет.
|
||||
# HTTP_MAX_BODY_BYTES=65536
|
||||
# HTTP_BODY_TIMEOUT_SECONDS=5
|
||||
# HTTP_REQUEST_TIMEOUT_SECONDS=5
|
||||
# HTTP_CONCURRENCY_LIMIT=64
|
||||
# PASSWORD_HASH_CONCURRENCY=2
|
||||
|
||||
# Lab3: число реплик и лимиты каждой API-реплики. Наружу доступен только LB.
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
API_CPUS=0.5
|
||||
API_MEMORY=512m
|
||||
DATABASE_POOL_SIZE=10
|
||||
POSTGRES_CPUS=1.0
|
||||
|
||||
# Lab4. Local synthetic credentials; MinIO is accessible only inside Compose.
|
||||
MINIO_ROOT_USER=messenger
|
||||
MINIO_ROOT_PASSWORD=local-messenger-s3-password
|
||||
S3_ACCESS_KEY_ID=messenger-api
|
||||
S3_SECRET_ACCESS_KEY=local-messenger-api-password
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
WORKER_CONCURRENCY=2
|
||||
UPLOAD_CONCURRENCY=1
|
||||
# Manual API startup additionally needs S3_ENDPOINT=http://host:9000.
|
||||
|
||||
# Automatic reconciliation runs every 300 seconds; default grace is five minutes.
|
||||
S3_RECONCILE_ACCESS_KEY_ID=messenger-reconciler
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY=local-messenger-reconciler-password
|
||||
RECONCILE_GRACE_SECONDS=300
|
||||
|
||||
# Lab5: separate durable Redis Streams broker and isolated image worker.
|
||||
BROKER_URL=redis://broker:6379/0
|
||||
S3_WORKER_ACCESS_KEY_ID=messenger-worker
|
||||
S3_WORKER_SECRET_ACCESS_KEY=local-messenger-worker-password
|
||||
WORKER_CONCURRENCY=1
|
||||
WORKER_MEMORY=1g
|
||||
WORKER_MEMORY_MB=768
|
||||
WORKER_CPUS=1.0
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
JOB_TIMEOUT_SECONDS=30
|
||||
JOB_LEASE_SECONDS=120
|
||||
JOB_RETRY_BASE_SECONDS=2
|
||||
JOB_RETRY_CAP_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=604800
|
||||
# Only enable on an isolated fault-test stand, never normal operation.
|
||||
PIPELINE_FAULT_INJECTION=false
|
||||
|
||||
@@ -0,0 +1,4 @@
|
||||
# Matplotlib SVG paths contain generated trailing separators.
|
||||
evidence/**/*.svg -whitespace
|
||||
# Preserve generated measurements byte-for-byte for evidence checksums.
|
||||
evidence/**/*.csv -text -whitespace
|
||||
@@ -1,18 +1,21 @@
|
||||
## Лабораторная 5
|
||||
## Лабораторная 5: очередь и обработка изображений
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: **Каменский Андрей, БПИ2301**.
|
||||
Целевая оценка: **4**. Исследовательский трек на 5 не заявлен.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Загрузка возвращает 202 queued после устойчивого staging и COMMIT вложения с
|
||||
job/outbox. Отдельный Redis Streams broker и worker готовят thumbnail, crop и
|
||||
optimized WebP. Сохранены авторизация, сообщения, оригиналы и работа двух API.
|
||||
Dispatcher восстанавливает непубликованные задания и истёкшие processing.
|
||||
Есть ограниченный retry с jitter, реестр failed, audit replay и staging retention.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Проверка: `make verify-lab5 PYTHON=.venv/bin/python`. Отчёт: REPORT.md,
|
||||
сводка: evidence/lab5-summary.json. Проверки используют отдельный новый Compose
|
||||
проект и реальные падения процессов; публичные tests взяты из skeleton lab5.
|
||||
|
||||
- [x] Сохранены обязательные возможности предыдущих работ с переходом 201 → 202.
|
||||
- [x] Есть отдельные broker/worker, persistence и подтверждение после DB COMMIT.
|
||||
- [x] Оригинал и три варианта создаются по контракту.
|
||||
- [x] Реализованы outbox, ограниченный retry, failed registry и replay с audit.
|
||||
- [x] Есть lease recovery, ограниченная конкуренция и безопасная очистка staging.
|
||||
- [x] Инструкции запуска, проверок, ограничения и помощь ИИ описаны в отчёте.
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
name: Skeleton contracts
|
||||
name: Lab5 contracts and application
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
@@ -9,8 +9,24 @@ jobs:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: actions/setup-python@v5
|
||||
with:
|
||||
python-version: '3.12'
|
||||
python-version: '3.13'
|
||||
- run: python -m pip install -r requirements-dev.txt
|
||||
- run: make check validate PYTHON=python
|
||||
# This job validates the skeleton, not a student solution.
|
||||
# Add build, readiness and make test in a separate application job.
|
||||
- run: make check validate lint PYTHON=python
|
||||
application:
|
||||
needs: contracts
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 25
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: actions/setup-python@v5
|
||||
with:
|
||||
python-version: '3.13'
|
||||
- run: python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
- run: make verify-lab5 PYTHON=python
|
||||
- uses: actions/upload-artifact@v4
|
||||
if: always()
|
||||
with:
|
||||
name: lab5-evidence
|
||||
path: |
|
||||
evidence/lab5-*.json
|
||||
evidence/lab5-*.txt
|
||||
|
||||
@@ -30,3 +30,5 @@ coverage/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
.ruff_cache/
|
||||
|
||||
+25
@@ -0,0 +1,25 @@
|
||||
FROM python:3.13.0-slim-bookworm
|
||||
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt \
|
||||
&& python -m pip uninstall --yes pip \
|
||||
&& addgroup --system app \
|
||||
&& adduser --system --ingroup app app
|
||||
|
||||
COPY --chown=app:app src ./src
|
||||
COPY --chown=app:app migrations ./migrations
|
||||
COPY --chown=app:app infra/s3 ./infra/s3
|
||||
COPY --chown=app:app alembic.ini ./alembic.ini
|
||||
|
||||
USER app
|
||||
EXPOSE 8080
|
||||
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
|
||||
CMD python -c "import urllib.request; from src.core.settings import settings; urllib.request.urlopen(f'http://127.0.0.1:{settings.app_port}/health/ready', timeout=settings.healthcheck_timeout_seconds)"
|
||||
|
||||
CMD ["python", "-m", "src"]
|
||||
@@ -1,8 +0,0 @@
|
||||
# Teaching outline, not a runnable Dockerfile. Implement your own Dockerfile.
|
||||
# 1. Choose a runtime/toolchain version and pin the base image tag/digest.
|
||||
# 2. Copy dependency manifests first; install from the language lockfile.
|
||||
# 3. Copy source and build. For compiled languages use a separate runtime stage.
|
||||
# 4. Run the HTTP process as PID 1; listen on 0.0.0.0:8080.
|
||||
# 5. Add non-root, signals and healthcheck according to the current rubric.
|
||||
# 6. Pass runtime config/secrets at startup, never COPY .env or secret files.
|
||||
# This file deliberately has no FROM/CMD: selecting/implementing them is the task.
|
||||
+125
@@ -0,0 +1,125 @@
|
||||
# Lab5: объяснение реализации и подготовка к защите
|
||||
|
||||
Автор: **Каменский Андрей, БПИ2301**.
|
||||
|
||||
## Что добавлено к четвёртой работе
|
||||
|
||||
Раньше API принимал файл, сохранял оригинал и отвечал 201 ready. Теперь API
|
||||
сначала надёжно принимает исходник, записывает работу и отвечает 202 queued.
|
||||
Отдельный worker готовит версии изображения. У пользователя остаётся одно
|
||||
вложение с одним ID; thumbnail нужен для превью, crop — для квадратного показа,
|
||||
optimized — для показа большого изображения с ограниченным разрешением.
|
||||
|
||||
Пример для 4000×3000: оригинал 4000×3000, thumbnail 256×192, crop 128×128,
|
||||
optimized WebP 1280×960. Оригинал остаётся побайтно прежним.
|
||||
|
||||
## Какие процессы запускаются
|
||||
|
||||
| Процесс | Что делает |
|
||||
| --- | --- |
|
||||
| API × 2 | Пользователи, чаты, сообщения, приём и чтение вложений |
|
||||
| PostgreSQL | Источник истины для вложений, jobs/outbox, попыток и результатов |
|
||||
| Redis | Сессии и кэш предыдущих работ |
|
||||
| Broker: отдельный Redis | Хранит Stream очереди и неподтверждённые доставки |
|
||||
| Dispatcher | Отправляет outbox, восстанавливает истёкшие lease, очищает staging |
|
||||
| Worker | Читает Stream и выполняет обработку |
|
||||
| MinIO | Сохраняет staging, исходные изображения и варианты |
|
||||
| Reconciler | Сохраняет прежнюю сверку originals/ с БД, пропускает незавершённую обработку |
|
||||
| Migration / bootstrap | Подготавливают БД, bucket и S3-политики |
|
||||
|
||||
Pillow делает преобразования в дочернем процессе worker. Redis Streams работает
|
||||
как очередь с consumer group, а не как обычный Pub/Sub. Дополнительный RabbitMQ
|
||||
для этого решения не требуется.
|
||||
|
||||
## Что уже гарантировано в момент 202
|
||||
|
||||
1. Клиент передал все байты, прошли базовые проверки.
|
||||
2. В MinIO надёжно сохранён полный исходник в staging/.
|
||||
3. В одной транзакции PostgreSQL сохранены Attachment и AttachmentJob.
|
||||
4. Эта job является также записью outbox: published_at=NULL означает, что её
|
||||
ещё требуется отправить в брокер.
|
||||
|
||||
Ответ не обещает, что сообщение уже находится в брокере или варианты готовы.
|
||||
Если broker не работает, dispatcher продолжает попытки публикации. API readiness
|
||||
зависит от PostgreSQL, Redis-сессий и MinIO, но не от worker/broker.
|
||||
|
||||
## Зачем outbox
|
||||
|
||||
Обычная последовательность «COMMIT в БД → отправить в очередь» имеет разрыв:
|
||||
процесс может умереть между действиями. У нас намерение отправки — сама job,
|
||||
сохранённая вместе с вложением. Dispatcher найдёт её после восстановления.
|
||||
|
||||
XADD выполняется перед фиксацией published_at. Если broker сохранил сообщение,
|
||||
а dispatcher умер до COMMIT, сообщение будет отправлено повторно. Это допустимо:
|
||||
потеря исключается за счёт сохранённого намерения, а дубли обрабатывает worker.
|
||||
Redis настроен с AOF, appendfsync=always, persistent volume и noeviction.
|
||||
|
||||
## Как переживаем повторную доставку и падение worker
|
||||
|
||||
job_id обозначает одну логическую работу и сохраняется при повторе доставки.
|
||||
Управляемый retry увеличивает attempt, простая redelivery этого не делает.
|
||||
Итоговый ключ эффекта — attachment_id + pipeline_version=1 + variant.
|
||||
В S3 используются детерминированные ключи: повтор не создаёт новый набор файлов.
|
||||
|
||||
Worker фиксирует processing и lease, затем удерживает блокировку строки job
|
||||
на время ограниченной обработки и публикации результата. Конкурирующий consumer
|
||||
пропускает занятую строку. Dispatcher восстанавливает только истёкшие processing,
|
||||
которые не удерживаются живой попыткой. Crash освобождает блокировку; следующая
|
||||
попытка использует тот же исходник и те же конечные ключи.
|
||||
|
||||
После ready повтор проверяет наличие/размер уже зафиксированных объектов и
|
||||
подтверждает доставку без повторной обработки. Нельзя вернуть ready в processing.
|
||||
ACK и удаление записи Stream выполняются одной Redis-транзакцией после DB COMMIT.
|
||||
Это **at least once + идемпотентный эффект**, а не exactly-once доставка.
|
||||
|
||||
## Ошибки, повторы и очистка
|
||||
|
||||
Временная ошибка S3/обработки приводит к retry. Задержка: случайное значение
|
||||
между половиной и полным значением min(cap, base × 2^(номер_попытки−1)).
|
||||
По умолчанию base=2 с, cap=60 с, максимум 5 попыток на цикл.
|
||||
Повреждённый исходник, несовпадение checksum и превышение ресурсов завершаются
|
||||
без бессмысленных повторов. Исчерпание временных попыток даёт retry_exhausted.
|
||||
|
||||
Реестр failed хранится в PostgreSQL и доступен через CLI. Replay принимает
|
||||
только failed с ещё доступным staging и требует operator/reason для аудита.
|
||||
Это новый ограниченный цикл, а не безусловное выполнение успешного дубля.
|
||||
|
||||
После ready staging удаляется отдельным проходом. Между COMMIT ready и удалением
|
||||
может быть задержка; ошибка удаления повторяется. Активные queued/processing
|
||||
никогда не удаляются по возрасту. Failed хранится семь дней. Незавершённые
|
||||
загрузки без задания удаляются по журналу pending после grace (по умолчанию
|
||||
300 с) с той же advisory lock, что используется при загрузке.
|
||||
У старых вложений lab4 staging и конечный original — один ключ: очистка снимает
|
||||
ссылку staging, но не удаляет оригинал.
|
||||
|
||||
## Что показать преподавателю
|
||||
|
||||
Сначала `make test`, затем `make test-lab5`. Для воспроизводимого набора сбоев —
|
||||
`make verify-lab5 PYTHON=.venv/bin/python`: команды и результаты сохраняются
|
||||
в evidence/. Проверки отказов показывают реальные exit codes процессов,
|
||||
неподтверждённую доставку, сохранение ID и неизменность конечных объектов.
|
||||
|
||||
Порядок устного объяснения:
|
||||
|
||||
1. Чем 202 отличается от прежнего 201 и где исходник в этот момент.
|
||||
2. Как dispatcher найдёт задачу после crash между COMMIT и публикацией.
|
||||
3. Почему повтор нормален и почему число объектов не растёт.
|
||||
4. Что случится после S3 PUT до COMMIT результата и после COMMIT до ACK.
|
||||
5. Как lease, DB lock и лимит попыток помогают восстановлению.
|
||||
6. Как посмотреть failed и безопасно повторить его с audit.
|
||||
|
||||
В Redis успешный ответ XADD при выбранной конфигурации подтверждает принятие
|
||||
брокером; XACK означает завершение обработки consumer. В RabbitMQ аналогичные
|
||||
границы называются publisher confirm и consumer acknowledgement — это разные
|
||||
подтверждения.
|
||||
|
||||
## Где читать код
|
||||
|
||||
- src/service/attachment.py — приём и атомарная запись queued + job/outbox.
|
||||
- src/pipeline/dispatcher.py — публикация, lease recovery, staging cleanup.
|
||||
- src/pipeline/worker.py — получение, retry, фиксация результата и ACK.
|
||||
- src/pipeline/images.py — crop, thumbnail, WebP и лимиты дочернего процесса.
|
||||
- src/pipeline/admin.py — реестр failed и явный replay.
|
||||
- migrations/versions/009_pipeline.py — изменение схемы и переход с lab4.
|
||||
- tests/lab5.py — HTTP и реальные fault-injection сценарии.
|
||||
- tests/lab5_migration.py — сохранность старого вложения при миграции.
|
||||
+105
@@ -0,0 +1,105 @@
|
||||
# Лабораторная 5. Очереди и асинхронная обработка изображений
|
||||
|
||||
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
|
||||
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
|
||||
|
||||
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
|
||||
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
|
||||
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
|
||||
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
|
||||
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
|
||||
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
|
||||
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
|
||||
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
|
||||
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
|
||||
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
|
||||
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
|
||||
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
|
||||
|
||||
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
```sh
|
||||
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
|
||||
make check
|
||||
|
||||
# После реализации запустите свой сервер/стенд по REPORT.md.
|
||||
# По умолчанию тест использует http://localhost:8080.
|
||||
make test
|
||||
```
|
||||
|
||||
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
|
||||
|
||||
```sh
|
||||
# Compose-вариант после реализации:
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
# Дождитесь /health/ready; затем make test.
|
||||
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
|
||||
```
|
||||
|
||||
|
||||
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
|
||||
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
|
||||
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
|
||||
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Чем publisher confirm отличается от consumer ack?
|
||||
- Что именно уже сохранено в момент 202?
|
||||
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
|
||||
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
|
||||
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
|
||||
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
|
||||
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
|
||||
@@ -4,27 +4,49 @@ CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover
|
||||
|
||||
.PHONY: help up down migrate lint format check validate test load test-attachments test-idempotency test-api-regressions test-attachment-failover test-persistence test-failover test-lab5 test-lab5-faults verify-lab5 jobs-failed
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
|
||||
@echo "up: start; test: public lab5 smoke; test-lab5: images; verify-lab5: isolated full acceptance"
|
||||
up:
|
||||
docker compose up -d --build --wait
|
||||
down:
|
||||
docker compose down
|
||||
migrate:
|
||||
docker compose run --rm migration
|
||||
lint:
|
||||
$(PYTHON) -m ruff check src
|
||||
$(PYTHON) -m ruff format --check src
|
||||
format:
|
||||
$(PYTHON) -m ruff check --fix src
|
||||
$(PYTHON) -m ruff format src
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
|
||||
validate:
|
||||
$(PYTHON) scripts/validate_openapi.py
|
||||
|
||||
test:
|
||||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
load:
|
||||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-attachments:
|
||||
$(PYTHON) tests/attachments.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-idempotency:
|
||||
$(PYTHON) tests/idempotency.py --base-url "$(BASE_URL)"
|
||||
test-api-regressions:
|
||||
$(PYTHON) tests/api_regressions.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-attachment-failover:
|
||||
$(PYTHON) tests/attachment_failover.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/restart.sh"; exit 2)
|
||||
$(PYTHON) scripts/test-persistence.py --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/stop-one.sh"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-lab5:
|
||||
$(PYTHON) tests/lab5.py --base-url "$(BASE_URL)"
|
||||
test-lab5-faults:
|
||||
@test -n "$(COMPOSE_PROJECT_NAME)" || (echo "Set COMPOSE_PROJECT_NAME to your isolated test project"; exit 2)
|
||||
$(PYTHON) tests/lab5.py --faults --project "$(COMPOSE_PROJECT_NAME)" --base-url "$(BASE_URL)"
|
||||
verify-lab5:
|
||||
$(PYTHON) scripts/verify-lab5.py
|
||||
jobs-failed:
|
||||
docker compose exec -T dispatcher python -m src.pipeline.admin failed
|
||||
|
||||
@@ -1,105 +1,142 @@
|
||||
# Лабораторная 5. Очереди и асинхронная обработка изображений
|
||||
# Лабораторная 5: очередь и обработка изображений
|
||||
|
||||
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
|
||||
Мессенджер на FastAPI: PostgreSQL, Redis-сессии, две API-реплики за HAProxy,
|
||||
приватный MinIO, отдельный Redis Streams broker, dispatcher и worker.
|
||||
Автор: **Каменский Андрей, БПИ2301**.
|
||||
Целевой уровень — **4**. Лабораторная продолжает собственную lab4.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
[Задание](LAB5_TASK.md) · [Отчёт](REPORT.md) · [Объяснение и защита](LAB5_GUIDE.md) ·
|
||||
[Контракт](contracts/README.md) · [Состояния](contracts/attachment-states.md) ·
|
||||
[OpenAPI](contracts/openapi.json)
|
||||
|
||||
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
||||
## Запуск
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
|
||||
|
||||
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
|
||||
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
|
||||
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
|
||||
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
|
||||
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
|
||||
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
|
||||
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
|
||||
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
|
||||
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
|
||||
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
|
||||
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
|
||||
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
|
||||
|
||||
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
|
||||
|
||||
## Как начать и проверить
|
||||
Нужен Docker с Compose v2. Для публичного smoke достаточно Python 3.9+;
|
||||
для полного набора проверок — Python 3.13 и зависимости проекта.
|
||||
|
||||
```sh
|
||||
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
|
||||
make check
|
||||
|
||||
# После реализации запустите свой сервер/стенд по REPORT.md.
|
||||
# По умолчанию тест использует http://localhost:8080.
|
||||
make test
|
||||
# Только если .env ещё нет; существующие настройки сохраняем:
|
||||
python3 scripts/setup-env.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
python3 tests/smoke.py
|
||||
```
|
||||
|
||||
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
|
||||
API: http://localhost:8080, документация: http://localhost:8080/docs.
|
||||
На хост опубликован только HAProxy на loopback. Broker, PostgreSQL и MinIO
|
||||
доступны во внутренней сети Compose. Консоль MinIO выключена.
|
||||
Первый build MinIO компилирует закреплённый исходный commit и требует интернета.
|
||||
Bootstrap создаёт приватный bucket и ограниченные S3-учётные записи.
|
||||
Миграции выполняются автоматически до **009**.
|
||||
|
||||
```sh
|
||||
# Compose-вариант после реализации:
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
# Дождитесь /health/ready; затем make test.
|
||||
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
|
||||
Существующий `.env` менять целиком не нужно: у новых настроек есть значения
|
||||
по умолчанию, полный список находится в `.env.example`. Для собственного стенда
|
||||
задайте отдельный `S3_WORKER_SECRET_ACCESS_KEY` до bootstrap. Старые данные
|
||||
и их идентификаторы сохраняются; миграция ставит прежние вложения в обработку,
|
||||
чтобы создать варианты и для них.
|
||||
|
||||
Остановка с сохранением всех данных: `docker compose down`.
|
||||
Намеренное удаление **всех учебных данных выбранного проекта**:
|
||||
`docker compose down --volumes`. Последнюю команду обычный запуск не требует.
|
||||
|
||||
## Как работает загрузка
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[Клиент] --> LB[HAProxy]
|
||||
LB --> A[API × 2]
|
||||
A --> S[MinIO: staging]
|
||||
A --> PG[(PostgreSQL: вложение + job/outbox)]
|
||||
PG --> D[Dispatcher]
|
||||
D --> Q[(Redis Streams broker)]
|
||||
Q --> W[Worker]
|
||||
S --> W
|
||||
W --> R[MinIO: оригинал и 3 варианта]
|
||||
W --> PG
|
||||
```
|
||||
|
||||
API проверяет доступ, имя, MIME, целостность, 10 MiB и 40 млн пикселей.
|
||||
После сохранения исходника в S3 и атомарного COMMIT вложения/задания возвращает
|
||||
`202`, `status=queued`. До этого ответа файл полностью передан клиентом.
|
||||
Недоступность worker или broker не приводит к синхронному resize в API:
|
||||
задание ждёт в PostgreSQL/outbox.
|
||||
|
||||
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
||||
Dispatcher публикует только ID и служебные данные. Worker берёт ключ исходника
|
||||
из БД, проверяет его SHA-256, создаёт варианты, сохраняет все объекты и лишь
|
||||
потом атомарно фиксирует `ready` с метаданными вариантов. Подтверждение доставки
|
||||
в Streams следует после COMMIT. Повторы используют те же ключи объектов.
|
||||
|
||||
| Вариант | Результат |
|
||||
| --- | --- |
|
||||
| original | Исходные байты PNG/JPEG без изменений |
|
||||
| thumbnail | JPEG quality=85, до 256×256, пропорции, без увеличения |
|
||||
| crop | JPEG quality=85, центральный квадрат 128×128, увеличение допустимо |
|
||||
| optimized | WebP quality=80, method=4, до 1280×1280, без увеличения |
|
||||
|
||||
EXIF orientation применяется к производным изображениям; EXIF/XMP/ICC туда
|
||||
не копируются. Прозрачность компонуется на белый RGB-фон. Размеры при вписывании
|
||||
округляются вниз, минимум 1 px. WebP не обязан быть меньше любого исходника.
|
||||
|
||||
## API
|
||||
|
||||
Загрузка — сырые байты, не multipart:
|
||||
`POST /api/v1/chats/{chat_id}/attachments?filename=photo.png`.
|
||||
Нужны Bearer-токен и `Content-Type: image/png` либо `image/jpeg`.
|
||||
|
||||
`GET /api/v1/attachments/{id}` показывает `queued`, `processing`, `ready` или
|
||||
`failed`. Сообщение может ссылаться на queued/processing; failed отклоняется с 409.
|
||||
До ready скачивание возвращает 409. После готовности:
|
||||
|
||||
```text
|
||||
GET /api/v1/attachments/{id}/content
|
||||
GET /api/v1/attachments/{id}/content?variant=thumbnail
|
||||
GET /api/v1/attachments/{id}/content?variant=crop
|
||||
GET /api/v1/attachments/{id}/content?variant=optimized
|
||||
```
|
||||
|
||||
Все варианты читаются через авторизованный API без redirect. Посторонний
|
||||
пользователь получает 404. В публичных метаданных нет S3-ключей и внутренних URL.
|
||||
Сессии, права, пагинация и идемпотентность сообщений из предыдущих работ сохранены.
|
||||
|
||||
## Проверки
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
make lint check validate PYTHON=.venv/bin/python
|
||||
make test test-attachments test-lab5 test-idempotency PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
||||
Полная приёмка создаёт новый проект Compose, новые случайные пароли и пустые
|
||||
volumes на свободном порту. Проверяет миграцию старого вложения, реальные падения,
|
||||
persistence и failover. В конце удаляет только собственный тестовый проект и
|
||||
его volumes; сохраняет логи в `evidence/lab5-*.txt` и сводку `lab5-summary.json`.
|
||||
|
||||
## Сценарий защиты
|
||||
```sh
|
||||
make verify-lab5 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
|
||||
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
|
||||
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
|
||||
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
|
||||
Отдельный запуск проверок отказов требует явно выбранного изолированного проекта:
|
||||
|
||||
## Что должно быть в PR
|
||||
```sh
|
||||
COMPOSE_PROJECT_NAME=my-lab5-test docker compose up -d --build --wait
|
||||
COMPOSE_PROJECT_NAME=my-lab5-test make test-lab5-faults PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
|
||||
Эти тесты временно останавливают процессы и включают fault injection; обычная
|
||||
конфигурация восстанавливается в `finally`. Публичные tests не подменяют реализацией:
|
||||
`course-tests/` содержит файлы из skeleton lab5 без изменения их проверок.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
## Неудачные задания и повтор
|
||||
|
||||
## Вопросы на защите
|
||||
```sh
|
||||
make jobs-failed
|
||||
# Подставить job_id из реестра; повтор разрешён только для failed:
|
||||
docker compose exec -T dispatcher python -m src.pipeline.admin replay JOB_UUID \
|
||||
--operator student --reason "Хранилище восстановлено"
|
||||
```
|
||||
|
||||
- Чем publisher confirm отличается от consumer ack?
|
||||
- Что именно уже сохранено в момент 202?
|
||||
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
|
||||
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
|
||||
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
|
||||
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
|
||||
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
|
||||
Повтор сохраняет прежний job_id, увеличивает attempt, начинает новый ограниченный
|
||||
цикл попыток и пишет audit в `job_replays`. Ready-задание повторять нельзя.
|
||||
Failed-исходник хранится семь дней; после очистки staging replay отклоняется.
|
||||
Подробнее о гарантиях, настройках и ограничениях — в отчёте и руководстве.
|
||||
|
||||
@@ -1,37 +1,205 @@
|
||||
# Отчёт — лабораторная 5
|
||||
# Лабораторная 5. Очереди и асинхронная обработка изображений
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Автор: Каменский Андрей, БПИ2301. Целевая оценка: **4**.
|
||||
Трек на 5 не заявлен. Реализация продолжает собственный мессенджер lab1–4.
|
||||
Commit/PR в рамках этой работы не публиковались.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker/Compose v2 и интернет для первой сборки MinIO из закреплённого
|
||||
commit. Приложение использует Python 3.13.0, PostgreSQL 16.6, Redis 7.4.2,
|
||||
HAProxy 3.0.12, MinIO RELEASE.2025-10-15T17-29-55Z. Версии Python-библиотек
|
||||
зафиксированы в requirements.txt; обработка — Pillow 13.0.0.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
python3 scripts/setup-env.py # только если .env отсутствует
|
||||
# Скрипт создаёт случайные пароли, права 0600; секреты не печатает.
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
python3 tests/smoke.py
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab4, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Автоматически выполняются миграции до 009, создание bucket, пользователей и
|
||||
S3-политик. Для старого стенда сохраняются прежние .env/volumes. Отдельные действия
|
||||
оператора: создать .env при первом запуске, обеспечить Docker ресурсы и дождаться
|
||||
сборки/healthchecks. БД, S3 или broker вне репозитория не требуются.
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
make verify-lab5 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Полная проверка создаёт собственный UUID-проект на свободном порту, новые пароли
|
||||
и пустые volumes. После проверки удаляется только этот тестовый проект.
|
||||
Результаты сохраняются в evidence/lab5-summary.json и связанных текстовых логах.
|
||||
Обычный останов: `docker compose down` (volumes остаются).
|
||||
Намеренное удаление учебных данных выбранного проекта:
|
||||
`docker compose down --volumes` (не является частью обычного запуска).
|
||||
|
||||
## Архитектура и транзакционные границы
|
||||
|
||||
API × 2 → staging MinIO + PostgreSQL job/outbox → dispatcher → отдельный
|
||||
Redis Streams broker → worker → originals/ + variants/ MinIO → COMMIT ready.
|
||||
HAProxy распределяет HTTP между API. Redis сессий отделён от Redis очереди.
|
||||
PostgreSQL — источник истины для задания, попыток, состояния, результатов и audit.
|
||||
MinIO — источник сохранённых байтов. API и worker не требуют локального
|
||||
постоянного диска: временные файлы используются только в пределах операции.
|
||||
|
||||
1. До PUT отдельно коммитится UploadIntent pending, как в lab4. Advisory lock
|
||||
на staging-ключ защищает загрузку от преждевременной очистки.
|
||||
2. После полного приёма, проверки и S3 PUT одной транзакцией сохраняются
|
||||
Attachment queued, AttachmentJob и committed-состояние UploadIntent.
|
||||
3. Только после этого COMMIT возвращается 202 queued. Ответ не зависит от
|
||||
готовности worker и не утверждает, что broker уже принял сообщение.
|
||||
4. Job одновременно служит outbox. Dispatcher выбирает queued с published_at=NULL
|
||||
и наступившим next_run_at, делает XADD, затем коммитит published_at.
|
||||
5. Worker сохраняет processing/lease, затем блокирует строку job на время
|
||||
ограниченной попытки. После записи всех четырёх объектов атомарно сохраняет
|
||||
варианты, ready и снятие lease.
|
||||
6. XACK и XDEL выполняются одной Redis-транзакцией после DB COMMIT. При retry
|
||||
до ACK фиксируется новое намерение публикации, при failed — конечный результат.
|
||||
|
||||
Успех XADD при AOF appendfsync=always означает принятие брокером. XACK означает,
|
||||
что consumer уже сохранил устойчивый результат либо retry/failed. Это разные
|
||||
границы. При потере ответа XADD публикация повторяется, поэтому доставка at least
|
||||
once, а не exactly once. В Stream не помещаются bytes, credentials или клиентские
|
||||
пути; envelope соответствует contracts/jobs.schema.json. Ключ исходника worker
|
||||
читает из доверенной записи БД, не из произвольного URL сообщения.
|
||||
|
||||
Все прежние возможности сохранены в пределах перехода 201 ready → 202 queued:
|
||||
сессии с TTL, ACL, два API, идемпотентность сообщений, история, лимиты файлов и
|
||||
побайтный оригинал. Queued/processing разрешено прикреплять к сообщению; failed —
|
||||
409. Content для любого неготового вложения — 409. Чужие вложения/варианты — 404.
|
||||
|
||||
Миграция 009 сохраняет старые ID/связи и добавляет job для каждого старого вложения.
|
||||
Его прежний original используется как staging-источник. Очистка учитывает
|
||||
совпадение staging/final key и не удаляет старый оригинал.
|
||||
|
||||
## Преобразования и ограничения
|
||||
|
||||
Все производные версии создаются независимо из исходника после EXIF orientation.
|
||||
Новый RGB canvas не наследует EXIF/XMP/ICC. Alpha компонуется на белый фон.
|
||||
Оригинал никогда не перекодируется, его размер и SHA-256 проверяются worker.
|
||||
|
||||
| Вариант | Параметры |
|
||||
| --- | --- |
|
||||
| thumbnail | JPEG, quality=85, optimize=True, вписать в 256×256 без увеличения |
|
||||
| crop | JPEG, quality=85, optimize=True, центральный квадрат 128×128 |
|
||||
| optimized | WebP, quality=80, method=4, вписать в 1280×1280 без увеличения |
|
||||
|
||||
Вписывание использует целочисленное округление вниз и минимум 1 px. Crop может
|
||||
увеличивать маленький исходник. Не заявляется уменьшение каждого WebP относительно
|
||||
оригинала. Формат, размеры и SHA-256 вариантов находятся в публичных метаданных,
|
||||
ключи S3 там отсутствуют. Скачивание идёт через API без redirect.
|
||||
|
||||
Лимит HTTP — 10 MiB, декодированных пикселей — 40 млн. Проверки размера/формата
|
||||
сохранены в API и повторяются при обработке. Дочерний Linux-процесс Pillow имеет
|
||||
RLIMIT_AS=768 MiB и CPU limit; parent завершает и дожидается его по wall timeout
|
||||
30 с. Worker-контейнер ограничен 1 GiB, 1 CPU, tmpfs 128 MiB. S3-вызовы имеют
|
||||
ограничения connect/read (5 с); timeout обработки относится к преобразованию,
|
||||
а не к полной HTTP-загрузке или всей очереди.
|
||||
|
||||
## Повторы, конкурентность, восстановление и retention
|
||||
|
||||
По умолчанию один consumer, prefetch=1. WORKER_CONCURRENCY задаёт число consumers;
|
||||
каждый берёт по одному сообщению. После ошибки временного класса применяется
|
||||
backoff с jitter: U(cap/2, cap), cap=min(60 с, 2 с × 2^(cycle_attempt−1)).
|
||||
Максимум JOB_MAX_ATTEMPTS=5 на цикл. Ошибки формата/checksum/ресурсов постоянные;
|
||||
ошибки доступности и wall timeout временные. Клиент видит безопасный error_code,
|
||||
при исчерпании попыток — retry_exhausted. Бесконечного retry обработки нет.
|
||||
Публикация durable outbox при недоступном broker повторяется до восстановления.
|
||||
|
||||
Lease по умолчанию 120 с. Dispatcher восстанавливает истёкшее processing через
|
||||
SELECT FOR UPDATE SKIP LOCKED. Живая попытка удерживает строку на время обработки;
|
||||
это исключает одновременную публикацию двумя попытками. После crash DB lock
|
||||
освобождается, lease позволяет запустить восстановление. Простая redelivery
|
||||
не увеличивает attempt. Управляемый retry/replay увеличивает его, сохраняя job_id.
|
||||
|
||||
Ключ эффекта: (attachment_id, pipeline_version=1, variant). Конечные S3-ключи
|
||||
детерминированы. Дубль ready проверяет наличие/размер зафиксированных объектов и
|
||||
подтверждается без повторной обработки. Поддержка разных pipeline_version и
|
||||
эксперимент с устаревшей версией относятся к треку 5 и здесь не заявлены.
|
||||
|
||||
Реестр failed — таблица attachment_jobs, CLI `src.pipeline.admin failed`.
|
||||
Replay допускает только failed с существующим staging, требует operator/reason,
|
||||
пишет job_replays и запускает новый ограниченный цикл. Ready отклоняется.
|
||||
Задание и аудит сохраняются после очистки staging.
|
||||
|
||||
Ready staging удаляется после COMMIT результата; failed — после семи дней.
|
||||
Очистка блокирует Attachment так же, как replay, и повторяется при ошибках S3.
|
||||
Queued/processing не удаляются по возрасту. Незавершённый staging без задания
|
||||
обслуживается по durable UploadIntent после grace=300 с; действующая загрузка
|
||||
защищена advisory lock. Reconciler lab4 продолжает контролировать originals/,
|
||||
но не отмечает queued/processing как missing.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Полный повтор: `make verify-lab5 PYTHON=.venv/bin/python`.
|
||||
В tests/lab5.py fault hooks включаются только на явном изолированном стенде;
|
||||
в обычной конфигурации PIPELINE_FAULT_INJECTION=false. Код ошибки 81/82/83/84
|
||||
соответствует реальному аварийному завершению dispatcher/worker через os._exit,
|
||||
а не симуляции успешного HTTP-ответа.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Критерий | Проверка / наблюдение | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| Контракт и качество | lint, offline check, OpenAPI/JSON Schema | lab5-quality.txt |
|
||||
| Чистый запуск | Новый Compose project, новые credentials и пустые volumes | lab5-clean-start.txt |
|
||||
| Публичный минимум | Неизменённый course-tests/smoke.py lab5: 202, ready, настоящий JPEG и оригинал | lab5-public-smoke.txt |
|
||||
| Предыдущие возможности | PNG/JPEG, ACL, лимиты, вложения и 16 повторов через две API-реплики | lab5-regression.txt |
|
||||
| Переход с lab4 | Настоящая БД 008 → 009, прежний original неизменен, созданы 3 варианта | lab5-migration.txt |
|
||||
| Лимиты worker | Реальное отклонение повреждённых/огромных по пикселям изображений и ограничение памяти subprocess | lab5-limits.txt |
|
||||
| Геометрия и форматы | 320×200 → 256×160; 1001×667 → 256×170; маленькое не увеличивается; crop, WebP, EXIF, alpha | lab5-faults.txt |
|
||||
| Worker остановлен | 202, queued прикрепляется к сообщению, content 409, сообщения работают | lab5-faults.txt |
|
||||
| API/broker restart | После restart с volumes тот же ID и оригинал доходят до ready | lab5-faults.txt |
|
||||
| Broker недоступен | API принимает файл; job остаётся в outbox и выполняется после восстановления | lab5-faults.txt |
|
||||
| COMMIT/publish | Exit 81 до XADD; после восстановления прежняя job ready | lab5-faults.txt |
|
||||
| Потеря подтверждения публикации | Exit 82 после XADD до COMMIT флага; повтор безопасен | lab5-faults.txt |
|
||||
| S3 side effect до COMMIT/ACK | Exit 83, processing/неподтверждённая доставка; восстановление в те же четыре объекта | lab5-faults.txt |
|
||||
| COMMIT результата до ACK | Exit 84; redelivery подтверждает готовый результат без новой попытки | lab5-faults.txt |
|
||||
| Дубли | Два дубля ready не меняют attempt и набор/ETag объектов | lab5-faults.txt |
|
||||
| Retry/failed/replay | Временная ошибка исчерпывает 3 тестовые попытки, постоянная завершается на первой; replay с audit; ready replay отвергнут | lab5-faults.txt |
|
||||
| Wall timeout | Задержанный дочерний decoder завершается parent, исчерпывает ограниченные попытки; replay после снятия сбоя успешен | lab5-faults.txt |
|
||||
| Staging cleanup | Ready удаляется после COMMIT, failed хранится до retention, после очистки replay отклоняется; orphan очищается, queued защищён | lab5-faults.txt |
|
||||
| Сохранность | Прежняя сессия и файл после restart API и всех хранилищ, включая broker | lab5-persistence.txt |
|
||||
| Failover | Остановлена именно принявшая файл API-реплика, другая возвращает прежние байты | lab5-failover.txt |
|
||||
| Регрессии замечаний | 40 MP, MIME/PNG, filename, pause PostgreSQL после начала SQL, восстановление | lab5-review.txt |
|
||||
| Итоговый smoke | Повтор после всех отказов | lab5-final-smoke.txt |
|
||||
|
||||
## Эксперименты и отказы
|
||||
Имена файлов в таблице находятся в evidence/. Машинная сводка —
|
||||
evidence/lab5-summary.json. Fault-стенд использует lease=5 с, max_attempts=3,
|
||||
backoff base=0.5 с/cap=2 с и decoder timeout=1 с, чтобы сценарии были короткими;
|
||||
после завершения обычная конфигурация восстановлена.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
## Ограничения
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Это локальный учебный стенд с синтетическими данными. Broker, PostgreSQL, MinIO,
|
||||
HAProxy и host не реплицируются и остаются точками отказа. AOF/volumes защищают
|
||||
от проверенных рестартов, но не от физической потери диска или всех копий данных.
|
||||
Нет backup-restore и обещания восстановления произвольно удалённых объектов.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
Во время обработки удерживается DB row lock и соединение; это сознательное
|
||||
упрощение для ограниченной конкуренции, не доказательство масштабирования.
|
||||
Результаты действительны для pipeline_version=1 с неизменными правилами кодирования.
|
||||
Дубликат ready проверяет наличие и размеры, не перечитывает все байты для SHA-256;
|
||||
от произвольной порчи объекта тем же размером эта проверка не защищает.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Нет глобального лимита числа принятых jobs и исследования очереди под перегрузкой.
|
||||
В broker действует noeviction: при заполнении outbox сохраняется в БД до освобождения
|
||||
места. Нет публичного HTTP replay; CLI предназначен для оператора с доступом к стенду.
|
||||
После истечения retention для failed исходник повторно обработать нельзя.
|
||||
В репозиторий включены только актуальные проверки lab5 и регрессии обязательных
|
||||
возможностей предыдущих работ. Полная приёмка — verify-lab5.
|
||||
|
||||
## Источники и помощь
|
||||
|
||||
Задание и contracts взяты из предоставленного skeleton mtusi2026lab5.
|
||||
Публичные course-tests скопированы без ослабления проверок. Собственные тесты lab4
|
||||
адаптированы только к объявленному переходу на 202 и ожиданию ready.
|
||||
Использован Codex для реализации, ревью кода, тестов и подготовки документации.
|
||||
|
||||
- Redis Streams: https://redis.io/docs/latest/develop/data-types/streams/
|
||||
- XAUTOCLAIM: https://redis.io/docs/latest/commands/xautoclaim/
|
||||
- Redis persistence: https://redis.io/docs/latest/operate/oss_and_stack/management/persistence/
|
||||
- Pillow ImageOps: https://pillow.readthedocs.io/en/stable/reference/ImageOps.html
|
||||
- Pillow WebP: https://pillow.readthedocs.io/en/stable/handbook/image-file-formats.html#webp
|
||||
|
||||
@@ -0,0 +1,3 @@
|
||||
[alembic]
|
||||
script_location = %(here)s/migrations
|
||||
prepend_sys_path = .
|
||||
@@ -1,14 +0,0 @@
|
||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
||||
# Service names below are logical roles, not imposed container names.
|
||||
x-lab-number: 5
|
||||
x-required-roles:
|
||||
- api
|
||||
- postgres
|
||||
- load_balancer
|
||||
- s3
|
||||
- broker
|
||||
- worker
|
||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
||||
services: {}
|
||||
+298
@@ -0,0 +1,298 @@
|
||||
x-logging: &logging
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: "10m"
|
||||
max-file: "3"
|
||||
|
||||
x-app: &app
|
||||
build: .
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab5}
|
||||
env_file: ${ENV_FILE:-.env}
|
||||
logging: *logging
|
||||
|
||||
services:
|
||||
minio:
|
||||
build: ./infra/minio
|
||||
image: ${MINIO_IMAGE:-mtusi-minio:RELEASE.2025-10-15T17-29-55Z}
|
||||
logging: *logging
|
||||
mem_limit: 512m
|
||||
cpus: 1.0
|
||||
environment:
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
|
||||
MINIO_BROWSER: "off"
|
||||
MINIO_API_STALE_UPLOADS_EXPIRY: "24h"
|
||||
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVAL: "1h"
|
||||
volumes:
|
||||
- minio_data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9000/minio/health/live"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 60
|
||||
start_period: 10s
|
||||
|
||||
s3-bootstrap:
|
||||
<<: *app
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab5}-s3-bootstrap
|
||||
command: ["python", "-m", "src.core.storage_bootstrap"]
|
||||
environment:
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
|
||||
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
|
||||
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
|
||||
DATABASE_URL: postgresql://unused:unused@postgres/unused
|
||||
REDIS_URL: redis://redis:6379/0
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
|
||||
depends_on:
|
||||
minio:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
disable: true
|
||||
|
||||
postgres:
|
||||
logging: *logging
|
||||
image: postgres:16.6-bookworm
|
||||
cpus: ${POSTGRES_CPUS:-1.0}
|
||||
mem_limit: 512m
|
||||
environment:
|
||||
POSTGRES_DB: ${POSTGRES_DB:-messenger}
|
||||
POSTGRES_USER: ${POSTGRES_USER:-messenger}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}
|
||||
volumes:
|
||||
- postgres_data:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
|
||||
redis:
|
||||
logging: *logging
|
||||
image: redis:7.4.2-bookworm
|
||||
cpus: 0.25
|
||||
mem_limit: 128m
|
||||
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "64mb", "--maxmemory-policy", "noeviction"]
|
||||
volumes:
|
||||
- redis_data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
|
||||
migration:
|
||||
<<: *app
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab5}-migration
|
||||
command: ["alembic", "upgrade", "head"]
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
environment:
|
||||
REDIS_URL: &redis_url redis://redis:6379/0
|
||||
DATABASE_URL: &database_url postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
disable: true
|
||||
|
||||
api:
|
||||
<<: *app
|
||||
cpus: ${API_CPUS:-0.5}
|
||||
mem_limit: ${API_MEMORY:-512m}
|
||||
stop_grace_period: 15s
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
read_only: true
|
||||
tmpfs:
|
||||
- /tmp:rw,noexec,nosuid,size=64m
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
environment:
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
|
||||
S3_WORKER_ACCESS_KEY_ID: ""
|
||||
S3_WORKER_SECRET_ACCESS_KEY: ""
|
||||
# Do not inherit privileged S3 credentials from env_file into API containers.
|
||||
MINIO_ROOT_USER: ""
|
||||
MINIO_ROOT_PASSWORD: ""
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ""
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ""
|
||||
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-1}
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: 8080
|
||||
DATABASE_URL: *database_url
|
||||
REDIS_URL: *redis_url
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
APP_WORKERS: 1
|
||||
DATABASE_POOL_SIZE: ${DATABASE_POOL_SIZE:-10}
|
||||
DATABASE_POOL_TIMEOUT_SECONDS: 2
|
||||
DATABASE_CONNECT_TIMEOUT_SECONDS: 1
|
||||
DATABASE_COMMAND_TIMEOUT_SECONDS: 3
|
||||
DATABASE_STATEMENT_TIMEOUT_MS: 2500
|
||||
SHUTDOWN_TIMEOUT_SECONDS: 10
|
||||
HTTP_REQUEST_TIMEOUT_SECONDS: ${HTTP_REQUEST_TIMEOUT_SECONDS:-5}
|
||||
expose: ["8080"]
|
||||
depends_on:
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
migration:
|
||||
condition: service_completed_successfully
|
||||
redis:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
start_period: 10s
|
||||
|
||||
reconciler:
|
||||
<<: *app
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab5}-reconciler
|
||||
command: ["python", "-m", "src.maintenance.reconcile", "--apply", "--interval", "300"]
|
||||
mem_limit: 256m
|
||||
cpus: 0.5
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
environment:
|
||||
DATABASE_URL: *database_url
|
||||
REDIS_URL: *redis_url
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
|
||||
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-300}
|
||||
MINIO_ROOT_USER: ""
|
||||
MINIO_ROOT_PASSWORD: ""
|
||||
S3_ACCESS_KEY_ID: ""
|
||||
S3_SECRET_ACCESS_KEY: ""
|
||||
depends_on:
|
||||
migration:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
start_period: 2s
|
||||
|
||||
broker:
|
||||
image: redis:7.4.2-bookworm
|
||||
logging: *logging
|
||||
mem_limit: 256m
|
||||
cpus: 0.25
|
||||
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "192mb", "--maxmemory-policy", "noeviction"]
|
||||
volumes:
|
||||
- broker_data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
|
||||
worker:
|
||||
<<: *app
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab5}-worker
|
||||
command: ["python", "-m", "src.pipeline.worker"]
|
||||
init: true
|
||||
mem_limit: ${WORKER_MEMORY:-1g}
|
||||
cpus: ${WORKER_CPUS:-1.0}
|
||||
stop_grace_period: 45s
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:rw,noexec,nosuid,size=128m"]
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
environment: &pipeline_env
|
||||
DATABASE_URL: *database_url
|
||||
REDIS_URL: *redis_url
|
||||
BROKER_URL: redis://broker:6379/0
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
|
||||
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
|
||||
MINIO_ROOT_USER: ""
|
||||
MINIO_ROOT_PASSWORD: ""
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ""
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ""
|
||||
S3_ACCESS_KEY_ID: ""
|
||||
S3_SECRET_ACCESS_KEY: ""
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1}
|
||||
WORKER_MEMORY_MB: ${WORKER_MEMORY_MB:-768}
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
|
||||
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-120}
|
||||
JOB_RETRY_BASE_SECONDS: ${JOB_RETRY_BASE_SECONDS:-2}
|
||||
JOB_RETRY_CAP_SECONDS: ${JOB_RETRY_CAP_SECONDS:-60}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-604800}
|
||||
PIPELINE_FAULT_INJECTION: ${PIPELINE_FAULT_INJECTION:-false}
|
||||
depends_on:
|
||||
migration:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
|
||||
dispatcher:
|
||||
<<: *app
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab5}-dispatcher
|
||||
command: ["python", "-m", "src.pipeline.dispatcher"]
|
||||
init: true
|
||||
mem_limit: 256m
|
||||
cpus: 0.25
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
environment: *pipeline_env
|
||||
depends_on:
|
||||
migration:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
|
||||
lb:
|
||||
image: haproxy:3.0.12-alpine
|
||||
logging: *logging
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:rw,noexec,nosuid,size=4m"]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
ports:
|
||||
- "127.0.0.1:${APP_PORT:-8080}:8080"
|
||||
volumes:
|
||||
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
stop_signal: SIGUSR1
|
||||
stop_grace_period: 15s
|
||||
|
||||
volumes:
|
||||
redis_data:
|
||||
postgres_data:
|
||||
minio_data:
|
||||
broker_data:
|
||||
@@ -0,0 +1,57 @@
|
||||
# Публичные проверки
|
||||
|
||||
Python **3.9+**, стандартная библиотека. Сервер уже должен быть запущен; проверки не создают готовое приложение и сами не управляют Docker. `make check` можно выполнить на исходном skeleton, `make test` — только после реализации API. Полная OpenAPI-валидация отдельно: `make validate` после установки `requirements-dev.txt` в venv.
|
||||
|
||||
```sh
|
||||
make check
|
||||
make test BASE_URL=http://localhost:8080
|
||||
# без make:
|
||||
python3 tests/smoke.py --base-url http://localhost:8080
|
||||
```
|
||||
|
||||
`smoke.py` выполняет **один сквозной сценарий**, автоматически выбирая профиль из `lab.json`: health → три пользователя → вход с lab2 → чат → сообщения → пагинация → ошибки доступа → идемпотентность с lab3 → файл с lab4 → thumbnail с lab5 → logout. Он проверяет JSON по используемому подмножеству схемы, коды/headers, Unicode, SHA-256 оригинала и фактические JPEG-размеры thumbnail. Это публичный минимум, не полный fuzz/security/load suite.
|
||||
|
||||
Каждый запуск создаёт уникальных синтетических пользователей, чат и сообщения. Данные автоматически не удаляются: в API курса нет delete. Для чистого повтора используйте отдельный тестовый стенд/volume и осознанный сброс своего окружения. Session tokens хранятся только в памяти процесса и не печатаются/не сохраняются.
|
||||
|
||||
## Проверка сохранности, lab2+
|
||||
|
||||
Скопируйте `scripts/restart.example.sh` в `scripts/restart.sh`, реализуйте перезапуск **API и всех используемых хранилищ** с сохранением volumes и задайте executable bit. Скрипт может опираться на ваш compose.yaml или stack.yaml. Он не должен удалять volumes, повторно seed-ить БД или менять тестовые данные.
|
||||
|
||||
```sh
|
||||
chmod +x scripts/restart.sh
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
```
|
||||
|
||||
Тест создаёт данные и сессию, запускает указанный файл без shell interpolation, ожидает готовности и проверяет те же данные **с прежним токеном**. В lab4+ также проверяется исходный файл. Hook может работать до 90 секунд, готовность затем ожидается до 90 секунд. TTL сессии для этого теста — минимум 300 секунд. Успех не доказывает, что hook действительно перезапустил БД: приложите команды/состояния контейнеров до и после.
|
||||
|
||||
## Проверка отказа, lab3+
|
||||
|
||||
Реализуйте `scripts/stop-one.sh` на основе примера. `TARGET_INSTANCE_ID` в окружении содержит alias обслужившей тест API-реплики: сопоставьте его своему контейнеру/Swarm task и остановите именно его. Скрипт должен быстро вернуть 0 и **оставить эту реплику остановленной**; восстановление выполняйте отдельно. Swarm может создать новую task с другим ID — это допустимо.
|
||||
|
||||
```sh
|
||||
chmod +x scripts/stop-one.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
```
|
||||
|
||||
Перед отказом тест наблюдает ≥2 API-реплики; 15 секунд отправляет сообщения параллельно выполнению hook, повторяет неопределённый POST с тем же ключом, проверяет восстановление записи за ≤10 секунд, отсутствие остановленной реплики в последних ответах, сохранность подтверждённых сообщений и отсутствие дублей. Ошибки переходного периода учитываются. Затем восстановите реплику и повторите для другой. Скрипт — проверка одного отказа API, не гарантия HA БД/LB/host. Вывод hook скрыт, чтобы не утекли секреты; отлаживайте его отдельно с безопасным выводом.
|
||||
|
||||
## Нагрузка
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
|
||||
```
|
||||
|
||||
Это простой **closed-loop** генератор POST сообщений; он ограничен производительностью клиента и страдает coordinated omission. Он выдаёт successful RPS, ошибки и p50/p95/p99 **только успешных запросов**. Во время нагрузки нет прозрачных retry; timeout мог скрыть совершённую запись, поэтому это throughput HTTP-подтверждений, не точный счётчик COMMIT. Изменение размера истории входит в профиль. Для серьёзного исследования используйте k6/Locust/wrk либо свой обоснованный генератор, а не выводите максимальную пропускную способность из одного запуска этого скрипта. Для нагрузки pipeline изображений нужен отдельный сценарий студента.
|
||||
|
||||
## HTTPS, lab7
|
||||
|
||||
```sh
|
||||
make test BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
|
||||
make test-security BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
|
||||
```
|
||||
|
||||
Все скрипты принимают `--ca-file`/`CA_FILE` и проверяют серверный сертификат и hostname. `--insecure` отсутствует. TLS-тест сначала проверяет рабочее доверенное соединение, затем намеренно пустой trust store и именно ошибку проверки сертификата; network timeout не засчитывается как правильный отказ. **Внутреннее mTLS, identity/authorization, OpenBao policy и hardening проверяют отдельные тесты студента** по trust matrix. Клиентский сертификат внешнему учебному REST-клиенту не требуется: mTLS находится на внутренних связях.
|
||||
|
||||
## Что ещё остаётся доказать
|
||||
|
||||
Smoke не доказывает persistence, число реальных контейнеров, durability брокера, outbox, отсутствие утечек/уязвимостей, полноту telemetry или выполнение уровня 4/5. Конкурентные/нагрузочные/негативные проверки своего решения добавляйте отдельно. Список защиты текущей лабы находится в README.md. Проверки рассчитаны на localhost-стенд, не на production.
|
||||
@@ -0,0 +1,217 @@
|
||||
"""HTTP helpers for public black-box tests; Python 3.9+, standard library only."""
|
||||
import base64
|
||||
import datetime as dt
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import re
|
||||
import ssl
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
LAB = json.loads((ROOT / 'lab.json').read_text())['number']
|
||||
SPEC = json.loads((ROOT / 'contracts/openapi.json').read_text())
|
||||
|
||||
class Failure(AssertionError):
|
||||
pass
|
||||
|
||||
def check(condition, message):
|
||||
if not condition:
|
||||
raise Failure(message)
|
||||
|
||||
def timestamp(value):
|
||||
check(isinstance(value, str) and value.endswith('Z'), 'timestamp must be UTC ending in Z')
|
||||
try:
|
||||
return dt.datetime.fromisoformat(value[:-1] + '+00:00')
|
||||
except ValueError as exc:
|
||||
raise Failure('invalid RFC3339 timestamp') from exc
|
||||
|
||||
def validate(value, schema, where='response'):
|
||||
"""Validate the JSON Schema subset used by the supplied contract, not arbitrary OpenAPI."""
|
||||
if '$ref' in schema:
|
||||
target = SPEC
|
||||
for part in schema['$ref'].split('/')[1:]:
|
||||
target = target[part]
|
||||
return validate(value, target, where)
|
||||
kinds = schema.get('type', [])
|
||||
if isinstance(kinds, str):
|
||||
kinds = [kinds]
|
||||
matches = {'null':value is None, 'boolean':isinstance(value,bool), 'integer':isinstance(value,int) and not isinstance(value,bool), 'number':isinstance(value,(int,float)) and not isinstance(value,bool), 'string':isinstance(value,str), 'array':isinstance(value,list), 'object':isinstance(value,dict)}
|
||||
if kinds:
|
||||
check(any(matches.get(k,False) for k in kinds), where + ': incorrect type')
|
||||
if 'enum' in schema:
|
||||
check(value in schema['enum'], where + ': invalid enum')
|
||||
if 'const' in schema:
|
||||
check(value == schema['const'], where + ': invalid const')
|
||||
if isinstance(value,dict):
|
||||
props = schema.get('properties',{})
|
||||
check(all(k in value for k in schema.get('required',[])), where + ': missing required fields')
|
||||
if schema.get('additionalProperties') is False:
|
||||
check(not set(value).difference(props), where + ': unexpected fields')
|
||||
for key, sub in props.items():
|
||||
if key in value:
|
||||
validate(value[key], sub, where + '.' + key)
|
||||
if isinstance(value,list):
|
||||
check(len(value) >= schema.get('minItems',0), where + ': too few items')
|
||||
check(len(value) <= schema.get('maxItems',float('inf')), where + ': too many items')
|
||||
if schema.get('uniqueItems'):
|
||||
encoded = [json.dumps(x,sort_keys=True) for x in value]
|
||||
check(len(encoded)==len(set(encoded)), where + ': duplicate items')
|
||||
if 'items' in schema:
|
||||
for item in value:
|
||||
validate(item, schema['items'], where + '[]')
|
||||
if isinstance(value,str):
|
||||
check(len(value) >= schema.get('minLength',0), where + ': too short')
|
||||
check(len(value) <= schema.get('maxLength',float('inf')), where + ': too long')
|
||||
if 'pattern' in schema:
|
||||
check(re.search(schema['pattern'], value) is not None, where + ': pattern mismatch')
|
||||
if schema.get('format') == 'uuid':
|
||||
try:
|
||||
uuid.UUID(value)
|
||||
except ValueError as exc:
|
||||
raise Failure(where + ': invalid UUID') from exc
|
||||
if schema.get('format') == 'date-time':
|
||||
timestamp(value)
|
||||
if isinstance(value,(int,float)) and not isinstance(value,bool):
|
||||
check(value >= schema.get('minimum',-float('inf')), where + ': below minimum')
|
||||
check(value <= schema.get('maximum',float('inf')), where + ': above maximum')
|
||||
if 'anyOf' in schema:
|
||||
for alternative in schema['anyOf']:
|
||||
try:
|
||||
validate(value, alternative, where)
|
||||
break
|
||||
except Failure:
|
||||
pass
|
||||
else:
|
||||
raise Failure(where + ': no anyOf branch matches')
|
||||
|
||||
def shape(value, name):
|
||||
validate(value, SPEC['components']['schemas'][name])
|
||||
return value
|
||||
|
||||
class NoRedirect(urllib.request.HTTPRedirectHandler):
|
||||
def redirect_request(self, req, fp, code, msg, headers, newurl):
|
||||
return None
|
||||
|
||||
class Client:
|
||||
def __init__(self, base_url=None, ca_file=None, timeout=10):
|
||||
self.base = (base_url or os.environ.get('BASE_URL') or ('https://localhost:8443' if LAB==7 else 'http://localhost:8080')).rstrip('/')
|
||||
check(self.base.startswith(('http://','https://')), 'BASE_URL must be HTTP(S)')
|
||||
check(LAB != 7 or self.base.startswith('https://'), 'lab7 requires HTTPS')
|
||||
self.timeout = timeout
|
||||
context = ssl.create_default_context(cafile=ca_file or os.environ.get('CA_FILE') or None)
|
||||
self.opener = urllib.request.build_opener(NoRedirect(), urllib.request.HTTPSHandler(context=context))
|
||||
|
||||
def call(self, method, path, expected=200, body=None, actor=None, headers=None, raw=None, schema=None):
|
||||
h = {'Accept':'application/json'}
|
||||
if actor:
|
||||
h['X-User-Id' if LAB==1 else 'Authorization'] = actor['id'] if LAB==1 else 'Bearer ' + actor['token']
|
||||
if body is not None:
|
||||
raw = json.dumps(body,ensure_ascii=False).encode('utf-8')
|
||||
h['Content-Type'] = 'application/json'
|
||||
h.update(headers or {})
|
||||
req = urllib.request.Request(self.base + path, data=raw, headers=h, method=method)
|
||||
start = time.monotonic()
|
||||
try:
|
||||
response = self.opener.open(req, timeout=self.timeout)
|
||||
except urllib.error.HTTPError as error:
|
||||
response = error
|
||||
except (urllib.error.URLError,TimeoutError,OSError) as exc:
|
||||
# Do not print URL query, headers, request body, or credentials.
|
||||
raise Failure(method + ' ' + path.split('?')[0] + ': connection/TLS failure (' + type(exc).__name__ + ')') from None
|
||||
with response:
|
||||
status = response.code
|
||||
rh = response.headers
|
||||
data = response.read(16*1024*1024 + 1)
|
||||
check(len(data) <= 16*1024*1024, 'response exceeds test safety limit')
|
||||
allowed = [expected] if isinstance(expected,int) else expected
|
||||
check(status in allowed, method + ' ' + path.split('?')[0] + ': expected ' + str(allowed) + ', received ' + str(status))
|
||||
check(bool(rh.get('X-Request-Id')), 'missing X-Request-Id')
|
||||
if LAB>=3:
|
||||
check(bool(rh.get('X-Instance-Id')), 'missing X-Instance-Id')
|
||||
payload = None
|
||||
if schema or status>=400:
|
||||
check(rh.get_content_type()=='application/json', 'expected application/json')
|
||||
try:
|
||||
payload = json.loads(data)
|
||||
except (ValueError,UnicodeError):
|
||||
raise Failure('invalid response JSON') from None
|
||||
shape(payload, 'Error' if status>=400 else schema)
|
||||
if status>=400:
|
||||
check(payload['error']['request_id']==rh.get('X-Request-Id'),'error request_id differs from header')
|
||||
if status==401 and LAB>=2:
|
||||
scheme = 'Basic' if path=='/api/v1/auth/sessions' else 'Bearer'
|
||||
check(rh.get('WWW-Authenticate','').lower().startswith(scheme.lower()), 'incorrect WWW-Authenticate challenge')
|
||||
if status==204:
|
||||
check(not data, '204 must not contain body')
|
||||
return {'status':status,'headers':rh,'json':payload,'bytes':data,'elapsed':time.monotonic()-start}
|
||||
|
||||
def user(self, label):
|
||||
username = 'u_' + label + '_' + uuid.uuid4().hex[:12]
|
||||
password = 'T3st-' + uuid.uuid4().hex
|
||||
body = {'username':username,'display_name':'Студент ' + label}
|
||||
if LAB>=2:
|
||||
body['password'] = password
|
||||
user = self.call('POST','/api/v1/users',201,body=body,schema='User')['json']
|
||||
check(user['username']==username,'username changed')
|
||||
actor = {'id':user['id'],'user':user,'registration':body}
|
||||
if LAB>=2:
|
||||
credential = base64.b64encode((username+':'+password).encode()).decode()
|
||||
session = self.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')['json']
|
||||
check(session['user']==user,'session user mismatch')
|
||||
check(timestamp(session['expires_at']) > dt.datetime.now(dt.timezone.utc),'session already expired')
|
||||
actor['token'] = session['token']
|
||||
return actor
|
||||
|
||||
def bootstrap(self):
|
||||
self.call('GET','/health/live',schema='Health')
|
||||
self.call('GET','/health/ready',schema='Health')
|
||||
alice, bob, eve = (self.user(label) for label in ('alice','bob','eve'))
|
||||
chat = self.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Контрактный тест','member_ids':[alice['id'],bob['id']]},schema='Chat')['json']
|
||||
check(set(chat['member_ids'])=={alice['id'],bob['id']},'chat member mismatch')
|
||||
return alice,bob,eve,chat
|
||||
|
||||
def message(self, actor, chat, text, key=None, attachments=None):
|
||||
body = {'text':text}
|
||||
if attachments is not None:
|
||||
body['attachment_ids'] = attachments
|
||||
headers = {'Idempotency-Key':key or uuid.uuid4().hex} if LAB>=3 else {}
|
||||
return self.call('POST','/api/v1/chats/'+chat['id']+'/messages',201,actor=actor,body=body,headers=headers,schema='Message')
|
||||
|
||||
def attachment(self, actor, chat):
|
||||
content = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
att = self.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',201 if LAB==4 else 202,actor=actor,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')['json']
|
||||
check(att['status']==('ready' if LAB==4 else 'queued'),'incorrect upload status')
|
||||
check(att['chat_id']==chat['id'] and att['owner_id']==actor['id'],'attachment ownership mismatch')
|
||||
check(att['sha256']==hashlib.sha256(content).hexdigest() and att['size_bytes']==len(content),'original checksum/size mismatch')
|
||||
return att,content
|
||||
|
||||
def wait_ready(self, actor, att, wait_seconds=60):
|
||||
deadline = time.monotonic()+wait_seconds
|
||||
while time.monotonic()<deadline:
|
||||
att = self.call('GET','/api/v1/attachments/'+att['id'],actor=actor,schema='Attachment')['json']
|
||||
check(att['status']!='failed','attachment reached failed')
|
||||
if att['status']=='ready':
|
||||
return att
|
||||
time.sleep(0.3)
|
||||
raise Failure('attachment did not become ready within test deadline')
|
||||
|
||||
def arguments(description, configure=None):
|
||||
import argparse
|
||||
p = argparse.ArgumentParser(description=description)
|
||||
p.add_argument('--base-url', default=None)
|
||||
p.add_argument('--ca-file', default=None)
|
||||
if configure:
|
||||
configure(p)
|
||||
return p.parse_args()
|
||||
|
||||
def run(main):
|
||||
try:
|
||||
main()
|
||||
except (Failure,ValueError,OSError) as exc:
|
||||
print('FAIL:', str(exc))
|
||||
raise SystemExit(1)
|
||||
@@ -0,0 +1,9 @@
|
||||
# Синтетический fixture
|
||||
|
||||
sample.png: RGB PNG 320×200, создан программно специально для курса, без персональных данных и EXIF. Можно свободно использовать и менять в собственных тестах; исходный публичный fixture сохраните.
|
||||
|
||||
- Размер: 111817 байт.
|
||||
- SHA-256: `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75`.
|
||||
- Обязательный thumbnail с lab5: JPEG 256×160.
|
||||
|
||||
Проверяющий читает SHA-256 оригинала, metadata вариантов и реальные размеры JPEG, а не только JSON-обещание сервера. Повреждённые, oversized и decompression-bomb fixtures для собственного negative suite создавайте отдельно; не храните огромные файлы в Git.
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 109 KiB |
@@ -0,0 +1,26 @@
|
||||
"""Read JPEG SOF dimensions without external libraries; not a full image decoder."""
|
||||
from client import Failure, check
|
||||
|
||||
def jpeg_size(data):
|
||||
check(data[:2]==b'\xff\xd8','thumbnail is not JPEG')
|
||||
i = 2
|
||||
sof = {0xc0,0xc1,0xc2,0xc3,0xc5,0xc6,0xc7,0xc9,0xca,0xcb,0xcd,0xce,0xcf}
|
||||
while i < len(data):
|
||||
check(data[i]==0xff,'invalid JPEG marker')
|
||||
while i<len(data) and data[i]==0xff:
|
||||
i += 1
|
||||
check(i<len(data),'truncated JPEG marker')
|
||||
marker = data[i]
|
||||
i += 1
|
||||
if marker in {0xd9,0xda}:
|
||||
break
|
||||
if marker in {0x01,0xd8} or 0xd0<=marker<=0xd7:
|
||||
continue
|
||||
check(i+2<=len(data),'truncated JPEG segment')
|
||||
length = int.from_bytes(data[i:i+2],'big')
|
||||
check(length>=2 and i+length<=len(data),'invalid JPEG segment length')
|
||||
if marker in sof:
|
||||
check(length>=8,'invalid JPEG SOF')
|
||||
return (int.from_bytes(data[i+5:i+7],'big'),int.from_bytes(data[i+3:i+5],'big'))
|
||||
i += length
|
||||
raise Failure('JPEG dimensions not found')
|
||||
@@ -0,0 +1,58 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Small closed-loop HTTP write benchmark; not an open-loop capacity proof."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import json
|
||||
import math
|
||||
from pathlib import Path
|
||||
import threading
|
||||
import time
|
||||
from client import Client, Failure, LAB, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
def configure(p):
|
||||
p.add_argument('--duration',type=float,default=30)
|
||||
p.add_argument('--concurrency',type=int,default=4)
|
||||
p.add_argument('--output',default=None,help='Optional JSON metrics, no session tokens')
|
||||
args = arguments('Synthetic POST message load, closed loop; creates users/messages',configure)
|
||||
check(1<=args.duration<=3600,'duration must be 1..3600 seconds')
|
||||
check(1<=args.concurrency<=128,'concurrency must be 1..128')
|
||||
c = Client(args.base_url,args.ca_file)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
barrier = threading.Barrier(args.concurrency)
|
||||
def worker(worker_id):
|
||||
local = Client(args.base_url,args.ca_file,timeout=5)
|
||||
barrier.wait()
|
||||
deadline = time.monotonic()+args.duration
|
||||
latencies,errors = [],0
|
||||
index = 0
|
||||
while time.monotonic()<deadline:
|
||||
start = time.monotonic()
|
||||
try:
|
||||
local.message(alice,chat,'load-%s-%s' % (worker_id,index))
|
||||
latencies.append(time.monotonic()-start)
|
||||
except Failure:
|
||||
errors += 1
|
||||
index += 1
|
||||
return latencies,errors
|
||||
started = time.monotonic()
|
||||
with ThreadPoolExecutor(max_workers=args.concurrency) as pool:
|
||||
results = list(pool.map(worker,range(args.concurrency)))
|
||||
elapsed = time.monotonic()-started
|
||||
latencies = sorted(x for values,_ in results for x in values)
|
||||
errors = sum(n for _,n in results)
|
||||
total = len(latencies)+errors
|
||||
def percentile(p):
|
||||
return round(1000*latencies[max(0,math.ceil(p*len(latencies))-1)],3) if latencies else None
|
||||
report = {'lab':LAB,'workload':'closed-loop POST messages; no automatic retries','requested_duration_seconds':args.duration,'elapsed_seconds':round(elapsed,3),'concurrency':args.concurrency,'successful_requests':len(latencies),'failed_requests':errors,'error_ratio':round(errors/total,6) if total else None,'successful_rps':round(len(latencies)/elapsed,3),'successful_latency_ms':{'p50':percentile(.50),'p95':percentile(.95),'p99':percentile(.99)},'note':'Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.'}
|
||||
text = json.dumps(report,ensure_ascii=False,indent=2)
|
||||
if args.output:
|
||||
dest = Path(args.output)
|
||||
dest.parent.mkdir(parents=True,exist_ok=True)
|
||||
dest.write_text(text+'\n')
|
||||
print(text)
|
||||
check(bool(latencies),'no successful writes')
|
||||
# Errors are reported, not treated as a universal load-test threshold.
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,129 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Explicit operator-authored hook; tokens remain in memory, volumes are never removed by this test."""
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import time
|
||||
import uuid
|
||||
from urllib.parse import quote
|
||||
from client import Client, Failure, LAB, arguments, check, run
|
||||
|
||||
|
||||
def history(c, actor, chat):
|
||||
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100'
|
||||
result = []
|
||||
seen = set()
|
||||
for _ in range(1000):
|
||||
page = c.call('GET',path,actor=actor,schema='MessagePage')['json']
|
||||
result.extend(page['items'])
|
||||
cursor = page['next_cursor']
|
||||
if cursor is None:
|
||||
return result
|
||||
check(cursor not in seen,'cursor cycle')
|
||||
seen.add(cursor)
|
||||
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(cursor,safe='')
|
||||
raise Failure('history pagination exceeded safety bound')
|
||||
|
||||
|
||||
def main():
|
||||
def configure(p):
|
||||
p.add_argument('--mode', choices=['persistence','failover'], required=True)
|
||||
p.add_argument('--action-script',required=True,help='Executable script authored by student; restarts stack or stops ONE API replica')
|
||||
args = arguments('Explicit restart/failover scenario; modifies only synthetic API data',configure)
|
||||
check(LAB>=2,'persistence requires lab2+')
|
||||
check(args.mode!='failover' or LAB>=3,'failover requires lab3+')
|
||||
script = Path(args.action_script).expanduser().resolve()
|
||||
check(script.is_file() and os.access(script,os.X_OK),'action script must exist and be executable (chmod +x)')
|
||||
check('.example.' not in script.name,'copy and implement the example hook first')
|
||||
c = Client(args.base_url,args.ca_file,timeout=2)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
sent = c.message(alice,chat,'Сохранить при отказе')
|
||||
original = sent['json']
|
||||
target = sent['headers'].get('X-Instance-Id','')
|
||||
attachment = content = None
|
||||
if LAB>=4:
|
||||
attachment,content = c.attachment(alice,chat)
|
||||
if LAB>=5:
|
||||
attachment = c.wait_ready(alice,attachment)
|
||||
env = dict(os.environ)
|
||||
env['TARGET_INSTANCE_ID'] = target
|
||||
observed = set()
|
||||
if args.mode=='failover':
|
||||
for _ in range(40):
|
||||
observed.add(c.call('GET','/api/v1/users/me',actor=alice,schema='User')['headers']['X-Instance-Id'])
|
||||
check(len(observed)>=2,'less than two API instances observed before failure; verify LB/session affinity')
|
||||
print('Executing explicit '+args.mode+' hook; hook output suppressed to avoid leaking secrets.')
|
||||
# No shell interpolation and no Docker commands in this test.
|
||||
proc = subprocess.Popen([str(script)],env=env,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
|
||||
started = time.monotonic()
|
||||
successes,failures,after_instances = [],0,[]
|
||||
try:
|
||||
if args.mode=='persistence':
|
||||
try:
|
||||
code = proc.wait(timeout=90)
|
||||
except subprocess.TimeoutExpired:
|
||||
raise Failure('restart hook exceeded 90 seconds') from None
|
||||
check(code==0,'restart hook failed (inspect your script locally)')
|
||||
deadline = time.monotonic()+90
|
||||
while True:
|
||||
try:
|
||||
c.call('GET','/health/ready',schema='Health')
|
||||
c.call('GET','/api/v1/users/me',actor=alice,schema='User')
|
||||
break
|
||||
except Failure:
|
||||
check(time.monotonic()<deadline,'stack/session did not recover within 90 seconds')
|
||||
time.sleep(0.5)
|
||||
else:
|
||||
first_recovery = None
|
||||
key = uuid.uuid4().hex
|
||||
text = 'Запись во время отказа ' + key
|
||||
while time.monotonic()-started < 15:
|
||||
code = proc.poll()
|
||||
check(code is None or code==0,'stop-one hook failed (inspect your script locally)')
|
||||
check(code is not None or time.monotonic()-started<10,'stop-one hook must return within 10 seconds')
|
||||
try:
|
||||
response = c.message(alice,chat,text,key=key)
|
||||
msg = response['json']
|
||||
if code==0:
|
||||
if first_recovery is None:
|
||||
first_recovery = time.monotonic()-started
|
||||
after_instances.append(response['headers']['X-Instance-Id'])
|
||||
successes.append(msg)
|
||||
key = uuid.uuid4().hex
|
||||
text = 'Запись во время отказа ' + key
|
||||
except Failure:
|
||||
failures += 1
|
||||
# Keep SAME key/body after an uncertain POST result.
|
||||
time.sleep(0.1)
|
||||
check(proc.poll()==0,'stop-one hook did not finish successfully')
|
||||
check(first_recovery is not None and first_recovery<=10,'writes did not recover within 10 seconds from hook start')
|
||||
check(len(after_instances)>=5,'too few successful writes after stop')
|
||||
check(target not in after_instances[-5:],'target replica still serves requests; hook must leave it stopped')
|
||||
print(json.dumps({'observed_instances_before':len(observed),'successful_writes':len(successes),'failed_attempts':failures,'first_recovery_seconds':round(first_recovery,3)},ensure_ascii=False))
|
||||
# Existing token, no re-login. Read all confirmations and reject duplicates.
|
||||
messages = history(c,bob,chat)
|
||||
ids = [m['id'] for m in messages]
|
||||
check(len(ids)==len(set(ids)),'duplicated message IDs in history')
|
||||
check(any(m==original for m in messages),'confirmed pre-failure message lost or altered')
|
||||
for msg in successes:
|
||||
check(any(m==msg for m in messages),'confirmed in-flight message lost or altered')
|
||||
# Bodies are unique in this scenario: an uncertain request may exist once, never twice.
|
||||
texts = [m['text'] for m in messages]
|
||||
check(len(texts)==len(set(texts)),'uncertain retry created duplicate message')
|
||||
if attachment:
|
||||
c.call('GET','/api/v1/attachments/'+attachment['id'],actor=bob,schema='Attachment')
|
||||
downloaded = c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob)
|
||||
check(downloaded['bytes']==content,'attachment lost or changed across failure')
|
||||
print('PASS: '+args.mode+' preserved confirmed data and existing session. Hook scope needs operator evidence.')
|
||||
finally:
|
||||
if proc.poll() is None:
|
||||
proc.terminate()
|
||||
try:
|
||||
proc.wait(timeout=5)
|
||||
except subprocess.TimeoutExpired:
|
||||
proc.kill()
|
||||
proc.wait()
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,82 @@
|
||||
#!/usr/bin/env python3
|
||||
"""One complete public acceptance scenario, cumulative by lab number."""
|
||||
import base64
|
||||
import hashlib
|
||||
import uuid
|
||||
from client import Client, LAB, arguments, check, run, timestamp
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Messenger public smoke; creates synthetic users and messages')
|
||||
c = Client(args.base_url,args.ca_file)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
path = '/api/v1/chats/'+chat['id']
|
||||
c.call('POST','/api/v1/users',409,body=alice['registration'])
|
||||
c.call('GET','/api/v1/users/me',401)
|
||||
c.call('GET',path,404,actor=eve)
|
||||
me = c.call('GET','/api/v1/users/me',actor=alice,schema='User')['json']
|
||||
check(me==alice['user'],'current user mismatch')
|
||||
listed = c.call('GET','/api/v1/chats?limit=100',actor=bob,schema='ChatPage')['json']
|
||||
check(any(x['id']==chat['id'] for x in listed['items']),'member cannot list chat')
|
||||
hidden = c.call('GET','/api/v1/chats?limit=100',actor=eve,schema='ChatPage')['json']
|
||||
check(all(x['id']!=chat['id'] for x in hidden['items']),'chat leaks to outsider')
|
||||
key = uuid.uuid4().hex
|
||||
first = c.message(alice,chat,'Привет, мир 👋',key=key)['json']
|
||||
second = c.message(bob,chat,'Сообщение Боба')['json']
|
||||
check(first['sender_id']==alice['id'] and second['sender_id']==bob['id'],'sender was not derived from actor')
|
||||
check(first['chat_id']==second['chat_id']==chat['id'],'wrong chat in message')
|
||||
check(first['text']=='Привет, мир 👋' and second['text']=='Сообщение Боба','message text changed')
|
||||
page1 = c.call('GET',path+'/messages?limit=1',actor=bob,schema='MessagePage')['json']
|
||||
check(len(page1['items'])==1 and page1['next_cursor'],'first page must have one item and cursor')
|
||||
from urllib.parse import quote
|
||||
page2 = c.call('GET',path+'/messages?limit=1&cursor='+quote(page1['next_cursor'],safe=''),actor=alice,schema='MessagePage')['json']
|
||||
check(len(page2['items'])==1 and page2['next_cursor'] is None,'second page must finish history')
|
||||
ordered = sorted([first,second],key=lambda x:(timestamp(x['created_at']),uuid.UUID(x['id']).int))
|
||||
check(page1['items']+page2['items']==ordered,'pagination lost, duplicated or reordered a message')
|
||||
h = {'Idempotency-Key':uuid.uuid4().hex} if LAB>=3 else {}
|
||||
c.call('POST',path+'/messages',400,actor=alice,body={'text':''},headers=h)
|
||||
c.call('POST',path+'/messages',404,actor=eve,body={'text':'чужое'},headers=h)
|
||||
c.call('GET',path+'/messages?limit=0',400,actor=alice)
|
||||
if LAB>=2:
|
||||
bad = base64.b64encode((alice['registration']['username']+':wrong-password').encode()).decode()
|
||||
c.call('POST','/api/v1/auth/sessions',401,headers={'Authorization':'Basic '+bad})
|
||||
good = base64.b64encode((alice['registration']['username']+':'+alice['registration']['password']).encode()).decode()
|
||||
c.call('GET','/api/v1/users/me',401,headers={'Authorization':'Basic '+good})
|
||||
c.call('GET','/api/v1/users/me',401,headers={'X-User-Id':alice['id']})
|
||||
me = c.call('GET','/api/v1/users/me',actor=alice,headers={'X-User-Id':eve['id']},schema='User')['json']
|
||||
check(me['id']==alice['id'],'X-User-Id overrode bearer identity')
|
||||
if LAB>=3:
|
||||
replay = c.message(alice,chat,first['text'],key=key)['json']
|
||||
check(replay==first,'idempotency replay differs')
|
||||
c.call('POST',path+'/messages',409,actor=alice,body={'text':'другой body'},headers={'Idempotency-Key':key})
|
||||
c.call('POST',path+'/messages',400,actor=alice,body={'text':'без ключа'})
|
||||
if LAB>=4:
|
||||
att,content = c.attachment(alice,chat)
|
||||
# A queued attachment must already be linkable to its own chat.
|
||||
attached = c.message(alice,chat,'',attachments=[att['id']])['json']
|
||||
check(attached['attachment_ids']==[att['id']],'message lost attachment')
|
||||
ready = c.wait_ready(bob,att) if LAB>=5 else att
|
||||
check(ready['error_code'] is None,'ready attachment has an error')
|
||||
download = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
|
||||
check(download['bytes']==content,'download differs from original')
|
||||
check(download['headers'].get_content_type()=='image/png','original content type mismatch')
|
||||
for suffix in ('','/content'):
|
||||
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
|
||||
if LAB>=5:
|
||||
variants = [x for x in ready['variants'] if x['name']=='thumbnail']
|
||||
check(len(variants)==1,'expected exactly one thumbnail')
|
||||
v = variants[0]
|
||||
check((v['width'],v['height'])==(256,160),'thumbnail metadata has wrong dimensions')
|
||||
thumb = c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',actor=bob)
|
||||
check(thumb['headers'].get_content_type()=='image/jpeg','thumbnail content type mismatch')
|
||||
check(len(thumb['bytes'])==v['size_bytes'] and hashlib.sha256(thumb['bytes']).hexdigest()==v['sha256'],'thumbnail checksum mismatch')
|
||||
from image_probe import jpeg_size
|
||||
check(jpeg_size(thumb['bytes'])==(256,160),'actual JPEG dimensions mismatch')
|
||||
if LAB>=2:
|
||||
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
|
||||
c.call('GET','/api/v1/users/me',401,actor=alice)
|
||||
c.call('DELETE','/api/v1/auth/sessions/current',401,actor=alice)
|
||||
print('PASS: lab%d public API scenario; infrastructure and grading evidence remain separate.' % LAB)
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
+8
-3
@@ -1,5 +1,10 @@
|
||||
# Доказательства
|
||||
# Доказательства lab5
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
Автор: Каменский Андрей, БПИ2301.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
lab5-summary.json и lab5-*.txt перенесены из проверенной реализации. Код приложения,
|
||||
миграции, инфраструктура и версии зависимостей сохранены. Публичные проверки
|
||||
skeleton не изменены. Для повторения полного прогона в этом репозитории:
|
||||
`make verify-lab5 PYTHON=.venv/bin/python`.
|
||||
|
||||
Повтор быстрой проверки запущенного приложения: `make test`.
|
||||
|
||||
@@ -0,0 +1,299 @@
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 3.65kB done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [dispatcher internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 831B done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [minio internal] load build definition from Dockerfile
|
||||
#3 transferring dockerfile: 779B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [worker internal] load metadata for docker.io/library/python:3.13.0-slim-bookworm
|
||||
#4 ...
|
||||
|
||||
#5 [minio internal] load metadata for docker.io/library/golang:1.24.8-alpine3.22
|
||||
#5 DONE 0.8s
|
||||
|
||||
#4 [migration internal] load metadata for docker.io/library/python:3.13.0-slim-bookworm
|
||||
#4 DONE 0.9s
|
||||
|
||||
#6 [reconciler internal] load .dockerignore
|
||||
#6 transferring context:
|
||||
#6 transferring context: 196B done
|
||||
#6 DONE 0.1s
|
||||
|
||||
#7 [minio internal] load metadata for docker.io/library/alpine:3.22.2
|
||||
#7 DONE 0.9s
|
||||
|
||||
#8 [minio internal] load .dockerignore
|
||||
#8 transferring context: 2B done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [api internal] load build context
|
||||
#9 transferring context: 31.97kB 0.0s done
|
||||
#9 DONE 0.0s
|
||||
|
||||
#10 [worker 1/8] FROM docker.io/library/python:3.13.0-slim-bookworm@sha256:0de818129b26ed8f46fd772f540c80e277b67a28229531a1ba0fdacfaed19bcb
|
||||
#10 resolve docker.io/library/python:3.13.0-slim-bookworm@sha256:0de818129b26ed8f46fd772f540c80e277b67a28229531a1ba0fdacfaed19bcb 0.0s done
|
||||
#10 DONE 0.0s
|
||||
|
||||
#11 [worker 2/8] WORKDIR /app
|
||||
#11 CACHED
|
||||
|
||||
#12 [worker 3/8] COPY requirements.txt .
|
||||
#12 CACHED
|
||||
|
||||
#13 [worker 4/8] RUN pip install --no-cache-dir -r requirements.txt && python -m pip uninstall --yes pip && addgroup --system app && adduser --system --ingroup app app
|
||||
#13 CACHED
|
||||
|
||||
#14 [minio build 1/5] FROM docker.io/library/golang:1.24.8-alpine3.22@sha256:3d78beb141d98f42337f1252ecf2a5f20374109929a4c3f6817f9e4179cc0ae5
|
||||
#14 resolve docker.io/library/golang:1.24.8-alpine3.22@sha256:3d78beb141d98f42337f1252ecf2a5f20374109929a4c3f6817f9e4179cc0ae5 0.0s done
|
||||
#14 DONE 0.0s
|
||||
|
||||
#15 [minio stage-1 1/3] FROM docker.io/library/alpine:3.22.2@sha256:4b7ce07002c69e8f3d704a9c5d6fd3053be500b7f1c69fc0d80990c2ad8dd412
|
||||
#15 resolve docker.io/library/alpine:3.22.2@sha256:4b7ce07002c69e8f3d704a9c5d6fd3053be500b7f1c69fc0d80990c2ad8dd412 0.0s done
|
||||
#15 DONE 0.0s
|
||||
|
||||
#16 [minio build 5/5] RUN go build -p 2 -trimpath -o /minio .
|
||||
#16 CACHED
|
||||
|
||||
#17 [minio build 2/5] RUN apk add --no-cache git
|
||||
#17 CACHED
|
||||
|
||||
#18 [minio build 4/5] RUN git init . && git remote add origin https://github.com/minio/minio.git && git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a && git checkout --detach FETCH_HEAD
|
||||
#18 CACHED
|
||||
|
||||
#19 [minio build 3/5] WORKDIR /source
|
||||
#19 CACHED
|
||||
|
||||
#20 [minio stage-1 2/3] RUN apk add --no-cache ca-certificates && addgroup -S minio && adduser -S -G minio minio && mkdir /data && chown minio:minio /data
|
||||
#20 CACHED
|
||||
|
||||
#21 [minio stage-1 3/3] COPY --from=build /minio /usr/local/bin/minio
|
||||
#21 CACHED
|
||||
|
||||
#22 [worker 5/8] COPY --chown=app:app src ./src
|
||||
#22 DONE 0.0s
|
||||
|
||||
#23 [worker 6/8] COPY --chown=app:app migrations ./migrations
|
||||
#23 DONE 0.0s
|
||||
|
||||
#24 [minio] exporting to image
|
||||
#24 exporting layers done
|
||||
#24 exporting manifest sha256:7547cd354c48f3227f2cbf000fda700ed96a36ee681e781703ddb44d0b5bdefc done
|
||||
#24 exporting config sha256:1ce4e0a6020317919dab8f7b32e289d3dd392c47142aedbfd08eb57c8d4bd8c6 0.0s done
|
||||
#24 exporting attestation manifest sha256:4fcc01b189bcf76fc55780b452dc94fa6b080eabf4ec59c6be55ab20d8590f10 0.0s done
|
||||
#24 exporting manifest list sha256:3031680c8698766546de981def666873825ff3968c7735abd4df93a66e785669 done
|
||||
#24 naming to docker.io/library/mtusi-minio:RELEASE.2025-10-15T17-29-55Z done
|
||||
#24 unpacking to docker.io/library/mtusi-minio:RELEASE.2025-10-15T17-29-55Z done
|
||||
#24 DONE 0.1s
|
||||
|
||||
#25 [s3-bootstrap 7/8] COPY --chown=app:app infra/s3 ./infra/s3
|
||||
#25 DONE 0.1s
|
||||
|
||||
#26 [reconciler 8/8] COPY --chown=app:app alembic.ini ./alembic.ini
|
||||
#26 DONE 0.0s
|
||||
|
||||
#27 [minio] resolving provenance for metadata file
|
||||
#27 DONE 0.0s
|
||||
|
||||
#28 [reconciler] exporting to image
|
||||
#28 exporting layers 0.1s done
|
||||
#28 exporting manifest sha256:50624980f21d07241c862b909e4fb9442a90ffeb40dd8206d7aac26f66eccbd7 0.0s done
|
||||
#28 exporting config sha256:7a1e1df4f997b43aff5781110bdb5836534b12c0808d473eda71db0af8a74c9d
|
||||
#28 exporting config sha256:7a1e1df4f997b43aff5781110bdb5836534b12c0808d473eda71db0af8a74c9d 0.0s done
|
||||
#28 exporting attestation manifest sha256:684614a5b7e4b799a96dcbbefa80fc23055d4efa150efe9f6000f76a22968655
|
||||
#28 exporting attestation manifest sha256:684614a5b7e4b799a96dcbbefa80fc23055d4efa150efe9f6000f76a22968655 0.1s done
|
||||
#28 exporting manifest list sha256:ce20eef078d33139ef31c9284f405a5cf7467585124eab4622315d4ac2f2d533 0.0s done
|
||||
#28 naming to docker.io/library/mtusi-messenger:lab5-reconciler done
|
||||
#28 unpacking to docker.io/library/mtusi-messenger:lab5-reconciler 0.1s done
|
||||
#28 DONE 0.4s
|
||||
|
||||
#29 [migration] exporting to image
|
||||
#29 exporting layers 0.1s done
|
||||
#29 exporting manifest sha256:0385053620d9e1a8a4a42e2ee25cba2585f282894e7db7d169fad9c4f0b8f6cf done
|
||||
#29 exporting config sha256:f08c2229f6e9496adf93c011bf6c30b4399e516ead9379b1cc4f788fa2cb2274 0.0s done
|
||||
#29 exporting attestation manifest sha256:1f3020eb34ad00f0bc6c103ba69c5ee328586adb687a6d8b7b6f2219df90d867 0.1s done
|
||||
#29 exporting manifest list sha256:3a7d7d90175da94d20a55bc9cb7d77e803b127c8d5bdd2d15e887174c8ef4132 0.0s done
|
||||
#29 naming to docker.io/library/mtusi-messenger:lab5-migration done
|
||||
#29 unpacking to docker.io/library/mtusi-messenger:lab5-migration 0.1s done
|
||||
#29 DONE 0.4s
|
||||
|
||||
#30 [worker] exporting to image
|
||||
#30 exporting layers 0.1s done
|
||||
#30 exporting manifest sha256:cd94f7e10851594c1bcb474b4aafd4c45e3f86351d420519ad737617c5f22408 0.0s done
|
||||
#30 exporting config sha256:907bbd17062e1a89d46f590ea352b3e5a030a99483d22ade499513d80a50fedb 0.0s done
|
||||
#30 exporting attestation manifest sha256:f5cecdf3b9f59a063aef552f69eb042dbf170e2a069b86c3a4aeb3285b5fb9ac 0.1s done
|
||||
#30 exporting manifest list sha256:884bd713de3e6a20e1212d78eaf80d9520626282882193533e04350d6b467d45 0.0s done
|
||||
#30 naming to docker.io/library/mtusi-messenger:lab5-worker done
|
||||
#30 unpacking to docker.io/library/mtusi-messenger:lab5-worker 0.1s done
|
||||
#30 DONE 0.4s
|
||||
|
||||
#31 [s3-bootstrap] exporting to image
|
||||
#31 exporting layers 0.1s done
|
||||
#31 exporting manifest sha256:bebb0457cf8e613cc3010f79f7b78e14f58aec1ee81f8018b959aacdc6df9bc5 0.0s done
|
||||
#31 exporting config sha256:60bc6cd4c9fa29ae86cfc08564f73e80dbb368ad0287c28bce5f625c37ed2d92 0.0s done
|
||||
#31 exporting attestation manifest sha256:91242fd52b8851d33605e3d2655192fea6337dd936ecda56f98677496f62d00e 0.1s done
|
||||
#31 exporting manifest list sha256:b6f922ddcd6403c88b2e5a7b420fdb588b2fc7fc69cb8fcacf7867b397217d53 0.0s done
|
||||
#31 naming to docker.io/library/mtusi-messenger:lab5-s3-bootstrap done
|
||||
#31 unpacking to docker.io/library/mtusi-messenger:lab5-s3-bootstrap 0.1s done
|
||||
#31 DONE 0.4s
|
||||
|
||||
#32 [api] exporting to image
|
||||
#32 exporting layers 0.1s done
|
||||
#32 exporting manifest sha256:6b608618a809cf7d22e8e28fbc275ed5ba5957054b1626cd25abfd4ad6864583 0.0s done
|
||||
#32 exporting config sha256:24256444dc55a855fecea3b6a78728ec1c48c285e4ea03734e8a2da6b48a6c26 0.0s done
|
||||
#32 exporting attestation manifest sha256:14cc24ddfb28222b78b0166b03d593186409604eb6767bad22076ccc4e71a414 0.1s done
|
||||
#32 exporting manifest list sha256:47d30287724d27a149b5a9337f6400387576646795c949a7554fa501673d8974 0.0s done
|
||||
#32 naming to docker.io/library/mtusi-messenger:lab5 done
|
||||
#32 unpacking to docker.io/library/mtusi-messenger:lab5 0.1s done
|
||||
#32 DONE 0.4s
|
||||
|
||||
#33 [dispatcher] exporting to image
|
||||
#33 exporting layers 0.1s done
|
||||
#33 exporting manifest sha256:518a36053285088844983fc382234219366e9dcf1d960c01c2c0b06b7d023fb0 0.0s done
|
||||
#33 exporting config sha256:420b0fc74dde2d0cd5e29f339b4cdbb4ccaf2081d0680936712c921fae364096 0.0s done
|
||||
#33 exporting attestation manifest sha256:12e2ad2ad54aafe4ff4cdf978332f41633a7ef17d734320a26561ee96d72c480 0.1s done
|
||||
#33 exporting manifest list sha256:c811e7517b6fe0debbabb61b80c9c0a9cd6d1663d4b89fde0daef83113d1c6e1 0.0s done
|
||||
#33 naming to docker.io/library/mtusi-messenger:lab5-dispatcher done
|
||||
#33 unpacking to docker.io/library/mtusi-messenger:lab5-dispatcher 0.1s done
|
||||
#33 DONE 0.4s
|
||||
|
||||
#34 [migration] resolving provenance for metadata file
|
||||
#34 DONE 0.0s
|
||||
|
||||
#35 [s3-bootstrap] resolving provenance for metadata file
|
||||
#35 DONE 0.0s
|
||||
|
||||
#36 [api] resolving provenance for metadata file
|
||||
#36 DONE 0.0s
|
||||
|
||||
#37 [reconciler] resolving provenance for metadata file
|
||||
#37 DONE 0.0s
|
||||
|
||||
#38 [worker] resolving provenance for metadata file
|
||||
#38 DONE 0.0s
|
||||
|
||||
#39 [dispatcher] resolving provenance for metadata file
|
||||
#39 DONE 0.0s
|
||||
mtusi-messenger:lab5-migration Built
|
||||
mtusi-minio:RELEASE.2025-10-15T17-29-55Z Built
|
||||
mtusi-messenger:lab5-s3-bootstrap Built
|
||||
mtusi-messenger:lab5-reconciler Built
|
||||
mtusi-messenger:lab5 Built
|
||||
mtusi-messenger:lab5-worker Built
|
||||
mtusi-messenger:lab5-dispatcher Built
|
||||
Network mtusilab5-f651108561_default Creating
|
||||
Network mtusilab5-f651108561_default Created
|
||||
Volume mtusilab5-f651108561_broker_data Creating
|
||||
Volume mtusilab5-f651108561_broker_data Created
|
||||
Volume mtusilab5-f651108561_minio_data Creating
|
||||
Volume mtusilab5-f651108561_minio_data Created
|
||||
Volume mtusilab5-f651108561_postgres_data Creating
|
||||
Volume mtusilab5-f651108561_postgres_data Created
|
||||
Volume mtusilab5-f651108561_redis_data Creating
|
||||
Volume mtusilab5-f651108561_redis_data Created
|
||||
Container mtusilab5-f651108561-postgres-1 Creating
|
||||
Container mtusilab5-f651108561-broker-1 Creating
|
||||
Container mtusilab5-f651108561-redis-1 Creating
|
||||
Container mtusilab5-f651108561-minio-1 Creating
|
||||
Container mtusilab5-f651108561-minio-1 Created
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Creating
|
||||
Container mtusilab5-f651108561-broker-1 Created
|
||||
Container mtusilab5-f651108561-redis-1 Created
|
||||
Container mtusilab5-f651108561-postgres-1 Created
|
||||
Container mtusilab5-f651108561-migration-1 Creating
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Created
|
||||
Container mtusilab5-f651108561-migration-1 Created
|
||||
Container mtusilab5-f651108561-reconciler-1 Creating
|
||||
Container mtusilab5-f651108561-worker-1 Creating
|
||||
Container mtusilab5-f651108561-api-1 Creating
|
||||
Container mtusilab5-f651108561-api-2 Creating
|
||||
Container mtusilab5-f651108561-dispatcher-1 Creating
|
||||
Container mtusilab5-f651108561-dispatcher-1 Created
|
||||
Container mtusilab5-f651108561-worker-1 Created
|
||||
Container mtusilab5-f651108561-reconciler-1 Created
|
||||
Container mtusilab5-f651108561-api-1 Created
|
||||
Container mtusilab5-f651108561-api-2 Created
|
||||
Container mtusilab5-f651108561-lb-1 Creating
|
||||
Container mtusilab5-f651108561-lb-1 Created
|
||||
Container mtusilab5-f651108561-redis-1 Starting
|
||||
Container mtusilab5-f651108561-broker-1 Starting
|
||||
Container mtusilab5-f651108561-postgres-1 Starting
|
||||
Container mtusilab5-f651108561-minio-1 Starting
|
||||
Container mtusilab5-f651108561-broker-1 Started
|
||||
Container mtusilab5-f651108561-minio-1 Started
|
||||
Container mtusilab5-f651108561-minio-1 Waiting
|
||||
Container mtusilab5-f651108561-redis-1 Started
|
||||
Container mtusilab5-f651108561-postgres-1 Started
|
||||
Container mtusilab5-f651108561-postgres-1 Waiting
|
||||
Container mtusilab5-f651108561-postgres-1 Healthy
|
||||
Container mtusilab5-f651108561-migration-1 Starting
|
||||
Container mtusilab5-f651108561-migration-1 Started
|
||||
Container mtusilab5-f651108561-minio-1 Healthy
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Starting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Started
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
|
||||
Container mtusilab5-f651108561-migration-1 Waiting
|
||||
Container mtusilab5-f651108561-redis-1 Waiting
|
||||
Container mtusilab5-f651108561-broker-1 Waiting
|
||||
Container mtusilab5-f651108561-migration-1 Waiting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
|
||||
Container mtusilab5-f651108561-migration-1 Waiting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
|
||||
Container mtusilab5-f651108561-migration-1 Waiting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
|
||||
Container mtusilab5-f651108561-broker-1 Waiting
|
||||
Container mtusilab5-f651108561-broker-1 Healthy
|
||||
Container mtusilab5-f651108561-broker-1 Healthy
|
||||
Container mtusilab5-f651108561-migration-1 Exited
|
||||
Container mtusilab5-f651108561-migration-1 Exited
|
||||
Container mtusilab5-f651108561-migration-1 Exited
|
||||
Container mtusilab5-f651108561-redis-1 Healthy
|
||||
Container mtusilab5-f651108561-migration-1 Exited
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
|
||||
Container mtusilab5-f651108561-api-2 Starting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
|
||||
Container mtusilab5-f651108561-worker-1 Starting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
|
||||
Container mtusilab5-f651108561-reconciler-1 Starting
|
||||
Container mtusilab5-f651108561-dispatcher-1 Starting
|
||||
Container mtusilab5-f651108561-api-2 Started
|
||||
Container mtusilab5-f651108561-api-1 Starting
|
||||
Container mtusilab5-f651108561-dispatcher-1 Started
|
||||
Container mtusilab5-f651108561-worker-1 Started
|
||||
Container mtusilab5-f651108561-reconciler-1 Started
|
||||
Container mtusilab5-f651108561-api-1 Started
|
||||
Container mtusilab5-f651108561-api-2 Waiting
|
||||
Container mtusilab5-f651108561-api-1 Waiting
|
||||
Container mtusilab5-f651108561-api-2 Healthy
|
||||
Container mtusilab5-f651108561-api-1 Healthy
|
||||
Container mtusilab5-f651108561-lb-1 Starting
|
||||
Container mtusilab5-f651108561-lb-1 Started
|
||||
Container mtusilab5-f651108561-redis-1 Waiting
|
||||
Container mtusilab5-f651108561-api-2 Waiting
|
||||
Container mtusilab5-f651108561-api-1 Waiting
|
||||
Container mtusilab5-f651108561-postgres-1 Waiting
|
||||
Container mtusilab5-f651108561-lb-1 Waiting
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Waiting
|
||||
Container mtusilab5-f651108561-worker-1 Waiting
|
||||
Container mtusilab5-f651108561-migration-1 Waiting
|
||||
Container mtusilab5-f651108561-broker-1 Waiting
|
||||
Container mtusilab5-f651108561-reconciler-1 Waiting
|
||||
Container mtusilab5-f651108561-minio-1 Waiting
|
||||
Container mtusilab5-f651108561-dispatcher-1 Waiting
|
||||
Container mtusilab5-f651108561-lb-1 Healthy
|
||||
Container mtusilab5-f651108561-redis-1 Healthy
|
||||
Container mtusilab5-f651108561-postgres-1 Healthy
|
||||
Container mtusilab5-f651108561-dispatcher-1 Healthy
|
||||
Container mtusilab5-f651108561-migration-1 Exited
|
||||
Container mtusilab5-f651108561-worker-1 Healthy
|
||||
Container mtusilab5-f651108561-minio-1 Healthy
|
||||
Container mtusilab5-f651108561-reconciler-1 Healthy
|
||||
Container mtusilab5-f651108561-s3-bootstrap-1 Exited
|
||||
Container mtusilab5-f651108561-broker-1 Healthy
|
||||
Container mtusilab5-f651108561-api-2 Healthy
|
||||
Container mtusilab5-f651108561-api-1 Healthy
|
||||
@@ -0,0 +1,13 @@
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusilab5-f651108561-api-1 mtusi-messenger:lab5 "python -m src" api 48 seconds ago Up 22 seconds (healthy) 8080/tcp
|
||||
mtusilab5-f651108561-api-2 mtusi-messenger:lab5 "python -m src" api 48 seconds ago Up 41 seconds (healthy) 8080/tcp
|
||||
mtusilab5-f651108561-broker-1 redis:7.4.2-bookworm "docker-entrypoint.s…" broker 3 minutes ago Up 48 seconds (healthy) 6379/tcp
|
||||
mtusilab5-f651108561-dispatcher-1 mtusi-messenger:lab5-dispatcher "python -m src.pipel…" dispatcher 57 seconds ago Up 34 seconds (healthy) 8080/tcp
|
||||
mtusilab5-f651108561-lb-1 haproxy:3.0.12-alpine "docker-entrypoint.s…" lb 3 minutes ago Up 34 seconds 127.0.0.1:50689->8080/tcp
|
||||
mtusilab5-f651108561-migration-1 mtusi-messenger:lab5-migration "alembic upgrade head" migration 3 minutes ago Exited (0) 23 seconds ago
|
||||
mtusilab5-f651108561-minio-1 mtusi-minio:RELEASE.2025-10-15T17-29-55Z "minio server /data …" minio 3 minutes ago Up 48 seconds (healthy) 9000/tcp
|
||||
mtusilab5-f651108561-postgres-1 postgres:16.6-bookworm "docker-entrypoint.s…" postgres 3 minutes ago Up 48 seconds (healthy) 5432/tcp
|
||||
mtusilab5-f651108561-reconciler-1 mtusi-messenger:lab5-reconciler "python -m src.maint…" reconciler 3 minutes ago Up 33 seconds (healthy) 8080/tcp
|
||||
mtusilab5-f651108561-redis-1 redis:7.4.2-bookworm "docker-entrypoint.s…" redis 3 minutes ago Up 48 seconds (healthy) 6379/tcp
|
||||
mtusilab5-f651108561-s3-bootstrap-1 mtusi-messenger:lab5-s3-bootstrap "python -m src.core.…" s3-bootstrap 3 minutes ago Exited (0) 23 seconds ago
|
||||
mtusilab5-f651108561-worker-1 mtusi-messenger:lab5-worker "python -m src.pipel…" worker 57 seconds ago Up 34 seconds (healthy) 8080/tcp
|
||||
@@ -0,0 +1,2 @@
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/attachment_failover.py --base-url "http://127.0.0.1:50689"
|
||||
PASS: exact uploading replica stopped; another replica returns identical original
|
||||
@@ -0,0 +1,17 @@
|
||||
{"case": "variants", "result": "PASS", "original": [320, 200], "thumbnail": [256, 160]}
|
||||
{"case": "variants", "result": "PASS", "original": [7, 3], "thumbnail": [7, 3]}
|
||||
{"case": "variants", "result": "PASS", "original": [1001, 667], "thumbnail": [256, 170]}
|
||||
{"case": "variants", "result": "PASS", "original": [1600, 1000], "thumbnail": [256, 160]}
|
||||
{"case": "alpha_EXIF_metadata_center_crop", "result": "PASS"}
|
||||
{"case": "stopped_worker_API_broker_restart", "result": "PASS", "attachment_id": "b0bf639f-3b10-4f04-8cce-745068cf7726"}
|
||||
{"case": "broker_unavailable_outbox_recovered", "result": "PASS"}
|
||||
{"case": "before_publish_recovered", "result": "PASS", "job_id": "fc72ddbf-9a01-47eb-8351-ccb232db495c"}
|
||||
{"case": "after_publish_recovered", "result": "PASS", "job_id": "69c7248f-eb9e-4ca2-a475-6be26a754cc2"}
|
||||
{"case": "after_objects_redelivery_idempotent", "result": "PASS", "attempt": 2, "objects": 4}
|
||||
{"case": "after_commit_redelivery_idempotent", "result": "PASS", "attempt": 1, "objects": 4}
|
||||
{"case": "temporary_failed_audited_replay", "result": "PASS", "attempts_before_replay": 3}
|
||||
{"case": "permanent_failed_audited_replay", "result": "PASS", "attempts_before_replay": 1}
|
||||
{"case": "timeout_failed_audited_replay", "result": "PASS", "attempts_before_replay": 3}
|
||||
{"case": "staging_cleanup_after_ready", "result": "PASS"}
|
||||
{"case": "failed_retention_and_expired_replay_rejected", "result": "PASS"}
|
||||
{"case": "abandoned_staging_cleaned_active_job_protected", "result": "PASS"}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1 @@
|
||||
{"result": "PASS", "invalid_image_rejected": true, "truncated_image_rejected": true, "decoded_pixel_limit": true, "address_space_limit": true, "subprocess_memory_mb": 768, "wall_timeout_seconds": 30, "concurrency": 1, "prefetch_per_consumer": 1}
|
||||
@@ -0,0 +1,2 @@
|
||||
.venv/bin/python tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1 @@
|
||||
{"result": "PASS", "migration": "008 -> 009", "legacy_original_unchanged": true, "variants": 3, "staging_cleanup_safe": true}
|
||||
@@ -0,0 +1,6 @@
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/test-persistence.py --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:50689"
|
||||
ДО: {"api": {"e4a842f35f484acc35935112b130d646210045abdcee5f59befe5bb20f468bbb": {"StartedAt": "2026-11-17T14:46:04.716602763Z", "Pid": 91531}, "d42816e025a1702e0e8af9afbb333c0f9b8c323c1bf366e774bc0857e500d058": {"StartedAt": "2026-11-17T14:46:04.776293055Z", "Pid": 91583}}, "postgres": {"21403d8daa4f88a3dd4a1d65b046ccf1559c8c8a27ca87cc514474d813b75293": {"StartedAt": "2026-11-17T14:45:27.245103135Z", "Pid": 84608}}, "redis": {"7693f901578657c947d97e77d9842b9700898323c4b97a9f25a70303132da4fc": {"StartedAt": "2026-11-17T14:45:27.24363226Z", "Pid": 84590}}, "minio": {"845ae9d5dcc502fca0ed87faedc7c99516ab8f4e11a5b6527395f4f32bde48a7": {"StartedAt": "2026-11-17T14:45:27.248952176Z", "Pid": 84607}}, "broker": {"3069a07e189065fb9c3b61bec00b04a5353d45640d4f7c3a7f8b10e89c8b5208": {"StartedAt": "2026-11-17T14:46:12.064916877Z", "Pid": 92915}}, "worker": {"827cfda20ca8f2376438448867d58f7b68a6bca788b003f0172c8bc04c14add9": {"StartedAt": "2026-11-17T14:48:16.936601838Z", "Pid": 15057}}, "dispatcher": {"25cd05b566f77b33cfb623c6a52cf122685581c00c6489f3dc8a5269766a7745": {"StartedAt": "2026-11-17T14:48:16.933687755Z", "Pid": 15049}}, "reconciler": {"8f5eb9d6400f93b226c51f018196f6be2e4a798b40859b3d4fcf95ba6e67ca68": {"StartedAt": "2026-11-17T14:45:34.081448096Z", "Pid": 85718}}, "lb": {"9e2f28be5025f4289933fd21125b1f0e4031f721d3ad8c426edc5e169c51ebf2": {"StartedAt": "2026-11-17T14:45:40.321214418Z", "Pid": 86786}}}
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
ПОСЛЕ: {"api": {"028e5d08c7c8a0dc2fb3e1825b0a5b4482b82cbbb2c2ab72bbf75d4ecf4ab15e": {"StartedAt": "2026-11-17T14:48:31.632796262Z", "Pid": 18173}, "cc09b02c275532835ed1321fc044535169da1486ef11eed29557df1910a9477c": {"StartedAt": "2026-11-17T14:48:31.794788845Z", "Pid": 18228}}, "postgres": {"21403d8daa4f88a3dd4a1d65b046ccf1559c8c8a27ca87cc514474d813b75293": {"StartedAt": "2026-11-17T14:48:24.449627633Z", "Pid": 16975}}, "redis": {"7693f901578657c947d97e77d9842b9700898323c4b97a9f25a70303132da4fc": {"StartedAt": "2026-11-17T14:48:24.380714508Z", "Pid": 16903}}, "minio": {"845ae9d5dcc502fca0ed87faedc7c99516ab8f4e11a5b6527395f4f32bde48a7": {"StartedAt": "2026-11-17T14:48:24.360345258Z", "Pid": 16901}}, "broker": {"3069a07e189065fb9c3b61bec00b04a5353d45640d4f7c3a7f8b10e89c8b5208": {"StartedAt": "2026-11-17T14:48:24.492273467Z", "Pid": 17003}}, "worker": {"827cfda20ca8f2376438448867d58f7b68a6bca788b003f0172c8bc04c14add9": {"StartedAt": "2026-11-17T14:48:38.267002584Z", "Pid": 19338}}, "dispatcher": {"25cd05b566f77b33cfb623c6a52cf122685581c00c6489f3dc8a5269766a7745": {"StartedAt": "2026-11-17T14:48:38.389830001Z", "Pid": 19450}}, "reconciler": {"8f5eb9d6400f93b226c51f018196f6be2e4a798b40859b3d4fcf95ba6e67ca68": {"StartedAt": "2026-11-17T14:48:39.280074668Z", "Pid": 19637}}, "lb": {"9e2f28be5025f4289933fd21125b1f0e4031f721d3ad8c426edc5e169c51ebf2": {"StartedAt": "2026-11-17T14:48:38.356520834Z", "Pid": 19393}}}
|
||||
PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, broker, worker, dispatcher, reconciler и LB; прежний токен и данные сохранены
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,8 @@
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff check src
|
||||
All checks passed!
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff format --check src
|
||||
62 files already formatted
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,13 @@
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/attachments.py --base-url "http://127.0.0.1:50689"
|
||||
PASS: PNG/JPEG bytes, metadata, ACL, chat boundaries, limits and idempotency
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/lab3.py --base-url "http://127.0.0.1:50689"
|
||||
{
|
||||
"parallel_repeats": 16,
|
||||
"instances": [
|
||||
"61c93bdc-83e2-4770-9915-5573f91b6eac",
|
||||
"b1fefaf1-795c-48ed-a590-28248b6cf1b9"
|
||||
],
|
||||
"messages_created": 1,
|
||||
"checks": "normalization, conflict, key scope, invalid keys, access, logout, headers",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -0,0 +1,93 @@
|
||||
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/lab4_review.py --base-url "http://127.0.0.1:50689"
|
||||
{
|
||||
"result": "PASS",
|
||||
"checks": [
|
||||
{
|
||||
"case": "username_control_characters",
|
||||
"result": "PASS",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "truncated_png",
|
||||
"result": "PASS",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "header_only_png",
|
||||
"result": "PASS",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "mismatched_mime",
|
||||
"result": "PASS",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "DEL_filename",
|
||||
"result": "PASS",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "missing_filename",
|
||||
"result": "PASS",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "pixels",
|
||||
"dimensions": [
|
||||
8000,
|
||||
5000
|
||||
],
|
||||
"result": "PASS",
|
||||
"status": 202
|
||||
},
|
||||
{
|
||||
"case": "pixels",
|
||||
"dimensions": [
|
||||
8000,
|
||||
5001
|
||||
],
|
||||
"result": "PASS",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "pixels",
|
||||
"dimensions": [
|
||||
20000,
|
||||
10000
|
||||
],
|
||||
"result": "PASS",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "API_cannot_create_foreign_bucket",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"case": "client_abort_and_oversized_chunked_body",
|
||||
"result": "PASS",
|
||||
"oversized_status": 413,
|
||||
"durable_state_unchanged": true
|
||||
},
|
||||
{
|
||||
"case": "PostgreSQL_frozen_after_SQL_started",
|
||||
"result": "PASS",
|
||||
"history": {
|
||||
"status": 503,
|
||||
"seconds": 5.0998,
|
||||
"request_id_present": true,
|
||||
"instance_id_present": true
|
||||
},
|
||||
"readiness": {
|
||||
"status": 503,
|
||||
"seconds": 2.0718,
|
||||
"request_id_present": true,
|
||||
"instance_id_present": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"case": "PostgreSQL_resume_without_API_restart",
|
||||
"result": "PASS"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,156 @@
|
||||
{
|
||||
"project": "mtusilab5-f651108561",
|
||||
"fresh_volumes": true,
|
||||
"code_manifest": {
|
||||
"src/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/__main__.py": "b1b472fa858b203911db455eb5c25965b961510985ec4d2c94f627d378aaa9f8",
|
||||
"src/api/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/dependencies.py": "73c3f94d7c14d6c34031214933340124ebc4e22730b2b1bf8a2eb89a0d42e986",
|
||||
"src/api/router.py": "4ac01f4ab0e646e0782c760a29fe7b5caa577046eb1ae981328daa1510393915",
|
||||
"src/api/v1/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/attachments.py": "186c976232f76018761792aa53dea560fe24b1bfbd2bae8b698eba31da28d8fb",
|
||||
"src/api/v1/routers/auth/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/auth/callback.py": "69a2cde6ac37f445e64d9afdea55437240846d158460e6fc5601ff0ce2045d2c",
|
||||
"src/api/v1/routers/auth/router.py": "075648602d66bdc3497c4714d9789b2ea5661501478b05ba845b65c55a725fd8",
|
||||
"src/api/v1/routers/auth/schemas.py": "ba3345570c35b8a9e55751202f9c8a27f7d338cfcd85b300c196a43ac03aa311",
|
||||
"src/api/v1/routers/chats/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/chats/router.py": "85cac2d5ade6917c99e4e6a82053f681e1d253eca4fe3eee726e9f7621635bce",
|
||||
"src/api/v1/routers/chats/schemas.py": "00e0fc283069cca6c7929ef8d704aa1e577e6bfb555a496eb1b8170231c3b240",
|
||||
"src/api/v1/routers/messages/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/messages/router.py": "88f020fc60fdbf00f574308aa7b811416e308588fad27ff78ccc0f3d3b77f032",
|
||||
"src/api/v1/routers/messages/schemas.py": "fa82dfb70f2f8f344c3e3577a8df4e5e365241ddcc9f2bcd43021ab952a40316",
|
||||
"src/api/v1/routers/users/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/users/router.py": "fedd9cb7da2fb21caccd8ae2080d013719b4f13382dc795de880fb8ca87f857f",
|
||||
"src/api/v1/routers/users/schemas.py": "c30356333a3f6bd1b80b8cf6f4208d550201adfaaa0667e1db074c4aecc70dd7",
|
||||
"src/api/v1/schemas.py": "403d5821588d8abcc33a285cd2689be5eba0e7ab0373d1e17856ff0464934766",
|
||||
"src/core/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/cache.py": "1973038f948f2eff50b18ba9c0ea3aa1eedd712932a41045ba6dd18dee358966",
|
||||
"src/core/callback.py": "9046a504d8324a32e428ff8f4d159d452160828d470e3205400473394d380fee",
|
||||
"src/core/db/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/db/models.py": "6d0b911c8ed642e747789ff5377bf582b997a561c2e4834d695253a0cf6c16ac",
|
||||
"src/core/db/repo/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/db/repo/auth.py": "63fb17b55cf05a4b05c5f0b08d3e4f6dc6c83981c7f9d89a0d798b0d270283f2",
|
||||
"src/core/db/repo/chat.py": "fa1042b689e1e2242360d1432ca84ca49f35a6a2de03810135907333466e76fd",
|
||||
"src/core/db/repo/message.py": "81a5155d94a2c5b55636774d460033a1ad83daed66a2ad56de839f44dd6db4d3",
|
||||
"src/core/db/repo/user.py": "f1d36be8530772e6a969687e78bc7bb9bfe7daf8be67d1e079acb1e6c9d7017b",
|
||||
"src/core/db/session.py": "9d4c07446ccc0990843c7f978c487a9976f9d926bf1e69a57f88021f742c7c5f",
|
||||
"src/core/db/types.py": "1e8890cfa43c31ce77ce0c95f0a8a535d0730835db16f33b086226bb189ad7aa",
|
||||
"src/core/errors.py": "5f93764110b969832766be8a6302515edf2eecc44de4d43c4d350c9c20d31432",
|
||||
"src/core/pagination.py": "3e1c7e5232dc27688f20c622f312ea10d5ce45e9d3960a4c1b61af3e885079c6",
|
||||
"src/core/readiness.py": "4064b105e7157e5dfbf3591983e3d6cbf27daf418b764f9ea2ee5f3140772ee1",
|
||||
"src/core/request_deadline.py": "908433803b2238b9b9bd004a5ca74010a05ee60fcb68b80f589bb3c7e1e3044a",
|
||||
"src/core/request_limits.py": "69ce991f604b8c6f6a225c1f3c09002402c680ce89b2146fdedf5b816c7f836b",
|
||||
"src/core/security.py": "64d6769b36090ab2824f19668f99d23669f838e82d6a785636c339b7c1876663",
|
||||
"src/core/session_store.py": "874b3ffa5b52b5b6a4587dc785784f41b6958d1b3be5a6a62470623f2182a6c1",
|
||||
"src/core/settings.py": "b284cf7d0c9728a7c831f6c7fcd858851c9b4ac20c8aba4f5f21f77616fc43dd",
|
||||
"src/core/storage.py": "b25940300924f2a895a4f0091bb729100c2e2e41b57889b981dcfd91e2ff47e3",
|
||||
"src/core/storage_bootstrap.py": "a0b0b6edded744eb0d3a9621ba4baab69576b5be17603adb6ac8ab0413aeb0c9",
|
||||
"src/core/upload_coordination.py": "9ee87e7cf79cad25af1e9454c7997f5d9312f1f978301ce801ef1596a7effe48",
|
||||
"src/main.py": "8d3aae82b2a74a859ecd0d71bfe30dff85ea44e98d3aa1fedadaed0b41b2eba9",
|
||||
"src/maintenance/__init__.py": "bd9fc4293e0380e6b62c869dfa75a798f83090c85490c9e6b42df87e8d344b71",
|
||||
"src/maintenance/reconcile.py": "ba4ce84154dee28e4a28aed680cb4e18c4b82e02c775c84a04de4d0d5b0b97b6",
|
||||
"src/pipeline/__init__.py": "fb2cc311d1797b3ab311edfc2a9d7ec601ff349f8cdcfe4e3a58fa223e4dc194",
|
||||
"src/pipeline/admin.py": "c55f22bea18732204c5ab8745b9ed86532ce69bac2a1d92803d84dd38b2806ea",
|
||||
"src/pipeline/common.py": "8834e4a61f00e1476274044092b799e236562ccd6c6260f81cbece4917216aa6",
|
||||
"src/pipeline/dispatcher.py": "4f5a6f7975906481e5e1e890c82fce31ee95ed95ed487e52601d9c0ac48baf42",
|
||||
"src/pipeline/images.py": "f950f269bfef7035da28d00f19d25889712c520a8f50121e93d677491a1ab17a",
|
||||
"src/pipeline/worker.py": "bc526f8917b1e09ffe07265291f3dc04e1c93332723b88323b4670d3e8f95605",
|
||||
"src/service/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/service/attachment.py": "b3ac2c63190abda06ea22a41eb253247ab1e198bb014a26b2dce457c2d9fe601",
|
||||
"src/service/auth.py": "c979b1bdf157d7468ec584093e56a16abbb6b3fb25da0a1cce6eecac792db5ce",
|
||||
"src/service/chat.py": "baa2b0eb570fa0965a0e4b929313ecb1c96464997b592872f4ed193e22c48489",
|
||||
"src/service/dto.py": "c44fdd911f063348efff8471277d8dcb0ffaf91672e139ad1d97c5140b813a29",
|
||||
"src/service/exceptions.py": "32a232596795b28c1ca5ebbd19ed938cc6086263ceaf476716e9ae310da9f685",
|
||||
"src/service/message.py": "87ea10afea7ce0d2b666015135e052cfa58af39977965712d3ca8c940ff9e977",
|
||||
"src/service/user.py": "44e561c97aff49d358e5f9ed02cfe6ae85abdd384423fe9dcc7b9b05f13f4bbb",
|
||||
"migrations/env.py": "67360cd30a7dd1295ee80b1991c773d817bc601b30cd32d88fb38769c91144f9",
|
||||
"migrations/script.py.mako": "d7558dcb7ce01d3e44830898336d3027de66e5ffdb1491c0cd27f6159b021902",
|
||||
"migrations/versions/001_initial.py": "72862742da825a042bb63deef80e22cbef79da8a9b0f369644c344211c8a5a87",
|
||||
"migrations/versions/002_redis_sessions.py": "5bdd751818e8577f81cbb96cd28031b569f62afff43ee72660f980bc0ee7614a",
|
||||
"migrations/versions/003_admin.py": "24fcc923b12d0b68e401c7b47642563de3d5b5808821e4fefed8d69e48eb8b6d",
|
||||
"migrations/versions/004_idempotency.py": "4f51289fd202cde682bf1256f9f4bfc2f17c35fc00ada7d1c4bf36182968e9b9",
|
||||
"migrations/versions/005_message_unicode.py": "0851e4ae1e4d3ca8e11b00cb7714827c0de1651d9bb49cd2bfb4525cd1f2c999",
|
||||
"migrations/versions/006_unicode_names.py": "fb087985717e280b7b6f67348e9cd8abb9c193ab759cff23a6e5628ecd2818ac",
|
||||
"migrations/versions/007_attachments.py": "c4936a499313cd22f32fac9538d5892cfe2f2eb49aa8427d54dc72b73c7b5a7c",
|
||||
"migrations/versions/008_reconciliation.py": "84fd1650ee4338c57f68328221cb82c9e75b69c52512b58907be9660677a3963",
|
||||
"migrations/versions/009_pipeline.py": "036e5c409c829c629e00623db72d2244c77e1b3ebca7d14fb63bb56a22508c30",
|
||||
"infra/haproxy.cfg": "6640795207cee655e5c22d685d73b2a57ae1a987156783ad5226d57d7ed6d59c",
|
||||
"infra/minio/Dockerfile": "632a16d3468aa0290a0dcb69cdbdba7a8827ada9ab56d5b9903d1ba8eaf182d7",
|
||||
"infra/s3/api-policy.json": "b53c930e1fbcd2317ec1d438b7b8223358173257fe2a5cb823f3b57c126b8df2",
|
||||
"infra/s3/reconciler-policy.json": "315cd3f537fa865bcea81e9e6b3e26cbb09b5b4985c9909a9d2866eafd453b95",
|
||||
"infra/s3/worker-policy.json": "ab1c516b190d0c37fd99012a47279ce9777a0923b0d76152db47a285a780ba89",
|
||||
"Dockerfile": "f6d3a539fd5b0787c366c76dc0e02086857eb465790bcaa599ab7a36ea2f5c35",
|
||||
"compose.yaml": "86d10bca6aa0e506e066672ad5afd40fea021de5852baf132606deb4d65285ac",
|
||||
"requirements.txt": "977716fbc3ee1b11681500aa61cf1d561ec1d4267a1f2c35dbbed8bdcf7493e0",
|
||||
"lab.json": "334580cb36093c3bb022df11190ac44929ac357916022641013ddf39e19814c2"
|
||||
},
|
||||
"results": [
|
||||
{
|
||||
"step": "quality",
|
||||
"result": "PASS",
|
||||
"seconds": 0.7,
|
||||
"evidence": "lab5-quality.txt"
|
||||
},
|
||||
{
|
||||
"step": "clean-start",
|
||||
"result": "PASS",
|
||||
"seconds": 17.65,
|
||||
"evidence": "lab5-clean-start.txt"
|
||||
},
|
||||
{
|
||||
"step": "public-smoke",
|
||||
"result": "PASS",
|
||||
"seconds": 2.63,
|
||||
"evidence": "lab5-public-smoke.txt"
|
||||
},
|
||||
{
|
||||
"step": "regression",
|
||||
"result": "PASS",
|
||||
"seconds": 5.36,
|
||||
"evidence": "lab5-regression.txt"
|
||||
},
|
||||
{
|
||||
"step": "migration",
|
||||
"result": "PASS",
|
||||
"seconds": 3.15,
|
||||
"evidence": "lab5-migration.txt"
|
||||
},
|
||||
{
|
||||
"step": "limits",
|
||||
"result": "PASS",
|
||||
"seconds": 1.01,
|
||||
"evidence": "lab5-limits.txt"
|
||||
},
|
||||
{
|
||||
"step": "faults",
|
||||
"result": "PASS",
|
||||
"seconds": 144.17,
|
||||
"evidence": "lab5-faults.txt"
|
||||
},
|
||||
{
|
||||
"step": "persistence",
|
||||
"result": "PASS",
|
||||
"seconds": 24.86,
|
||||
"evidence": "lab5-persistence.txt"
|
||||
},
|
||||
{
|
||||
"step": "failover",
|
||||
"result": "PASS",
|
||||
"seconds": 14.48,
|
||||
"evidence": "lab5-failover.txt"
|
||||
},
|
||||
{
|
||||
"step": "review",
|
||||
"result": "PASS",
|
||||
"seconds": 14.21,
|
||||
"evidence": "lab5-review.txt"
|
||||
},
|
||||
{
|
||||
"step": "final-smoke",
|
||||
"result": "PASS",
|
||||
"seconds": 2.37,
|
||||
"evidence": "lab5-final-smoke.txt"
|
||||
}
|
||||
]
|
||||
}
|
||||
+5
-6
@@ -1,7 +1,6 @@
|
||||
# Инфраструктура студента
|
||||
# Инфраструктура lab5
|
||||
|
||||
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
|
||||
|
||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
||||
|
||||
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
|
||||
Стенд описан в ../compose.yaml: PostgreSQL, Redis сессий, отдельный Redis Streams
|
||||
broker, MinIO, две API-реплики, HAProxy, worker, dispatcher и reconciler.
|
||||
Миграции и S3 bootstrap запускаются автоматически. Полные инструкции — в README.md
|
||||
и REPORT.md в корне репозитория.
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 2048
|
||||
stats socket /tmp/haproxy.sock mode 600 level admin
|
||||
stats socket ipv4@127.0.0.1:9999 level admin
|
||||
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
option httplog
|
||||
timeout connect 1s
|
||||
timeout client 15s
|
||||
timeout server 12s
|
||||
timeout http-request 7s
|
||||
timeout http-keep-alive 2s
|
||||
timeout check 1s
|
||||
# Не повторяем POST автоматически: неизвестный результат повторяет клиент
|
||||
# с исходным Idempotency-Key. Соединения к недоступному API не ждут долго.
|
||||
retries 0
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
hold refused 1s
|
||||
accepted_payload_size 8192
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend api_pool
|
||||
|
||||
backend api_pool
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 2
|
||||
server-template api 1-16 api:8080 check resolvers docker resolve-prefer ipv4 init-addr none
|
||||
@@ -0,0 +1,20 @@
|
||||
# MinIO community distribution is source-only; pin the reviewed release commit.
|
||||
FROM golang:1.24.8-alpine3.22 AS build
|
||||
RUN apk add --no-cache git
|
||||
WORKDIR /source
|
||||
RUN git init . \
|
||||
&& git remote add origin https://github.com/minio/minio.git \
|
||||
&& git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
|
||||
&& git checkout --detach FETCH_HEAD
|
||||
ENV CGO_ENABLED=0 GOMAXPROCS=2
|
||||
RUN go build -p 2 -trimpath -o /minio .
|
||||
|
||||
FROM alpine:3.22.2
|
||||
RUN apk add --no-cache ca-certificates \
|
||||
&& addgroup -S minio && adduser -S -G minio minio \
|
||||
&& mkdir /data && chown minio:minio /data
|
||||
COPY --from=build /minio /usr/local/bin/minio
|
||||
USER minio
|
||||
EXPOSE 9000
|
||||
ENTRYPOINT ["minio"]
|
||||
CMD ["server", "/data", "--console-address", ":9001"]
|
||||
@@ -0,0 +1,29 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:GetBucketLocation"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:PutObject",
|
||||
"s3:AbortMultipartUpload",
|
||||
"s3:ListMultipartUploadParts"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/originals/*",
|
||||
"arn:aws:s3:::${bucket}/staging/*",
|
||||
"arn:aws:s3:::${bucket}/variants/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:GetBucketLocation",
|
||||
"s3:GetBucketVersioning"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:DeleteObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/originals/*",
|
||||
"arn:aws:s3:::${bucket}/staging/*",
|
||||
"arn:aws:s3:::${bucket}/variants/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,30 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:GetBucketLocation"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:PutObject",
|
||||
"s3:AbortMultipartUpload",
|
||||
"s3:ListMultipartUploadParts",
|
||||
"s3:DeleteObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/originals/*",
|
||||
"arn:aws:s3:::${bucket}/staging/*",
|
||||
"arn:aws:s3:::${bucket}/variants/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -4,5 +4,5 @@
|
||||
"contract_version": "1.5.0",
|
||||
"default_base_url": "http://localhost:8080",
|
||||
"grading": "3; 4 includes 3; 5 includes 4 plus one completed research track",
|
||||
"scaffold_has_application": false
|
||||
"scaffold_has_application": true
|
||||
}
|
||||
|
||||
@@ -0,0 +1,34 @@
|
||||
import asyncio
|
||||
|
||||
from alembic import context
|
||||
from sqlalchemy import pool
|
||||
from sqlalchemy.ext.asyncio import create_async_engine
|
||||
|
||||
from src.core.db.models import Base
|
||||
from src.core.settings import settings
|
||||
|
||||
url = settings.sqlalchemy_database_url
|
||||
target_metadata = Base.metadata
|
||||
|
||||
|
||||
def run_migrations(connection):
|
||||
context.configure(connection=connection, target_metadata=target_metadata, compare_type=True)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
|
||||
|
||||
async def run_online():
|
||||
engine = create_async_engine(url, poolclass=pool.NullPool)
|
||||
try:
|
||||
async with engine.connect() as connection:
|
||||
await connection.run_sync(run_migrations)
|
||||
finally:
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
if context.is_offline_mode():
|
||||
context.configure(url=url, target_metadata=target_metadata, literal_binds=True)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
else:
|
||||
asyncio.run(run_online())
|
||||
@@ -0,0 +1,17 @@
|
||||
"""${message}"""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
${imports if imports else ""}
|
||||
|
||||
revision = ${repr(up_revision)}
|
||||
down_revision = ${repr(down_revision)}
|
||||
branch_labels = ${repr(branch_labels)}
|
||||
depends_on = ${repr(depends_on)}
|
||||
|
||||
|
||||
def upgrade():
|
||||
${upgrades if upgrades else "pass"}
|
||||
|
||||
|
||||
def downgrade():
|
||||
${downgrades if downgrades else "pass"}
|
||||
@@ -0,0 +1,60 @@
|
||||
"""Пользователи, чаты, участники, сообщения и сессии."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '001'
|
||||
down_revision = None
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
'users',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('username', sa.String(32), nullable=False, unique=True),
|
||||
sa.Column('display_name', sa.String(100), nullable=False),
|
||||
sa.Column('password_hash', sa.Text(), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
|
||||
sa.CheckConstraint('length(trim(display_name)) > 0'),
|
||||
)
|
||||
op.create_table(
|
||||
'chats',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('title', sa.String(100), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint('length(trim(title)) > 0'),
|
||||
)
|
||||
op.create_table(
|
||||
'chat_members',
|
||||
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id', ondelete='CASCADE'), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id'), primary_key=True),
|
||||
)
|
||||
op.create_index('chat_members_user_idx', 'chat_members', ['user_id', 'chat_id'])
|
||||
op.create_table(
|
||||
'messages',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id'), nullable=False),
|
||||
sa.Column('sender_id', sa.Uuid(), sa.ForeignKey('users.id'), nullable=False),
|
||||
sa.Column('text', sa.String(4000), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.ForeignKeyConstraint(['chat_id', 'sender_id'], ['chat_members.chat_id', 'chat_members.user_id']),
|
||||
sa.CheckConstraint('length(trim(text)) > 0'),
|
||||
)
|
||||
op.create_index('messages_history_idx', 'messages', ['chat_id', 'created_at', 'id'])
|
||||
op.create_table(
|
||||
'sessions',
|
||||
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table('sessions')
|
||||
op.drop_table('messages')
|
||||
op.drop_table('chat_members')
|
||||
op.drop_table('chats')
|
||||
op.drop_table('users')
|
||||
@@ -0,0 +1,22 @@
|
||||
"""Сессии перенесены в Redis."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '002'
|
||||
down_revision = '001'
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.drop_table('sessions')
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.create_table(
|
||||
'sessions',
|
||||
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||
@@ -0,0 +1,16 @@
|
||||
"""Признак системного администратора."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '003'
|
||||
down_revision = '002'
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column('users', sa.Column('is_admin', sa.Boolean(), nullable=False, server_default=sa.false()))
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_column('users', 'is_admin')
|
||||
@@ -0,0 +1,25 @@
|
||||
"""Общая идемпотентность сообщений, совместимая с предыдущей схемой."""
|
||||
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = "004"
|
||||
down_revision = "003"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
"message_requests",
|
||||
sa.Column("sender_id", sa.Uuid(), sa.ForeignKey("users.id"), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), primary_key=True),
|
||||
sa.Column("key", sa.String(128), primary_key=True),
|
||||
sa.Column("request_text", sa.String(4000), nullable=False),
|
||||
sa.Column("message_id", sa.Uuid(), sa.ForeignKey("messages.id"), nullable=True),
|
||||
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("message_requests")
|
||||
@@ -0,0 +1,55 @@
|
||||
"""Сохранять весь допустимый Unicode сообщений, включая U+0000, без потерь."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "005"
|
||||
down_revision = "004"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.drop_constraint("messages_text_check", "messages", type_="check")
|
||||
op.alter_column(
|
||||
"messages",
|
||||
"text",
|
||||
existing_type=sa.String(4000),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_to(text, 'UTF8')",
|
||||
)
|
||||
op.alter_column(
|
||||
"message_requests",
|
||||
"request_text",
|
||||
existing_type=sa.String(4000),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_to(request_text, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# convert_from откажет при наличии U+0000: не удаляем символы или строки
|
||||
# молча. Откат возможен только если все данные представимы в PostgreSQL text.
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.alter_column(
|
||||
"messages",
|
||||
"text",
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(4000),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_from(text, 'UTF8')",
|
||||
)
|
||||
op.alter_column(
|
||||
"message_requests",
|
||||
"request_text",
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(4000),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_from(request_text, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint("messages_text_check", "messages", "length(trim(text)) > 0")
|
||||
@@ -0,0 +1,40 @@
|
||||
"""Сохранение допустимого Unicode имён и названий, включая U+0000."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "006"
|
||||
down_revision = "005"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||
op.drop_constraint(f"{table}_{column}_check", table, type_="check")
|
||||
op.alter_column(
|
||||
table,
|
||||
column,
|
||||
existing_type=sa.String(100),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using=f"convert_to({column}, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(
|
||||
f"{table}_{column}_bytes_check", table, f"octet_length({column}) BETWEEN 1 AND 400"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# PostgreSQL откажет при U+0000 и откатит транзакцию вместо потери символов.
|
||||
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||
op.drop_constraint(f"{table}_{column}_bytes_check", table, type_="check")
|
||||
op.alter_column(
|
||||
table,
|
||||
column,
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(100),
|
||||
existing_nullable=False,
|
||||
postgresql_using=f"convert_from({column}, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(f"{table}_{column}_check", table, f"length(trim({column})) > 0")
|
||||
@@ -0,0 +1,65 @@
|
||||
"""Private S3 attachment metadata and ordered message links."""
|
||||
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = "007"
|
||||
down_revision = "006"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
"attachments",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), nullable=False),
|
||||
sa.Column("owner_id", sa.Uuid(), sa.ForeignKey("users.id"), nullable=False),
|
||||
sa.Column("filename", sa.String(255), nullable=False),
|
||||
sa.Column("object_key", sa.Text(), nullable=False, unique=True),
|
||||
sa.Column("content_type", sa.String(32), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("sha256", sa.String(64), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.UniqueConstraint("chat_id", "id"),
|
||||
sa.CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
|
||||
sa.CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
|
||||
)
|
||||
op.create_index("attachments_chat_idx", "attachments", ["chat_id"])
|
||||
op.create_unique_constraint("messages_chat_id_id_key", "messages", ["chat_id", "id"])
|
||||
op.create_table(
|
||||
"message_attachments",
|
||||
sa.Column("message_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.Integer(), nullable=False),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
|
||||
),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
|
||||
),
|
||||
sa.UniqueConstraint("message_id", "position"),
|
||||
sa.CheckConstraint("position BETWEEN 0 AND 9"),
|
||||
)
|
||||
op.add_column("message_requests", sa.Column(
|
||||
"request_attachment_ids", sa.Text(), nullable=False, server_default=""
|
||||
))
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 0 AND 16000"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# Refuse downgrade if attachment-only messages cannot satisfy the old schema.
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||
)
|
||||
op.drop_column("message_requests", "request_attachment_ids")
|
||||
op.drop_table("message_attachments")
|
||||
op.drop_constraint("messages_chat_id_id_key", "messages", type_="unique")
|
||||
op.drop_index("attachments_chat_idx", "attachments")
|
||||
op.drop_table("attachments")
|
||||
@@ -0,0 +1,37 @@
|
||||
"""Durable upload intents, missing-content marker and reconciliation observations."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "008"
|
||||
down_revision = "007"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column("attachments", sa.Column("storage_missing_since", sa.DateTime(timezone=True)))
|
||||
op.create_table(
|
||||
"upload_intents",
|
||||
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||
sa.Column("state", sa.String(16), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False,
|
||||
server_default=sa.func.now()),
|
||||
sa.CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),
|
||||
)
|
||||
op.create_table(
|
||||
"storage_findings",
|
||||
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||
sa.Column("kind", sa.String(16), primary_key=True),
|
||||
sa.Column("fingerprint", sa.Text()),
|
||||
sa.Column("first_seen", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("last_seen", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("resolved_at", sa.DateTime(timezone=True)),
|
||||
sa.CheckConstraint("kind IN ('orphan', 'missing')"),
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("storage_findings")
|
||||
op.drop_table("upload_intents")
|
||||
op.drop_column("attachments", "storage_missing_since")
|
||||
@@ -0,0 +1,67 @@
|
||||
"""Asynchronous image pipeline, durable jobs/outbox and replay audit."""
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "009"
|
||||
down_revision = "008"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column("attachments", sa.Column("status", sa.String(16), nullable=False, server_default="ready"))
|
||||
op.add_column("attachments", sa.Column("error_code", sa.String(64)))
|
||||
op.add_column("attachments", sa.Column("staging_key", sa.Text()))
|
||||
op.add_column("attachments", sa.Column("variants", sa.JSON(), nullable=False, server_default="[]"))
|
||||
op.create_check_constraint("attachments_status_check", "attachments", "status IN ('queued', 'processing', 'ready', 'failed')")
|
||||
op.create_table(
|
||||
"attachment_jobs",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("state", sa.String(16), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("cycle_attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("next_run_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("published_at", sa.DateTime(timezone=True)),
|
||||
sa.Column("lease_until", sa.DateTime(timezone=True)),
|
||||
sa.Column("claim_token", sa.Uuid()),
|
||||
sa.Column("error_code", sa.String(64)),
|
||||
sa.Column("fault", sa.String(32)),
|
||||
sa.UniqueConstraint("attachment_id", "pipeline_version"),
|
||||
sa.CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
|
||||
sa.CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
|
||||
sa.CheckConstraint("pipeline_version = 1"),
|
||||
)
|
||||
op.create_index("attachment_jobs_dispatch_idx", "attachment_jobs", ["state", "next_run_at"])
|
||||
op.create_table(
|
||||
"job_replays",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("attachment_jobs.id"), nullable=False),
|
||||
sa.Column("operator", sa.String(100), nullable=False),
|
||||
sa.Column("reason", sa.String(500), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
)
|
||||
|
||||
# Existing lab4 originals remain readable by the worker as their staging
|
||||
# source. Retention must never delete this shared source/final key.
|
||||
op.execute("""
|
||||
INSERT INTO attachment_jobs
|
||||
(id, attachment_id, pipeline_version, state, attempt, cycle_attempt,
|
||||
created_at, updated_at, next_run_at)
|
||||
SELECT gen_random_uuid(), id, 1, 'queued', 1, 1,
|
||||
clock_timestamp(), clock_timestamp(), clock_timestamp()
|
||||
FROM attachments
|
||||
""")
|
||||
op.execute("UPDATE attachments SET staging_key=object_key, status='queued', updated_at=clock_timestamp()")
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("job_replays")
|
||||
op.drop_table("attachment_jobs")
|
||||
op.drop_constraint("attachments_status_check", "attachments")
|
||||
for name in ("variants", "staging_key", "error_code", "status"):
|
||||
op.drop_column("attachments", name)
|
||||
@@ -0,0 +1,7 @@
|
||||
[tool.ruff]
|
||||
target-version = "py313"
|
||||
line-length = 100
|
||||
include = ["src/**/*.py"]
|
||||
|
||||
[tool.ruff.lint]
|
||||
select = ["E4", "E7", "E9", "F", "I"]
|
||||
@@ -1,2 +1,2 @@
|
||||
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
|
||||
openapi-spec-validator==0.7.2
|
||||
ruff==0.14.2
|
||||
|
||||
@@ -0,0 +1,21 @@
|
||||
annotated-doc==0.0.5
|
||||
annotated-types==0.8.0
|
||||
anyio==4.15.1
|
||||
click==8.5.0
|
||||
fastapi==0.141.1
|
||||
h11==0.16.0
|
||||
idna==3.20
|
||||
pydantic==2.13.5
|
||||
pydantic-core==2.46.5
|
||||
starlette==1.7.0
|
||||
typing-extensions==4.16.0
|
||||
typing-inspection==0.4.4
|
||||
uvicorn==0.53.0
|
||||
asyncpg==0.30.0
|
||||
redis==5.2.1
|
||||
argon2-cffi==25.1.0
|
||||
SQLAlchemy[asyncio]==2.0.44
|
||||
alembic==1.17.0
|
||||
pydantic-settings==2.15.0
|
||||
minio==7.2.20
|
||||
Pillow==13.0.0
|
||||
@@ -0,0 +1,56 @@
|
||||
"""Управление только API-контейнерами текущего Compose-проекта."""
|
||||
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import time
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def docker(*args):
|
||||
return subprocess.check_output(["docker", *args], cwd=ROOT, text=True).strip()
|
||||
|
||||
|
||||
def compose(*args):
|
||||
return docker("compose", "--env-file", os.environ.get("ENV_FILE", ".env"), *args)
|
||||
|
||||
|
||||
def containers():
|
||||
return compose("ps", "--all", "-q", "api").split()
|
||||
|
||||
|
||||
def describe(container):
|
||||
# Никогда не выводим Config.Env: там credentials.
|
||||
return json.loads(docker("inspect", "--format", "{{json .State}}", container))
|
||||
|
||||
|
||||
def instance_id(container):
|
||||
code = "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2); print(r.headers['X-Instance-Id'])"
|
||||
return docker("exec", container, "python", "-c", code)
|
||||
|
||||
|
||||
def wait_ready(container, timeout=60):
|
||||
deadline = time.monotonic() + timeout
|
||||
while time.monotonic() < deadline:
|
||||
state = describe(container)
|
||||
if state.get("Health", {}).get("Status") == "healthy":
|
||||
return instance_id(container)
|
||||
time.sleep(0.5)
|
||||
raise RuntimeError("API container did not become healthy: " + container[:12])
|
||||
|
||||
|
||||
def wait_visible(instance, timeout=30):
|
||||
base = os.environ.get("BASE_URL", "http://localhost:8080").rstrip("/")
|
||||
deadline = time.monotonic() + timeout
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
with urllib.request.urlopen(base + "/health/ready", timeout=2) as response:
|
||||
if response.headers.get("X-Instance-Id") == instance:
|
||||
return
|
||||
except OSError:
|
||||
pass
|
||||
time.sleep(0.1)
|
||||
raise RuntimeError("New replica was not discovered by HAProxy")
|
||||
@@ -1,10 +0,0 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
# TODO: copy to restart.sh and implement using YOUR compose/stack services.
|
||||
# Restart API and ALL used state stores (DB, sessions, S3, broker as applicable).
|
||||
# Preserve persistent volumes and schema/data; never down -v / flush / re-seed.
|
||||
# Allow operator unseal if required in lab7; do not print credentials.
|
||||
# Exit 0 only after the intended action; test waits for API readiness separately.
|
||||
printf '%s
|
||||
' 'TODO: implement restart.sh for your infrastructure' >&2
|
||||
exit 2
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Полный restart работающих ролей; volumes не удаляются.
|
||||
docker compose --env-file "${ENV_FILE:-.env}" restart postgres redis minio broker
|
||||
docker compose --env-file "${ENV_FILE:-.env}" up -d --wait --force-recreate api
|
||||
docker compose --env-file "${ENV_FILE:-.env}" restart reconciler dispatcher worker lb
|
||||
@@ -0,0 +1,27 @@
|
||||
"""Create local synthetic credentials without overwriting an existing .env."""
|
||||
import argparse
|
||||
import os
|
||||
import secrets
|
||||
from pathlib import Path
|
||||
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
parser=argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--output',type=Path,default=root/'.env')
|
||||
args=parser.parse_args()
|
||||
values={
|
||||
'POSTGRES_PASSWORD':secrets.token_hex(24),
|
||||
'ADMIN_PASSWORD':secrets.token_hex(24),
|
||||
'MINIO_ROOT_PASSWORD':secrets.token_hex(24),
|
||||
'S3_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||
'S3_RECONCILE_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||
'S3_WORKER_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||
}
|
||||
lines=(root/'.env.example').read_text().splitlines()
|
||||
content='\n'.join(key+'='+values[key] if '=' in line and (key:=line.split('=',1)[0]) in values else line for line in lines)+'\n'
|
||||
try:
|
||||
descriptor=os.open(args.output,os.O_WRONLY|os.O_CREAT|os.O_EXCL,0o600)
|
||||
except FileExistsError:
|
||||
parser.exit(1,'Файл уже существует; его настройки и пароли сохранены.\n')
|
||||
with os.fdopen(descriptor,'w') as stream:
|
||||
stream.write(content)
|
||||
print('Создан файл локальных настроек с новыми паролями; значения не выводятся.')
|
||||
@@ -1,10 +0,0 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
# TODO: copy to stop-one.sh, map TARGET_INSTANCE_ID to ONE API container/task.
|
||||
# Stop that instance and leave it stopped; no stop of DB/LB/volumes.
|
||||
# Return quickly (within 10 s); the test sends requests during this script.
|
||||
# Restore the replica explicitly after the test. Never print credentials.
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
printf '%s
|
||||
' 'TODO: implement stop-one.sh for your infrastructure' >&2
|
||||
exit 2
|
||||
@@ -0,0 +1,34 @@
|
||||
"""Сопоставить X-Instance-Id реальному контейнеру и оставить его остановленным."""
|
||||
|
||||
import json
|
||||
import os
|
||||
import time
|
||||
|
||||
from replicas import containers, describe, docker, instance_id
|
||||
|
||||
target = os.environ["TARGET_INSTANCE_ID"]
|
||||
running = [c for c in containers() if describe(c)["Running"]]
|
||||
if len(running) < 2:
|
||||
raise SystemExit("Need at least two running API containers")
|
||||
for container in running:
|
||||
if instance_id(container) == target:
|
||||
before = describe(container)
|
||||
started = time.monotonic()
|
||||
docker("stop", "--time", "10", container)
|
||||
after = describe(container)
|
||||
assert not after["Running"]
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"container": container[:12],
|
||||
"instance_id": target,
|
||||
"started_at": before["StartedAt"],
|
||||
"finished_at": after["FinishedAt"],
|
||||
"stop_seconds": round(time.monotonic() - started, 3),
|
||||
"exit_code": after["ExitCode"],
|
||||
}
|
||||
)
|
||||
)
|
||||
break
|
||||
else:
|
||||
raise SystemExit("Requested instance not found in this Compose project")
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
exec "${PYTHON:-python3}" scripts/stop-one.py
|
||||
@@ -0,0 +1,46 @@
|
||||
"""Исходный persistence-сценарий плюс доказательство рестарта API и всех хранилищ."""
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def states():
|
||||
result = {}
|
||||
for service in ('api', 'postgres', 'redis', 'minio', 'broker', 'worker', 'dispatcher', 'reconciler', 'lb'):
|
||||
ids = subprocess.check_output(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, text=True).split()
|
||||
if not ids:
|
||||
raise RuntimeError('Не запущен сервис ' + service)
|
||||
result[service] = {}
|
||||
for container in ids:
|
||||
state = json.loads(subprocess.check_output(['docker', 'inspect', '--format', '{{json .State}}', container], cwd=ROOT, text=True))
|
||||
result[service][container] = {'StartedAt': state['StartedAt'], 'Pid': state['Pid']}
|
||||
return result
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--base-url', default='http://localhost:8080')
|
||||
parser.add_argument('--action-script', required=True)
|
||||
parser.add_argument('--ca-file')
|
||||
args = parser.parse_args()
|
||||
before = states()
|
||||
print('ДО: ' + json.dumps(before), flush=True)
|
||||
command = [sys.executable, str(ROOT / 'tests/resilience.py'), '--mode', 'persistence',
|
||||
'--action-script', args.action_script, '--base-url', args.base_url]
|
||||
if args.ca_file:
|
||||
command += ['--ca-file', args.ca_file]
|
||||
subprocess.run(command, cwd=ROOT, check=True)
|
||||
after = states()
|
||||
print('ПОСЛЕ: ' + json.dumps(after), flush=True)
|
||||
for service in before:
|
||||
if before[service] == after[service]:
|
||||
raise AssertionError('Сервис не перезапущен: ' + service)
|
||||
print('PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, broker, worker, dispatcher, reconciler и LB; прежний токен и данные сохранены')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,71 @@
|
||||
"""Reproducible lab5 acceptance on a fresh isolated Compose project."""
|
||||
import json
|
||||
import hashlib
|
||||
import os
|
||||
import socket
|
||||
import subprocess
|
||||
import sys
|
||||
import tempfile
|
||||
import time
|
||||
import uuid
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def main():
|
||||
evidence = ROOT / 'evidence'
|
||||
evidence.mkdir(exist_ok=True)
|
||||
project = 'mtusilab5-' + uuid.uuid4().hex[:10]
|
||||
with socket.socket() as listener:
|
||||
listener.bind(('127.0.0.1', 0))
|
||||
port = listener.getsockname()[1]
|
||||
results = []
|
||||
code_manifest = {}
|
||||
for directory in ('src', 'migrations', 'infra'):
|
||||
for path in sorted((ROOT/directory).rglob('*')):
|
||||
if path.is_file() and '__pycache__' not in path.parts:
|
||||
code_manifest[str(path.relative_to(ROOT))] = hashlib.sha256(path.read_bytes()).hexdigest()
|
||||
for name in ('Dockerfile','compose.yaml','requirements.txt','lab.json'):
|
||||
code_manifest[name] = hashlib.sha256((ROOT/name).read_bytes()).hexdigest()
|
||||
with tempfile.TemporaryDirectory(prefix='mtusi-lab5-') as temporary:
|
||||
envfile = Path(temporary) / '.env'
|
||||
subprocess.run([sys.executable, 'scripts/setup-env.py', '--output', str(envfile)], cwd=ROOT, check=True)
|
||||
env = dict(os.environ, ENV_FILE=str(envfile), COMPOSE_ENV_FILES=str(envfile),
|
||||
COMPOSE_PROJECT_NAME=project, APP_PORT=str(port),
|
||||
BASE_URL=f'http://127.0.0.1:{port}')
|
||||
compose = ['docker', 'compose', '--env-file', str(envfile), '-p', project]
|
||||
def step(name, command):
|
||||
started = time.monotonic()
|
||||
path = evidence / ('lab5-' + name + '.txt')
|
||||
with path.open('w') as output:
|
||||
process = subprocess.run(command, cwd=ROOT, env=env, stdout=output, stderr=subprocess.STDOUT)
|
||||
result = dict(step=name, result='PASS' if process.returncode == 0 else 'FAIL',
|
||||
seconds=round(time.monotonic() - started, 2), evidence=path.name)
|
||||
results.append(result)
|
||||
print(json.dumps(result), flush=True)
|
||||
if process.returncode:
|
||||
raise RuntimeError(name + ' failed; see ' + str(path))
|
||||
try:
|
||||
step('quality', ['make', 'lint', 'check', 'validate', 'PYTHON=' + sys.executable])
|
||||
step('clean-start', compose + ['up', '-d', '--build', '--wait'])
|
||||
step('public-smoke', [sys.executable, 'course-tests/smoke.py', '--base-url', env['BASE_URL']])
|
||||
step('regression', ['make','test-attachments','test-idempotency','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
|
||||
step('migration', compose + ['exec','-T','worker','python','-c', (ROOT/'tests/lab5_migration.py').read_text()])
|
||||
step('limits', compose + ['exec','-T','worker','python','-c', (ROOT/'tests/lab5_limits.py').read_text()])
|
||||
step('faults', [sys.executable,'tests/lab5.py','--faults','--project',project,'--base-url',env['BASE_URL']])
|
||||
step('persistence', ['make','test-persistence','ACTION_SCRIPT=scripts/restart.sh','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
|
||||
step('failover', ['make','test-attachment-failover','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
|
||||
step('review', ['make','test-api-regressions','PYTHON='+sys.executable,'BASE_URL='+env['BASE_URL']])
|
||||
step('final-smoke', [sys.executable,'course-tests/smoke.py','--base-url',env['BASE_URL']])
|
||||
finally:
|
||||
with (evidence/'lab5-container-status.txt').open('w') as output:
|
||||
subprocess.run(compose+['ps','-a'],cwd=ROOT,env=env,stdout=output,stderr=subprocess.STDOUT)
|
||||
subprocess.run(compose+['down','--volumes','--remove-orphans'],cwd=ROOT,env=env,
|
||||
stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL,check=True)
|
||||
(evidence/'lab5-summary.json').write_text(json.dumps(dict(project=project,
|
||||
fresh_volumes=True, code_manifest=code_manifest, results=results),ensure_ascii=False,indent=2)+'\n')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,13 @@
|
||||
import uvicorn
|
||||
|
||||
from src.core.settings import settings
|
||||
|
||||
if __name__ == "__main__":
|
||||
uvicorn.run(
|
||||
"src.main:app",
|
||||
host=settings.app_host,
|
||||
port=settings.app_port,
|
||||
workers=settings.app_workers,
|
||||
log_level=settings.log_level.lower(),
|
||||
timeout_graceful_shutdown=settings.shutdown_timeout_seconds,
|
||||
)
|
||||
@@ -0,0 +1,106 @@
|
||||
import base64
|
||||
import binascii
|
||||
import re
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import Depends, Request
|
||||
from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer
|
||||
from fastapi.security.http import HTTPBase, HTTPBasicCredentials
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.core.db.session import get_db_session
|
||||
from src.core.errors import ApiError
|
||||
from src.core.settings import settings
|
||||
from src.service.auth import AuthService
|
||||
from src.service.chat import ChatService
|
||||
from src.service.dto import UserDTO
|
||||
from src.service.exceptions import InvalidSessionException
|
||||
from src.service.message import MessageService
|
||||
from src.service.user import UserService
|
||||
|
||||
bearer_scheme = HTTPBearer(
|
||||
scheme_name="bearerAuth",
|
||||
description="Вставьте токен из ответа на вход, без префикса Bearer.",
|
||||
auto_error=False,
|
||||
)
|
||||
basic_scheme = HTTPBase(scheme="basic", scheme_name="basicAuth", auto_error=False)
|
||||
|
||||
|
||||
async def get_basic_credentials(
|
||||
request: Request,
|
||||
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(basic_scheme)],
|
||||
) -> HTTPBasicCredentials:
|
||||
if await request.body():
|
||||
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
|
||||
try:
|
||||
authorization = request.headers.getlist("authorization")
|
||||
if len(authorization) != 1 or len(authorization[0]) > settings.authorization_max_length:
|
||||
raise ValueError
|
||||
if credentials is None or credentials.scheme.lower() != "basic":
|
||||
raise ValueError
|
||||
decoded = base64.b64decode(credentials.credentials, validate=True).decode("utf-8")
|
||||
username, separator, password = decoded.partition(":")
|
||||
if (
|
||||
not separator
|
||||
or re.fullmatch(r"[a-z0-9_]{3,32}", username) is None
|
||||
or not 12 <= len(password) <= 128
|
||||
or not password.strip()
|
||||
):
|
||||
raise ValueError
|
||||
except (ValueError, UnicodeError, binascii.Error):
|
||||
raise ApiError(401, "unauthorized", "Неверный логин или пароль") from None
|
||||
return HTTPBasicCredentials(username=username, password=password)
|
||||
|
||||
|
||||
def get_user_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> UserService:
|
||||
return UserService(db_session=db_session)
|
||||
|
||||
|
||||
def get_chat_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> ChatService:
|
||||
return ChatService(db_session=db_session)
|
||||
|
||||
|
||||
def get_message_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> MessageService:
|
||||
return MessageService(db_session=db_session)
|
||||
|
||||
|
||||
def get_auth_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> AuthService:
|
||||
return AuthService(
|
||||
db_session=db_session,
|
||||
session_ttl_seconds=settings.session_ttl_seconds,
|
||||
)
|
||||
|
||||
|
||||
def get_bearer_token(
|
||||
request: Request,
|
||||
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(bearer_scheme)],
|
||||
) -> str:
|
||||
if credentials is None or len(request.headers.getlist("authorization")) != 1:
|
||||
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
|
||||
token = credentials.credentials
|
||||
if (
|
||||
credentials.scheme.lower() != "bearer"
|
||||
or not token
|
||||
or len(token) > 512
|
||||
or any(c.isspace() for c in token)
|
||||
):
|
||||
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
|
||||
return token
|
||||
|
||||
|
||||
async def get_current_user(
|
||||
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||
token: Annotated[str, Depends(get_bearer_token)],
|
||||
) -> UserDTO:
|
||||
try:
|
||||
return await auth.get_user(token=token)
|
||||
except InvalidSessionException as error:
|
||||
raise ApiError(401, "unauthorized", str(error)) from error
|
||||
@@ -0,0 +1,17 @@
|
||||
from fastapi import APIRouter
|
||||
|
||||
from src.api.v1.routers.attachments import router as attachments_router
|
||||
from src.api.v1.routers.auth.router import router as auth_router
|
||||
from src.api.v1.routers.chats.router import router as chats_router
|
||||
from src.api.v1.routers.messages.router import router as messages_router
|
||||
from src.api.v1.routers.users.router import router as users_router
|
||||
|
||||
router = APIRouter(prefix="/api/v1", tags=["Версия 1"])
|
||||
|
||||
router.include_router(users_router)
|
||||
router.include_router(chats_router)
|
||||
router.include_router(messages_router)
|
||||
|
||||
router.include_router(auth_router)
|
||||
|
||||
router.include_router(attachments_router)
|
||||
@@ -0,0 +1,134 @@
|
||||
from datetime import datetime
|
||||
from typing import Annotated, Literal
|
||||
from uuid import UUID
|
||||
|
||||
from anyio import to_thread
|
||||
from fastapi import APIRouter, Depends, Query, Request
|
||||
from fastapi.responses import StreamingResponse
|
||||
from pydantic import BaseModel, Field
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.api.dependencies import get_current_user
|
||||
from src.core.db.models import Attachment
|
||||
from src.core.db.session import get_db_session
|
||||
from src.core.errors import ApiError
|
||||
from src.core.settings import settings
|
||||
from src.core.storage import STORAGE_ERRORS, get_storage, unavailable
|
||||
from src.service.attachment import AttachmentService
|
||||
from src.service.dto import UserDTO
|
||||
|
||||
router = APIRouter(tags=["Вложения"])
|
||||
|
||||
|
||||
class VariantOut(BaseModel):
|
||||
name: Literal["thumbnail", "crop", "optimized"]
|
||||
content_type: Literal["image/jpeg", "image/webp"]
|
||||
size_bytes: int
|
||||
sha256: str
|
||||
width: int
|
||||
height: int
|
||||
|
||||
|
||||
class AttachmentOut(BaseModel):
|
||||
id: UUID
|
||||
chat_id: UUID
|
||||
owner_id: UUID
|
||||
filename: str
|
||||
content_type: str
|
||||
size_bytes: int
|
||||
sha256: str
|
||||
status: Literal["queued", "processing", "ready", "failed"]
|
||||
variants: list[VariantOut] = Field(default_factory=list)
|
||||
error_code: str | None = None
|
||||
created_at: datetime
|
||||
updated_at: datetime
|
||||
|
||||
|
||||
def to_output(attachment: Attachment) -> AttachmentOut:
|
||||
return AttachmentOut.model_validate(attachment, from_attributes=True)
|
||||
|
||||
|
||||
def get_service(
|
||||
session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> AttachmentService:
|
||||
return AttachmentService(session)
|
||||
|
||||
|
||||
@router.post(
|
||||
"/chats/{chat_id}/attachments",
|
||||
status_code=202,
|
||||
openapi_extra={
|
||||
"requestBody": {
|
||||
"required": True,
|
||||
"content": {
|
||||
mime: {"schema": {"type": "string", "format": "binary"}}
|
||||
for mime in ("image/png", "image/jpeg")
|
||||
},
|
||||
}
|
||||
},
|
||||
)
|
||||
async def upload_attachment(
|
||||
chat_id: UUID,
|
||||
request: Request,
|
||||
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
service: Annotated[AttachmentService, Depends(get_service)],
|
||||
filename: Annotated[str, Query(min_length=1, max_length=255)],
|
||||
) -> AttachmentOut:
|
||||
if len(request.query_params.getlist("filename")) != 1:
|
||||
raise ApiError(400, "invalid_request", "Неоднозначное имя файла")
|
||||
return to_output(await service.upload(request, chat_id, user.id, filename))
|
||||
|
||||
|
||||
@router.get("/attachments/{attachment_id}")
|
||||
async def get_attachment(
|
||||
attachment_id: UUID,
|
||||
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
service: Annotated[AttachmentService, Depends(get_service)],
|
||||
) -> AttachmentOut:
|
||||
return to_output(await service.get(attachment_id, user.id))
|
||||
|
||||
|
||||
@router.get("/attachments/{attachment_id}/content")
|
||||
async def download_attachment(
|
||||
attachment_id: UUID,
|
||||
request: Request,
|
||||
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
service: Annotated[AttachmentService, Depends(get_service)],
|
||||
variant: str = "original",
|
||||
):
|
||||
attachment = await service.get(attachment_id, user.id)
|
||||
if len(request.query_params.getlist("variant")) > 1:
|
||||
raise ApiError(400, "invalid_request", "Неоднозначный вариант")
|
||||
if variant not in {"original", "thumbnail", "crop", "optimized"}:
|
||||
raise ApiError(400, "invalid_request", "Некорректный вариант")
|
||||
if attachment.status != "ready":
|
||||
raise ApiError(409, "conflict", "Вложение ещё не готово")
|
||||
key, mime, size = attachment.object_key, attachment.content_type, attachment.size_bytes
|
||||
if variant != "original":
|
||||
item = next((v for v in attachment.variants if v["name"] == variant), None)
|
||||
if item is None:
|
||||
raise ApiError(404, "not_found", "Вариант не найден")
|
||||
key = f"variants/{attachment.id}/v1/{variant}"
|
||||
mime, size = item["content_type"], item["size_bytes"]
|
||||
try:
|
||||
response = await to_thread.run_sync(
|
||||
lambda: get_storage().get_object(settings.s3_bucket, key)
|
||||
)
|
||||
except STORAGE_ERRORS as error:
|
||||
raise unavailable(error) from error
|
||||
|
||||
async def content():
|
||||
try:
|
||||
while chunk := await to_thread.run_sync(response.read, 64 * 1024):
|
||||
yield chunk
|
||||
finally:
|
||||
response.close()
|
||||
response.release_conn()
|
||||
|
||||
return StreamingResponse(
|
||||
content(),
|
||||
media_type=mime,
|
||||
headers={
|
||||
"Content-Length": str(size),
|
||||
},
|
||||
)
|
||||
@@ -0,0 +1,31 @@
|
||||
import logging
|
||||
|
||||
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
|
||||
|
||||
from src.core.db.repo.auth import fetch_user_credentials
|
||||
from src.core.security import verify_password_async
|
||||
from src.core.settings import settings
|
||||
from src.service.user import UserService
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
async def create_admin(session_factory: async_sessionmaker[AsyncSession]) -> None:
|
||||
async with session_factory.begin() as session:
|
||||
admin = await UserService(db_session=session).create_admin(
|
||||
username=settings.admin_username,
|
||||
display_name=settings.admin_display_name,
|
||||
password=settings.admin_password.get_secret_value(),
|
||||
)
|
||||
if admin is None and settings.app_env == "production":
|
||||
credentials = await fetch_user_credentials(session, settings.admin_username)
|
||||
if credentials is None or not await verify_password_async(
|
||||
settings.admin_password.get_secret_value(), credentials.password_hash
|
||||
):
|
||||
raise RuntimeError(
|
||||
"Пароль существующего администратора не совпадает с настройкой production"
|
||||
)
|
||||
if admin is None:
|
||||
logger.info("Администратор уже существует")
|
||||
else:
|
||||
logger.info("Администратор создан: пользователь=%s", admin.id)
|
||||
@@ -0,0 +1,50 @@
|
||||
from dataclasses import asdict
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import APIRouter, Depends, Response
|
||||
from fastapi.security import HTTPBasicCredentials
|
||||
|
||||
from src.api.dependencies import (
|
||||
get_auth_service,
|
||||
get_basic_credentials,
|
||||
get_bearer_token,
|
||||
get_current_user,
|
||||
)
|
||||
from src.api.v1.routers.auth.schemas import SessionOut
|
||||
from src.api.v1.routers.users.schemas import UserOut
|
||||
from src.core.errors import ApiError
|
||||
from src.service.auth import AuthService
|
||||
from src.service.dto import UserDTO
|
||||
from src.service.exceptions import InvalidCredentialsException
|
||||
|
||||
router = APIRouter(prefix="/auth/sessions", tags=["Сессии"])
|
||||
|
||||
|
||||
@router.post("", status_code=201, response_model=SessionOut)
|
||||
async def login(
|
||||
credentials: Annotated[HTTPBasicCredentials, Depends(get_basic_credentials)],
|
||||
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||
) -> SessionOut:
|
||||
try:
|
||||
result = await auth.login(
|
||||
username=credentials.username,
|
||||
password=credentials.password,
|
||||
)
|
||||
except InvalidCredentialsException as error:
|
||||
raise ApiError(401, "unauthorized", str(error)) from error
|
||||
return SessionOut(
|
||||
token=result.token,
|
||||
token_type=result.token_type,
|
||||
expires_at=result.expires_at,
|
||||
user=UserOut(**asdict(result.user)),
|
||||
)
|
||||
|
||||
|
||||
@router.delete("/current", status_code=204)
|
||||
async def logout(
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
token: Annotated[str, Depends(get_bearer_token)],
|
||||
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||
) -> Response:
|
||||
await auth.logout(token=token)
|
||||
return Response(status_code=204)
|
||||
@@ -0,0 +1,13 @@
|
||||
from datetime import datetime
|
||||
from typing import Literal
|
||||
|
||||
from pydantic import BaseModel
|
||||
|
||||
from src.api.v1.routers.users.schemas import UserOut
|
||||
|
||||
|
||||
class SessionOut(BaseModel):
|
||||
token: str
|
||||
token_type: Literal["Bearer"]
|
||||
expires_at: datetime
|
||||
user: UserOut
|
||||
@@ -0,0 +1,86 @@
|
||||
from typing import Annotated
|
||||
from uuid import UUID
|
||||
|
||||
from fastapi import APIRouter, Depends, Query, status
|
||||
|
||||
from src.api.dependencies import get_chat_service, get_current_user
|
||||
from src.api.v1.routers.chats.schemas import ChatOut, CreateChatIn, GetChatOut
|
||||
from src.api.v1.schemas import PaginationQuery
|
||||
from src.core.errors import ApiError
|
||||
from src.core.pagination import decode_cursor, encode_cursor
|
||||
from src.service.chat import ChatService
|
||||
from src.service.dto import ChatDTO, UserDTO
|
||||
from src.service.exceptions import ChatNotFoundException, InvalidChatMembersException
|
||||
|
||||
router = APIRouter(prefix="/chats", tags=["Чаты"])
|
||||
|
||||
|
||||
def _to_chat_out(chat: ChatDTO) -> ChatOut:
|
||||
return ChatOut(
|
||||
id=chat.id,
|
||||
title=chat.title,
|
||||
member_ids=list(chat.member_ids),
|
||||
created_at=chat.created_at,
|
||||
)
|
||||
|
||||
|
||||
@router.post("", status_code=status.HTTP_201_CREATED)
|
||||
async def create_chat(
|
||||
chat_in: CreateChatIn,
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||
) -> ChatOut:
|
||||
try:
|
||||
chat = await chat_service.create_chat(
|
||||
title=chat_in.title,
|
||||
member_ids=chat_in.member_ids,
|
||||
current_user_id=current_user.id,
|
||||
)
|
||||
except InvalidChatMembersException as error:
|
||||
raise ApiError(400, "invalid_request", str(error)) from error
|
||||
return _to_chat_out(chat)
|
||||
|
||||
|
||||
@router.get("", status_code=status.HTTP_200_OK)
|
||||
async def get_chats(
|
||||
pagination: Annotated[PaginationQuery, Query()],
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||
) -> GetChatOut:
|
||||
after = None
|
||||
if pagination.cursor is not None:
|
||||
after = decode_cursor(
|
||||
pagination.cursor,
|
||||
expected_kind="chats",
|
||||
expected_owner_id=current_user.id,
|
||||
)
|
||||
chats = await chat_service.get_chats(
|
||||
current_user_id=current_user.id, limit=pagination.limit + 1, after=after
|
||||
)
|
||||
|
||||
page = chats[: pagination.limit]
|
||||
next_cursor = None
|
||||
if len(chats) > pagination.limit:
|
||||
last = page[-1]
|
||||
next_cursor = encode_cursor("chats", current_user.id, last.created_at, last.id)
|
||||
|
||||
return GetChatOut(
|
||||
items=[_to_chat_out(chat) for chat in page],
|
||||
next_cursor=next_cursor,
|
||||
)
|
||||
|
||||
|
||||
@router.get("/{chat_id}", summary="Получить доступный чат")
|
||||
async def get_chat(
|
||||
chat_id: UUID,
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||
) -> ChatOut:
|
||||
try:
|
||||
chat = await chat_service.get_chat(
|
||||
chat_id=chat_id,
|
||||
current_user_id=current_user.id,
|
||||
)
|
||||
except ChatNotFoundException as error:
|
||||
raise ApiError(404, "not_found", str(error)) from error
|
||||
return _to_chat_out(chat)
|
||||
@@ -0,0 +1,42 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
|
||||
class CreateChatIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
title: str = Field(min_length=1, max_length=100)
|
||||
member_ids: list[UUID] = Field(min_length=1, max_length=100)
|
||||
|
||||
@field_validator("title")
|
||||
@classmethod
|
||||
def title_must_not_be_blank(cls, value: str) -> str:
|
||||
value.encode("utf-8")
|
||||
if not value.strip():
|
||||
raise ValueError("title не может состоять только из пробелов")
|
||||
return value
|
||||
|
||||
@field_validator("member_ids")
|
||||
@classmethod
|
||||
def member_ids_must_be_unique(cls, value: list[UUID]) -> list[UUID]:
|
||||
if len(value) != len(set(value)):
|
||||
raise ValueError("member_ids не должен содержать дубликаты")
|
||||
return value
|
||||
|
||||
|
||||
class ChatOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: UUID
|
||||
title: str
|
||||
member_ids: list[UUID]
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class GetChatOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
items: list[ChatOut]
|
||||
next_cursor: str | None
|
||||
@@ -0,0 +1,96 @@
|
||||
import re
|
||||
from typing import Annotated
|
||||
from uuid import UUID
|
||||
|
||||
from fastapi import APIRouter, Depends, Header, Query, Request, status
|
||||
|
||||
from src.api.dependencies import get_current_user, get_message_service
|
||||
from src.api.v1.routers.messages.schemas import (
|
||||
CreateMessageIn,
|
||||
MessageOut,
|
||||
MessagePageOut,
|
||||
)
|
||||
from src.api.v1.schemas import PaginationQuery
|
||||
from src.core.errors import ApiError
|
||||
from src.core.pagination import decode_cursor, encode_cursor
|
||||
from src.service.dto import MessageDTO, UserDTO
|
||||
from src.service.exceptions import ChatNotFoundException, IdempotencyConflictException
|
||||
from src.service.message import MessageService
|
||||
|
||||
router = APIRouter(prefix="/chats", tags=["Сообщения"])
|
||||
|
||||
|
||||
def _to_message_out(message: MessageDTO) -> MessageOut:
|
||||
return MessageOut(
|
||||
id=message.id,
|
||||
chat_id=message.chat_id,
|
||||
sender_id=message.sender_id,
|
||||
text=message.text,
|
||||
attachment_ids=list(message.attachment_ids),
|
||||
created_at=message.created_at,
|
||||
)
|
||||
|
||||
|
||||
@router.post("/{chat_id}/messages", status_code=status.HTTP_201_CREATED)
|
||||
async def create_message(
|
||||
chat_id: UUID,
|
||||
message_in: CreateMessageIn,
|
||||
request: Request,
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
message_service: Annotated[MessageService, Depends(get_message_service)],
|
||||
idempotency_key: Annotated[str, Header()],
|
||||
) -> MessageOut:
|
||||
if (
|
||||
len(request.headers.getlist("idempotency-key")) != 1
|
||||
or re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", idempotency_key) is None
|
||||
):
|
||||
raise ApiError(400, "invalid_request", "Требуется корректный Idempotency-Key")
|
||||
try:
|
||||
message = await message_service.create_message(
|
||||
chat_id=chat_id,
|
||||
sender_id=current_user.id,
|
||||
text=message_in.text,
|
||||
attachment_ids=message_in.attachment_ids,
|
||||
idempotency_key=idempotency_key,
|
||||
)
|
||||
except ChatNotFoundException as error:
|
||||
raise ApiError(404, "not_found", str(error)) from error
|
||||
except IdempotencyConflictException as error:
|
||||
raise ApiError(409, "conflict", "Ключ уже использован для другого сообщения") from error
|
||||
return _to_message_out(message)
|
||||
|
||||
|
||||
@router.get("/{chat_id}/messages", status_code=status.HTTP_200_OK)
|
||||
async def get_messages(
|
||||
chat_id: UUID,
|
||||
pagination: Annotated[PaginationQuery, Query()],
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
message_service: Annotated[MessageService, Depends(get_message_service)],
|
||||
) -> MessagePageOut:
|
||||
after = None
|
||||
if pagination.cursor is not None:
|
||||
after = decode_cursor(
|
||||
pagination.cursor,
|
||||
expected_kind="messages",
|
||||
expected_owner_id=chat_id,
|
||||
)
|
||||
try:
|
||||
messages = await message_service.get_messages(
|
||||
chat_id=chat_id,
|
||||
current_user_id=current_user.id,
|
||||
limit=pagination.limit + 1,
|
||||
after=after,
|
||||
)
|
||||
except ChatNotFoundException as error:
|
||||
raise ApiError(404, "not_found", str(error)) from error
|
||||
|
||||
page = messages[: pagination.limit]
|
||||
next_cursor = None
|
||||
if len(messages) > pagination.limit:
|
||||
last = page[-1]
|
||||
next_cursor = encode_cursor("messages", chat_id, last.created_at, last.id)
|
||||
|
||||
return MessagePageOut(
|
||||
items=[_to_message_out(message) for message in page],
|
||||
next_cursor=next_cursor,
|
||||
)
|
||||
@@ -0,0 +1,43 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator, model_validator
|
||||
|
||||
|
||||
class CreateMessageIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
text: str = Field(max_length=4000)
|
||||
attachment_ids: list[UUID] = Field(default_factory=list, max_length=10)
|
||||
|
||||
@field_validator("text")
|
||||
@classmethod
|
||||
def text_must_not_be_blank(cls, value: str) -> str:
|
||||
value.encode("utf-8")
|
||||
return value
|
||||
|
||||
@model_validator(mode="after")
|
||||
def validate_message(self):
|
||||
if not self.text.strip() and not self.attachment_ids:
|
||||
raise ValueError("Требуется текст или вложение")
|
||||
if len(set(self.attachment_ids)) != len(self.attachment_ids):
|
||||
raise ValueError("Вложения не должны повторяться")
|
||||
return self
|
||||
|
||||
|
||||
class MessageOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: UUID
|
||||
chat_id: UUID
|
||||
sender_id: UUID
|
||||
text: str
|
||||
attachment_ids: list[UUID]
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class MessagePageOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
items: list[MessageOut]
|
||||
next_cursor: str | None
|
||||
@@ -0,0 +1,44 @@
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import APIRouter, Depends, status
|
||||
|
||||
from src.api.dependencies import get_current_user, get_user_service
|
||||
from src.api.v1.routers.users.schemas import CreateUserIn, UserOut
|
||||
from src.core.errors import ApiError
|
||||
from src.service.dto import UserDTO
|
||||
from src.service.exceptions import UserAlreadyExistsException
|
||||
from src.service.user import UserService
|
||||
|
||||
router = APIRouter(prefix="/users", tags=["Пользователи"])
|
||||
|
||||
|
||||
def _to_user_out(user: UserDTO) -> UserOut:
|
||||
return UserOut(
|
||||
id=user.id,
|
||||
username=user.username,
|
||||
display_name=user.display_name,
|
||||
created_at=user.created_at,
|
||||
)
|
||||
|
||||
|
||||
@router.post("", status_code=status.HTTP_201_CREATED)
|
||||
async def create_user(
|
||||
user_in: CreateUserIn,
|
||||
user_service: Annotated[UserService, Depends(get_user_service)],
|
||||
) -> UserOut:
|
||||
try:
|
||||
user = await user_service.create_user(
|
||||
password=user_in.password,
|
||||
username=user_in.username,
|
||||
display_name=user_in.display_name,
|
||||
)
|
||||
except UserAlreadyExistsException as error:
|
||||
raise ApiError(409, "conflict", str(error)) from error
|
||||
return _to_user_out(user)
|
||||
|
||||
|
||||
@router.get("/me", status_code=status.HTTP_200_OK)
|
||||
async def get_me(
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
) -> UserOut:
|
||||
return _to_user_out(current_user)
|
||||
@@ -0,0 +1,29 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
|
||||
class CreateUserIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
|
||||
password: str = Field(min_length=12, max_length=128)
|
||||
display_name: str = Field(min_length=1, max_length=100)
|
||||
|
||||
@field_validator("display_name", "password")
|
||||
@classmethod
|
||||
def required_string_must_not_be_blank(cls, value: str) -> str:
|
||||
value.encode("utf-8")
|
||||
if not value.strip():
|
||||
raise ValueError("Обязательная строка не может состоять только из пробелов")
|
||||
return value
|
||||
|
||||
|
||||
class UserOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: UUID
|
||||
username: str
|
||||
display_name: str
|
||||
created_at: datetime
|
||||
@@ -0,0 +1,21 @@
|
||||
import re
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
from src.core.settings import settings
|
||||
|
||||
|
||||
class PaginationQuery(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
limit: int = Field(default=50, ge=1, le=100)
|
||||
cursor: str | None = Field(default=None, min_length=1, max_length=settings.cursor_max_length)
|
||||
|
||||
@field_validator("limit", mode="before")
|
||||
@classmethod
|
||||
def limit_must_be_integer(cls, value):
|
||||
if isinstance(value, bool) or isinstance(value, float):
|
||||
raise ValueError("limit должен быть целым числом")
|
||||
if isinstance(value, str) and re.fullmatch(r"[0-9]+", value) is None:
|
||||
raise ValueError("limit должен содержать десятичные цифры")
|
||||
return value
|
||||
@@ -0,0 +1,68 @@
|
||||
"""Клиент Redis и необязательный кэш профилей пользователей."""
|
||||
|
||||
import logging
|
||||
|
||||
from redis.asyncio import Redis
|
||||
from redis.exceptions import RedisError
|
||||
|
||||
from src.core.settings import settings
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
cache: Redis | None = None
|
||||
|
||||
|
||||
def open_cache():
|
||||
global cache
|
||||
cache = Redis.from_url(
|
||||
settings.redis_url.get_secret_value(),
|
||||
decode_responses=True,
|
||||
max_connections=settings.redis_max_connections,
|
||||
socket_connect_timeout=settings.redis_connect_timeout_seconds,
|
||||
socket_timeout=settings.redis_read_timeout_seconds,
|
||||
retry_on_timeout=settings.redis_retry_on_timeout,
|
||||
)
|
||||
|
||||
|
||||
async def close_cache():
|
||||
global cache
|
||||
if cache is not None:
|
||||
await cache.aclose()
|
||||
cache = None
|
||||
|
||||
|
||||
async def get(key: str) -> str | None:
|
||||
if cache is None:
|
||||
return None
|
||||
try:
|
||||
return await cache.get(key)
|
||||
except UnicodeError:
|
||||
logger.warning("Повреждённый UTF-8 в кэше профиля; читаем PostgreSQL")
|
||||
await delete(key)
|
||||
return None
|
||||
except (RedisError, OSError):
|
||||
logger.warning("Redis недоступен; читаем профиль из PostgreSQL")
|
||||
return None
|
||||
|
||||
|
||||
async def set(key: str, value: str):
|
||||
if cache is None:
|
||||
return
|
||||
try:
|
||||
await cache.set(key, value, ex=settings.profile_cache_ttl_seconds)
|
||||
except (RedisError, OSError):
|
||||
logger.warning("Redis недоступен; пропускаем запись кэша")
|
||||
|
||||
|
||||
async def delete(key: str) -> None:
|
||||
if cache is None:
|
||||
return
|
||||
try:
|
||||
await cache.delete(key)
|
||||
except (RedisError, OSError):
|
||||
logger.warning("Redis недоступен; пропускаем удаление кэша профиля")
|
||||
|
||||
|
||||
def get_client() -> Redis:
|
||||
if cache is None:
|
||||
raise RedisError("Клиент Redis не настроен")
|
||||
return cache
|
||||
@@ -0,0 +1,24 @@
|
||||
from collections.abc import AsyncIterator
|
||||
from contextlib import asynccontextmanager
|
||||
|
||||
from fastapi import FastAPI
|
||||
|
||||
from src.api.v1.routers.auth.callback import create_admin
|
||||
from src.core import readiness
|
||||
from src.core.db import session as database
|
||||
|
||||
STARTUP_CALLBACKS = (create_admin,)
|
||||
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(app: FastAPI) -> AsyncIterator[None]:
|
||||
async with database.database_lifespan(app):
|
||||
session_factory = database.session_factory
|
||||
if session_factory is None:
|
||||
raise RuntimeError("Фабрика сессий не запущена")
|
||||
for callback in STARTUP_CALLBACKS:
|
||||
await callback(session_factory)
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
await readiness.close()
|
||||
@@ -0,0 +1,205 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import (
|
||||
JSON,
|
||||
BigInteger,
|
||||
Boolean,
|
||||
CheckConstraint,
|
||||
DateTime,
|
||||
ForeignKey,
|
||||
ForeignKeyConstraint,
|
||||
Index,
|
||||
Integer,
|
||||
String,
|
||||
Text,
|
||||
UniqueConstraint,
|
||||
false,
|
||||
)
|
||||
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column, relationship
|
||||
|
||||
from src.core.db.types import Utf8Text
|
||||
|
||||
|
||||
class Base(DeclarativeBase):
|
||||
pass
|
||||
|
||||
|
||||
class User(Base):
|
||||
__tablename__ = "users"
|
||||
__table_args__ = (
|
||||
CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
|
||||
CheckConstraint(
|
||||
"octet_length(display_name) BETWEEN 1 AND 400", name="users_display_name_bytes_check"
|
||||
),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
username: Mapped[str] = mapped_column(String(32), unique=True)
|
||||
display_name: Mapped[str] = mapped_column(Utf8Text())
|
||||
password_hash: Mapped[str] = mapped_column(Text)
|
||||
is_admin: Mapped[bool] = mapped_column(Boolean, default=False, server_default=false())
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class Chat(Base):
|
||||
__tablename__ = "chats"
|
||||
__table_args__ = (
|
||||
CheckConstraint("octet_length(title) BETWEEN 1 AND 400", name="chats_title_bytes_check"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
title: Mapped[str] = mapped_column(Utf8Text())
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
members: Mapped[list["ChatMember"]] = relationship(order_by="ChatMember.user_id")
|
||||
|
||||
|
||||
class ChatMember(Base):
|
||||
__tablename__ = "chat_members"
|
||||
__table_args__ = (Index("chat_members_user_idx", "user_id", "chat_id"),)
|
||||
|
||||
chat_id: Mapped[UUID] = mapped_column(
|
||||
ForeignKey("chats.id", ondelete="CASCADE"), primary_key=True
|
||||
)
|
||||
user_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"), primary_key=True)
|
||||
|
||||
|
||||
class Message(Base):
|
||||
__tablename__ = "messages"
|
||||
__table_args__ = (
|
||||
ForeignKeyConstraint(
|
||||
["chat_id", "sender_id"], ["chat_members.chat_id", "chat_members.user_id"]
|
||||
),
|
||||
CheckConstraint("octet_length(text) BETWEEN 0 AND 16000", name="messages_text_bytes_check"),
|
||||
UniqueConstraint("chat_id", "id"),
|
||||
Index("messages_history_idx", "chat_id", "created_at", "id"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"))
|
||||
sender_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"))
|
||||
attachments: Mapped[list["MessageAttachment"]] = relationship(
|
||||
lazy="selectin", order_by="MessageAttachment.position"
|
||||
)
|
||||
text: Mapped[str] = mapped_column(Utf8Text())
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class MessageRequest(Base):
|
||||
# Таблица обслуживает только POST /chats/{chat_id}/messages: метод и путь
|
||||
# однозначно заданы таблицей и chat_id. Общая область ключа: sender/chat/key.
|
||||
__tablename__ = "message_requests"
|
||||
|
||||
sender_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"), primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"), primary_key=True)
|
||||
key: Mapped[str] = mapped_column(String(128), primary_key=True)
|
||||
request_text: Mapped[str] = mapped_column(Utf8Text())
|
||||
request_attachment_ids: Mapped[str] = mapped_column(Text, default="", server_default="")
|
||||
message_id: Mapped[UUID | None] = mapped_column(ForeignKey("messages.id"))
|
||||
expires_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class Attachment(Base):
|
||||
__tablename__ = "attachments"
|
||||
__table_args__ = (
|
||||
UniqueConstraint("chat_id", "id"),
|
||||
CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
|
||||
CheckConstraint(
|
||||
"status IN ('queued', 'processing', 'ready', 'failed')", name="attachments_status_check"
|
||||
),
|
||||
CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
|
||||
Index("attachments_chat_idx", "chat_id"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"))
|
||||
owner_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"))
|
||||
filename: Mapped[str] = mapped_column(String(255))
|
||||
object_key: Mapped[str] = mapped_column(Text, unique=True)
|
||||
content_type: Mapped[str] = mapped_column(String(32))
|
||||
size_bytes: Mapped[int] = mapped_column(BigInteger)
|
||||
sha256: Mapped[str] = mapped_column(String(64))
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
storage_missing_since: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||
status: Mapped[str] = mapped_column(String(16), default="ready", server_default="ready")
|
||||
error_code: Mapped[str | None] = mapped_column(String(64))
|
||||
staging_key: Mapped[str | None] = mapped_column(Text)
|
||||
variants: Mapped[list] = mapped_column(JSON, default=list, server_default="[]")
|
||||
|
||||
|
||||
class AttachmentJob(Base):
|
||||
"""A job is also its transactional outbox: published_at=NULL means send it."""
|
||||
|
||||
__tablename__ = "attachment_jobs"
|
||||
__table_args__ = (
|
||||
UniqueConstraint("attachment_id", "pipeline_version"),
|
||||
CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
|
||||
CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
|
||||
CheckConstraint("pipeline_version = 1"),
|
||||
Index("attachment_jobs_dispatch_idx", "state", "next_run_at"),
|
||||
)
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
attachment_id: Mapped[UUID] = mapped_column(ForeignKey("attachments.id"))
|
||||
pipeline_version: Mapped[int] = mapped_column(Integer, default=1)
|
||||
state: Mapped[str] = mapped_column(String(16), default="queued")
|
||||
attempt: Mapped[int] = mapped_column(Integer, default=1)
|
||||
cycle_attempt: Mapped[int] = mapped_column(Integer, default=1)
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
next_run_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
published_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||
lease_until: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||
claim_token: Mapped[UUID | None] = mapped_column()
|
||||
error_code: Mapped[str | None] = mapped_column(String(64))
|
||||
fault: Mapped[str | None] = mapped_column(String(32))
|
||||
|
||||
|
||||
class JobReplay(Base):
|
||||
__tablename__ = "job_replays"
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
job_id: Mapped[UUID] = mapped_column(ForeignKey("attachment_jobs.id"))
|
||||
operator: Mapped[str] = mapped_column(String(100))
|
||||
reason: Mapped[str] = mapped_column(String(500))
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
attempt: Mapped[int] = mapped_column(Integer)
|
||||
|
||||
|
||||
class MessageAttachment(Base):
|
||||
__tablename__ = "message_attachments"
|
||||
__table_args__ = (
|
||||
ForeignKeyConstraint(
|
||||
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
|
||||
),
|
||||
ForeignKeyConstraint(
|
||||
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
|
||||
),
|
||||
UniqueConstraint("message_id", "position"),
|
||||
CheckConstraint("position BETWEEN 0 AND 9"),
|
||||
)
|
||||
|
||||
message_id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
attachment_id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column()
|
||||
position: Mapped[int] = mapped_column(Integer)
|
||||
|
||||
|
||||
class UploadIntent(Base):
|
||||
__tablename__ = "upload_intents"
|
||||
__table_args__ = (CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),)
|
||||
|
||||
object_key: Mapped[str] = mapped_column(Text, primary_key=True)
|
||||
state: Mapped[str] = mapped_column(String(16))
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class StorageFinding(Base):
|
||||
__tablename__ = "storage_findings"
|
||||
__table_args__ = (CheckConstraint("kind IN ('orphan', 'missing')"),)
|
||||
|
||||
object_key: Mapped[str] = mapped_column(Text, primary_key=True)
|
||||
kind: Mapped[str] = mapped_column(String(16), primary_key=True)
|
||||
fingerprint: Mapped[str | None] = mapped_column(Text)
|
||||
first_seen: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
last_seen: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
resolved_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||
@@ -0,0 +1,16 @@
|
||||
from sqlalchemy import select
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.core.db.models import User
|
||||
from src.core.db.repo.user import to_user
|
||||
from src.service.dto import UserCredentialsDTO
|
||||
|
||||
|
||||
async def fetch_user_credentials(
|
||||
session: AsyncSession,
|
||||
username: str,
|
||||
) -> UserCredentialsDTO | None:
|
||||
user = await session.scalar(select(User).where(User.username == username))
|
||||
if user is None:
|
||||
return None
|
||||
return UserCredentialsDTO(user=to_user(user), password_hash=user.password_hash)
|
||||
@@ -0,0 +1,59 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import select, tuple_
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
from sqlalchemy.orm import selectinload
|
||||
|
||||
from src.core.db.models import Chat, ChatMember
|
||||
from src.service.dto import ChatDTO
|
||||
|
||||
|
||||
def to_chat(chat: Chat) -> ChatDTO:
|
||||
return ChatDTO(
|
||||
chat.id, chat.title, tuple(member.user_id for member in chat.members), chat.created_at
|
||||
)
|
||||
|
||||
|
||||
async def fetch_chat_by_id(session: AsyncSession, chat_id: UUID) -> ChatDTO | None:
|
||||
chat = await session.scalar(
|
||||
select(Chat).options(selectinload(Chat.members)).where(Chat.id == chat_id),
|
||||
)
|
||||
return to_chat(chat) if chat else None
|
||||
|
||||
|
||||
async def fetch_chats(
|
||||
session: AsyncSession,
|
||||
user_id: UUID,
|
||||
limit: int,
|
||||
after: tuple[datetime, UUID] | None = None,
|
||||
) -> list[ChatDTO]:
|
||||
query = (
|
||||
select(Chat)
|
||||
.options(selectinload(Chat.members))
|
||||
.join(ChatMember)
|
||||
.where(ChatMember.user_id == user_id)
|
||||
)
|
||||
if after is not None:
|
||||
query = query.where(tuple_(Chat.created_at, Chat.id) > after)
|
||||
chats = await session.scalars(query.order_by(Chat.created_at, Chat.id).limit(limit))
|
||||
return [to_chat(chat) for chat in chats]
|
||||
|
||||
|
||||
async def create_chat(
|
||||
session: AsyncSession,
|
||||
chat_id: UUID,
|
||||
title: str,
|
||||
member_ids: list[UUID],
|
||||
created_at: datetime,
|
||||
) -> ChatDTO:
|
||||
chat = Chat(
|
||||
id=chat_id,
|
||||
title=title,
|
||||
created_at=created_at,
|
||||
members=[ChatMember(user_id=user_id) for user_id in member_ids],
|
||||
)
|
||||
session.add(chat)
|
||||
# ORM сохраняет чат и участников в транзакции текущего запроса.
|
||||
await session.flush()
|
||||
return to_chat(chat)
|
||||
@@ -0,0 +1,151 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import or_, select, tuple_
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.core.db.models import Attachment, Message, MessageAttachment, MessageRequest
|
||||
from src.service.dto import MessageDTO
|
||||
|
||||
|
||||
def to_message(message: Message) -> MessageDTO:
|
||||
return MessageDTO(
|
||||
message.id,
|
||||
message.chat_id,
|
||||
message.sender_id,
|
||||
message.text,
|
||||
message.created_at,
|
||||
tuple(link.attachment_id for link in message.attachments),
|
||||
)
|
||||
|
||||
|
||||
def history_query(chat_id: UUID, limit: int, after: tuple[datetime, UUID] | None = None):
|
||||
query = select(Message).where(Message.chat_id == chat_id)
|
||||
if after is not None:
|
||||
query = query.where(tuple_(Message.created_at, Message.id) > after)
|
||||
return query.order_by(Message.created_at, Message.id).limit(limit)
|
||||
|
||||
|
||||
async def fetch_messages_by_chat_id(
|
||||
session: AsyncSession,
|
||||
chat_id: UUID,
|
||||
limit: int,
|
||||
after: tuple[datetime, UUID] | None = None,
|
||||
) -> list[MessageDTO]:
|
||||
messages = await session.scalars(history_query(chat_id, limit, after))
|
||||
return [to_message(message) for message in messages]
|
||||
|
||||
|
||||
async def create_message(
|
||||
session: AsyncSession,
|
||||
message_id: UUID,
|
||||
chat_id: UUID,
|
||||
sender_id: UUID,
|
||||
text: str,
|
||||
created_at: datetime,
|
||||
attachment_ids: list[UUID] | None = None,
|
||||
) -> MessageDTO:
|
||||
message = Message(
|
||||
id=message_id,
|
||||
chat_id=chat_id,
|
||||
sender_id=sender_id,
|
||||
text=text,
|
||||
created_at=created_at,
|
||||
attachments=[
|
||||
MessageAttachment(chat_id=chat_id, attachment_id=aid, position=i)
|
||||
for i, aid in enumerate(attachment_ids or [])
|
||||
],
|
||||
)
|
||||
session.add(message)
|
||||
await session.flush()
|
||||
return to_message(message)
|
||||
|
||||
|
||||
async def create_idempotent_message(
|
||||
session: AsyncSession,
|
||||
message_id: UUID,
|
||||
chat_id: UUID,
|
||||
sender_id: UUID,
|
||||
text: str,
|
||||
created_at: datetime,
|
||||
idempotency_key: str,
|
||||
attachment_ids: list[UUID] | None = None,
|
||||
) -> MessageDTO:
|
||||
from sqlalchemy import func, update
|
||||
from sqlalchemy import text as sql_text
|
||||
from sqlalchemy.dialects.postgresql import insert
|
||||
|
||||
from src.core.errors import ApiError
|
||||
from src.service.exceptions import IdempotencyConflictException
|
||||
|
||||
attachment_ids = attachment_ids or []
|
||||
request_attachments = ",".join(str(aid) for aid in attachment_ids)
|
||||
if attachment_ids:
|
||||
found = set(
|
||||
await session.scalars(
|
||||
select(Attachment.id).where(
|
||||
Attachment.chat_id == chat_id, Attachment.id.in_(attachment_ids)
|
||||
)
|
||||
)
|
||||
)
|
||||
if found != set(attachment_ids):
|
||||
raise ApiError(404, "not_found", "Вложение не найдено")
|
||||
|
||||
identity = (
|
||||
MessageRequest.sender_id == sender_id,
|
||||
MessageRequest.chat_id == chat_id,
|
||||
MessageRequest.key == idempotency_key,
|
||||
)
|
||||
# UNIQUE/UPSERT сериализует конкурентные повторы даже на разных процессах.
|
||||
# Проигравший ждёт COMMIT; при rollback он сам получает право на создание.
|
||||
values = dict(
|
||||
sender_id=sender_id,
|
||||
chat_id=chat_id,
|
||||
key=idempotency_key,
|
||||
request_text=text,
|
||||
request_attachment_ids=request_attachments,
|
||||
message_id=None,
|
||||
expires_at=func.clock_timestamp() + sql_text("interval '24 hours'"),
|
||||
)
|
||||
claim = (
|
||||
insert(MessageRequest)
|
||||
.values(**values)
|
||||
.on_conflict_do_update(
|
||||
index_elements=["sender_id", "chat_id", "key"],
|
||||
set_={
|
||||
k: v
|
||||
for k, v in values.items()
|
||||
if k in {"request_text", "request_attachment_ids", "message_id", "expires_at"}
|
||||
},
|
||||
where=MessageRequest.expires_at <= func.clock_timestamp(),
|
||||
)
|
||||
.returning(MessageRequest.key)
|
||||
)
|
||||
owned = await session.scalar(claim)
|
||||
if owned is None:
|
||||
existing = (await session.execute(select(MessageRequest).where(*identity))).scalar_one()
|
||||
if existing.request_text != text or existing.request_attachment_ids != request_attachments:
|
||||
raise IdempotencyConflictException
|
||||
message = await session.get(Message, existing.message_id)
|
||||
if message is None:
|
||||
raise RuntimeError("Нарушена атомарность результата идемпотентности")
|
||||
return to_message(message)
|
||||
|
||||
if attachment_ids:
|
||||
missing = await session.scalar(
|
||||
select(Attachment.id)
|
||||
.where(
|
||||
Attachment.id.in_(attachment_ids),
|
||||
or_(Attachment.storage_missing_since.is_not(None), Attachment.status == "failed"),
|
||||
)
|
||||
.limit(1)
|
||||
)
|
||||
if missing is not None:
|
||||
raise ApiError(409, "conflict", "Оригинал вложения недоступен")
|
||||
|
||||
message = await create_message(
|
||||
session, message_id, chat_id, sender_id, text, created_at, attachment_ids
|
||||
)
|
||||
await session.execute(update(MessageRequest).where(*identity).values(message_id=message.id))
|
||||
# COMMIT сообщения и ключа выполняется вместе в get_db_session до HTTP 201.
|
||||
return message
|
||||
@@ -0,0 +1,120 @@
|
||||
import json
|
||||
import re
|
||||
from dataclasses import asdict
|
||||
from datetime import datetime, timezone
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import func, select
|
||||
from sqlalchemy.dialects.postgresql import insert
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.core import cache
|
||||
from src.core.db.models import User
|
||||
from src.service.dto import UserDTO
|
||||
|
||||
|
||||
def to_user(user: User) -> UserDTO:
|
||||
return UserDTO(user.id, user.username, user.display_name, user.created_at)
|
||||
|
||||
|
||||
async def fetch_user_by_id(session: AsyncSession, user_id: UUID) -> UserDTO | None:
|
||||
key = f"user:v1:{user_id}"
|
||||
cached = await cache.get(key)
|
||||
if cached is not None:
|
||||
try:
|
||||
data = json.loads(cached)
|
||||
if (
|
||||
not isinstance(data, dict)
|
||||
or set(data) != {"id", "username", "display_name", "created_at"}
|
||||
or not all(isinstance(value, str) for value in data.values())
|
||||
):
|
||||
raise ValueError
|
||||
created_at = datetime.fromisoformat(data["created_at"])
|
||||
if created_at.tzinfo is None:
|
||||
raise ValueError
|
||||
data["display_name"].encode("utf-8")
|
||||
user = UserDTO(
|
||||
UUID(data["id"]),
|
||||
data["username"],
|
||||
data["display_name"],
|
||||
created_at.astimezone(timezone.utc),
|
||||
)
|
||||
if (
|
||||
user.id != user_id
|
||||
or re.fullmatch(r"[a-z0-9_]{3,32}", user.username) is None
|
||||
or not 1 <= len(user.display_name) <= 100
|
||||
or not user.display_name.strip()
|
||||
or user.created_at.tzinfo is None
|
||||
):
|
||||
raise ValueError
|
||||
return user
|
||||
except (ValueError, KeyError, TypeError, OverflowError):
|
||||
await cache.delete(key)
|
||||
model = await session.get(User, user_id)
|
||||
user = to_user(model) if model else None
|
||||
if user:
|
||||
await cache.set(key, json.dumps(asdict(user), default=str))
|
||||
return user
|
||||
|
||||
|
||||
async def fetch_user_by_username(session: AsyncSession, username: str) -> UserDTO | None:
|
||||
model = await session.scalar(select(User).where(User.username == username))
|
||||
return to_user(model) if model else None
|
||||
|
||||
|
||||
async def create_user(
|
||||
session: AsyncSession,
|
||||
user_id: UUID,
|
||||
username: str,
|
||||
display_name: str,
|
||||
created_at: datetime,
|
||||
password_hash: str,
|
||||
) -> UserDTO:
|
||||
user = User(
|
||||
id=user_id,
|
||||
username=username,
|
||||
display_name=display_name,
|
||||
created_at=created_at,
|
||||
password_hash=password_hash,
|
||||
)
|
||||
session.add(user)
|
||||
await session.flush()
|
||||
return to_user(user)
|
||||
|
||||
|
||||
async def users_exist(session: AsyncSession, user_ids: list[UUID]) -> bool:
|
||||
count = await session.scalar(
|
||||
select(func.count()).select_from(User).where(User.id.in_(user_ids))
|
||||
)
|
||||
return count == len(user_ids)
|
||||
|
||||
|
||||
async def create_admin(
|
||||
session: AsyncSession,
|
||||
user_id: UUID,
|
||||
username: str,
|
||||
display_name: str,
|
||||
password_hash: str,
|
||||
created_at: datetime,
|
||||
) -> UserDTO | None:
|
||||
user = await session.scalar(
|
||||
insert(User)
|
||||
.values(
|
||||
id=user_id,
|
||||
username=username,
|
||||
display_name=display_name,
|
||||
password_hash=password_hash,
|
||||
created_at=created_at,
|
||||
is_admin=True,
|
||||
)
|
||||
.on_conflict_do_nothing(index_elements=[User.username])
|
||||
.returning(User)
|
||||
)
|
||||
return to_user(user) if user else None
|
||||
|
||||
|
||||
async def admin_exists(session: AsyncSession, username: str) -> bool:
|
||||
user_id = await session.scalar(
|
||||
select(User.id).where(User.username == username, User.is_admin.is_(True))
|
||||
)
|
||||
return user_id is not None
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user