Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
8ec5e903c3 | ||
|
|
f3ba37f736 |
@@ -0,0 +1,7 @@
|
||||
# Matplotlib SVG paths contain generated trailing separators.
|
||||
evidence/**/*.svg -whitespace
|
||||
# Preserve generated measurements byte-for-byte for evidence checksums.
|
||||
evidence/**/*.csv -text -whitespace
|
||||
|
||||
# Raw verification output is kept byte-for-byte, including command whitespace.
|
||||
evidence/**/*.txt -text -whitespace
|
||||
@@ -0,0 +1,26 @@
|
||||
name: Student lab4 implementation
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 25
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: actions/setup-python@v5
|
||||
with:
|
||||
python-version: '3.13'
|
||||
- run: python -m pip install -r requirements-student.txt
|
||||
- run: python scripts/setup-env.py
|
||||
- run: docker compose up -d --build --wait
|
||||
- run: make -f student.mk verify-lab4 PYTHON=python
|
||||
- uses: actions/upload-artifact@v4
|
||||
if: always()
|
||||
with:
|
||||
name: lab4-evidence
|
||||
path: |
|
||||
evidence/lab4-*.json
|
||||
evidence/lab4-*.txt
|
||||
- if: always()
|
||||
run: docker compose down --volumes --remove-orphans
|
||||
+25
@@ -0,0 +1,25 @@
|
||||
FROM python:3.13.0-slim-bookworm
|
||||
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt \
|
||||
&& python -m pip uninstall --yes pip \
|
||||
&& addgroup --system app \
|
||||
&& adduser --system --ingroup app app
|
||||
|
||||
COPY --chown=app:app src ./src
|
||||
COPY --chown=app:app migrations ./migrations
|
||||
COPY --chown=app:app infra/s3 ./infra/s3
|
||||
COPY --chown=app:app alembic.ini ./alembic.ini
|
||||
|
||||
USER app
|
||||
EXPOSE 8080
|
||||
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
|
||||
CMD python -c "import urllib.request; from src.core.settings import settings; urllib.request.urlopen(f'http://127.0.0.1:{settings.app_port}/health/ready', timeout=settings.healthcheck_timeout_seconds)"
|
||||
|
||||
CMD ["python", "-m", "src"]
|
||||
@@ -0,0 +1,20 @@
|
||||
.git
|
||||
.github
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
secrets
|
||||
certs
|
||||
volumes
|
||||
data
|
||||
backups
|
||||
*.key
|
||||
*.pem
|
||||
*.p12
|
||||
*.pfx
|
||||
*.jks
|
||||
.venv
|
||||
__pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
@@ -0,0 +1,67 @@
|
||||
# Lab4: проверка замечаний преподавателя
|
||||
|
||||
Перечень сценариев взят из замечаний, переданных пользователем. Проверяется наша
|
||||
реализация; доступность или текущее состояние чужих репозиториев не утверждаются.
|
||||
Повтор: `make -f student.mk test-lab4-review PYTHON=.venv/bin/python`, затем
|
||||
`make -f student.mk test-reconciliation`. Итоговый повтор входит в `make -f student.mk verify-lab4`.
|
||||
|
||||
| Замечание | Проверка у нас | Ожидаемый результат / защита |
|
||||
| --- | --- | --- |
|
||||
| Readiness не отвечает 12 секунд при pause PostgreSQL | Прямой HTTP внутри API-контейнера, без LB, при замороженной БД | 503 примерно за 2 секунды, контрактный error и оба ID-заголовка |
|
||||
| История зависает при уже выполняющемся SQL | Удержать SELECT истории на SQL-блокировке, подтвердить wait в pg_stat_activity, затем pause | 503 примерно за 5 секунд; unpause восстанавливает 200 без рестарта API |
|
||||
| Username review123 с завершающим LF попадает в БД и даёт 500 | Реальная регистрация с LF, CR, TAB, NUL | 400 до INSERT; Pydantic проверяет имя по ограниченному ASCII-шаблону |
|
||||
| Усечённый PNG принимается после чтения заголовка | Полный fixture без IEND и только первые 33 байта | 415; после раннего лимита проверяются структура и полное декодирование |
|
||||
| Обрыв клиента или слишком большое chunked-тело | Прервать передачу до EOF; отправить >10 MiB без Content-Length | Постоянное состояние не создаётся; oversized получает 413 |
|
||||
| PNG с MIME image/jpeg принимается | Загрузить реальный PNG с image/jpeg | 415; определённый формат сравнивается с Content-Type |
|
||||
| API использует owner credentials и создаёт другой bucket | Выполнить make_bucket с фактическими API credentials | AccessDenied; owner/reconciler credentials отсутствуют в API |
|
||||
| Лишние S3 credentials в служебных контейнерах | Проверить environment API, reconciler и migration без вывода значений | Owner ключей нет во всех трёх; migration не получает S3-ключей вообще |
|
||||
| После неуспешного DELETE объект навсегда выпадает из очистки | Реальный объект, ошибка до DELETE, восстановление S3 и повтор apply | Pending не фиксируется как очищенный; следующий проход реально удаляет объект |
|
||||
| Ответ DELETE потерян после удаления | Удалить объект и выбросить ошибку до фиксации БД, повторить | Повтор безопасен, старая попытка закрывается |
|
||||
| В сдаче отсутствуют файлы Dockerfile COPY | Скопировать полный снимок исходников, собрать API с --no-cache и MinIO, запустить пустой UUID-проект | Образы собираются, миграция 008, public smoke, вложения и сверка проходят |
|
||||
| PNG 8000×5001 даёт 415, PNG 20000×10000 даёт 500 | Сформировать настоящие PNG со всеми scanlines/CRC, загрузить с корректным MIME | Оба 413; перехватываются DecompressionBombWarning и DecompressionBombError |
|
||||
| Граница 40 млн пикселей | Настоящий PNG 8000×5000, загрузка и скачивание | 201 и полное совпадение исходных байтов |
|
||||
| DEL допускается в filename | filename=a%7F.png | 400; запрещены все Unicode Cc, включая C0 и DEL |
|
||||
| Нет filename → 422 detail | POST без query-параметра filename | 400 в общем error-конверте, X-Request-Id совпадает с request_id |
|
||||
|
||||
## Обнаруженный дефект и исправление
|
||||
|
||||
До исправления обычный pause давал ограниченные ошибки, но запрос, уже вошедший
|
||||
в SQL, не возвращался за 8 секунд: `evidence/lab4-review-inflight-before.txt`.
|
||||
Одних connect/pool/statement timeout недостаточно, когда процесс PostgreSQL
|
||||
заморожен, а драйвер ждёт отмену/rollback.
|
||||
|
||||
Добавлен `RequestDeadlineMiddleware`: обычный запрос получает 503 по истечении
|
||||
5 секунд до заголовков. Незавершённый обработчик отменяется, но HTTP не ждёт его
|
||||
очистки. Его слот остаётся занятым до фактического завершения; максимум — 64 на
|
||||
процесс. Поздняя отправка ответа от отменённой работы подавляется. Отдельная проверка
|
||||
с задержанным rollback доказывает ограниченный ответ, сохранение лимита и восстановление.
|
||||
Readiness использует собственную пробу с бюджетом 2 секунды и максимум одной
|
||||
незавершённой пробой на процесс.
|
||||
|
||||
После исправления реальные запросы возвращают 503 в бюджете и восстанавливают 200
|
||||
без рестарта: `evidence/lab4-final-reviewer-cases.txt`. Unit-проверки таймаутов:
|
||||
`evidence/lab4-final-request-deadline.txt` и `lab4-final-readiness-budget.txt`.
|
||||
|
||||
## Источники замечаний
|
||||
|
||||
- [Pause PostgreSQL и readiness](https://gitea.privcloud.tech/Savelev_Ivan/mtusi2026lab4/src/commit/c43d3490a07ad939e4e4748863589b73c84ad05a/src/db.py#L14).
|
||||
- [Pause и история](https://gitea.privcloud.tech/sokolova-bvt2304/mtusi2026lab3/src/commit/03ca3a6562981e644bfe5531f93e57167a82d6e1/app/db.py#L27).
|
||||
- [Завершающий LF в username](https://gitea.privcloud.tech/Anatoly01/mtusi2026lab4/src/commit/92ce8c9a59eb4ea0f4db893b0ff02a3b61f1c7a9/app/main.py#L236).
|
||||
- [PNG, MIME, S3-права и повтор очистки](https://gitea.privcloud.tech/Rakshasa/mtusi2026lab4-fork/src/commit/8c7375a6ea5f823ffce9f1b1e068a10b13266535/src/internal/handler/handler.go#L179).
|
||||
- [Отсутствующие файлы сборки](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/src/commit/ad63cf53bd4eba22495c037e448021f3fafdce51/Dockerfile#L13).
|
||||
- [Пиксельные границы, DEL и filename](https://gitea.privcloud.tech/Artu-Rito/mtusi2026lab4/src/commit/38268f63f854a6ca947f0c75089ea52c4ee67706/app/images.py#L25).
|
||||
|
||||
## Итоговый прогон
|
||||
|
||||
Все случаи из таблицы прошли в составе 16 итоговых этапов. Реальные задержки
|
||||
при замороженном выполняющемся SQL: история 5.1013 с,
|
||||
readiness 2.0959 с, оба ответа 503. После unpause — 200.
|
||||
Ошибка до S3 DELETE теперь проверяется отдельно от потерянного ответа после DELETE;
|
||||
восстановление приводит к реальному удалению объекта, а не только смене статуса.
|
||||
|
||||
## Дополнительная проверка после переноса
|
||||
|
||||
В отдельном клоне обнаружена передача owner S3 credentials контейнеру migration
|
||||
через общий env_file. Для migration явно очищены все S3-ключи; API и reconciler
|
||||
ранее уже имели отдельные ограничения. Контейнерный environment теперь проверяется
|
||||
в tests/lab4_review.py без печати секретных значений.
|
||||
@@ -0,0 +1,44 @@
|
||||
# Проверки и результаты лабораторной 4
|
||||
|
||||
Основная инструкция запуска — [README.md](STUDENT_README.md), отчёт — [REPORT.md](STUDENT_REPORT.md).
|
||||
Выбран трек 2 на оценку 5: согласованность PostgreSQL и приватного S3.
|
||||
|
||||
## Команды
|
||||
|
||||
```sh
|
||||
make -f student.mk check validate lint PYTHON=.venv/bin/python
|
||||
make -f student.mk verify-lab4 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Полный прогон выполняет 16 этапов последовательно. Он проверяет контракт,
|
||||
PNG/JPEG, SHA-256, доступ к чатам, ограничения файлов, идемпотентность сообщений,
|
||||
замечания преподавателя, сверку с внедрением сбоев, память при 10 загрузках,
|
||||
отказ принявшей файл реплики, restart и сборку с пустыми volumes.
|
||||
|
||||
Для отдельных HTTP-проверок локального стенда на порту 8084:
|
||||
|
||||
```sh
|
||||
make -f student.mk test test-attachments test-idempotency BASE_URL=http://127.0.0.1:8084 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Инфраструктурные проверки временно меняют состояние учебного стенда и восстанавливают
|
||||
его. Clean-start использует отдельный UUID-проект и удаляет только свои временные
|
||||
volumes. Обычный restart сохраняет данные API, PostgreSQL, Redis, MinIO, reconciler и LB.
|
||||
|
||||
## Доказательства
|
||||
|
||||
- `evidence/lab4-final-summary.json` — итог команд и exit codes.
|
||||
- `evidence/lab4-final-public-smoke.txt` — исходный публичный сценарий lab4.
|
||||
- `evidence/lab4-final-attachments.txt` — байты оригинала, ACL, MIME и лимиты.
|
||||
- `evidence/lab4-final-idempotency.txt` — параллельные повторы через две реплики.
|
||||
- `evidence/lab4-final-reviewer-cases.txt` — ошибки файлов, пиксели, filename, S3-права и frozen PostgreSQL.
|
||||
- `evidence/lab4-final-reconciliation.txt` — orphan/missing, dry-run, ошибки PUT/COMMIT/DELETE и стоимость обхода.
|
||||
- `evidence/lab4-final-upload-memory.txt` — 10 одновременных загрузок и RAM.
|
||||
- `evidence/lab4-final-uploader-failover.txt` — остановка именно загрузившей реплики.
|
||||
- `evidence/lab4-final-persistence-proof.txt` — сохранность и реальные StartedAt до/после.
|
||||
- `evidence/lab4-clean-start.json` — пустые volumes, миграция 008 и build без кэша API.
|
||||
- `evidence/lab4-public-artifacts.json` — контрольные суммы неизменного публичного контракта и тестов.
|
||||
- `evidence/lab4-research/` — исходные измерения и графики трека 2.
|
||||
|
||||
Алгоритм загрузки и сверки: [LAB4_RECONCILIATION.md](LAB4_RECONCILIATION.md).
|
||||
Соответствие замечаниям преподавателя: [LAB4_AUDIT.md](LAB4_AUDIT.md).
|
||||
@@ -0,0 +1,207 @@
|
||||
# Lab4, трек 2: согласованность PostgreSQL и S3
|
||||
|
||||
## Задача и гипотеза
|
||||
|
||||
S3 PUT и PostgreSQL COMMIT не образуют общую транзакцию. При сбоях возможны:
|
||||
объект без Attachment, зависший pending без объекта и Attachment с потерянным
|
||||
оригиналом. Гипотеза: устойчивый журнал намерений, общая блокировка на ключ и
|
||||
повторяемая сверка устраняют бесхозные объекты, сохраняя свежие, активные и
|
||||
используемые вложения. Время обхода ожидается примерно линейным по числу ключей.
|
||||
|
||||
## Что хранится в БД
|
||||
|
||||
- `attachments` — опубликованные вложения. Наличие записи защищает оригинал,
|
||||
даже если вложение ещё не использовано в сообщении.
|
||||
- `upload_intents` — ключ, время регистрации и состояние `pending`, `committed`
|
||||
или `abandoned`. Это внутренний журнал, не публичные статусы Attachment.
|
||||
- `storage_findings` — наблюдения orphan/missing, время обнаружения/последней
|
||||
проверки/закрытия и отпечаток объекта для диагностики.
|
||||
- `attachments.storage_missing_since` — внутренняя отметка о потере оригинала.
|
||||
|
||||
Миграция `008` добавляет эти данные без изменения предыдущих вложений. Старые
|
||||
Attachment защищаются и без журнала. Наличие строки журнала само по себе не
|
||||
защищает мусор навсегда: старые pending проверяются и закрываются.
|
||||
|
||||
## Загрузка и транзакции
|
||||
|
||||
1. Проверить пользователя, чат, имя, размер, MIME, структуру и число пикселей.
|
||||
До S3 файл находится во временном ограниченном хранилище; считать SHA-256.
|
||||
2. Назначить уникальный `originals/<uuid>`.
|
||||
3. В отдельной транзакции взять advisory lock на ключ, записать pending и COMMIT.
|
||||
4. В HTTP-транзакции взять ту же блокировку, повторно проверить pending.
|
||||
5. Выполнить S3 PUT, удерживая блокировку.
|
||||
6. Одним COMMIT сохранить Attachment и перевести журнал в committed.
|
||||
7. Только после COMMIT вернуть 201 ready.
|
||||
|
||||
Блокировка `pg_advisory_xact_lock` вычисляется по стабильному хешу object key;
|
||||
она действует до конца транзакции и освобождается PostgreSQL при разрыве
|
||||
соединения. Reconciler использует `pg_try_advisory_xact_lock`: занятый ключ
|
||||
пропускается, а не задерживает весь обход. Случайная коллизия хеша только
|
||||
сериализует независимые ключи, но не разрешает удаление используемого объекта.
|
||||
|
||||
При неизвестном результате COMMIT файл сразу не удаляется. Журнал и последующая
|
||||
проверка Attachment позволяют разобрать исход без риска удалить уже подтверждённый
|
||||
оригинал. При обрыве HTTP до этапа S3 PUT постоянного объекта ещё нет.
|
||||
|
||||
## Алгоритм сверки
|
||||
|
||||
Область действия — только настроенный `S3_BUCKET` и `originals/` либо более узкий
|
||||
префикс. Другие bucket и префиксы не перечисляются. ListObjectsV2 читается лениво
|
||||
постранично; приложение не собирает весь список в RAM. Записи БД читаются
|
||||
порциями по 200 с продолжением по ключу.
|
||||
|
||||
Для каждого объекта:
|
||||
|
||||
1. Попробовать взять блокировку; занят — пропустить.
|
||||
2. Проверить Attachment заново под блокировкой. Есть запись — сохранить.
|
||||
3. Проверить актуальный S3 HEAD и pending, зафиксировать наблюдение.
|
||||
4. Если объект или намерение свежие — сохранить.
|
||||
5. Иначе закрыть существующее намерение как abandoned, удалить бесхозный объект,
|
||||
закрыть наблюдение и COMMIT.
|
||||
|
||||
Запас `RECONCILE_GRACE_SECONDS=300` — один настраиваемый период, без второго
|
||||
ожидания после первого обнаружения. Он проверяется относительно времени изменения
|
||||
S3-объекта и создания намерения. Он не заменяет блокировку и не является lease:
|
||||
сколько бы ни длилась активная загрузка, занятый ключ пропускается.
|
||||
|
||||
Старые pending без Attachment и без S3-объекта переводятся в abandoned. Отложенный
|
||||
загрузчик повторно проверяет состояние и не публикует закрытую попытку.
|
||||
Незавершённые multipart parts не видны в ListObjectsV2. SDK пытается отменить
|
||||
неудачный multipart; дополнительно MinIO настроен на expiry незавершённых загрузок
|
||||
через 24 часа с проверкой раз в час. Объекты целиком по этим настройкам не удаляются.
|
||||
|
||||
Обратный проход проверяет S3 HEAD для каждого Attachment:
|
||||
|
||||
- Подтверждённое NoSuchKey/NoSuchObject отмечается как missing. Метаданные,
|
||||
сообщения и связи сохраняются. API отвечает 503 на чтение такого вложения;
|
||||
новые сообщения с ним получают 409. Повтор ранее подтверждённого сообщения
|
||||
с прежним Idempotency-Key сохраняет прежний результат.
|
||||
- Если отсутствовавший объект появился снова, проверяются размер и фактический
|
||||
SHA-256 при ограниченном чтении. Совпали — отметка снимается. ETag не считается SHA-256.
|
||||
- AccessDenied, пропавший bucket, timeout и другие ошибки прерывают проход;
|
||||
они не интерпретируются как отсутствие всех файлов.
|
||||
|
||||
Отдельный проход закрывает оставшиеся orphan-наблюдения, если S3 DELETE выполнился,
|
||||
но его ответ или последующий COMMIT потерялись. Повтор удаления безопасен.
|
||||
Reconciler не восстанавливает потерянные байты из метаданных: для восстановления
|
||||
нужна копия исходного файла. Он безопасно изолирует потерю и проверяет восстановление.
|
||||
|
||||
## Запуск и наблюдение
|
||||
|
||||
Compose запускает отдельный reconciler: apply каждые 300 секунд, grace 300 секунд.
|
||||
Процесс пишет JSON: режим, область обхода, действия, ограниченную выборку ключей,
|
||||
время, число SQL statements, HTTP-запросы S3 по операциям и пик RSS процесса.
|
||||
Healthcheck этого контейнера проверяет жизнь процесса; результаты проходов — в JSON.
|
||||
Сбой обслуживания S3/БД оставляет цикл работающим для повторной попытки.
|
||||
|
||||
```sh
|
||||
make -f student.mk reconcile # просмотр, без изменения БД и S3
|
||||
make -f student.mk reconcile-apply # применить безопасные исправления
|
||||
# Полные отчёты фонового процесса:
|
||||
docker compose logs reconciler
|
||||
```
|
||||
|
||||
Dry-run не пишет наблюдения, не меняет статусы и не удаляет файлы. Он не обещает,
|
||||
что последующий apply увидит ровно то же состояние: apply перепроверяет всё заново.
|
||||
Другой фоновый процесс может менять данные одновременно с dry-run. Для спокойного
|
||||
просмотра без фоновой очистки:
|
||||
|
||||
```sh
|
||||
docker compose stop reconciler
|
||||
docker compose run --rm --no-deps reconciler python -m src.maintenance.reconcile
|
||||
# После просмотра восстановить периодическую работу:
|
||||
docker compose up -d reconciler
|
||||
```
|
||||
|
||||
## Права доступа
|
||||
|
||||
Bootstrap с MinIO owner credentials создаёт приватный bucket и двух отдельных
|
||||
пользователей. Декларативные политики находятся в `infra/s3/api-policy.json` и
|
||||
`infra/s3/reconciler-policy.json`; Dockerfile копирует их в образ. Python-сценарий
|
||||
явно выполняет подготовку bucket и настройку каждого пользователя. В API-контейнерах owner/reconciler credentials переопределены пустыми
|
||||
значениями; в reconciler нет owner/API credentials.
|
||||
|
||||
| Роль | Права |
|
||||
| --- | --- |
|
||||
| API | ListBucket/GetBucketLocation своего bucket; GetObject/PutObject и multipart операции только в originals/; нет DeleteObject |
|
||||
| Reconciler | ListBucket/GetBucketLocation/GetBucketVersioning своего bucket; GetObject/DeleteObject только в originals/; нет PutObject и admin прав |
|
||||
| Bootstrap | Создание bucket, пользователей и политик; доступен только как отдельная завершающаяся задача |
|
||||
|
||||
`MINIO_ROOT_*` должны сохранять прежние credentials владельца при обновлении
|
||||
существующего volume. `S3_ACCESS_KEY_ID`/`S3_SECRET_ACCESS_KEY` теперь относятся к
|
||||
отдельному API-пользователю. Значения по умолчанию предназначены для локального
|
||||
учебного стенда. Консоль выключена, порты S3 наружу не публикуются.
|
||||
|
||||
## Методика и доказательства
|
||||
|
||||
```sh
|
||||
make -f student.mk test-reconciliation
|
||||
make -f student.mk test-upload-memory PYTHON=.venv/bin/python
|
||||
make -f student.mk test
|
||||
make -f student.mk test-attachments PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
`tests/reconciliation.py` использует отдельную UUID-схему PostgreSQL и приватный
|
||||
UUID-bucket MinIO; при завершении удаляет только собственные тестовые ресурсы.
|
||||
Проверяет реальные PUT/HEAD/GET/DELETE, процесс, аварийно завершающий настоящий
|
||||
код загрузки после PUT, ошибку COMMIT, отказ PUT, занятую блокировку, свежий файл,
|
||||
публикацию между dry-run и apply, missing, неправильное и правильное восстановление,
|
||||
потерянный ответ DELETE, AccessDenied и отказ БД. Snapshot доказывает отсутствие
|
||||
изменений при dry-run. Отдельно проверяются развёрнутые S3-права API/reconciler.
|
||||
|
||||
Стоимость обхода измеряется на 10, 100 и 1005 объектах, по три прогона; 1005
|
||||
объектов проверяют переход между страницами ListObjectsV2. Используется dry-run
|
||||
по свежим бесхозным объектам: на объект приходится HEAD и примерно пять SQL
|
||||
statements. Размер объекта почти не влияет на этот профиль, поскольку его байты
|
||||
не читаются. Hash-проверка восстановленного missing имеет отдельную стоимость
|
||||
чтения исходника. Точные результаты — `evidence/lab4-final-reconciliation.txt`.
|
||||
|
||||
Локальное исследование не доказывает ту же скорость на удалённых сервисах:
|
||||
RTT, объём bucket и задержки СУБД могут существенно изменить время. Текущий обход
|
||||
последовательный; пакетная сверка могла бы уменьшить число SQL round trips.
|
||||
|
||||
Эксперимент памяти временно задаёт 5 принимаемых загрузок на каждую из двух API-
|
||||
реплик; декодирование изображений ограничено одним потоком на реплику. Запускает
|
||||
10 одновременных загрузок для двух размеров PNG, проверяет SHA-256 и скачивание,
|
||||
измеряет cgroup memory.current каждые 20 мс, включая tmpfs. После теста восстанавливает
|
||||
обычную настройку параллелизма. Короткие пики между измерениями могут быть пропущены;
|
||||
эти два размера не доказывают worst case для изображения в 40 млн пикселей.
|
||||
|
||||
## Границы безопасности
|
||||
|
||||
Поддерживается один неверсионируемый bucket. CLI отказывается работать с Enabled
|
||||
или Suspended versioning: там нужны отдельный учёт версий и политика delete markers.
|
||||
Все штатные писатели должны соблюдать протокол блокировок. Прямая административная
|
||||
перезапись/удаление S3-объекта одновременно со сверкой обходят эту координацию.
|
||||
Не обещается автоматическое восстановление БД/S3 из backup или защита от потери
|
||||
всего Docker host. Согласованность S3-провайдера, расхождение часов и допустимый срок
|
||||
pending нужно учитывать при переносе; будущие временные метки консервативно задерживают очистку.
|
||||
Журнал и закрытые наблюдения пока сохраняются без автоматического удаления истории.
|
||||
|
||||
## Итоговые измерения
|
||||
|
||||
Все 16 этапов `make -f student.mk verify-lab4` завершились с exit code 0. Интеграционный
|
||||
набор сверки содержит 15 проверок, включая отказ DELETE до удаления
|
||||
и прямой unsigned GET существующего объекта с результатом 403.
|
||||
|
||||
| Объектов | Медиана 3 обходов, с | LIST | HEAD | SQL statements |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 10 | 0.0181 | 1 | 10 | 53 |
|
||||
| 100 | 0.1851 | 1 | 100 | 503 |
|
||||
| 1005 | 2.0142 | 2 | 1005 | 5028 |
|
||||
|
||||
Оба профиля по 10 одновременных загрузок завершились без отказов: 20 ответов 201,
|
||||
все SHA-256 и скачанные оригиналы совпали. Пики RAM: **131.07 / 120.52 MiB**
|
||||
при 512 MiB на реплику. Размеры PNG: 197105 и
|
||||
4923446 байт. Обычный UPLOAD_CONCURRENCY=1 восстановлен.
|
||||
|
||||
При замороженной PostgreSQL уже выполнявшаяся история вернула 503 за
|
||||
**5.1996 с**, readiness — за **2.0638 с**.
|
||||
После unpause восстановились 200 без рестарта API. Пустой стенд дошёл до миграции
|
||||
008; API build --no-cache занял 51.866 с. Временный проект,
|
||||
volumes и его теги образов удалены; действующие данные сохранены.
|
||||
|
||||

|
||||
|
||||
Усы на графике — min/max трёх запусков, не доверительный интервал.
|
||||
Указанная RAM — максимум отсчётов, а не доказанный абсолютный пик между ними.
|
||||
@@ -0,0 +1,62 @@
|
||||
## Лабораторная 4: S3-хранилище и вложения
|
||||
|
||||
Автор / группа: **Каменский Андрей, БПИ2301**.
|
||||
Целевая оценка: **5**. Трек **2 — согласованность двух хранилищ**.
|
||||
|
||||
### Реализация
|
||||
|
||||
Обязательная основа приложения: PostgreSQL, Redis-сессии с TTL/AOF, два API за HAProxy, контракт
|
||||
авторизации, пагинация и общая идемпотентность. Добавлены приватный MinIO,
|
||||
метаданные Attachment, до 10 вложений в сообщении, raw PNG/JPEG upload и
|
||||
авторизованный побайтный download. Проверяются размер до 10 MiB, MIME по содержимому,
|
||||
целостность, безопасный filename и не более 40 млн пикселей включительно.
|
||||
|
||||
Миграции до 008 и bootstrap запускаются отдельными задачами. Две декларативные
|
||||
S3-политики хранятся в infra/s3 и копируются в Docker-образ. API и reconciler
|
||||
получают разные ограниченные S3-права; owner credentials отсутствуют в API.
|
||||
Публикуется только LB, консоль MinIO выключена. MinIO собирается из закреплённого
|
||||
исходного commit, поэтому отсутствующий готовый образ не блокирует сборку.
|
||||
|
||||
Перед PUT отдельно коммитится журнал pending. Advisory lock на ключ удерживается
|
||||
до общего COMMIT Attachment/committed. Worker сверяет наш bucket/prefix постранично,
|
||||
пропускает активные и свежие файлы, закрывает зависшие попытки и удаляет orphan.
|
||||
Dry-run не меняет БД/S3. Missing-оригиналы отмечаются с сохранением сообщений;
|
||||
восстановление подтверждается размером и SHA-256. Ошибка DELETE не исключает
|
||||
объект из дальнейшей очистки.
|
||||
|
||||
### Запуск и проверки
|
||||
|
||||
```sh
|
||||
python3 scripts/setup-env.py
|
||||
docker compose up -d --build --wait
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-student.txt
|
||||
make -f student.mk verify-lab4 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Инфраструктурные проверки выполняются последовательно на локальном учебном стенде.
|
||||
Сохранность проверяется с прежним токеном и доказательствами StartedAt до/после API,
|
||||
PostgreSQL, Redis и MinIO. Чистый запуск использует отдельный UUID-проект, пустые
|
||||
volumes и полный снимок исходников, включая новые файлы; API строится с --no-cache.
|
||||
|
||||
Сводка: `evidence/lab4-final-summary.json`; подробный вывод —
|
||||
`evidence/lab4-final-*.txt`, чистый старт — `evidence/lab4-clean-start.json`.
|
||||
Отчёт и методика: [REPORT.md](STUDENT_REPORT.md),
|
||||
[LAB4_RECONCILIATION.md](LAB4_RECONCILIATION.md).
|
||||
|
||||
### Ограничения
|
||||
|
||||
Нет автоматического восстановления потерянных байтов из backup. Поддерживается
|
||||
неверсионируемый bucket и штатные писатели, соблюдающие блокировки. Хранилища,
|
||||
LB и host остаются едиными точками отказа. Последовательный обход имеет линейную
|
||||
стоимость; локальные измерения не задают production SLA. Журнал/наблюдения сохраняют
|
||||
историю без автоматического сокращения. Применение любых исправлений перепроверяет
|
||||
состояние, а не слепо выполняет ранее выведенный план dry-run.
|
||||
|
||||
- [x] Обязательное API lab4 и прежние возможности сохранены.
|
||||
- [x] Оригинал, ACL, failover и restart проверены.
|
||||
- [x] Негативные случаи и замечания преподавателя покрыты проверками.
|
||||
- [x] Ограниченные S3-роли и приватность bucket проверены реальными запросами.
|
||||
- [x] Трек 2 имеет гипотезу, сценарии сбоев, повторяемые измерения и ограничения.
|
||||
- [x] Секреты не входят в исходники сдачи; .env создаётся локально.
|
||||
- [x] Использование Codex и первичные источники указаны в REPORT.md.
|
||||
@@ -0,0 +1,193 @@
|
||||
{
|
||||
"format": 1,
|
||||
"lab": 4,
|
||||
"author": "Каменский Андрей, БПИ2301",
|
||||
"clean_start_code_matches": true,
|
||||
"private_credentials_scan": "PASS",
|
||||
"files": {
|
||||
".github/workflows/student.yml": "85316d25d4ba7e94bbd6648ae51bb1bb25b07d82c4e8ac3c03e35be1f9e162a4",
|
||||
"Dockerfile.dockerignore": "62c0534ad74d9f0e2982e97d1fbadb66d80c493ed237df5bcb9fbb797062eb38",
|
||||
"STUDENT_README.md": "b9e3953a6cce15a847b6436bb2b18012a88c37838ed393f807d61f79873238e6",
|
||||
"course-files.sha256.json": "a7c60697b7676db6752256727c98ca8fca2d3067c9455d9498c3cf98babeaca1",
|
||||
"examples/student-requests.http": "397bc6c114287388f39921bd5fdbc0783438c662b6969f0230e327e44faa0986",
|
||||
"requirements-student.txt": "83af5551944a4384b3afd4e2a663cf7329a5bc952ad748a5379018509b9298d4",
|
||||
"scripts/check-course-files.py": "2f2fb907aa5a587625290692b413e5a1950fc82092b5a0ccd95b9e2a5d6a9a8e",
|
||||
"student.mk": "dea22dba57c5a474576ea6d7c4fe6e4e13e2d8b4baf0c5ec82b227d5aba47780",
|
||||
"tests/idempotency.py": "7086f53e35b542df7e088f6312a6bcc35754f80db3bfb570cbde93c05db567ab",
|
||||
".dockerignore": "62c0534ad74d9f0e2982e97d1fbadb66d80c493ed237df5bcb9fbb797062eb38",
|
||||
".env.example": "3c288de16b256fdd54bf458505d187ff8f114500ee3aeae26279cf5c7be6e8e3",
|
||||
".gitattributes": "0dadd4b1a4ae7778c71877bdf1643531eddda7d36768bc06205692cbcd89f42b",
|
||||
".github/pull_request_template.md": "a8fcc8a4fd323d8d8bb3fd4e8d921b67efeeac4a8d6dafbf30249ac61c53ded7",
|
||||
".github/workflows/contracts.yml": "a45d7932ef14130aff8020bce79f043cccaf9692d697088a754d309a03f7d3e8",
|
||||
".gitignore": "c26ab45b3a778a5376f6db4f624a51c5fdbf1a404f9a26df8613449277d95438",
|
||||
"CONTRIBUTING.md": "2c01dd698cc9653dece49a94c9fd3f58d36e84764aaa643b46e26d7e599dc12e",
|
||||
"COURSE.md": "c34d53cd082d194aa4b58f504c4e0348d25b6afec3d6a9c0963dd01c9c81e971",
|
||||
"Dockerfile": "f6d3a539fd5b0787c366c76dc0e02086857eb465790bcaa599ab7a36ea2f5c35",
|
||||
"Dockerfile.example": "fd7ac9491c0c3c663b083c41a762fb38bc2d212fa4a2ed3e6a0702af72108709",
|
||||
"LAB4_AUDIT.md": "742257efb52885e989ae694bd91bcce485f5cb68a62a21e0615d21c50cf3baa6",
|
||||
"LAB4_GUIDE.md": "c7673d8246b532344ad95f0d742ceea4c80d0262115073bbf21f7df2a27df533",
|
||||
"LAB4_RECONCILIATION.md": "7224d0e6b4206086bbe6ae13d219ec45eea6090bfb1e2ed69d4724f0ba39328a",
|
||||
"MAINTAINERS.md": "740d636380b05d64f5f3275885912bc1ce8a168d4e4f7bd4c68b7337b3b0b2e8",
|
||||
"Makefile": "c05bd07058ae0949dd4905afdae7674bc7e3e63863a6cdf8b72661140d445826",
|
||||
"PULL_REQUEST.md": "190871fd8115d2cb57222fa9403a891cd41b182703bc5842686c2fa82ac8c281",
|
||||
"README.md": "7fc4cfff884705202115fd93b7145d5bc3452e4db156dfef2b04e9d9edb74408",
|
||||
"REPORT.md": "1bcf40eaba0cffbd652dd60f505924f808e7142d22573c650672176209f0fd1b",
|
||||
"STUDENT_REPORT.md": "ef20757be3a6b865b84a045b6ba0998b03b81195fdbb727f00fc428a246e9250",
|
||||
"alembic.ini": "024bf3fe092ea4f8e6bb6309cba89e67b53bada366dee6859339297f090fdda1",
|
||||
"compose.example.yaml": "5368758f38e47f42c864b207f4baa05d5086773fa397b035dd2784d385e5c4a0",
|
||||
"compose.yaml": "86f40a2b6485fd9ba18b33171d7cd1c99e36b9b5e2e1ac0409e2aabd45af0793",
|
||||
"contracts/README.md": "72df27a559f88ffa3fd8c3c79d3c32f6db2c5986a0602677c51994c434a3fc4f",
|
||||
"contracts/examples.json": "381cc18c03789e935b391d007fb5843964be9cfd9f7530cb6b1996ed4a1c4c37",
|
||||
"contracts/infrastructure.json": "baaeb5a2233096a50d791f521bfc6dd66a23e516f81833c2b17c554cc0bab5d8",
|
||||
"contracts/openapi.json": "c5c0ebdcf205018126c5bb91e2512b11f543827e76baa21d776210d05a0b2cca",
|
||||
"evidence/README.md": "78e4bfd738d034597d15d8846accd8a8a5dc738a23a3d15f243f3992bd530cc3",
|
||||
"evidence/lab4-clean-start.json": "5453e1a74d9a93b2810a2d9e57a287b6e5466add6ff38e70a996f852f504edba",
|
||||
"evidence/lab4-final-attachments.txt": "506ecbf2abb8c553d632ae2077dfa6ada440cc071abcda53379cd5fa289376e7",
|
||||
"evidence/lab4-final-clean-start.txt": "14d619b71d8be5155c0d684f0ef5f414872007ec234ec8b5441e59a110866ac2",
|
||||
"evidence/lab4-final-course-files.txt": "e8935d4106879b1440a1f7b37250e2438d05541308b15d604c9bcabd4aa0157b",
|
||||
"evidence/lab4-final-format.txt": "b642d2f0cc49caff9e609808fb9c82854fc174b2f54b459a0d09dbe4c0f837ab",
|
||||
"evidence/lab4-final-idempotency.txt": "e06356410a2eb56952c11ee9a524fb921c31b1398837377c4edff3195c2187b6",
|
||||
"evidence/lab4-final-openapi.txt": "516e71d5728e863ed942752e9efbc4f65714ab7281a3af2c472fda5bb4a9b963",
|
||||
"evidence/lab4-final-persistence-proof.txt": "adfbbb0d829dbf1ed6e61ca8e1fab4503eab0463d948540e6fb078dc8b88b8d2",
|
||||
"evidence/lab4-final-public-smoke.txt": "59c0b2b30d44d6ee3d44ea86fa4946c2f87d0b89ad0fcd57652dd4082bcceafd",
|
||||
"evidence/lab4-final-quality.txt": "82b3e6a6c090a57601d22943bd23fca9218d1031dbe5a7b754092f9a156b4f18",
|
||||
"evidence/lab4-final-readiness-budget.txt": "b438a8c6836924e83830cf0efdd4355be5e9227c332fd6fedc9a5c16f12084e2",
|
||||
"evidence/lab4-final-reconciliation.txt": "7d2b712926bb3bdf330ead9358022236d87751950e08990af26409c58c2ddd1a",
|
||||
"evidence/lab4-final-request-deadline.txt": "6a5288cc2d77e914541566f45d716642fa227350ae92badc5a4eeff3610f69f0",
|
||||
"evidence/lab4-final-reviewer-cases.txt": "64c41e67461a1f96ff1b75605be9028ee8b0d4b31495f818457465d2090839bd",
|
||||
"evidence/lab4-final-run.txt": "526079ecfbf80944f6cbe1abaeaa98efed015fd8f325935c5f4d895fbafd49e7",
|
||||
"evidence/lab4-final-structure.txt": "cd7f9c6d8443a7595346367c3ecc9daa099204db17d71ba8c41bb40d0d868bc1",
|
||||
"evidence/lab4-final-summary.json": "9b534ba421bdba1c09f597673b86b1ebe2fb7c727fbb90c016faed626d756a35",
|
||||
"evidence/lab4-final-upload-memory.txt": "d8d736c326782b9cfed3935786c751ea61edf026d0fe17698fb1159895eb2f6f",
|
||||
"evidence/lab4-final-uploader-failover.txt": "f64d39de3dc97f2f63aac414e3f31d2b7fe470cc482627ba558b8496443c53ca",
|
||||
"evidence/lab4-public-artifacts.json": "669526bd720c4429309ade8d714217c047e0d98ab68e426ea06ef52493cc9da3",
|
||||
"evidence/lab4-research/results.json": "478e5da8e8ca2178a06705ee5195a344e16fcd2a5cb9409a914fa205ad9580e1",
|
||||
"evidence/lab4-research/results.png": "0f5408c5d4ef175bdad73219b0f8d46d3a4892de4dccae29500dc1f26377cb98",
|
||||
"evidence/lab4-research/results.svg": "33e8e3971d3778ed30bd1158ce5f217924125ab9163fb846debb52bcb683bf59",
|
||||
"evidence/lab4-review-inflight-before.txt": "3b3375fdd1aef72907eb416e6eccc85c240556e81d775c8a20bd8b6ce2c2be04",
|
||||
"evidence/lab4-s3-unavailable.txt": "2c805922abff1234a5956bd804453415b0bc3b2dd648caf92f87136912ab28f4",
|
||||
"evidence/lab4-track2-environment.json": "fcaa8cfbbd225fe24f8986bddaa124119f061c5d9bff80f0a436d60003102a0b",
|
||||
"examples/requests.http": "8c086fd540092b3e31a945a416632bcda6c4bea39253f86b076f791b362cf5e4",
|
||||
"infra/README.md": "0e804fa51debba4c38d3cc84abf4704897665e0335b272060363f03aadd6354f",
|
||||
"infra/haproxy.cfg": "6640795207cee655e5c22d685d73b2a57ae1a987156783ad5226d57d7ed6d59c",
|
||||
"infra/minio/Dockerfile": "632a16d3468aa0290a0dcb69cdbdba7a8827ada9ab56d5b9903d1ba8eaf182d7",
|
||||
"infra/s3/api-policy.json": "ab08e1c66eeb8e872768cba5b72a2ebc2d82f31353c2ad5c5c20a88200ca1782",
|
||||
"infra/s3/reconciler-policy.json": "80fc157de3beb754a713644ed213c18d1fb571f13b5c062576fc3602cd3177cc",
|
||||
"lab.json": "7d0945d93e302c34c3f26455b152f9d657110ee0a94a5074d85963bc7aa60526",
|
||||
"migrations/env.py": "67360cd30a7dd1295ee80b1991c773d817bc601b30cd32d88fb38769c91144f9",
|
||||
"migrations/script.py.mako": "d7558dcb7ce01d3e44830898336d3027de66e5ffdb1491c0cd27f6159b021902",
|
||||
"migrations/versions/001_initial.py": "72862742da825a042bb63deef80e22cbef79da8a9b0f369644c344211c8a5a87",
|
||||
"migrations/versions/002_redis_sessions.py": "5bdd751818e8577f81cbb96cd28031b569f62afff43ee72660f980bc0ee7614a",
|
||||
"migrations/versions/003_admin.py": "24fcc923b12d0b68e401c7b47642563de3d5b5808821e4fefed8d69e48eb8b6d",
|
||||
"migrations/versions/004_idempotency.py": "4f51289fd202cde682bf1256f9f4bfc2f17c35fc00ada7d1c4bf36182968e9b9",
|
||||
"migrations/versions/005_message_unicode.py": "0851e4ae1e4d3ca8e11b00cb7714827c0de1651d9bb49cd2bfb4525cd1f2c999",
|
||||
"migrations/versions/006_unicode_names.py": "fb087985717e280b7b6f67348e9cd8abb9c193ab759cff23a6e5628ecd2818ac",
|
||||
"migrations/versions/007_attachments.py": "c4936a499313cd22f32fac9538d5892cfe2f2eb49aa8427d54dc72b73c7b5a7c",
|
||||
"migrations/versions/008_reconciliation.py": "84fd1650ee4338c57f68328221cb82c9e75b69c52512b58907be9660677a3963",
|
||||
"pyproject.toml": "f9404f107806f3728d8e9fe581401cbf7373460b628c1ad083288b3ceae5d375",
|
||||
"requirements-dev.txt": "4cefdb67007caf026d1613be7c519c01b4c8343db7c4f4b618677e01cf113525",
|
||||
"requirements.txt": "977716fbc3ee1b11681500aa61cf1d561ec1d4267a1f2c35dbbed8bdcf7493e0",
|
||||
"scripts/check_contract.py": "7c4402c2a6ab80d3b4676e1866d6ecc87b6daea14c080bcb9be9a7e8b959d671",
|
||||
"scripts/export-submission.py": "0a4ca36d09672c932aa539a4cf0e8a575800277130b6a8b0d0e90b695a6124c2",
|
||||
"scripts/plot-lab4.py": "feec49b550721bed42642edb52e1f83bbcf56d986eb051af7f0248307e6fbb9f",
|
||||
"scripts/replicas.py": "3605ba8ffd47025d4d7c06ce33f2acc0598cb0ac20143fe7e241ae3df2e90799",
|
||||
"scripts/restart.example.sh": "0328246ba75defbced992104e986fde973f63e3830d83251eced5953263e944b",
|
||||
"scripts/restart.sh": "f4bca13c78ddffbd03211b12e12d9d514e9caef750ba191dca10557e36500e93",
|
||||
"scripts/setup-env.py": "84195400374e008d9533b73b1c141a277d507859287b8925bd2713617a2af674",
|
||||
"scripts/stop-one.example.sh": "1bcf34394520b89d95b7605ec56675be799eea920e83cfbba306d5dc0a6d9811",
|
||||
"scripts/stop-one.py": "8f14d78e99f1b86529a5e23278a33eeb7199acc77ddc529b012a38f9d6e782bc",
|
||||
"scripts/stop-one.sh": "81a4e83f4daf989005e19d55d2f64c6079cfdc0d674acc4aa54e3317f66ff8d8",
|
||||
"scripts/test-clean-lab4.py": "eefd78b94499c20087b35504e38f48a554a7830519c08c0ad99b146a76408804",
|
||||
"scripts/test-expiry.sh": "657bd7b3c757d1a51ad60a3e1590c11d73e40cd098319c0d841f68345806a080",
|
||||
"scripts/test-persistence.py": "699920fc23bf17f0db148f82be30d11edaff2ee9078643748383d5ba61169681",
|
||||
"scripts/test-reconciliation.sh": "f61b07c5553f84b59fffceab236bf6b600aea02ec7e14f843b77868e464ee96d",
|
||||
"scripts/test-upload-memory.sh": "cf4b1049c6e8b3602c2ba3b96977b6f1e193e9cb9437475d6a027b840013750c",
|
||||
"scripts/validate_openapi.py": "4e981acbfc10dac58817bf922d5896e996798551fedc1b2385130e1cddb13d54",
|
||||
"scripts/verify-lab4.py": "085a3c95b9c6484cc96e29531599ffdd3c8f21666bed508f993330cb2931f406",
|
||||
"src/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/__main__.py": "b1b472fa858b203911db455eb5c25965b961510985ec4d2c94f627d378aaa9f8",
|
||||
"src/api/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/dependencies.py": "73c3f94d7c14d6c34031214933340124ebc4e22730b2b1bf8a2eb89a0d42e986",
|
||||
"src/api/router.py": "4ac01f4ab0e646e0782c760a29fe7b5caa577046eb1ae981328daa1510393915",
|
||||
"src/api/v1/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/attachments.py": "c95476d41d5794e2dbe6d24b1ced381035d6626889b0b14def2f21485e2e6658",
|
||||
"src/api/v1/routers/auth/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/auth/callback.py": "69a2cde6ac37f445e64d9afdea55437240846d158460e6fc5601ff0ce2045d2c",
|
||||
"src/api/v1/routers/auth/router.py": "075648602d66bdc3497c4714d9789b2ea5661501478b05ba845b65c55a725fd8",
|
||||
"src/api/v1/routers/auth/schemas.py": "ba3345570c35b8a9e55751202f9c8a27f7d338cfcd85b300c196a43ac03aa311",
|
||||
"src/api/v1/routers/chats/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/chats/router.py": "85cac2d5ade6917c99e4e6a82053f681e1d253eca4fe3eee726e9f7621635bce",
|
||||
"src/api/v1/routers/chats/schemas.py": "00e0fc283069cca6c7929ef8d704aa1e577e6bfb555a496eb1b8170231c3b240",
|
||||
"src/api/v1/routers/messages/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/messages/router.py": "88f020fc60fdbf00f574308aa7b811416e308588fad27ff78ccc0f3d3b77f032",
|
||||
"src/api/v1/routers/messages/schemas.py": "fa82dfb70f2f8f344c3e3577a8df4e5e365241ddcc9f2bcd43021ab952a40316",
|
||||
"src/api/v1/routers/users/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/users/router.py": "fedd9cb7da2fb21caccd8ae2080d013719b4f13382dc795de880fb8ca87f857f",
|
||||
"src/api/v1/routers/users/schemas.py": "c30356333a3f6bd1b80b8cf6f4208d550201adfaaa0667e1db074c4aecc70dd7",
|
||||
"src/api/v1/schemas.py": "403d5821588d8abcc33a285cd2689be5eba0e7ab0373d1e17856ff0464934766",
|
||||
"src/core/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/cache.py": "1973038f948f2eff50b18ba9c0ea3aa1eedd712932a41045ba6dd18dee358966",
|
||||
"src/core/callback.py": "9046a504d8324a32e428ff8f4d159d452160828d470e3205400473394d380fee",
|
||||
"src/core/db/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/db/models.py": "3f9293b6a34334a7d9256c5666dfd050264be44589bde49628ec677312c9abee",
|
||||
"src/core/db/repo/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/db/repo/auth.py": "63fb17b55cf05a4b05c5f0b08d3e4f6dc6c83981c7f9d89a0d798b0d270283f2",
|
||||
"src/core/db/repo/chat.py": "fa1042b689e1e2242360d1432ca84ca49f35a6a2de03810135907333466e76fd",
|
||||
"src/core/db/repo/message.py": "0d5610e60e516ac5cd87e4486605f0665b6394cacd2c13e2698ff314b282e3fc",
|
||||
"src/core/db/repo/user.py": "f1d36be8530772e6a969687e78bc7bb9bfe7daf8be67d1e079acb1e6c9d7017b",
|
||||
"src/core/db/session.py": "9d4c07446ccc0990843c7f978c487a9976f9d926bf1e69a57f88021f742c7c5f",
|
||||
"src/core/db/types.py": "1e8890cfa43c31ce77ce0c95f0a8a535d0730835db16f33b086226bb189ad7aa",
|
||||
"src/core/errors.py": "5f93764110b969832766be8a6302515edf2eecc44de4d43c4d350c9c20d31432",
|
||||
"src/core/pagination.py": "3e1c7e5232dc27688f20c622f312ea10d5ce45e9d3960a4c1b61af3e885079c6",
|
||||
"src/core/readiness.py": "4064b105e7157e5dfbf3591983e3d6cbf27daf418b764f9ea2ee5f3140772ee1",
|
||||
"src/core/request_deadline.py": "908433803b2238b9b9bd004a5ca74010a05ee60fcb68b80f589bb3c7e1e3044a",
|
||||
"src/core/request_limits.py": "69ce991f604b8c6f6a225c1f3c09002402c680ce89b2146fdedf5b816c7f836b",
|
||||
"src/core/security.py": "64d6769b36090ab2824f19668f99d23669f838e82d6a785636c339b7c1876663",
|
||||
"src/core/session_store.py": "874b3ffa5b52b5b6a4587dc785784f41b6958d1b3be5a6a62470623f2182a6c1",
|
||||
"src/core/settings.py": "5a96b4a95d558982d4f7806b8957aa7b660ad899dc080a02f3a637b4e9a301e0",
|
||||
"src/core/storage.py": "80b361c08a078574fa8204ddbda4b3806ccef9921d0744ba12c1bac4f6331d13",
|
||||
"src/core/storage_bootstrap.py": "ea4ec70f9a3001c7c84f22bd414a2ad7e82866dc32de7a2ad02d0c5e2b1a5d39",
|
||||
"src/core/upload_coordination.py": "9ee87e7cf79cad25af1e9454c7997f5d9312f1f978301ce801ef1596a7effe48",
|
||||
"src/main.py": "8d3aae82b2a74a859ecd0d71bfe30dff85ea44e98d3aa1fedadaed0b41b2eba9",
|
||||
"src/maintenance/__init__.py": "bd9fc4293e0380e6b62c869dfa75a798f83090c85490c9e6b42df87e8d344b71",
|
||||
"src/maintenance/reconcile.py": "619a56167f1f72b7a3912be6d0e0a6d1453c1b27e775561515550de4e3f106e7",
|
||||
"src/service/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/service/attachment.py": "d96e09f9a2419f0ffa1047a539297361241debf06bfe0964ed4a12a318c5b025",
|
||||
"src/service/auth.py": "c979b1bdf157d7468ec584093e56a16abbb6b3fb25da0a1cce6eecac792db5ce",
|
||||
"src/service/chat.py": "baa2b0eb570fa0965a0e4b929313ecb1c96464997b592872f4ed193e22c48489",
|
||||
"src/service/dto.py": "c44fdd911f063348efff8471277d8dcb0ffaf91672e139ad1d97c5140b813a29",
|
||||
"src/service/exceptions.py": "32a232596795b28c1ca5ebbd19ed938cc6086263ceaf476716e9ae310da9f685",
|
||||
"src/service/message.py": "87ea10afea7ce0d2b666015135e052cfa58af39977965712d3ca8c940ff9e977",
|
||||
"src/service/user.py": "44e561c97aff49d358e5f9ed02cfe6ae85abdd384423fe9dcc7b9b05f13f4bbb",
|
||||
"student.env.example": "08edfd4f68f801cd8db6000dfa040f9be7ff10a11c6bbdf7544f6c996fc2f909",
|
||||
"tests/README.md": "e0bfa7e196797f6a5bf6e44d8ad2ffeb82651927ff5d8484eb1c2dda1ec7dec5",
|
||||
"tests/attachment_failover.py": "187ccd294301c5349714cbf6b3736a3f4d261f94962397db8a0cf41bd006449e",
|
||||
"tests/attachments.py": "24c3c7a8b21b7943da8edd4524de550e99b42246f8af1b31eacaff9a4acb5da8",
|
||||
"tests/auth_logging.py": "775d8b0024d7a06adc4965ebc3311a105039e08dba27339f19d6611a55c505ca",
|
||||
"tests/callbacks.py": "15ae31258582a1dd396c1fbba40923ad62d160cc5c7ef0a7b9316085bd407f68",
|
||||
"tests/client.py": "8d50976fc7c7bbb81e88a152f613c61ab25eaf53dba33c6a9dfab19f868d546d",
|
||||
"tests/database.py": "f3861a319d62e70ccd59d88a5c8eeb4f59ae35ca5b58b4f1b8c3c9da99fb432a",
|
||||
"tests/dependencies.py": "10d4964c56b0ab658413f5d422c45dcd489f307c6806b17d03d492f7074cc128",
|
||||
"tests/error_headers.py": "093435d8ed7a897e5dea8af23e499b78d02a52ed22a50d8bccfaf2c107e921f7",
|
||||
"tests/expiry.py": "7fb2f9aa4c9ecba789e826692d0e9b00b78019dffd4d19302eb0716f881cbf31",
|
||||
"tests/extra.py": "d4b0df0ed2ad3713d88ae6df5fc347317481afd5cac252c9e2fab24b3ede9914",
|
||||
"tests/fixtures/README.md": "c001783760b4f87a7a8441a7ba55f5d080ff48e1397d3581d72a88d7691f96c2",
|
||||
"tests/fixtures/sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"tests/idempotency_db.py": "e34287187b0e5abfef8ebe9f954fdcefc7fbb315ba99151b5179ff0fdd92665f",
|
||||
"tests/image_probe.py": "a9a4f89181c8e0fda6ce42e1a1af32fb42d8e3ae519e314207127c9b9b448b13",
|
||||
"tests/lab4_review.py": "11a958ed47feb016abd50bb8148fb49930603f70f6842e33b8f6b1307cf50482",
|
||||
"tests/load.py": "6d3511ea719c7a7e841083e73d435c86dcbfd9f4e5c2a07d62eb9614b01d9933",
|
||||
"tests/passwords.py": "8e5fbb5f5ff504c61500954335b9704f94e168b6adea57da64f69919e781e5ac",
|
||||
"tests/production.py": "2d09cfe976d11b3c89c7203bb8b0eeb84b0ead6f161fc718e73bca2688383ab0",
|
||||
"tests/production_limits.py": "87d751175908196af89a65c9c5a606b54c870357c30f8285d5195900f3631641",
|
||||
"tests/readiness.py": "780d6f07a945bdb55c6c1c124870ca9f74a6c8349ee564ce03b0a0c82a90c865",
|
||||
"tests/reconciliation.py": "28e6bbba2cc928a715262a6a8da337c194eaec7933198c2b6337deffe8bdf6eb",
|
||||
"tests/regressions.py": "e04157cc3ecd4d5db234bd05584d7229e68eb6d054646e804504dd589fb45471",
|
||||
"tests/request_deadline.py": "e562fe4b251f5b148730aa9ba0a0364f952e88814b714d76edff152842c55d74",
|
||||
"tests/resilience.py": "1f96663a174b3978d24eff66f2741f5f8c9b788d3242261d37a972720c52788b",
|
||||
"tests/settings.py": "9e798922300d6614f3805922407e79754e231b362fc4e9e5f766521c70c6aefb",
|
||||
"tests/smoke.py": "52ac38eb343ff7d43e7543588e1da58ca06c9fce74b2b0d0bf0e4982bc23c1db",
|
||||
"tests/upload_memory.py": "4034e1dca090d5bb642e0bc59b0527c5d758c67e21aef3b9ab8e4a6653ac496c"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,159 @@
|
||||
# Лабораторная 4: S3-хранилище и вложения
|
||||
|
||||
Мессенджер на FastAPI с PostgreSQL, Redis и двумя API-репликами за HAProxy.
|
||||
Оригиналы PNG/JPEG хранятся в приватном MinIO, метаданные и связи с сообщениями —
|
||||
в PostgreSQL. Выполнены требования уровня 4 и трек 2 на 5: согласованность двух
|
||||
хранилищ, повторяемая сверка, безопасная очистка и эксперименты.
|
||||
|
||||
Автор: Каменский Андрей, БПИ2301.
|
||||
|
||||
[Задание](README.md) · [Отчёт](STUDENT_REPORT.md) · [Семантика API](contracts/README.md) ·
|
||||
[OpenAPI](contracts/openapi.json) · [Алгоритм сверки](LAB4_RECONCILIATION.md) ·
|
||||
[Проверка замечаний преподавателя](LAB4_AUDIT.md)
|
||||
|
||||
## Запуск с нуля
|
||||
|
||||
Нужны Docker с Compose v2 и Python 3.13 для полного набора проверок.
|
||||
Публичный HTTP smoke использует только стандартную библиотеку Python 3.9+.
|
||||
|
||||
```sh
|
||||
python3 scripts/setup-env.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
python3 tests/smoke.py
|
||||
```
|
||||
|
||||
`setup-env.py` создаёт `.env` с новыми случайными паролями и правами 0600,
|
||||
не выводит значения и не перезаписывает существующий файл. Для существующего
|
||||
стенда сохранить прежний `.env` и volumes. Логин стартового администратора —
|
||||
`ADMIN_USERNAME`, пароль — `ADMIN_PASSWORD` из локального `.env`.
|
||||
|
||||
Первый build собирает MinIO community из закреплённого commit, поэтому требует
|
||||
интернет и может занять несколько минут. Это не зависит от наличия готового
|
||||
официального образа MinIO. При запуске автоматически выполняются миграции до 008,
|
||||
создание приватного bucket, пользователей и S3-политик. Все сервисы находятся
|
||||
в этом Compose; заранее установленная БД или S3 не нужны.
|
||||
|
||||
API: [http://localhost:8080](http://localhost:8080),
|
||||
Swagger: [http://localhost:8080/docs](http://localhost:8080/docs).
|
||||
Наружу опубликован только LB на loopback. Консоль MinIO выключена.
|
||||
|
||||
В этой локальной копии после переноса выбран `APP_PORT=8084`: Swagger находится
|
||||
на [http://localhost:8084/docs](http://localhost:8084/docs). Верификатор читает порт
|
||||
из локального `.env`. Для отдельных Make-target можно передать
|
||||
`BASE_URL=http://127.0.0.1:8084`. Новый клон по умолчанию использует 8080.
|
||||
|
||||
```sh
|
||||
docker compose down # остановить, сохранить данные
|
||||
# Осознанно удалить все учебные данные текущего проекта:
|
||||
# docker compose down --volumes
|
||||
```
|
||||
|
||||
## Архитектура
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[Клиент] --> LB[HAProxy]
|
||||
LB --> A1[API 1]
|
||||
LB --> A2[API 2]
|
||||
A1 --> PG[(PostgreSQL)]
|
||||
A2 --> PG
|
||||
A1 --> R[(Redis: сессии)]
|
||||
A2 --> R
|
||||
A1 --> S3[(Приватный MinIO)]
|
||||
A2 --> S3
|
||||
W[Reconciler] --> PG
|
||||
W --> S3
|
||||
```
|
||||
|
||||
PostgreSQL хранит пользователей, чаты, сообщения, вложения, идемпотентность и
|
||||
журнал загрузок. Redis хранит сессии с TTL/AOF и кэш профилей. MinIO хранит
|
||||
неизменённые оригиналы в volume `minio_data`. У API нет постоянного локального
|
||||
состояния. У сообщения до 10 уникальных вложений; одно вложение можно повторно
|
||||
использовать в том же чате. Связующая таблица сохраняет порядок и запрещает
|
||||
связывать разные чаты составными внешними ключами.
|
||||
|
||||
## Загрузка и чтение
|
||||
|
||||
1. Создать пользователя и сессию, создать чат с явным списком участников.
|
||||
2. `POST /api/v1/chats/{chat_id}/attachments?filename=photo.png`: Bearer-токен,
|
||||
`Content-Type: image/png` или `image/jpeg`, в теле сырые байты одного файла.
|
||||
3. После S3 PUT и COMMIT вернуть `201 Attachment`, `status=ready`, `variants=[]`.
|
||||
4. Создать сообщение с `Idempotency-Key` и телом
|
||||
`{"text":"", "attachment_ids":["UUID"]}`. Текст можно оставить пустым при наличии файла.
|
||||
5. `GET /api/v1/attachments/{id}` — метаданные;
|
||||
`GET /api/v1/attachments/{id}/content` — оригинал через API без redirect.
|
||||
|
||||
Доступ есть только у участников чата; посторонним — 404. Filename не используется
|
||||
как путь или S3 key. Размер — до 10 MiB, число пикселей — до 40 млн включительно.
|
||||
Формат определяется по содержимому и сравнивается с MIME; после ранней проверки
|
||||
размеров проверяются структура и декодирование. Оригинал не пересохраняется.
|
||||
Примеры для HTTP-клиента: [examples/student-requests.http](examples/student-requests.http).
|
||||
|
||||
API использует отдельную S3-учётную запись без DeleteObject и административных
|
||||
прав. Reconciler может читать/удалять только в нашем префиксе, не может загружать
|
||||
объекты. Owner credentials передаются только MinIO и bootstrap.
|
||||
|
||||
## Согласованность и отказы
|
||||
|
||||
Перед PUT отдельным COMMIT создаётся `upload_intents.pending`. Загрузчик удерживает
|
||||
транзакционный advisory lock на ключ до публикации Attachment и перевода намерения
|
||||
в committed. Reconciler пропускает занятые ключи; старые pending без Attachment
|
||||
закрывает, бесхозные объекты удаляет. Запас для свежих объектов/попыток — 300 секунд,
|
||||
настраивается через `RECONCILE_GRACE_SECONDS`.
|
||||
|
||||
Сверка проходит каждые 300 секунд, ограничена нашим bucket и `originals/`, читает
|
||||
ListObjectsV2 постранично. Потеря оригинала отмечается без удаления сообщений;
|
||||
его восстановление подтверждается размером и SHA-256. Ошибка удаления не закрывает
|
||||
возможность повторной очистки. Полный алгоритм и ограничения —
|
||||
[LAB4_RECONCILIATION.md](LAB4_RECONCILIATION.md).
|
||||
|
||||
```sh
|
||||
make -f student.mk reconcile # dry-run: только показать действия
|
||||
make -f student.mk reconcile-apply # повторно проверить и применить
|
||||
```
|
||||
|
||||
Readiness проверяет PostgreSQL, Redis и bucket с HTTP-бюджетом 2 секунды.
|
||||
Обычные бизнес-запросы ограничены 5 секундами до заголовков ответа, включая
|
||||
ожидание отмены SQL/rollback. Зависшие обработчики отменяются, но занимают свой
|
||||
лимит до завершения. После возобновления PostgreSQL API восстанавливается без
|
||||
перезапуска. Binary upload имеет отдельный бюджет приёма и завершающий deadline.
|
||||
|
||||
## Проверки
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-student.txt
|
||||
make -f student.mk check validate lint PYTHON=.venv/bin/python
|
||||
make -f student.mk verify-lab4 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Полная проверка выполняет сценарии последовательно: публичный smoke, вложения,
|
||||
конкурентную идемпотентность, замечания преподавателя, сверку со сбоями, память
|
||||
при 10 загрузках, отказ загрузившей реплики, сохранность и сборку с пустыми volumes.
|
||||
Она создаёт синтетические данные и временно останавливает/замораживает сервисы
|
||||
учебного стенда; восстановление включено в сценарии. Отдельный clean-start
|
||||
использует UUID-проект, новый порт и новые volumes; текущие данные не удаляются.
|
||||
Итог: `evidence/lab4-final-summary.json`, детальный вывод — `evidence/lab4-final-*.txt`.
|
||||
|
||||
```sh
|
||||
make -f student.mk test-attachments PYTHON=.venv/bin/python
|
||||
make -f student.mk test-lab4-review PYTHON=.venv/bin/python
|
||||
make -f student.mk test-reconciliation
|
||||
make -f student.mk test-upload-memory PYTHON=.venv/bin/python
|
||||
make -f student.mk test-attachment-failover PYTHON=.venv/bin/python
|
||||
make -f student.mk test-persistence-proof ACTION_SCRIPT=scripts/restart.sh PYTHON=.venv/bin/python
|
||||
make -f student.mk test-clean-lab4 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Параметры и локальные credentials описаны в [student.env.example](student.env.example).
|
||||
Результаты, методика и ограничения находятся в [REPORT.md](STUDENT_REPORT.md).
|
||||
|
||||
## Исходные материалы преподавателя
|
||||
|
||||
Все 34 файла skeleton сохранены побайтно, включая README.md, REPORT.md, Makefile,
|
||||
.env.example, requirements-dev.txt, lab.json, тесты, контракт и исходный workflow.
|
||||
Наши инструкции находятся в STUDENT_README.md, отчёт — в STUDENT_REPORT.md,
|
||||
описание PR — в PULL_REQUEST.md. Наши команды — в student.mk, шаблон настроек —
|
||||
student.env.example, полный набор зависимостей проверок — в requirements-student.txt.
|
||||
Проверка неизменности: `python3 scripts/check-course-files.py`.
|
||||
@@ -0,0 +1,200 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: **Каменский Андрей, БПИ2301**
|
||||
- Целевая оценка: **5**, трек 2 «Согласованность двух хранилищ»; обязательный минимум и уровень 4 сохранены.
|
||||
- Использованы исходное задание lab4, контракт и публичные проверки предоставленного skeleton.
|
||||
|
||||
## Запуск из чистого клона
|
||||
|
||||
```sh
|
||||
python3 scripts/setup-env.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
python3 tests/smoke.py
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-student.txt
|
||||
make -f student.mk verify-lab4 PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Генератор создаёт локальный `.env` с новыми hex-паролями и правами 0600, значения
|
||||
не печатает, существующий файл не перезаписывает. Для обновления сохранить прежние
|
||||
пароли и volumes. Если ранее owner MinIO был записан в `S3_ACCESS_KEY_ID` /
|
||||
`S3_SECRET_ACCESS_KEY`, перенести его в `MINIO_ROOT_USER` / `MINIO_ROOT_PASSWORD`,
|
||||
а для API задать отдельного пользователя. Для стенда с прежними значениями по
|
||||
умолчанию перенос не нужен. Уже существующий пароль администратора не меняется автоматически.
|
||||
|
||||
`docker compose down` сохраняет данные. `docker compose down --volumes` — отдельная
|
||||
команда осознанного удаления учебных данных; сценарии сохранности её не используют.
|
||||
Clean-start удаляет только собственный UUID-проект с временными volumes.
|
||||
|
||||
Версии закреплены: Python 3.13.0, PostgreSQL 16.6-bookworm, Redis 7.4.2-bookworm,
|
||||
HAProxy 3.0.12-alpine, SQLAlchemy 2.0.44, asyncpg 0.30.0, Alembic 1.17.0,
|
||||
minio-py 7.2.20, Pillow 13.0.0. MinIO community собирается из commit
|
||||
`9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a` релиза RELEASE.2025-10-15T17-29-55Z;
|
||||
готовый официальный образ не требуется. Первый build занимает несколько минут.
|
||||
|
||||
## Архитектура и данные
|
||||
|
||||
Клиент → HAProxy → API × 2 → PostgreSQL + Redis + приватный MinIO.
|
||||
Отдельный reconciler обращается к PostgreSQL и S3; bootstrap и migration —
|
||||
завершающиеся задачи до запуска API. Публикуется только `127.0.0.1:8080` LB;
|
||||
у API, PostgreSQL, Redis и MinIO нет опубликованных портов. Консоль S3 выключена.
|
||||
|
||||
| Компонент | Назначение | Постоянные данные / права |
|
||||
| --- | --- | --- |
|
||||
| PostgreSQL | Пользователи, чаты, сообщения, Attachment, идемпотентность, журнал и наблюдения | postgres_data |
|
||||
| Redis | Сессии с абсолютным expiry, AOF appendfsync always, кэш профиля | redis_data; TTL после рестарта не продлевается |
|
||||
| MinIO | Неизменённые оригиналы PNG/JPEG | minio_data; приватный bucket messenger-attachments |
|
||||
| API | Авторизация, проверка картинок, синхронный upload и авторизованный download | Get/Put своего префикса; нет удаления и администрирования S3 |
|
||||
| Reconciler | Обнаружение orphan/missing и повторяемые исправления | List/Get/Delete своего bucket/prefix; нет PutObject и admin |
|
||||
| Migration / bootstrap | Миграции до 008, bucket, пользователи и политики | Owner credentials только в bootstrap/MinIO |
|
||||
|
||||
Обязательная основа API включает Bearer-сессии, PostgreSQL/Redis, два API за LB, X-Request-Id,
|
||||
X-Instance-Id, пагинация, доступ к чатам и атомарная идемпотентность на 24 часа.
|
||||
Идемпотентность теперь сравнивает текст и упорядоченный список вложений.
|
||||
|
||||
Миграция 007 создаёт `attachments` и `message_attachments`, разрешает пустой текст
|
||||
при вложении. Связи с чатом защищены составными FK. Позиции 0–9 с UNIQUE на сообщение
|
||||
ограничивают число файлов десятью, повтор ID запрещён. Вложение можно повторно
|
||||
использовать в сообщениях того же чата. Миграция 008 добавляет `upload_intents`,
|
||||
`storage_findings` и внутреннюю отметку `storage_missing_since`.
|
||||
|
||||
S3 object key назначает сервер, filename используется только для отображения.
|
||||
API отдаёт оригинал побайтно, без redirect и перекодирования. MIME сравнивается
|
||||
с определённым форматом; проверяются целостность и декодирование после раннего
|
||||
лимита в 40 млн пикселей. Ограничение тела — 10 MiB, включая chunked-передачу.
|
||||
Приём ограничен временем и параллелизмом; декодирование — одно на API-процесс.
|
||||
Временный файл находится в tmpfs 64 MiB и закрывается после запроса. Скачивание
|
||||
читает S3 порциями. Метаданные не раскрывают внутренний ключ или credentials.
|
||||
|
||||
## Согласованность PostgreSQL и S3
|
||||
|
||||
До PUT отдельным COMMIT фиксируется pending-намерение. Перед PUT загрузчик берёт
|
||||
транзакционный advisory lock на ключ и повторно проверяет состояние. Он удерживает
|
||||
блокировку до общего COMMIT Attachment и committed-намерения. Только после этого
|
||||
возвращается 201 ready. При обрыве клиента до PUT постоянного объекта ещё нет.
|
||||
|
||||
Reconciler каждые 300 секунд перечисляет только наш bucket под originals/ с
|
||||
пагинацией ListObjectsV2. На ключ берёт неблокирующий advisory lock: занятый
|
||||
пропускается. Attachment защищает файл даже без сообщения. Старый pending без
|
||||
Attachment закрывается; бесхозный объект удаляется после проверки возраста
|
||||
объекта/намерения. Запас — 300 секунд, настраивается. Дополнительного ожидания
|
||||
после первого обнаружения нет.
|
||||
|
||||
Ошибка DELETE не фиксируется как завершённая очистка: транзакция откатывается,
|
||||
объект остаётся кандидатом при следующем проходе. Потерянный ответ DELETE также
|
||||
безопасен для повторного запуска. При неизвестном результате COMMIT файл немедленно
|
||||
не удаляется — это мог бы быть оригинал уже подтверждённого вложения.
|
||||
|
||||
Обратный проход HEAD обнаруживает Attachment без оригинала. Сообщения, связи и
|
||||
метаданные сохраняются, чтение получает 503, новые ссылки — 409. Повтор уже
|
||||
подтверждённого сообщения сохраняет прежний результат идемпотентности. После
|
||||
восстановления файла размер и фактический SHA-256 должны совпасть. ETag не заменяет
|
||||
SHA-256. Бесследное восстановление байтов из метаданных не обещается: нужна копия.
|
||||
|
||||
Dry-run выполняет проверки без записей и удаления. Apply перепроверяет условия
|
||||
под блокировкой; параллельные изменения учитываются. Недоступность БД/S3, AccessDenied
|
||||
или потеря bucket прерывают проход, а не объявляют все файлы отсутствующими.
|
||||
Алгоритм, команды и ограничения подробно описаны в `LAB4_RECONCILIATION.md`.
|
||||
|
||||
## Готовность и ограничение ожидания
|
||||
|
||||
Liveness проверяет процесс. Readiness проверяет схему PostgreSQL, Redis и bucket;
|
||||
бюджет ответа — 2 секунды, незавершённая отмена драйвера не задерживает HTTP.
|
||||
Обычные бизнес-запросы имеют бюджет 5 секунд до заголовков. Таймаут не ждёт
|
||||
зависшего rollback: обработчик отменяется, его слот сохраняется до реального
|
||||
завершения. Предел незавершённых обработчиков — 64 на процесс. Это ограничивает
|
||||
накопление работ при замороженной БД. Upload имеет отдельный бюджет приёма 30 секунд
|
||||
и суммарный предел до заголовков 45 секунд; сокеты S3 ограничены 5 секундами.
|
||||
|
||||
Исправление проверено на действительно выполняющемся запросе: сначала история
|
||||
удерживается SQL-блокировкой messages, наличие ожидающего SELECT подтверждается
|
||||
через pg_stat_activity, затем PostgreSQL замораживается. История возвращает 503
|
||||
примерно за 5 секунд, readiness — за 2 секунды; после unpause оба восстанавливаются
|
||||
без перезапуска API. Одна проверка подключения не доказывала бы этот сценарий.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий | Повторяемая проверка | Результат / доказательство |
|
||||
| --- | --- | --- |
|
||||
| Контракт и прежнее API | make -f student.mk check validate; tests/smoke.py | lab4-final-structure/openapi/public-smoke.txt |
|
||||
| PNG/JPEG, оригинал, SHA-256, ACL и 10 вложений | tests/attachments.py | lab4-final-attachments.txt |
|
||||
| Отказ принявшей файл API | tests/attachment_failover.py | lab4-final-uploader-failover.txt |
|
||||
| Restart API и всех хранилищ с прежним токеном | scripts/test-persistence.py | lab4-final-persistence-proof.txt: StartedAt до/после всех работающих ролей |
|
||||
| Чистый build и пустые volumes | scripts/test-clean-lab4.py | lab4-clean-start.json, lab4-final-clean-start.txt: snapshot, build, миграция 008, smoke, вложения |
|
||||
| Большой/повреждённый файл, MIME, чужой чат | tests/attachments.py; tests/lab4_review.py | lab4-final-attachments/reviewer-cases.txt |
|
||||
| Обрыв, ошибка S3 PUT, COMMIT и DELETE, повтор очистки | tests/reconciliation.py | lab4-final-reconciliation.txt |
|
||||
| 10 одновременных загрузок, пик RAM | tests/upload_memory.py | lab4-final-upload-memory.txt |
|
||||
| Приватность S3, ограниченные роли, повторяемый bootstrap | tests/reconciliation.py; clean-start | unsigned GET 403; API не удаляет/не создаёт чужой bucket; reconciler не загружает |
|
||||
| Полный трек 2: orphan/missing, dry-run, свежие/занятые файлы | tests/reconciliation.py | snapshot до/после, контролируемые сбои, повторный apply |
|
||||
| Стоимость обхода, включая >1000 объектов | tests/reconciliation.py | 10/100/1005 объектов, три прогона, LIST/HEAD/SQL и время |
|
||||
| Замечания преподавателя и восстановление после pause | tests/lab4_review.py; tests/request_deadline.py | lab4-final-reviewer-cases/request-deadline.txt; LAB4_AUDIT.md |
|
||||
|
||||
Имена файлов в таблице относятся к `evidence/`. Сводка всех команд и exit codes —
|
||||
`evidence/lab4-final-summary.json`. Подробные наблюдения и исходные результаты
|
||||
экспериментов — в JSON-строках соответствующих txt-файлов.
|
||||
|
||||
## Исследование и результаты
|
||||
|
||||
Гипотеза: журнал до PUT, единая блокировка и сверка устраняют бесхозные объекты
|
||||
после частичных сбоев, сохраняя свежие и используемые файлы. Стоимость последовательного
|
||||
обхода растёт примерно линейно по числу объектов. Проверки выполняются на отдельной
|
||||
UUID-схеме PostgreSQL и приватном UUID-bucket; реальные данные текущего стенда не
|
||||
удаляются. Используются реальные операции MinIO и аварийное завершение настоящего
|
||||
кода загрузки после PUT. Дополнительно моделируются отказы БД, S3, потерянный ответ
|
||||
удаления и публикация между dry-run и apply.
|
||||
|
||||
Стоимость dry-run измеряется для 10/100/1005 свежих бесхозных объектов по три раза.
|
||||
Это metadata-профиль: LIST и HEAD, без чтения оригиналов. Для 1005 объектов нужны
|
||||
две страницы LIST. Текущая реализация делает около пяти SQL statements на бесхозный
|
||||
объект; для удалённой БД это заметная стоимость. Измерения итогового прогона приведены в таблице результатов ниже. Hash-проверка восстановления дополнительно
|
||||
читает исходник и учитывается отдельно.
|
||||
|
||||
В опыте RAM временно допускаются пять загрузок на реплику при одном декодировании.
|
||||
Две реплики принимают 10 одновременных PNG для двух размеров, затем проверяются
|
||||
SHA-256 и скачанные байты. Cgroup memory.current измеряется каждые 20 мс, включая
|
||||
tmpfs. После опыта восстанавливается обычный лимит одной загрузки на реплику.
|
||||
Короткие пики между отсчётами могут быть пропущены; два размера не покрывают все
|
||||
возможные картинки в 40 млн пикселей. Это не benchmark максимальных RPS.
|
||||
|
||||
## Итоговые измерения
|
||||
|
||||
Все 16 этапов `make -f student.mk verify-lab4` завершились с exit code 0. Интеграционный
|
||||
набор сверки содержит 15 проверок, включая отказ DELETE до удаления
|
||||
и прямой unsigned GET существующего объекта с результатом 403.
|
||||
|
||||
| Объектов | Медиана 3 обходов, с | LIST | HEAD | SQL statements |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 10 | 0.0181 | 1 | 10 | 53 |
|
||||
| 100 | 0.1851 | 1 | 100 | 503 |
|
||||
| 1005 | 2.0142 | 2 | 1005 | 5028 |
|
||||
|
||||
Оба профиля по 10 одновременных загрузок завершились без отказов: 20 ответов 201,
|
||||
все SHA-256 и скачанные оригиналы совпали. Пики RAM: **131.07 / 120.52 MiB**
|
||||
при 512 MiB на реплику. Размеры PNG: 197105 и
|
||||
4923446 байт. Обычный UPLOAD_CONCURRENCY=1 восстановлен.
|
||||
|
||||
При замороженной PostgreSQL уже выполнявшаяся история вернула 503 за
|
||||
**5.1996 с**, readiness — за **2.0638 с**.
|
||||
После unpause восстановились 200 без рестарта API. Пустой стенд дошёл до миграции
|
||||
008; API build --no-cache занял 51.866 с. Временный проект,
|
||||
volumes и его теги образов удалены; действующие данные сохранены.
|
||||
|
||||

|
||||
|
||||
Усы на графике — min/max трёх запусков, не доверительный интервал.
|
||||
Указанная RAM — максимум отсчётов, а не доказанный абсолютный пик между ними.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Поддерживается один неверсионируемый bucket; worker отказывается работать с Enabled
|
||||
или Suspended versioning. Все штатные писатели обязаны соблюдать блокировки;
|
||||
прямые административные операции в S3 обходят эту координацию. Backup/restore
|
||||
потерянных байтов не реализованы. PostgreSQL, Redis, MinIO, LB и Docker host остаются
|
||||
едиными точками отказа. Не обещается отсутствие переходных ошибок при отказах.
|
||||
Старые журнал и наблюдения пока сохраняются без автоматического сокращения истории.
|
||||
|
||||
Тест чистого запуска использует полный снимок рабочего каталога, включая новые
|
||||
файлы, отдельные образы и пустые volumes; API строится с --no-cache. Кэш сборки
|
||||
закреплённого MinIO может использоваться. Это проверка исходников сдачи, а не
|
||||
утверждение, что текущий Git HEAD уже содержит все локальные изменения.
|
||||
@@ -0,0 +1,3 @@
|
||||
[alembic]
|
||||
script_location = %(here)s/migrations
|
||||
prepend_sys_path = .
|
||||
+211
@@ -0,0 +1,211 @@
|
||||
x-logging: &logging
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: "10m"
|
||||
max-file: "3"
|
||||
|
||||
x-app: &app
|
||||
build: .
|
||||
image: ${APP_IMAGE:-mtusi-messenger:lab4}
|
||||
env_file: ${ENV_FILE:-.env}
|
||||
logging: *logging
|
||||
|
||||
services:
|
||||
minio:
|
||||
build: ./infra/minio
|
||||
image: ${MINIO_IMAGE:-mtusi-minio:RELEASE.2025-10-15T17-29-55Z}
|
||||
logging: *logging
|
||||
mem_limit: 512m
|
||||
cpus: 1.0
|
||||
environment:
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
|
||||
MINIO_BROWSER: "off"
|
||||
MINIO_API_STALE_UPLOADS_EXPIRY: "24h"
|
||||
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVAL: "1h"
|
||||
volumes:
|
||||
- minio_data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9000/minio/health/live"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 60
|
||||
start_period: 10s
|
||||
|
||||
s3-bootstrap:
|
||||
<<: *app
|
||||
command: ["python", "-m", "src.core.storage_bootstrap"]
|
||||
environment:
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
|
||||
DATABASE_URL: postgresql://unused:unused@postgres/unused
|
||||
REDIS_URL: redis://redis:6379/0
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
|
||||
depends_on:
|
||||
minio:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
disable: true
|
||||
|
||||
postgres:
|
||||
logging: *logging
|
||||
image: postgres:16.6-bookworm
|
||||
cpus: ${POSTGRES_CPUS:-1.0}
|
||||
mem_limit: 512m
|
||||
environment:
|
||||
POSTGRES_DB: ${POSTGRES_DB:-messenger}
|
||||
POSTGRES_USER: ${POSTGRES_USER:-messenger}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}
|
||||
volumes:
|
||||
- postgres_data:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
|
||||
redis:
|
||||
logging: *logging
|
||||
image: redis:7.4.2-bookworm
|
||||
cpus: 0.25
|
||||
mem_limit: 128m
|
||||
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "64mb", "--maxmemory-policy", "noeviction"]
|
||||
volumes:
|
||||
- redis_data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
|
||||
migration:
|
||||
<<: *app
|
||||
command: ["alembic", "upgrade", "head"]
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
environment:
|
||||
# Schema migrations do not access S3 or administer MinIO.
|
||||
MINIO_ROOT_USER: ""
|
||||
MINIO_ROOT_PASSWORD: ""
|
||||
S3_ACCESS_KEY_ID: ""
|
||||
S3_SECRET_ACCESS_KEY: ""
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ""
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ""
|
||||
REDIS_URL: &redis_url redis://redis:6379/0
|
||||
DATABASE_URL: &database_url postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
disable: true
|
||||
|
||||
api:
|
||||
<<: *app
|
||||
cpus: ${API_CPUS:-0.5}
|
||||
mem_limit: ${API_MEMORY:-512m}
|
||||
stop_grace_period: 15s
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
read_only: true
|
||||
tmpfs:
|
||||
- /tmp:rw,noexec,nosuid,size=64m
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
environment:
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
|
||||
# Do not inherit privileged S3 credentials from env_file into API containers.
|
||||
MINIO_ROOT_USER: ""
|
||||
MINIO_ROOT_PASSWORD: ""
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ""
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ""
|
||||
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-1}
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: 8080
|
||||
DATABASE_URL: *database_url
|
||||
REDIS_URL: *redis_url
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
APP_WORKERS: 1
|
||||
DATABASE_POOL_SIZE: ${DATABASE_POOL_SIZE:-10}
|
||||
DATABASE_POOL_TIMEOUT_SECONDS: 2
|
||||
DATABASE_CONNECT_TIMEOUT_SECONDS: 1
|
||||
DATABASE_COMMAND_TIMEOUT_SECONDS: 3
|
||||
DATABASE_STATEMENT_TIMEOUT_MS: 2500
|
||||
SHUTDOWN_TIMEOUT_SECONDS: 10
|
||||
HTTP_REQUEST_TIMEOUT_SECONDS: ${HTTP_REQUEST_TIMEOUT_SECONDS:-5}
|
||||
expose: ["8080"]
|
||||
depends_on:
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
migration:
|
||||
condition: service_completed_successfully
|
||||
redis:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
start_period: 10s
|
||||
|
||||
reconciler:
|
||||
<<: *app
|
||||
command: ["python", "-m", "src.maintenance.reconcile", "--apply", "--interval", "300"]
|
||||
mem_limit: 256m
|
||||
cpus: 0.5
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
environment:
|
||||
DATABASE_URL: *database_url
|
||||
REDIS_URL: *redis_url
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
|
||||
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
|
||||
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-300}
|
||||
MINIO_ROOT_USER: ""
|
||||
MINIO_ROOT_PASSWORD: ""
|
||||
S3_ACCESS_KEY_ID: ""
|
||||
S3_SECRET_ACCESS_KEY: ""
|
||||
depends_on:
|
||||
migration:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
start_period: 2s
|
||||
|
||||
lb:
|
||||
image: haproxy:3.0.12-alpine
|
||||
logging: *logging
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:rw,noexec,nosuid,size=4m"]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
ports:
|
||||
- "127.0.0.1:${APP_PORT:-8080}:8080"
|
||||
volumes:
|
||||
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
stop_signal: SIGUSR1
|
||||
stop_grace_period: 15s
|
||||
|
||||
volumes:
|
||||
redis_data:
|
||||
postgres_data:
|
||||
minio_data:
|
||||
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"commit": "ec540a1a725862a8619fcb758daec4ad197f0dd5",
|
||||
"files": {
|
||||
".dockerignore": "62c0534ad74d9f0e2982e97d1fbadb66d80c493ed237df5bcb9fbb797062eb38",
|
||||
".env.example": "3c288de16b256fdd54bf458505d187ff8f114500ee3aeae26279cf5c7be6e8e3",
|
||||
".github/pull_request_template.md": "a8fcc8a4fd323d8d8bb3fd4e8d921b67efeeac4a8d6dafbf30249ac61c53ded7",
|
||||
".github/workflows/contracts.yml": "a45d7932ef14130aff8020bce79f043cccaf9692d697088a754d309a03f7d3e8",
|
||||
".gitignore": "c26ab45b3a778a5376f6db4f624a51c5fdbf1a404f9a26df8613449277d95438",
|
||||
"CONTRIBUTING.md": "2c01dd698cc9653dece49a94c9fd3f58d36e84764aaa643b46e26d7e599dc12e",
|
||||
"COURSE.md": "c34d53cd082d194aa4b58f504c4e0348d25b6afec3d6a9c0963dd01c9c81e971",
|
||||
"Dockerfile.example": "fd7ac9491c0c3c663b083c41a762fb38bc2d212fa4a2ed3e6a0702af72108709",
|
||||
"MAINTAINERS.md": "740d636380b05d64f5f3275885912bc1ce8a168d4e4f7bd4c68b7337b3b0b2e8",
|
||||
"Makefile": "c05bd07058ae0949dd4905afdae7674bc7e3e63863a6cdf8b72661140d445826",
|
||||
"README.md": "7fc4cfff884705202115fd93b7145d5bc3452e4db156dfef2b04e9d9edb74408",
|
||||
"REPORT.md": "1bcf40eaba0cffbd652dd60f505924f808e7142d22573c650672176209f0fd1b",
|
||||
"compose.example.yaml": "5368758f38e47f42c864b207f4baa05d5086773fa397b035dd2784d385e5c4a0",
|
||||
"contracts/README.md": "72df27a559f88ffa3fd8c3c79d3c32f6db2c5986a0602677c51994c434a3fc4f",
|
||||
"contracts/examples.json": "381cc18c03789e935b391d007fb5843964be9cfd9f7530cb6b1996ed4a1c4c37",
|
||||
"contracts/infrastructure.json": "baaeb5a2233096a50d791f521bfc6dd66a23e516f81833c2b17c554cc0bab5d8",
|
||||
"contracts/openapi.json": "c5c0ebdcf205018126c5bb91e2512b11f543827e76baa21d776210d05a0b2cca",
|
||||
"evidence/README.md": "78e4bfd738d034597d15d8846accd8a8a5dc738a23a3d15f243f3992bd530cc3",
|
||||
"examples/requests.http": "8c086fd540092b3e31a945a416632bcda6c4bea39253f86b076f791b362cf5e4",
|
||||
"infra/README.md": "0e804fa51debba4c38d3cc84abf4704897665e0335b272060363f03aadd6354f",
|
||||
"lab.json": "7d0945d93e302c34c3f26455b152f9d657110ee0a94a5074d85963bc7aa60526",
|
||||
"requirements-dev.txt": "4cefdb67007caf026d1613be7c519c01b4c8343db7c4f4b618677e01cf113525",
|
||||
"scripts/check_contract.py": "7c4402c2a6ab80d3b4676e1866d6ecc87b6daea14c080bcb9be9a7e8b959d671",
|
||||
"scripts/restart.example.sh": "0328246ba75defbced992104e986fde973f63e3830d83251eced5953263e944b",
|
||||
"scripts/stop-one.example.sh": "1bcf34394520b89d95b7605ec56675be799eea920e83cfbba306d5dc0a6d9811",
|
||||
"scripts/validate_openapi.py": "4e981acbfc10dac58817bf922d5896e996798551fedc1b2385130e1cddb13d54",
|
||||
"tests/README.md": "e0bfa7e196797f6a5bf6e44d8ad2ffeb82651927ff5d8484eb1c2dda1ec7dec5",
|
||||
"tests/client.py": "8d50976fc7c7bbb81e88a152f613c61ab25eaf53dba33c6a9dfab19f868d546d",
|
||||
"tests/fixtures/README.md": "c001783760b4f87a7a8441a7ba55f5d080ff48e1397d3581d72a88d7691f96c2",
|
||||
"tests/fixtures/sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"tests/image_probe.py": "a9a4f89181c8e0fda6ce42e1a1af32fb42d8e3ae519e314207127c9b9b448b13",
|
||||
"tests/load.py": "6d3511ea719c7a7e841083e73d435c86dcbfd9f4e5c2a07d62eb9614b01d9933",
|
||||
"tests/resilience.py": "1f96663a174b3978d24eff66f2741f5f8c9b788d3242261d37a972720c52788b",
|
||||
"tests/smoke.py": "52ac38eb343ff7d43e7543588e1da58ca06c9fce74b2b0d0bf0e4982bc23c1db"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,250 @@
|
||||
{
|
||||
"project": "lab4-clean-81041e6e",
|
||||
"empty_volumes": true,
|
||||
"source": "complete working snapshot including new files",
|
||||
"build_cache": "API rebuilt with --no-cache; pinned MinIO build may use BuildKit cache",
|
||||
"api_build": {
|
||||
"seconds": 51.866,
|
||||
"exit_code": 0
|
||||
},
|
||||
"minio_build": {
|
||||
"seconds": 1.964,
|
||||
"exit_code": 0
|
||||
},
|
||||
"schema_revision": "008",
|
||||
"public_smoke": "PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.",
|
||||
"attachments": "PASS: PNG/JPEG bytes, metadata, ACL, chat boundaries, limits and idempotency",
|
||||
"reconciler": {
|
||||
"mode": "dry-run",
|
||||
"bucket": "messenger-attachments",
|
||||
"prefix": "originals/",
|
||||
"grace_seconds": 300.0,
|
||||
"counts": {
|
||||
"objects_scanned": 11,
|
||||
"protected_referenced": 11,
|
||||
"attachments_scanned": 11,
|
||||
"healthy": 11
|
||||
},
|
||||
"samples": [
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/0998d02e-da4c-4840-b0d7-3b823469000e"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/0afe9186-dab8-458d-8013-1c1d8d79e613"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/1390631b-9a1c-4dc8-b9c8-35762269ddad"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/6e863904-e4e8-439d-94d5-520d88e0042a"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/7b5c868c-4fc8-4268-a7b3-ef7fbffdcc3f"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/7f672038-98bb-490b-8649-15ad9bd9ae88"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/ab226893-27e5-45bc-a72a-0fcced3191af"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/b95724e7-9ca4-4d11-9763-cb80b2ada04a"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/d1be5f8e-a73a-4620-b333-e30f44f4c368"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/d738c9d2-b106-4c92-862f-330f26f81150"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/e0a838a7-d602-453c-a4d3-19944bd0e213"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/0998d02e-da4c-4840-b0d7-3b823469000e"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/0afe9186-dab8-458d-8013-1c1d8d79e613"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/1390631b-9a1c-4dc8-b9c8-35762269ddad"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/6e863904-e4e8-439d-94d5-520d88e0042a"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/7b5c868c-4fc8-4268-a7b3-ef7fbffdcc3f"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/7f672038-98bb-490b-8649-15ad9bd9ae88"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/ab226893-27e5-45bc-a72a-0fcced3191af"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/b95724e7-9ca4-4d11-9763-cb80b2ada04a"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/d1be5f8e-a73a-4620-b333-e30f44f4c368"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/d738c9d2-b106-4c92-862f-330f26f81150"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/e0a838a7-d602-453c-a4d3-19944bd0e213"
|
||||
}
|
||||
],
|
||||
"content_bytes_read": 0,
|
||||
"result": "ok",
|
||||
"elapsed_seconds": 0.126615,
|
||||
"db_statements": 70,
|
||||
"s3_requests": {
|
||||
"VERSIONING": 1,
|
||||
"LIST": 1,
|
||||
"HEAD": 11
|
||||
},
|
||||
"process_peak_rss_kib": 79372
|
||||
},
|
||||
"services": [
|
||||
{
|
||||
"service": "api",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "api",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "lb",
|
||||
"state": "running",
|
||||
"health": ""
|
||||
},
|
||||
{
|
||||
"service": "minio",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "postgres",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "reconciler",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "redis",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
}
|
||||
],
|
||||
"code_manifest": {
|
||||
"Dockerfile.dockerignore": "62c0534ad74d9f0e2982e97d1fbadb66d80c493ed237df5bcb9fbb797062eb38",
|
||||
"requirements-student.txt": "83af5551944a4384b3afd4e2a663cf7329a5bc952ad748a5379018509b9298d4",
|
||||
"student.env.example": "08edfd4f68f801cd8db6000dfa040f9be7ff10a11c6bbdf7544f6c996fc2f909",
|
||||
"student.mk": "dea22dba57c5a474576ea6d7c4fe6e4e13e2d8b4baf0c5ec82b227d5aba47780",
|
||||
"Dockerfile": "f6d3a539fd5b0787c366c76dc0e02086857eb465790bcaa599ab7a36ea2f5c35",
|
||||
"alembic.ini": "024bf3fe092ea4f8e6bb6309cba89e67b53bada366dee6859339297f090fdda1",
|
||||
"compose.yaml": "86f40a2b6485fd9ba18b33171d7cd1c99e36b9b5e2e1ac0409e2aabd45af0793",
|
||||
"infra/README.md": "0e804fa51debba4c38d3cc84abf4704897665e0335b272060363f03aadd6354f",
|
||||
"infra/haproxy.cfg": "6640795207cee655e5c22d685d73b2a57ae1a987156783ad5226d57d7ed6d59c",
|
||||
"infra/minio/Dockerfile": "632a16d3468aa0290a0dcb69cdbdba7a8827ada9ab56d5b9903d1ba8eaf182d7",
|
||||
"infra/s3/api-policy.json": "ab08e1c66eeb8e872768cba5b72a2ebc2d82f31353c2ad5c5c20a88200ca1782",
|
||||
"infra/s3/reconciler-policy.json": "80fc157de3beb754a713644ed213c18d1fb571f13b5c062576fc3602cd3177cc",
|
||||
"migrations/env.py": "67360cd30a7dd1295ee80b1991c773d817bc601b30cd32d88fb38769c91144f9",
|
||||
"migrations/script.py.mako": "d7558dcb7ce01d3e44830898336d3027de66e5ffdb1491c0cd27f6159b021902",
|
||||
"migrations/versions/001_initial.py": "72862742da825a042bb63deef80e22cbef79da8a9b0f369644c344211c8a5a87",
|
||||
"migrations/versions/002_redis_sessions.py": "5bdd751818e8577f81cbb96cd28031b569f62afff43ee72660f980bc0ee7614a",
|
||||
"migrations/versions/003_admin.py": "24fcc923b12d0b68e401c7b47642563de3d5b5808821e4fefed8d69e48eb8b6d",
|
||||
"migrations/versions/004_idempotency.py": "4f51289fd202cde682bf1256f9f4bfc2f17c35fc00ada7d1c4bf36182968e9b9",
|
||||
"migrations/versions/005_message_unicode.py": "0851e4ae1e4d3ca8e11b00cb7714827c0de1651d9bb49cd2bfb4525cd1f2c999",
|
||||
"migrations/versions/006_unicode_names.py": "fb087985717e280b7b6f67348e9cd8abb9c193ab759cff23a6e5628ecd2818ac",
|
||||
"migrations/versions/007_attachments.py": "c4936a499313cd22f32fac9538d5892cfe2f2eb49aa8427d54dc72b73c7b5a7c",
|
||||
"migrations/versions/008_reconciliation.py": "84fd1650ee4338c57f68328221cb82c9e75b69c52512b58907be9660677a3963",
|
||||
"requirements.txt": "977716fbc3ee1b11681500aa61cf1d561ec1d4267a1f2c35dbbed8bdcf7493e0",
|
||||
"src/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/__main__.py": "b1b472fa858b203911db455eb5c25965b961510985ec4d2c94f627d378aaa9f8",
|
||||
"src/api/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/dependencies.py": "73c3f94d7c14d6c34031214933340124ebc4e22730b2b1bf8a2eb89a0d42e986",
|
||||
"src/api/router.py": "4ac01f4ab0e646e0782c760a29fe7b5caa577046eb1ae981328daa1510393915",
|
||||
"src/api/v1/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/attachments.py": "c95476d41d5794e2dbe6d24b1ced381035d6626889b0b14def2f21485e2e6658",
|
||||
"src/api/v1/routers/auth/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/auth/callback.py": "69a2cde6ac37f445e64d9afdea55437240846d158460e6fc5601ff0ce2045d2c",
|
||||
"src/api/v1/routers/auth/router.py": "075648602d66bdc3497c4714d9789b2ea5661501478b05ba845b65c55a725fd8",
|
||||
"src/api/v1/routers/auth/schemas.py": "ba3345570c35b8a9e55751202f9c8a27f7d338cfcd85b300c196a43ac03aa311",
|
||||
"src/api/v1/routers/chats/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/chats/router.py": "85cac2d5ade6917c99e4e6a82053f681e1d253eca4fe3eee726e9f7621635bce",
|
||||
"src/api/v1/routers/chats/schemas.py": "00e0fc283069cca6c7929ef8d704aa1e577e6bfb555a496eb1b8170231c3b240",
|
||||
"src/api/v1/routers/messages/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/messages/router.py": "88f020fc60fdbf00f574308aa7b811416e308588fad27ff78ccc0f3d3b77f032",
|
||||
"src/api/v1/routers/messages/schemas.py": "fa82dfb70f2f8f344c3e3577a8df4e5e365241ddcc9f2bcd43021ab952a40316",
|
||||
"src/api/v1/routers/users/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/api/v1/routers/users/router.py": "fedd9cb7da2fb21caccd8ae2080d013719b4f13382dc795de880fb8ca87f857f",
|
||||
"src/api/v1/routers/users/schemas.py": "c30356333a3f6bd1b80b8cf6f4208d550201adfaaa0667e1db074c4aecc70dd7",
|
||||
"src/api/v1/schemas.py": "403d5821588d8abcc33a285cd2689be5eba0e7ab0373d1e17856ff0464934766",
|
||||
"src/core/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/cache.py": "1973038f948f2eff50b18ba9c0ea3aa1eedd712932a41045ba6dd18dee358966",
|
||||
"src/core/callback.py": "9046a504d8324a32e428ff8f4d159d452160828d470e3205400473394d380fee",
|
||||
"src/core/db/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/db/models.py": "3f9293b6a34334a7d9256c5666dfd050264be44589bde49628ec677312c9abee",
|
||||
"src/core/db/repo/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/core/db/repo/auth.py": "63fb17b55cf05a4b05c5f0b08d3e4f6dc6c83981c7f9d89a0d798b0d270283f2",
|
||||
"src/core/db/repo/chat.py": "fa1042b689e1e2242360d1432ca84ca49f35a6a2de03810135907333466e76fd",
|
||||
"src/core/db/repo/message.py": "0d5610e60e516ac5cd87e4486605f0665b6394cacd2c13e2698ff314b282e3fc",
|
||||
"src/core/db/repo/user.py": "f1d36be8530772e6a969687e78bc7bb9bfe7daf8be67d1e079acb1e6c9d7017b",
|
||||
"src/core/db/session.py": "9d4c07446ccc0990843c7f978c487a9976f9d926bf1e69a57f88021f742c7c5f",
|
||||
"src/core/db/types.py": "1e8890cfa43c31ce77ce0c95f0a8a535d0730835db16f33b086226bb189ad7aa",
|
||||
"src/core/errors.py": "5f93764110b969832766be8a6302515edf2eecc44de4d43c4d350c9c20d31432",
|
||||
"src/core/pagination.py": "3e1c7e5232dc27688f20c622f312ea10d5ce45e9d3960a4c1b61af3e885079c6",
|
||||
"src/core/readiness.py": "4064b105e7157e5dfbf3591983e3d6cbf27daf418b764f9ea2ee5f3140772ee1",
|
||||
"src/core/request_deadline.py": "908433803b2238b9b9bd004a5ca74010a05ee60fcb68b80f589bb3c7e1e3044a",
|
||||
"src/core/request_limits.py": "69ce991f604b8c6f6a225c1f3c09002402c680ce89b2146fdedf5b816c7f836b",
|
||||
"src/core/security.py": "64d6769b36090ab2824f19668f99d23669f838e82d6a785636c339b7c1876663",
|
||||
"src/core/session_store.py": "874b3ffa5b52b5b6a4587dc785784f41b6958d1b3be5a6a62470623f2182a6c1",
|
||||
"src/core/settings.py": "5a96b4a95d558982d4f7806b8957aa7b660ad899dc080a02f3a637b4e9a301e0",
|
||||
"src/core/storage.py": "80b361c08a078574fa8204ddbda4b3806ccef9921d0744ba12c1bac4f6331d13",
|
||||
"src/core/storage_bootstrap.py": "ea4ec70f9a3001c7c84f22bd414a2ad7e82866dc32de7a2ad02d0c5e2b1a5d39",
|
||||
"src/core/upload_coordination.py": "9ee87e7cf79cad25af1e9454c7997f5d9312f1f978301ce801ef1596a7effe48",
|
||||
"src/main.py": "8d3aae82b2a74a859ecd0d71bfe30dff85ea44e98d3aa1fedadaed0b41b2eba9",
|
||||
"src/maintenance/__init__.py": "bd9fc4293e0380e6b62c869dfa75a798f83090c85490c9e6b42df87e8d344b71",
|
||||
"src/maintenance/reconcile.py": "619a56167f1f72b7a3912be6d0e0a6d1453c1b27e775561515550de4e3f106e7",
|
||||
"src/service/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/service/attachment.py": "d96e09f9a2419f0ffa1047a539297361241debf06bfe0964ed4a12a318c5b025",
|
||||
"src/service/auth.py": "c979b1bdf157d7468ec584093e56a16abbb6b3fb25da0a1cce6eecac792db5ce",
|
||||
"src/service/chat.py": "baa2b0eb570fa0965a0e4b929313ecb1c96464997b592872f4ed193e22c48489",
|
||||
"src/service/dto.py": "c44fdd911f063348efff8471277d8dcb0ffaf91672e139ad1d97c5140b813a29",
|
||||
"src/service/exceptions.py": "32a232596795b28c1ca5ebbd19ed938cc6086263ceaf476716e9ae310da9f685",
|
||||
"src/service/message.py": "87ea10afea7ce0d2b666015135e052cfa58af39977965712d3ca8c940ff9e977",
|
||||
"src/service/user.py": "44e561c97aff49d358e5f9ed02cfe6ae85abdd384423fe9dcc7b9b05f13f4bbb"
|
||||
},
|
||||
"result": "PASS",
|
||||
"temporary_project_and_volumes_removed": true,
|
||||
"temporary_image_tags_removed": true
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: PNG/JPEG bytes, metadata, ACL, chat boundaries, limits and idempotency
|
||||
@@ -0,0 +1,169 @@
|
||||
{
|
||||
"project": "lab4-clean-81041e6e",
|
||||
"empty_volumes": true,
|
||||
"source": "complete working snapshot including new files",
|
||||
"build_cache": "API rebuilt with --no-cache; pinned MinIO build may use BuildKit cache",
|
||||
"api_build": {
|
||||
"seconds": 51.866,
|
||||
"exit_code": 0
|
||||
},
|
||||
"minio_build": {
|
||||
"seconds": 1.964,
|
||||
"exit_code": 0
|
||||
},
|
||||
"schema_revision": "008",
|
||||
"public_smoke": "PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.",
|
||||
"attachments": "PASS: PNG/JPEG bytes, metadata, ACL, chat boundaries, limits and idempotency",
|
||||
"reconciler": {
|
||||
"mode": "dry-run",
|
||||
"bucket": "messenger-attachments",
|
||||
"prefix": "originals/",
|
||||
"grace_seconds": 300.0,
|
||||
"counts": {
|
||||
"objects_scanned": 11,
|
||||
"protected_referenced": 11,
|
||||
"attachments_scanned": 11,
|
||||
"healthy": 11
|
||||
},
|
||||
"samples": [
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/0998d02e-da4c-4840-b0d7-3b823469000e"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/0afe9186-dab8-458d-8013-1c1d8d79e613"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/1390631b-9a1c-4dc8-b9c8-35762269ddad"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/6e863904-e4e8-439d-94d5-520d88e0042a"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/7b5c868c-4fc8-4268-a7b3-ef7fbffdcc3f"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/7f672038-98bb-490b-8649-15ad9bd9ae88"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/ab226893-27e5-45bc-a72a-0fcced3191af"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/b95724e7-9ca4-4d11-9763-cb80b2ada04a"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/d1be5f8e-a73a-4620-b333-e30f44f4c368"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/d738c9d2-b106-4c92-862f-330f26f81150"
|
||||
},
|
||||
{
|
||||
"action": "protected_referenced",
|
||||
"object_key": "originals/e0a838a7-d602-453c-a4d3-19944bd0e213"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/0998d02e-da4c-4840-b0d7-3b823469000e"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/0afe9186-dab8-458d-8013-1c1d8d79e613"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/1390631b-9a1c-4dc8-b9c8-35762269ddad"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/6e863904-e4e8-439d-94d5-520d88e0042a"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/7b5c868c-4fc8-4268-a7b3-ef7fbffdcc3f"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/7f672038-98bb-490b-8649-15ad9bd9ae88"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/ab226893-27e5-45bc-a72a-0fcced3191af"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/b95724e7-9ca4-4d11-9763-cb80b2ada04a"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/d1be5f8e-a73a-4620-b333-e30f44f4c368"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/d738c9d2-b106-4c92-862f-330f26f81150"
|
||||
},
|
||||
{
|
||||
"action": "healthy",
|
||||
"object_key": "originals/e0a838a7-d602-453c-a4d3-19944bd0e213"
|
||||
}
|
||||
],
|
||||
"content_bytes_read": 0,
|
||||
"result": "ok",
|
||||
"elapsed_seconds": 0.126615,
|
||||
"db_statements": 70,
|
||||
"s3_requests": {
|
||||
"VERSIONING": 1,
|
||||
"LIST": 1,
|
||||
"HEAD": 11
|
||||
},
|
||||
"process_peak_rss_kib": 79372
|
||||
},
|
||||
"services": [
|
||||
{
|
||||
"service": "api",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "api",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "lb",
|
||||
"state": "running",
|
||||
"health": ""
|
||||
},
|
||||
{
|
||||
"service": "minio",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "postgres",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "reconciler",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
},
|
||||
{
|
||||
"service": "redis",
|
||||
"state": "running",
|
||||
"health": "healthy"
|
||||
}
|
||||
],
|
||||
"result": "PASS",
|
||||
"temporary_project_and_volumes_removed": true,
|
||||
"temporary_image_tags_removed": true
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: all 34 supplied lab4 files are unchanged
|
||||
@@ -0,0 +1 @@
|
||||
56 files already formatted
|
||||
@@ -0,0 +1,10 @@
|
||||
{
|
||||
"parallel_repeats": 16,
|
||||
"instances": [
|
||||
"87c60c75-1a12-40b1-b894-8ebbc04b2483",
|
||||
"b5f5d168-fe8b-4054-b929-c9d27e2a1b9d"
|
||||
],
|
||||
"messages_created": 1,
|
||||
"checks": "normalization, conflict, key scope, invalid keys, access, logout, headers",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,5 @@
|
||||
ДО: {"api": {"98f0f98b0a3204072109e7ac33d23328b3690741de6d0af66504456eca9f2e87": {"StartedAt": "2026-11-12T16:32:52.949322844Z", "Pid": 72655}, "3e2f859111ee06ecf7031a1e6278444a21fe86884a8d1fd6d892c090daf084e7": {"StartedAt": "2026-11-12T16:32:40.408286672Z", "Pid": 70767}}, "postgres": {"6a69cf97a9616755a9ab550c99f331bc44c1ed0f455ad54b5b1dd791f64f6659": {"StartedAt": "2026-11-12T16:06:49.350909551Z", "Pid": 27184}}, "redis": {"a250306cb10a275ec58b8193706aecd7d807aaaeb684e0f3ef58f21728994c07": {"StartedAt": "2026-11-12T16:06:49.304222759Z", "Pid": 27105}}, "minio": {"20ccbcfbb4d4d082ff34977ce7fb6165afeb22ebceee39d7898dee1715d77735": {"StartedAt": "2026-11-12T16:06:49.326347968Z", "Pid": 27181}}, "reconciler": {"5834498f828da11f7bad5ce7a81bdf733e421476b072fcf90e0889cf63c6f2b7": {"StartedAt": "2026-11-12T16:09:50.86824801Z", "Pid": 46678}}, "lb": {"fcd305f6da7afe13c8c928b4872ae34a376057f62ce0ad902e8d49919d94306a": {"StartedAt": "2026-11-12T16:07:02.572707168Z", "Pid": 28939}}}
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
ПОСЛЕ: {"api": {"0a486aee12275d60ceecaf52c53cbecd6140c14da6ee1959a5622d06842f413c": {"StartedAt": "2026-11-12T16:33:08.707126296Z", "Pid": 74888}, "1ef42d31462e8faff07675f8e603062c06cb11a939c8bc37b74ed6c854a13b42": {"StartedAt": "2026-11-12T16:33:08.631547546Z", "Pid": 74834}}, "postgres": {"6a69cf97a9616755a9ab550c99f331bc44c1ed0f455ad54b5b1dd791f64f6659": {"StartedAt": "2026-11-12T16:33:02.306663876Z", "Pid": 74002}}, "redis": {"a250306cb10a275ec58b8193706aecd7d807aaaeb684e0f3ef58f21728994c07": {"StartedAt": "2026-11-12T16:33:02.349753418Z", "Pid": 74070}}, "minio": {"20ccbcfbb4d4d082ff34977ce7fb6165afeb22ebceee39d7898dee1715d77735": {"StartedAt": "2026-11-12T16:33:02.273735376Z", "Pid": 73962}}, "reconciler": {"5834498f828da11f7bad5ce7a81bdf733e421476b072fcf90e0889cf63c6f2b7": {"StartedAt": "2026-11-12T16:33:16.106929883Z", "Pid": 75892}}, "lb": {"fcd305f6da7afe13c8c928b4872ae34a376057f62ce0ad902e8d49919d94306a": {"StartedAt": "2026-11-12T16:33:15.070868049Z", "Pid": 75711}}}
|
||||
PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, reconciler и LB; прежний токен и данные сохранены
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1 @@
|
||||
All checks passed!
|
||||
@@ -0,0 +1 @@
|
||||
PASS: bounded readiness response, one pending probe, recovery after cancellation
|
||||
@@ -0,0 +1,18 @@
|
||||
{"check": "direct unsigned GET of an existing S3 object returns 403", "result": "PASS"}
|
||||
{"check": "deployed API cannot delete; reconciler cannot upload; both are confined to originals/", "result": "PASS"}
|
||||
{"check": "real upload atomically commits Attachment and intent; image is referenced by a message", "result": "PASS"}
|
||||
{"check": "S3 PUT failure leaves an accounted pending attempt, no ready attachment", "result": "PASS"}
|
||||
Метаданные загрузки не подтверждены; требуется сверка S3/БД
|
||||
{"check": "DB commit failure after S3 PUT leaves a durable discoverable orphan", "result": "PASS"}
|
||||
{"check": "process death after real PUT preserves intent; PostgreSQL releases the upload lock", "result": "PASS"}
|
||||
{"check": "dry-run changes neither DB records nor S3 objects", "result": "PASS"}
|
||||
{"check": "apply cleans old orphan/empty attempt; preserves active, fresh, referenced and late-committed objects", "result": "PASS"}
|
||||
{"check": "missing original is quarantined with 503; metadata and message link survive", "result": "PASS"}
|
||||
{"check": "missing content blocks new links, but confirmed idempotency replays stay intact", "result": "PASS"}
|
||||
{"check": "recovery requires exact SHA-256; repeat apply is safe", "result": "PASS"}
|
||||
{"check": "S3 AccessDenied and unavailable DB abort safely, without false missing/deletion", "result": "PASS"}
|
||||
{"check": "lost DELETE response is repaired on repeat; no live object is affected", "result": "PASS"}
|
||||
{"check": "failed S3 DELETE preserves pending; recovery retries and actually removes the orphan", "result": "PASS"}
|
||||
{"experiment": "scan_cost", "runs": [{"objects": 10, "repeat": 1, "seconds": 0.0219, "s3_requests": {"LIST": 1, "HEAD": 10}, "db_statements": 53}, {"objects": 10, "repeat": 2, "seconds": 0.0174, "s3_requests": {"LIST": 1, "HEAD": 10}, "db_statements": 53}, {"objects": 10, "repeat": 3, "seconds": 0.0181, "s3_requests": {"LIST": 1, "HEAD": 10}, "db_statements": 53}, {"objects": 100, "repeat": 1, "seconds": 0.1851, "s3_requests": {"LIST": 1, "HEAD": 100}, "db_statements": 503}, {"objects": 100, "repeat": 2, "seconds": 0.2289, "s3_requests": {"LIST": 1, "HEAD": 100}, "db_statements": 503}, {"objects": 100, "repeat": 3, "seconds": 0.1565, "s3_requests": {"LIST": 1, "HEAD": 100}, "db_statements": 503}, {"objects": 1005, "repeat": 1, "seconds": 2.0142, "s3_requests": {"LIST": 2, "HEAD": 1005}, "db_statements": 5028}, {"objects": 1005, "repeat": 2, "seconds": 2.2763, "s3_requests": {"LIST": 2, "HEAD": 1005}, "db_statements": 5028}, {"objects": 1005, "repeat": 3, "seconds": 1.7439, "s3_requests": {"LIST": 2, "HEAD": 1005}, "db_statements": 5028}]}
|
||||
{"check": "1005 objects cross ListObjectsV2 pagination; cost measured at 3 sizes x 3 runs", "result": "PASS"}
|
||||
{"result": "PASS", "checks": ["direct unsigned GET of an existing S3 object returns 403", "deployed API cannot delete; reconciler cannot upload; both are confined to originals/", "real upload atomically commits Attachment and intent; image is referenced by a message", "S3 PUT failure leaves an accounted pending attempt, no ready attachment", "DB commit failure after S3 PUT leaves a durable discoverable orphan", "process death after real PUT preserves intent; PostgreSQL releases the upload lock", "dry-run changes neither DB records nor S3 objects", "apply cleans old orphan/empty attempt; preserves active, fresh, referenced and late-committed objects", "missing original is quarantined with 503; metadata and message link survive", "missing content blocks new links, but confirmed idempotency replays stay intact", "recovery requires exact SHA-256; repeat apply is safe", "S3 AccessDenied and unavailable DB abort safely, without false missing/deletion", "lost DELETE response is repaired on repeat; no live object is affected", "failed S3 DELETE preserves pending; recovery retries and actually removes the orphan", "1005 objects cross ListObjectsV2 pagination; cost measured at 3 sizes x 3 runs"], "isolated_resources": true}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: bounded response before slow rollback, retained capacity, no late response, recovery
|
||||
@@ -0,0 +1,96 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"checks": [
|
||||
{
|
||||
"case": "username_control_characters",
|
||||
"result": "PASS",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "truncated_png",
|
||||
"result": "PASS",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "header_only_png",
|
||||
"result": "PASS",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "mismatched_mime",
|
||||
"result": "PASS",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "DEL_filename",
|
||||
"result": "PASS",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "missing_filename",
|
||||
"result": "PASS",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "pixels",
|
||||
"dimensions": [
|
||||
8000,
|
||||
5000
|
||||
],
|
||||
"result": "PASS",
|
||||
"status": 201
|
||||
},
|
||||
{
|
||||
"case": "pixels",
|
||||
"dimensions": [
|
||||
8000,
|
||||
5001
|
||||
],
|
||||
"result": "PASS",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "pixels",
|
||||
"dimensions": [
|
||||
20000,
|
||||
10000
|
||||
],
|
||||
"result": "PASS",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "API_cannot_create_foreign_bucket",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"case": "S3_credentials_confined_to_intended_services",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"case": "client_abort_and_oversized_chunked_body",
|
||||
"result": "PASS",
|
||||
"oversized_status": 413,
|
||||
"durable_state_unchanged": true
|
||||
},
|
||||
{
|
||||
"case": "PostgreSQL_frozen_after_SQL_started",
|
||||
"result": "PASS",
|
||||
"history": {
|
||||
"status": 503,
|
||||
"seconds": 5.1996,
|
||||
"request_id_present": true,
|
||||
"instance_id_present": true
|
||||
},
|
||||
"readiness": {
|
||||
"status": 503,
|
||||
"seconds": 2.0638,
|
||||
"request_id_present": true,
|
||||
"instance_id_present": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"case": "PostgreSQL_resume_without_API_restart",
|
||||
"result": "PASS"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
Проверка: course-files
|
||||
Проверка: quality
|
||||
Проверка: format
|
||||
Проверка: structure
|
||||
Проверка: openapi
|
||||
Проверка: request-deadline
|
||||
Проверка: readiness-budget
|
||||
Проверка: public-smoke
|
||||
Проверка: attachments
|
||||
Проверка: idempotency
|
||||
Проверка: reviewer-cases
|
||||
Проверка: reconciliation
|
||||
Проверка: upload-memory
|
||||
Проверка: uploader-failover
|
||||
Проверка: persistence-proof
|
||||
Проверка: clean-start
|
||||
PASS: все итоговые проверки лабораторной 4
|
||||
@@ -0,0 +1 @@
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,101 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"checks": [
|
||||
{
|
||||
"check": "course-files",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.036,
|
||||
"evidence": "evidence/lab4-final-course-files.txt"
|
||||
},
|
||||
{
|
||||
"check": "quality",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.04,
|
||||
"evidence": "evidence/lab4-final-quality.txt"
|
||||
},
|
||||
{
|
||||
"check": "format",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.04,
|
||||
"evidence": "evidence/lab4-final-format.txt"
|
||||
},
|
||||
{
|
||||
"check": "structure",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.075,
|
||||
"evidence": "evidence/lab4-final-structure.txt"
|
||||
},
|
||||
{
|
||||
"check": "openapi",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.442,
|
||||
"evidence": "evidence/lab4-final-openapi.txt"
|
||||
},
|
||||
{
|
||||
"check": "request-deadline",
|
||||
"exit_code": 0,
|
||||
"seconds": 1.078,
|
||||
"evidence": "evidence/lab4-final-request-deadline.txt"
|
||||
},
|
||||
{
|
||||
"check": "readiness-budget",
|
||||
"exit_code": 0,
|
||||
"seconds": 4.182,
|
||||
"evidence": "evidence/lab4-final-readiness-budget.txt"
|
||||
},
|
||||
{
|
||||
"check": "public-smoke",
|
||||
"exit_code": 0,
|
||||
"seconds": 2.766,
|
||||
"evidence": "evidence/lab4-final-public-smoke.txt"
|
||||
},
|
||||
{
|
||||
"check": "attachments",
|
||||
"exit_code": 0,
|
||||
"seconds": 3.092,
|
||||
"evidence": "evidence/lab4-final-attachments.txt"
|
||||
},
|
||||
{
|
||||
"check": "idempotency",
|
||||
"exit_code": 0,
|
||||
"seconds": 1.767,
|
||||
"evidence": "evidence/lab4-final-idempotency.txt"
|
||||
},
|
||||
{
|
||||
"check": "reviewer-cases",
|
||||
"exit_code": 0,
|
||||
"seconds": 14.156,
|
||||
"evidence": "evidence/lab4-final-reviewer-cases.txt"
|
||||
},
|
||||
{
|
||||
"check": "reconciliation",
|
||||
"exit_code": 0,
|
||||
"seconds": 13.908,
|
||||
"evidence": "evidence/lab4-final-reconciliation.txt"
|
||||
},
|
||||
{
|
||||
"check": "upload-memory",
|
||||
"exit_code": 0,
|
||||
"seconds": 38.052,
|
||||
"evidence": "evidence/lab4-final-upload-memory.txt"
|
||||
},
|
||||
{
|
||||
"check": "uploader-failover",
|
||||
"exit_code": 0,
|
||||
"seconds": 12.548,
|
||||
"evidence": "evidence/lab4-final-uploader-failover.txt"
|
||||
},
|
||||
{
|
||||
"check": "persistence-proof",
|
||||
"exit_code": 0,
|
||||
"seconds": 17.937,
|
||||
"evidence": "evidence/lab4-final-persistence-proof.txt"
|
||||
},
|
||||
{
|
||||
"check": "clean-start",
|
||||
"exit_code": 0,
|
||||
"seconds": 80.091,
|
||||
"evidence": "evidence/lab4-final-clean-start.txt"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
{"result": "PASS", "api_replicas": 2, "uploads_per_replica_limit": 5, "decode_concurrency_per_replica": 1, "temporary_storage_per_replica_bytes": 67108864, "profiles": [{"dimensions": [256, 256], "file_bytes": 197174, "concurrent_uploads": 10, "responses": [{"status": 201, "seconds": 0.6791}, {"status": 201, "seconds": 0.7479}, {"status": 201, "seconds": 0.6845}, {"status": 201, "seconds": 0.6778}, {"status": 201, "seconds": 0.7513}, {"status": 201, "seconds": 0.6638}, {"status": 201, "seconds": 0.4756}, {"status": 201, "seconds": 0.6777}, {"status": 201, "seconds": 0.6768}, {"status": 201, "seconds": 0.4765}]}, {"dimensions": [1280, 1280], "file_bytes": 4923511, "concurrent_uploads": 10, "responses": [{"status": 201, "seconds": 0.9695}, {"status": 201, "seconds": 1.0506}, {"status": 201, "seconds": 0.7052}, {"status": 201, "seconds": 1.0433}, {"status": 201, "seconds": 0.9752}, {"status": 201, "seconds": 0.8131}, {"status": 201, "seconds": 0.7254}, {"status": 201, "seconds": 0.6902}, {"status": 201, "seconds": 0.888}, {"status": 201, "seconds": 1.0417}]}], "memory": [{"baseline_bytes": 102842368, "sampled_peak_bytes": 137437184, "samples": 750, "interval_seconds": 0.02, "cgroup_limit_bytes": 536870912}, {"baseline_bytes": 108802048, "sampled_peak_bytes": 126369792, "samples": 750, "interval_seconds": 0.02, "cgroup_limit_bytes": 536870912}], "limitations": ["20ms sampling can miss short peaks", "two synthetic image sizes do not cover the worst-case 40MP input", "cgroup memory includes Python, image decoding and tmpfs; experiment is not a throughput benchmark", "deployment restores the default admission limit of 1 after this experiment"]}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: exact uploading replica stopped; another replica returns identical original
|
||||
@@ -0,0 +1,29 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"files": {
|
||||
"contracts/openapi.json": {
|
||||
"sha256": "c5c0ebdcf205018126c5bb91e2512b11f543827e76baa21d776210d05a0b2cca",
|
||||
"matches_course_lab4": true
|
||||
},
|
||||
"tests/smoke.py": {
|
||||
"sha256": "52ac38eb343ff7d43e7543588e1da58ca06c9fce74b2b0d0bf0e4982bc23c1db",
|
||||
"matches_course_lab4": true
|
||||
},
|
||||
"tests/client.py": {
|
||||
"sha256": "8d50976fc7c7bbb81e88a152f613c61ab25eaf53dba33c6a9dfab19f868d546d",
|
||||
"matches_course_lab4": true
|
||||
},
|
||||
"tests/resilience.py": {
|
||||
"sha256": "1f96663a174b3978d24eff66f2741f5f8c9b788d3242261d37a972720c52788b",
|
||||
"matches_course_lab4": true
|
||||
},
|
||||
"tests/load.py": {
|
||||
"sha256": "6d3511ea719c7a7e841083e73d435c86dcbfd9f4e5c2a07d62eb9614b01d9933",
|
||||
"matches_course_lab4": true
|
||||
},
|
||||
"tests/fixtures/sample.png": {
|
||||
"sha256": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"matches_course_lab4": true
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,225 @@
|
||||
{
|
||||
"scan_runs": [
|
||||
{
|
||||
"objects": 10,
|
||||
"repeat": 1,
|
||||
"seconds": 0.0219,
|
||||
"s3_requests": {
|
||||
"LIST": 1,
|
||||
"HEAD": 10
|
||||
},
|
||||
"db_statements": 53
|
||||
},
|
||||
{
|
||||
"objects": 10,
|
||||
"repeat": 2,
|
||||
"seconds": 0.0174,
|
||||
"s3_requests": {
|
||||
"LIST": 1,
|
||||
"HEAD": 10
|
||||
},
|
||||
"db_statements": 53
|
||||
},
|
||||
{
|
||||
"objects": 10,
|
||||
"repeat": 3,
|
||||
"seconds": 0.0181,
|
||||
"s3_requests": {
|
||||
"LIST": 1,
|
||||
"HEAD": 10
|
||||
},
|
||||
"db_statements": 53
|
||||
},
|
||||
{
|
||||
"objects": 100,
|
||||
"repeat": 1,
|
||||
"seconds": 0.1851,
|
||||
"s3_requests": {
|
||||
"LIST": 1,
|
||||
"HEAD": 100
|
||||
},
|
||||
"db_statements": 503
|
||||
},
|
||||
{
|
||||
"objects": 100,
|
||||
"repeat": 2,
|
||||
"seconds": 0.2289,
|
||||
"s3_requests": {
|
||||
"LIST": 1,
|
||||
"HEAD": 100
|
||||
},
|
||||
"db_statements": 503
|
||||
},
|
||||
{
|
||||
"objects": 100,
|
||||
"repeat": 3,
|
||||
"seconds": 0.1565,
|
||||
"s3_requests": {
|
||||
"LIST": 1,
|
||||
"HEAD": 100
|
||||
},
|
||||
"db_statements": 503
|
||||
},
|
||||
{
|
||||
"objects": 1005,
|
||||
"repeat": 1,
|
||||
"seconds": 2.0142,
|
||||
"s3_requests": {
|
||||
"LIST": 2,
|
||||
"HEAD": 1005
|
||||
},
|
||||
"db_statements": 5028
|
||||
},
|
||||
{
|
||||
"objects": 1005,
|
||||
"repeat": 2,
|
||||
"seconds": 2.2763,
|
||||
"s3_requests": {
|
||||
"LIST": 2,
|
||||
"HEAD": 1005
|
||||
},
|
||||
"db_statements": 5028
|
||||
},
|
||||
{
|
||||
"objects": 1005,
|
||||
"repeat": 3,
|
||||
"seconds": 1.7439,
|
||||
"s3_requests": {
|
||||
"LIST": 2,
|
||||
"HEAD": 1005
|
||||
},
|
||||
"db_statements": 5028
|
||||
}
|
||||
],
|
||||
"upload_experiment": {
|
||||
"result": "PASS",
|
||||
"api_replicas": 2,
|
||||
"uploads_per_replica_limit": 5,
|
||||
"decode_concurrency_per_replica": 1,
|
||||
"temporary_storage_per_replica_bytes": 67108864,
|
||||
"profiles": [
|
||||
{
|
||||
"dimensions": [
|
||||
256,
|
||||
256
|
||||
],
|
||||
"file_bytes": 197174,
|
||||
"concurrent_uploads": 10,
|
||||
"responses": [
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6791
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.7479
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6845
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6778
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.7513
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6638
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.4756
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6777
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6768
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.4765
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"dimensions": [
|
||||
1280,
|
||||
1280
|
||||
],
|
||||
"file_bytes": 4923511,
|
||||
"concurrent_uploads": 10,
|
||||
"responses": [
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.9695
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 1.0506
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.7052
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 1.0433
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.9752
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.8131
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.7254
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.6902
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.888
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 1.0417
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"memory": [
|
||||
{
|
||||
"baseline_bytes": 102842368,
|
||||
"sampled_peak_bytes": 137437184,
|
||||
"samples": 750,
|
||||
"interval_seconds": 0.02,
|
||||
"cgroup_limit_bytes": 536870912
|
||||
},
|
||||
{
|
||||
"baseline_bytes": 108802048,
|
||||
"sampled_peak_bytes": 126369792,
|
||||
"samples": 750,
|
||||
"interval_seconds": 0.02,
|
||||
"cgroup_limit_bytes": 536870912
|
||||
}
|
||||
],
|
||||
"limitations": [
|
||||
"20ms sampling can miss short peaks",
|
||||
"two synthetic image sizes do not cover the worst-case 40MP input",
|
||||
"cgroup memory includes Python, image decoding and tmpfs; experiment is not a throughput benchmark",
|
||||
"deployment restores the default admission limit of 1 after this experiment"
|
||||
]
|
||||
}
|
||||
}
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 60 KiB |
File diff suppressed because it is too large
Load Diff
|
After Width: | Height: | Size: 49 KiB |
@@ -0,0 +1,3 @@
|
||||
Container mtusi2026lab1-postgres-1 Paused
|
||||
Container mtusi2026lab1-postgres-1 Unpaused
|
||||
FAIL: in-flight history did not return within 8 seconds while PostgreSQL was frozen
|
||||
@@ -0,0 +1,2 @@
|
||||
PASS: unavailable S3 yields controlled readiness 503; liveness stays 200
|
||||
PASS: S3 recovery preserves original and existing session
|
||||
@@ -0,0 +1 @@
|
||||
{"architecture":"aarch64","docker_cpus":10,"docker_memory_bytes":8218034176,"docker_version":"28.5.1"}
|
||||
@@ -0,0 +1,68 @@
|
||||
# Optional HTTP-client worksheet; no extension is required by the course.
|
||||
# Replace IDs/token locally from real responses; do not commit filled-in credentials.
|
||||
# Canonical API: contracts/openapi.json and contracts/README.md.
|
||||
@baseUrl = http://localhost:8080
|
||||
@aliceId = REPLACE_WITH_CREATED_ALICE_UUID
|
||||
@bobId = REPLACE_WITH_CREATED_BOB_UUID
|
||||
@chatId = REPLACE_WITH_CREATED_CHAT_UUID
|
||||
@sessionToken = REPLACE_LOCALLY_DO_NOT_COMMIT
|
||||
|
||||
### Liveness
|
||||
GET {{baseUrl}}/health/live
|
||||
|
||||
### Register Alice (repeat with username bob/display_name Боб)
|
||||
POST {{baseUrl}}/api/v1/users
|
||||
Content-Type: application/json
|
||||
|
||||
{
|
||||
"username": "alice",
|
||||
"display_name": "Алиса",
|
||||
"password": "Example-only-not-a-real-secret-123"
|
||||
}
|
||||
|
||||
### Create session with Basic; the HTTP client encodes UTF-8 credentials
|
||||
POST {{baseUrl}}/api/v1/auth/sessions
|
||||
Authorization: Basic admin admin-password-123
|
||||
|
||||
### Create chat; both UUIDs must be real registered users
|
||||
POST {{baseUrl}}/api/v1/chats
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
Content-Type: application/json
|
||||
|
||||
{"title":"Проект по ВНП","member_ids":["{{aliceId}}","{{bobId}}"]}
|
||||
|
||||
### Send message
|
||||
POST {{baseUrl}}/api/v1/chats/{{chatId}}/messages
|
||||
Idempotency-Key: {{$uuid}}
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
Content-Type: application/json
|
||||
|
||||
{"text":"Привет, Боб!"}
|
||||
|
||||
### Read first page
|
||||
GET {{baseUrl}}/api/v1/chats/{{chatId}}/messages?limit=50
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
|
||||
### Lab4: upload one original PNG (raw body, not multipart)
|
||||
POST {{baseUrl}}/api/v1/chats/{{chatId}}/attachments?filename=sample.png
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
Content-Type: image/png
|
||||
|
||||
< ../tests/fixtures/sample.png
|
||||
|
||||
### Lab4: replace attachmentId with the UUID from the upload response
|
||||
@attachmentId = REPLACE_WITH_UPLOADED_ATTACHMENT_UUID
|
||||
GET {{baseUrl}}/api/v1/attachments/{{attachmentId}}
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
|
||||
### Lab4: message with an image and no caption; use a fresh key for a new message
|
||||
POST {{baseUrl}}/api/v1/chats/{{chatId}}/messages
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
Content-Type: application/json
|
||||
Idempotency-Key: lab4-image-example-001
|
||||
|
||||
{"text":"","attachment_ids":["{{attachmentId}}"]}
|
||||
|
||||
### Lab4: original bytes through authorized API
|
||||
GET {{baseUrl}}/api/v1/attachments/{{attachmentId}}/content
|
||||
Authorization: Bearer {{sessionToken}}
|
||||
@@ -0,0 +1,43 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 2048
|
||||
stats socket /tmp/haproxy.sock mode 600 level admin
|
||||
stats socket ipv4@127.0.0.1:9999 level admin
|
||||
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
option httplog
|
||||
timeout connect 1s
|
||||
timeout client 15s
|
||||
timeout server 12s
|
||||
timeout http-request 7s
|
||||
timeout http-keep-alive 2s
|
||||
timeout check 1s
|
||||
# Не повторяем POST автоматически: неизвестный результат повторяет клиент
|
||||
# с исходным Idempotency-Key. Соединения к недоступному API не ждут долго.
|
||||
retries 0
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
hold refused 1s
|
||||
accepted_payload_size 8192
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend api_pool
|
||||
|
||||
backend api_pool
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 2
|
||||
server-template api 1-16 api:8080 check resolvers docker resolve-prefer ipv4 init-addr none
|
||||
@@ -0,0 +1,20 @@
|
||||
# MinIO community distribution is source-only; pin the reviewed release commit.
|
||||
FROM golang:1.24.8-alpine3.22 AS build
|
||||
RUN apk add --no-cache git
|
||||
WORKDIR /source
|
||||
RUN git init . \
|
||||
&& git remote add origin https://github.com/minio/minio.git \
|
||||
&& git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
|
||||
&& git checkout --detach FETCH_HEAD
|
||||
ENV CGO_ENABLED=0 GOMAXPROCS=2
|
||||
RUN go build -p 2 -trimpath -o /minio .
|
||||
|
||||
FROM alpine:3.22.2
|
||||
RUN apk add --no-cache ca-certificates \
|
||||
&& addgroup -S minio && adduser -S -G minio minio \
|
||||
&& mkdir /data && chown minio:minio /data
|
||||
COPY --from=build /minio /usr/local/bin/minio
|
||||
USER minio
|
||||
EXPOSE 9000
|
||||
ENTRYPOINT ["minio"]
|
||||
CMD ["server", "/data", "--console-address", ":9001"]
|
||||
@@ -0,0 +1,20 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:ListBucket", "s3:GetBucketLocation"],
|
||||
"Resource": ["arn:aws:s3:::${bucket}"]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:PutObject",
|
||||
"s3:AbortMultipartUpload",
|
||||
"s3:ListMultipartUploadParts"
|
||||
],
|
||||
"Resource": ["arn:aws:s3:::${bucket}/originals/*"]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,15 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:ListBucket", "s3:GetBucketLocation", "s3:GetBucketVersioning"],
|
||||
"Resource": ["arn:aws:s3:::${bucket}"]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:GetObject", "s3:DeleteObject"],
|
||||
"Resource": ["arn:aws:s3:::${bucket}/originals/*"]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,34 @@
|
||||
import asyncio
|
||||
|
||||
from alembic import context
|
||||
from sqlalchemy import pool
|
||||
from sqlalchemy.ext.asyncio import create_async_engine
|
||||
|
||||
from src.core.db.models import Base
|
||||
from src.core.settings import settings
|
||||
|
||||
url = settings.sqlalchemy_database_url
|
||||
target_metadata = Base.metadata
|
||||
|
||||
|
||||
def run_migrations(connection):
|
||||
context.configure(connection=connection, target_metadata=target_metadata, compare_type=True)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
|
||||
|
||||
async def run_online():
|
||||
engine = create_async_engine(url, poolclass=pool.NullPool)
|
||||
try:
|
||||
async with engine.connect() as connection:
|
||||
await connection.run_sync(run_migrations)
|
||||
finally:
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
if context.is_offline_mode():
|
||||
context.configure(url=url, target_metadata=target_metadata, literal_binds=True)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
else:
|
||||
asyncio.run(run_online())
|
||||
@@ -0,0 +1,17 @@
|
||||
"""${message}"""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
${imports if imports else ""}
|
||||
|
||||
revision = ${repr(up_revision)}
|
||||
down_revision = ${repr(down_revision)}
|
||||
branch_labels = ${repr(branch_labels)}
|
||||
depends_on = ${repr(depends_on)}
|
||||
|
||||
|
||||
def upgrade():
|
||||
${upgrades if upgrades else "pass"}
|
||||
|
||||
|
||||
def downgrade():
|
||||
${downgrades if downgrades else "pass"}
|
||||
@@ -0,0 +1,60 @@
|
||||
"""Пользователи, чаты, участники, сообщения и сессии."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '001'
|
||||
down_revision = None
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
'users',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('username', sa.String(32), nullable=False, unique=True),
|
||||
sa.Column('display_name', sa.String(100), nullable=False),
|
||||
sa.Column('password_hash', sa.Text(), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
|
||||
sa.CheckConstraint('length(trim(display_name)) > 0'),
|
||||
)
|
||||
op.create_table(
|
||||
'chats',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('title', sa.String(100), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint('length(trim(title)) > 0'),
|
||||
)
|
||||
op.create_table(
|
||||
'chat_members',
|
||||
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id', ondelete='CASCADE'), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id'), primary_key=True),
|
||||
)
|
||||
op.create_index('chat_members_user_idx', 'chat_members', ['user_id', 'chat_id'])
|
||||
op.create_table(
|
||||
'messages',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id'), nullable=False),
|
||||
sa.Column('sender_id', sa.Uuid(), sa.ForeignKey('users.id'), nullable=False),
|
||||
sa.Column('text', sa.String(4000), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.ForeignKeyConstraint(['chat_id', 'sender_id'], ['chat_members.chat_id', 'chat_members.user_id']),
|
||||
sa.CheckConstraint('length(trim(text)) > 0'),
|
||||
)
|
||||
op.create_index('messages_history_idx', 'messages', ['chat_id', 'created_at', 'id'])
|
||||
op.create_table(
|
||||
'sessions',
|
||||
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table('sessions')
|
||||
op.drop_table('messages')
|
||||
op.drop_table('chat_members')
|
||||
op.drop_table('chats')
|
||||
op.drop_table('users')
|
||||
@@ -0,0 +1,22 @@
|
||||
"""Сессии перенесены в Redis."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '002'
|
||||
down_revision = '001'
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.drop_table('sessions')
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.create_table(
|
||||
'sessions',
|
||||
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||
@@ -0,0 +1,16 @@
|
||||
"""Признак системного администратора."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '003'
|
||||
down_revision = '002'
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column('users', sa.Column('is_admin', sa.Boolean(), nullable=False, server_default=sa.false()))
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_column('users', 'is_admin')
|
||||
@@ -0,0 +1,25 @@
|
||||
"""Общая идемпотентность сообщений, совместимая с предыдущей схемой."""
|
||||
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = "004"
|
||||
down_revision = "003"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
"message_requests",
|
||||
sa.Column("sender_id", sa.Uuid(), sa.ForeignKey("users.id"), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), primary_key=True),
|
||||
sa.Column("key", sa.String(128), primary_key=True),
|
||||
sa.Column("request_text", sa.String(4000), nullable=False),
|
||||
sa.Column("message_id", sa.Uuid(), sa.ForeignKey("messages.id"), nullable=True),
|
||||
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("message_requests")
|
||||
@@ -0,0 +1,55 @@
|
||||
"""Сохранять весь допустимый Unicode сообщений, включая U+0000, без потерь."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "005"
|
||||
down_revision = "004"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.drop_constraint("messages_text_check", "messages", type_="check")
|
||||
op.alter_column(
|
||||
"messages",
|
||||
"text",
|
||||
existing_type=sa.String(4000),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_to(text, 'UTF8')",
|
||||
)
|
||||
op.alter_column(
|
||||
"message_requests",
|
||||
"request_text",
|
||||
existing_type=sa.String(4000),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_to(request_text, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# convert_from откажет при наличии U+0000: не удаляем символы или строки
|
||||
# молча. Откат возможен только если все данные представимы в PostgreSQL text.
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.alter_column(
|
||||
"messages",
|
||||
"text",
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(4000),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_from(text, 'UTF8')",
|
||||
)
|
||||
op.alter_column(
|
||||
"message_requests",
|
||||
"request_text",
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(4000),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_from(request_text, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint("messages_text_check", "messages", "length(trim(text)) > 0")
|
||||
@@ -0,0 +1,40 @@
|
||||
"""Сохранение допустимого Unicode имён и названий, включая U+0000."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "006"
|
||||
down_revision = "005"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||
op.drop_constraint(f"{table}_{column}_check", table, type_="check")
|
||||
op.alter_column(
|
||||
table,
|
||||
column,
|
||||
existing_type=sa.String(100),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using=f"convert_to({column}, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(
|
||||
f"{table}_{column}_bytes_check", table, f"octet_length({column}) BETWEEN 1 AND 400"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# PostgreSQL откажет при U+0000 и откатит транзакцию вместо потери символов.
|
||||
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||
op.drop_constraint(f"{table}_{column}_bytes_check", table, type_="check")
|
||||
op.alter_column(
|
||||
table,
|
||||
column,
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(100),
|
||||
existing_nullable=False,
|
||||
postgresql_using=f"convert_from({column}, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(f"{table}_{column}_check", table, f"length(trim({column})) > 0")
|
||||
@@ -0,0 +1,65 @@
|
||||
"""Private S3 attachment metadata and ordered message links."""
|
||||
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = "007"
|
||||
down_revision = "006"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
"attachments",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), nullable=False),
|
||||
sa.Column("owner_id", sa.Uuid(), sa.ForeignKey("users.id"), nullable=False),
|
||||
sa.Column("filename", sa.String(255), nullable=False),
|
||||
sa.Column("object_key", sa.Text(), nullable=False, unique=True),
|
||||
sa.Column("content_type", sa.String(32), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("sha256", sa.String(64), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.UniqueConstraint("chat_id", "id"),
|
||||
sa.CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
|
||||
sa.CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
|
||||
)
|
||||
op.create_index("attachments_chat_idx", "attachments", ["chat_id"])
|
||||
op.create_unique_constraint("messages_chat_id_id_key", "messages", ["chat_id", "id"])
|
||||
op.create_table(
|
||||
"message_attachments",
|
||||
sa.Column("message_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.Integer(), nullable=False),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
|
||||
),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
|
||||
),
|
||||
sa.UniqueConstraint("message_id", "position"),
|
||||
sa.CheckConstraint("position BETWEEN 0 AND 9"),
|
||||
)
|
||||
op.add_column("message_requests", sa.Column(
|
||||
"request_attachment_ids", sa.Text(), nullable=False, server_default=""
|
||||
))
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 0 AND 16000"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# Refuse downgrade if attachment-only messages cannot satisfy the old schema.
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||
)
|
||||
op.drop_column("message_requests", "request_attachment_ids")
|
||||
op.drop_table("message_attachments")
|
||||
op.drop_constraint("messages_chat_id_id_key", "messages", type_="unique")
|
||||
op.drop_index("attachments_chat_idx", "attachments")
|
||||
op.drop_table("attachments")
|
||||
@@ -0,0 +1,37 @@
|
||||
"""Durable upload intents, missing-content marker and reconciliation observations."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "008"
|
||||
down_revision = "007"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column("attachments", sa.Column("storage_missing_since", sa.DateTime(timezone=True)))
|
||||
op.create_table(
|
||||
"upload_intents",
|
||||
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||
sa.Column("state", sa.String(16), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False,
|
||||
server_default=sa.func.now()),
|
||||
sa.CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),
|
||||
)
|
||||
op.create_table(
|
||||
"storage_findings",
|
||||
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||
sa.Column("kind", sa.String(16), primary_key=True),
|
||||
sa.Column("fingerprint", sa.Text()),
|
||||
sa.Column("first_seen", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("last_seen", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("resolved_at", sa.DateTime(timezone=True)),
|
||||
sa.CheckConstraint("kind IN ('orphan', 'missing')"),
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("storage_findings")
|
||||
op.drop_table("upload_intents")
|
||||
op.drop_column("attachments", "storage_missing_since")
|
||||
@@ -0,0 +1,8 @@
|
||||
[tool.ruff]
|
||||
cache-dir = ".venv/.ruff_cache"
|
||||
target-version = "py313"
|
||||
line-length = 100
|
||||
include = ["src/**/*.py"]
|
||||
|
||||
[tool.ruff.lint]
|
||||
select = ["E4", "E7", "E9", "F", "I"]
|
||||
@@ -0,0 +1,5 @@
|
||||
-r requirements.txt
|
||||
-r requirements-dev.txt
|
||||
|
||||
ruff==0.14.2
|
||||
matplotlib==3.11.2
|
||||
@@ -0,0 +1,21 @@
|
||||
annotated-doc==0.0.5
|
||||
annotated-types==0.8.0
|
||||
anyio==4.15.1
|
||||
click==8.5.0
|
||||
fastapi==0.141.1
|
||||
h11==0.16.0
|
||||
idna==3.20
|
||||
pydantic==2.13.5
|
||||
pydantic-core==2.46.5
|
||||
starlette==1.7.0
|
||||
typing-extensions==4.16.0
|
||||
typing-inspection==0.4.4
|
||||
uvicorn==0.53.0
|
||||
asyncpg==0.30.0
|
||||
redis==5.2.1
|
||||
argon2-cffi==25.1.0
|
||||
SQLAlchemy[asyncio]==2.0.44
|
||||
alembic==1.17.0
|
||||
pydantic-settings==2.15.0
|
||||
minio==7.2.20
|
||||
Pillow==13.0.0
|
||||
@@ -0,0 +1,15 @@
|
||||
"""Verify that every file supplied in the lab4 skeleton is byte-for-byte unchanged."""
|
||||
import hashlib
|
||||
import json
|
||||
from pathlib import Path
|
||||
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
baseline=json.loads((root/'course-files.sha256.json').read_text())
|
||||
changed=[]
|
||||
for name,digest in baseline['files'].items():
|
||||
path=root/name
|
||||
if not path.is_file() or hashlib.sha256(path.read_bytes()).hexdigest()!=digest:
|
||||
changed.append(name)
|
||||
if changed:
|
||||
raise SystemExit('Изменены исходные файлы преподавателя: '+', '.join(changed))
|
||||
print('PASS: all '+str(len(baseline['files']))+' supplied lab4 files are unchanged')
|
||||
@@ -0,0 +1,63 @@
|
||||
"""Export all public working files, including new files; exclude local secrets/state."""
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import tarfile
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
subprocess.run([sys.executable,str(ROOT/'scripts/check-course-files.py')],check=True)
|
||||
paths=subprocess.check_output(['git','ls-files','--cached','--others','--exclude-standard','-z'],cwd=ROOT).split(b'\0')
|
||||
files={}
|
||||
for raw in paths:
|
||||
if not raw:continue
|
||||
name=os.fsdecode(raw)
|
||||
if name=='SOURCE_MANIFEST.json':continue
|
||||
path=ROOT/name
|
||||
if path.is_file():files[name]=hashlib.sha256(path.read_bytes()).hexdigest()
|
||||
# Actual non-example credentials must not occur in exported source/evidence.
|
||||
from dotenv import dotenv_values
|
||||
example=dotenv_values(ROOT/'student.env.example')
|
||||
private=[v.encode() for k,v in dotenv_values(ROOT/'.env').items()
|
||||
if v and len(v)>=12 and v!=example.get(k)
|
||||
and any(word in k for word in ('PASSWORD','SECRET','TOKEN','API_KEY','DATABASE_URL'))]
|
||||
unsafe=[]
|
||||
for name in files:
|
||||
path=ROOT/name
|
||||
if name.startswith(('.env','secrets/','backups/','data/')) and name!='.env.example':
|
||||
unsafe.append(name)
|
||||
elif any(secret in path.read_bytes() for secret in private):unsafe.append(name)
|
||||
if unsafe:
|
||||
raise SystemExit('Не экспортированы файлы с приватными данными: '+', '.join(unsafe))
|
||||
proof=json.loads((ROOT/'evidence/lab4-clean-start.json').read_text())
|
||||
changed=[name for name,digest in proof['code_manifest'].items() if files.get(name)!=digest]
|
||||
if changed:raise SystemExit('После clean-start изменился код: '+', '.join(changed))
|
||||
required=('Dockerfile','compose.yaml','src/core/request_deadline.py','src/maintenance/reconcile.py',
|
||||
'student.mk','student.env.example','requirements-student.txt','STUDENT_README.md',
|
||||
'STUDENT_REPORT.md','course-files.sha256.json','Dockerfile.dockerignore',
|
||||
'src/core/storage_bootstrap.py','infra/s3/api-policy.json','infra/s3/reconciler-policy.json',
|
||||
'migrations/versions/008_reconciliation.py',
|
||||
'scripts/setup-env.py','scripts/check-course-files.py','scripts/test-reconciliation.sh','tests/reconciliation.py',
|
||||
'tests/lab4_review.py','tests/fixtures/sample.png')
|
||||
assert all(name in files for name in required),'Required source missing from export'
|
||||
manifest={'format':1,'lab':4,'author':'Каменский Андрей, БПИ2301',
|
||||
'clean_start_code_matches':True,'private_credentials_scan':'PASS','files':files}
|
||||
(ROOT/'SOURCE_MANIFEST.json').write_text(json.dumps(manifest,ensure_ascii=False,indent=2)+'\n')
|
||||
destination=ROOT/'dist';destination.mkdir(exist_ok=True)
|
||||
archive=destination/'mtusi2026lab4-submission.tar.gz'
|
||||
with tarfile.open(archive,'w:gz') as output:
|
||||
for name in sorted([*files,'SOURCE_MANIFEST.json']):
|
||||
output.add(ROOT/name,arcname='mtusi2026lab4/'+name,recursive=False)
|
||||
with tarfile.open(archive,'r:gz') as source:
|
||||
bundled={member.name.removeprefix('mtusi2026lab4/') for member in source.getmembers()}
|
||||
assert set(files).issubset(bundled) and 'SOURCE_MANIFEST.json' in bundled
|
||||
assert '.env' not in bundled and not any(name.startswith(('.git/','.venv/')) for name in bundled)
|
||||
receipt={'result':'PASS','archive':str(archive.relative_to(ROOT)),
|
||||
'sha256':hashlib.sha256(archive.read_bytes()).hexdigest(),
|
||||
'source_files':len(files),'required_files_present':True,'clean_start_code_matches':True,
|
||||
'private_credentials_scan':'PASS','local_env_excluded':True,'course_files_unchanged':True}
|
||||
# Receipt is separate to avoid a circular archive hash in its own contents.
|
||||
(destination/'submission-receipt.json').write_text(json.dumps(receipt,ensure_ascii=False,indent=2)+'\n')
|
||||
print(json.dumps(receipt,ensure_ascii=False,indent=2))
|
||||
@@ -0,0 +1,38 @@
|
||||
"""Plot measured scan cost and per-container memory from final acceptance outputs."""
|
||||
import json
|
||||
import statistics
|
||||
from pathlib import Path
|
||||
import matplotlib
|
||||
matplotlib.use('Agg')
|
||||
import matplotlib.pyplot as plt
|
||||
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
def json_rows(name):
|
||||
result=[]
|
||||
for line in (root/'evidence'/name).read_text().splitlines():
|
||||
try:result.append(json.loads(line))
|
||||
except ValueError:pass
|
||||
return result
|
||||
runs=next(r['runs'] for r in json_rows('lab4-final-reconciliation.txt') if r.get('experiment')=='scan_cost')
|
||||
memory=next(r for r in json_rows('lab4-final-upload-memory.txt') if r.get('result')=='PASS')
|
||||
fig,axes=plt.subplots(1,2,figsize=(11,4),layout='constrained')
|
||||
sizes=[10,100,1005]
|
||||
medians=[statistics.median(r['seconds'] for r in runs if r['objects']==n) for n in sizes]
|
||||
lows=[m-min(r['seconds'] for r in runs if r['objects']==n) for n,m in zip(sizes,medians)]
|
||||
highs=[max(r['seconds'] for r in runs if r['objects']==n)-m for n,m in zip(sizes,medians)]
|
||||
axes[0].bar([str(n) for n in sizes],medians,color='#3766a3',yerr=[lows,highs],capsize=5)
|
||||
axes[0].set(title='Metadata scan: median and range of 3 runs',xlabel='Objects',ylabel='Seconds')
|
||||
axes[0].grid(axis='y',alpha=.2)
|
||||
base=[r['baseline_bytes']/1024**2 for r in memory['memory']]
|
||||
peak=[r['sampled_peak_bytes']/1024**2 for r in memory['memory']]
|
||||
axes[1].bar([-.18,.82],base,width=.36,label='Baseline',color='#9bb8d9')
|
||||
axes[1].bar([.18,1.18],peak,width=.36,label='Sampled peak',color='#3766a3')
|
||||
axes[1].set(xticks=[0,1],xticklabels=['API 1','API 2'],ylabel='Cgroup memory, MiB',
|
||||
title='10 concurrent PNG uploads; 20 ms sampling',ylim=(0,max(peak)*1.3))
|
||||
axes[1].text(.02,.95,'Container limit: 512 MiB',transform=axes[1].transAxes,va='top')
|
||||
axes[1].legend(loc='upper right');axes[1].grid(axis='y',alpha=.2)
|
||||
output=root/'evidence/lab4-research';output.mkdir(exist_ok=True)
|
||||
fig.savefig(output/'results.png',dpi=180)
|
||||
fig.savefig(output/'results.svg')
|
||||
(output/'results.json').write_text(json.dumps({'scan_runs':runs,'upload_experiment':memory},ensure_ascii=False,indent=2)+'\n')
|
||||
print('Created evidence/lab4-research/results.png and results.json')
|
||||
@@ -0,0 +1,31 @@
|
||||
"""Управление только API-контейнерами текущего Compose-проекта."""
|
||||
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def docker(*args):
|
||||
return subprocess.check_output(["docker", *args], cwd=ROOT, text=True).strip()
|
||||
|
||||
|
||||
def compose(*args):
|
||||
return docker("compose", "--env-file", os.environ.get("ENV_FILE", ".env"), *args)
|
||||
|
||||
|
||||
def containers():
|
||||
return compose("ps", "--all", "-q", "api").split()
|
||||
|
||||
|
||||
def describe(container):
|
||||
# Никогда не выводим Config.Env: там credentials.
|
||||
return json.loads(docker("inspect", "--format", "{{json .State}}", container))
|
||||
|
||||
|
||||
def instance_id(container):
|
||||
code = "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2); print(r.headers['X-Instance-Id'])"
|
||||
return docker("exec", container, "python", "-c", code)
|
||||
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Полный restart работающих ролей; volumes не удаляются.
|
||||
docker compose --env-file "${ENV_FILE:-.env}" restart postgres redis minio
|
||||
docker compose --env-file "${ENV_FILE:-.env}" up -d --wait --force-recreate api
|
||||
docker compose --env-file "${ENV_FILE:-.env}" restart reconciler lb
|
||||
@@ -0,0 +1,26 @@
|
||||
"""Create local synthetic credentials without overwriting an existing .env."""
|
||||
import argparse
|
||||
import os
|
||||
import secrets
|
||||
from pathlib import Path
|
||||
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
parser=argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--output',type=Path,default=root/'.env')
|
||||
args=parser.parse_args()
|
||||
values={
|
||||
'POSTGRES_PASSWORD':secrets.token_hex(24),
|
||||
'ADMIN_PASSWORD':secrets.token_hex(24),
|
||||
'MINIO_ROOT_PASSWORD':secrets.token_hex(24),
|
||||
'S3_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||
'S3_RECONCILE_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||
}
|
||||
lines=(root/'student.env.example').read_text().splitlines()
|
||||
content='\n'.join(key+'='+values[key] if '=' in line and (key:=line.split('=',1)[0]) in values else line for line in lines)+'\n'
|
||||
try:
|
||||
descriptor=os.open(args.output,os.O_WRONLY|os.O_CREAT|os.O_EXCL,0o600)
|
||||
except FileExistsError:
|
||||
parser.exit(1,'Файл уже существует; его настройки и пароли сохранены.\n')
|
||||
with os.fdopen(descriptor,'w') as stream:
|
||||
stream.write(content)
|
||||
print('Создан файл локальных настроек с новыми паролями; значения не выводятся.')
|
||||
@@ -0,0 +1,34 @@
|
||||
"""Сопоставить X-Instance-Id реальному контейнеру и оставить его остановленным."""
|
||||
|
||||
import json
|
||||
import os
|
||||
import time
|
||||
|
||||
from replicas import containers, describe, docker, instance_id
|
||||
|
||||
target = os.environ["TARGET_INSTANCE_ID"]
|
||||
running = [c for c in containers() if describe(c)["Running"]]
|
||||
if len(running) < 2:
|
||||
raise SystemExit("Need at least two running API containers")
|
||||
for container in running:
|
||||
if instance_id(container) == target:
|
||||
before = describe(container)
|
||||
started = time.monotonic()
|
||||
docker("stop", "--time", "10", container)
|
||||
after = describe(container)
|
||||
assert not after["Running"]
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"container": container[:12],
|
||||
"instance_id": target,
|
||||
"started_at": before["StartedAt"],
|
||||
"finished_at": after["FinishedAt"],
|
||||
"stop_seconds": round(time.monotonic() - started, 3),
|
||||
"exit_code": after["ExitCode"],
|
||||
}
|
||||
)
|
||||
)
|
||||
break
|
||||
else:
|
||||
raise SystemExit("Requested instance not found in this Compose project")
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
exec "${PYTHON:-python3}" scripts/stop-one.py
|
||||
@@ -0,0 +1,92 @@
|
||||
"""Build the complete source snapshot and boot a separate stack with empty volumes.
|
||||
|
||||
The active project and its data are untouched. Credentials and source copies are
|
||||
kept in a temporary directory; only our UUID-named test project is removed.
|
||||
"""
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import secrets
|
||||
import shutil
|
||||
import socket
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
from tempfile import TemporaryDirectory
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
project='lab4-clean-'+secrets.token_hex(4)
|
||||
with socket.socket() as sock:
|
||||
sock.bind(('127.0.0.1',0));port=sock.getsockname()[1]
|
||||
inventory=subprocess.run(['git','ls-files','--cached','--others','--exclude-standard','-z'],cwd=ROOT,capture_output=True)
|
||||
if inventory.returncode==0:
|
||||
files=inventory.stdout.split(b'\0')
|
||||
else:
|
||||
manifest_path=ROOT/'SOURCE_MANIFEST.json'
|
||||
if not manifest_path.is_file():
|
||||
raise SystemExit('Нужен Git clone или архив с SOURCE_MANIFEST.json')
|
||||
files=[os.fsencode(name) for name in json.loads(manifest_path.read_text())['files']]
|
||||
proof={'project':project,'empty_volumes':True,'source':'complete working snapshot including new files',
|
||||
'build_cache':'API rebuilt with --no-cache; pinned MinIO build may use BuildKit cache'}
|
||||
with TemporaryDirectory(prefix='lab4-clean-') as temporary:
|
||||
source=Path(temporary)/'source';source.mkdir()
|
||||
manifest={}
|
||||
for raw in files:
|
||||
if not raw:continue
|
||||
relative=Path(os.fsdecode(raw))
|
||||
original=ROOT/relative
|
||||
if not original.is_file():continue
|
||||
target=source/relative;target.parent.mkdir(parents=True,exist_ok=True)
|
||||
shutil.copy2(original,target)
|
||||
if relative.parts[0] in ('src','migrations','infra') or str(relative) in ('Dockerfile','Dockerfile.dockerignore','requirements.txt','requirements-student.txt',
|
||||
'student.env.example','student.mk','compose.yaml','alembic.ini'):
|
||||
manifest[str(relative)]=hashlib.sha256(original.read_bytes()).hexdigest()
|
||||
subprocess.run([sys.executable,str(source/'scripts/setup-env.py')],cwd=source,check=True,capture_output=True)
|
||||
env_file=source/'.env'
|
||||
text=env_file.read_text().replace('APP_PORT=8080','APP_PORT='+str(port))
|
||||
env_file.write_text(text)
|
||||
environment={**os.environ,'COMPOSE_PROJECT_NAME':project,'ENV_FILE':str(env_file),
|
||||
'APP_PORT':str(port),'APP_IMAGE':'mtusi-messenger:'+project,
|
||||
'MINIO_IMAGE':'mtusi-minio:'+project}
|
||||
# A clean launch must not inherit deployment overrides from the current shell.
|
||||
for name in ('POSTGRES_PASSWORD','POSTGRES_USER','POSTGRES_DB','MINIO_ROOT_USER',
|
||||
'MINIO_ROOT_PASSWORD','S3_ACCESS_KEY_ID','S3_SECRET_ACCESS_KEY','S3_RECONCILE_ACCESS_KEY_ID',
|
||||
'S3_RECONCILE_SECRET_ACCESS_KEY','UPLOAD_CONCURRENCY','API_REPLICAS','API_MEMORY'):
|
||||
environment.pop(name,None)
|
||||
command=['docker','compose','--env-file',str(env_file)]
|
||||
def run(*args,timeout=300):
|
||||
return subprocess.run(args,cwd=source,env=environment,text=True,check=True,
|
||||
capture_output=True,timeout=timeout)
|
||||
def run_build(*args):
|
||||
started=time.perf_counter()
|
||||
result=run(*command,'build',*args,timeout=900)
|
||||
return {'seconds':round(time.perf_counter()-started,3),'exit_code':result.returncode}
|
||||
try:
|
||||
proof['api_build']=run_build('--no-cache','api')
|
||||
proof['minio_build']=run_build('minio')
|
||||
run(*command,'up','-d','--no-build','--wait',timeout=180)
|
||||
version=run(*command,'exec','-T','postgres','sh','-c',
|
||||
'exec psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -Atc "SELECT version_num FROM alembic_version"').stdout.strip()
|
||||
assert version=='008',version
|
||||
proof['schema_revision']=version
|
||||
proof['public_smoke']=run(sys.executable,'tests/smoke.py','--base-url',f'http://127.0.0.1:{port}').stdout.strip()
|
||||
proof['attachments']=run(sys.executable,'tests/attachments.py','--base-url',f'http://127.0.0.1:{port}').stdout.strip()
|
||||
proof['reconciler']=json.loads(run(*command,'exec','-T','reconciler','python','-m','src.maintenance.reconcile').stdout)
|
||||
assert proof['reconciler']['result']=='ok'
|
||||
rows=run(*command,'ps','--format','json').stdout
|
||||
proof['services']=[{'service':r['Service'],'state':r['State'],'health':r.get('Health','')}
|
||||
for r in (json.loads(line) for line in rows.splitlines() if line.strip())]
|
||||
proof['code_manifest']=manifest
|
||||
proof['result']='PASS'
|
||||
except subprocess.CalledProcessError as error:
|
||||
# Never dump compose config/environment; build/application outputs exclude credentials.
|
||||
print((error.stdout+error.stderr)[-4000:])
|
||||
raise
|
||||
finally:
|
||||
run(*command,'down','--volumes','--remove-orphans',timeout=90)
|
||||
proof['temporary_project_and_volumes_removed']=True
|
||||
run('docker','image','rm',environment['APP_IMAGE'],environment['MINIO_IMAGE'],timeout=60)
|
||||
proof['temporary_image_tags_removed']=True
|
||||
(ROOT/'evidence/lab4-clean-start.json').write_text(json.dumps(proof,ensure_ascii=False,indent=2)+'\n')
|
||||
print(json.dumps({k:v for k,v in proof.items() if k!='code_manifest'},ensure_ascii=False,indent=2))
|
||||
Executable
+8
@@ -0,0 +1,8 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Сохраняет обычный TTL и восстанавливает API даже при падении проверки.
|
||||
restore() { docker compose up -d --wait --force-recreate api; }
|
||||
trap restore EXIT
|
||||
SESSION_TTL_SECONDS=2 docker compose up -d --wait --force-recreate api
|
||||
"${PYTHON:-python3}" tests/expiry.py
|
||||
@@ -0,0 +1,46 @@
|
||||
"""Исходный persistence-сценарий плюс доказательство рестарта API и всех хранилищ."""
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def states():
|
||||
result = {}
|
||||
for service in ('api', 'postgres', 'redis', 'minio', 'reconciler', 'lb'):
|
||||
ids = subprocess.check_output(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, text=True).split()
|
||||
if not ids:
|
||||
raise RuntimeError('Не запущен сервис ' + service)
|
||||
result[service] = {}
|
||||
for container in ids:
|
||||
state = json.loads(subprocess.check_output(['docker', 'inspect', '--format', '{{json .State}}', container], cwd=ROOT, text=True))
|
||||
result[service][container] = {'StartedAt': state['StartedAt'], 'Pid': state['Pid']}
|
||||
return result
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--base-url', default='http://localhost:8080')
|
||||
parser.add_argument('--action-script', required=True)
|
||||
parser.add_argument('--ca-file')
|
||||
args = parser.parse_args()
|
||||
before = states()
|
||||
print('ДО: ' + json.dumps(before), flush=True)
|
||||
command = [sys.executable, str(ROOT / 'tests/resilience.py'), '--mode', 'persistence',
|
||||
'--action-script', args.action_script, '--base-url', args.base_url]
|
||||
if args.ca_file:
|
||||
command += ['--ca-file', args.ca_file]
|
||||
subprocess.run(command, cwd=ROOT, check=True)
|
||||
after = states()
|
||||
print('ПОСЛЕ: ' + json.dumps(after), flush=True)
|
||||
for service in before:
|
||||
if before[service] == after[service]:
|
||||
raise AssertionError('Сервис не перезапущен: ' + service)
|
||||
print('PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, reconciler и LB; прежний токен и данные сохранены')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Pass the DB address via environment, without printing it or placing it in argv.
|
||||
api_container_id=$(docker compose ps -q api | head -n 1)
|
||||
test_database_url=$(docker exec "$api_container_id" python -c 'import os; print(os.environ["DATABASE_URL"])')
|
||||
DATABASE_URL="$test_database_url" docker compose run --rm --no-deps -T -e DATABASE_URL s3-bootstrap python < tests/reconciliation.py
|
||||
Executable
+11
@@ -0,0 +1,11 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Temporary profile: 5 admitted uploads per replica, serialized image decoding.
|
||||
# Restore the ordinary project configuration even when the experiment fails.
|
||||
restore_upload_profile() {
|
||||
docker compose up -d --wait api >/dev/null 2>&1
|
||||
}
|
||||
trap restore_upload_profile EXIT INT TERM
|
||||
UPLOAD_CONCURRENCY=5 docker compose up -d --wait api >/dev/null 2>&1
|
||||
"${PYTHON:-python3}" tests/upload_memory.py
|
||||
@@ -0,0 +1,51 @@
|
||||
"""Sequential acceptance checks, reviewer cases, research and reproducible clean startup."""
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
from dotenv import dotenv_values
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
EVIDENCE=ROOT/'evidence'
|
||||
EVIDENCE.mkdir(exist_ok=True)
|
||||
python=sys.executable
|
||||
port=os.environ.get('APP_PORT') or dotenv_values(ROOT/'.env').get('APP_PORT') or '8080'
|
||||
base_url=os.environ.get('BASE_URL') or 'http://127.0.0.1:'+str(port)
|
||||
api=subprocess.check_output(['docker','compose','ps','-q','api'],cwd=ROOT,text=True).split()[0]
|
||||
checks=[
|
||||
('course-files',[python,'scripts/check-course-files.py'],None),
|
||||
('quality',[python,'-m','ruff','check','src'],None),
|
||||
('format',[python,'-m','ruff','format','--check','src'],None),
|
||||
('structure',[python,'scripts/check_contract.py'],None),
|
||||
('openapi',[python,'scripts/validate_openapi.py'],None),
|
||||
('request-deadline',['docker','exec','-i',api,'python'],'tests/request_deadline.py'),
|
||||
('readiness-budget',['docker','exec','-i',api,'python'],'tests/readiness.py'),
|
||||
('public-smoke',[python,'tests/smoke.py'],None),
|
||||
('attachments',[python,'tests/attachments.py'],None),
|
||||
('idempotency',[python,'tests/idempotency.py'],None),
|
||||
('reviewer-cases',[python,'tests/lab4_review.py'],None),
|
||||
('reconciliation',['scripts/test-reconciliation.sh'],None),
|
||||
('upload-memory',['scripts/test-upload-memory.sh'],None),
|
||||
('uploader-failover',[python,'tests/attachment_failover.py'],None),
|
||||
('persistence-proof',[python,'scripts/test-persistence.py','--action-script','scripts/restart.sh','--base-url',base_url],None),
|
||||
('clean-start',[python,'scripts/test-clean-lab4.py'],None),
|
||||
]
|
||||
summary=[]
|
||||
for name,command,input_file in checks:
|
||||
print('Проверка: '+name,flush=True)
|
||||
started=time.perf_counter()
|
||||
source=open(ROOT/input_file,'rb') if input_file else None
|
||||
try:
|
||||
with (EVIDENCE/('lab4-final-'+name+'.txt')).open('wb') as output:
|
||||
result=subprocess.run(command,cwd=ROOT,env={**os.environ,'PYTHON':python,'BASE_URL':base_url},stdin=source,
|
||||
stdout=output,stderr=subprocess.STDOUT,timeout=1000 if name=='clean-start' else 180)
|
||||
summary.append({'check':name,'exit_code':result.returncode,'seconds':round(time.perf_counter()-started,3),
|
||||
'evidence':'evidence/lab4-final-'+name+'.txt'})
|
||||
if result.returncode:
|
||||
raise RuntimeError('Не прошла проверка '+name+'; см. '+summary[-1]['evidence'])
|
||||
finally:
|
||||
if source:source.close()
|
||||
(EVIDENCE/'lab4-final-summary.json').write_text(json.dumps({'result':'PASS','checks':summary},ensure_ascii=False,indent=2)+'\n')
|
||||
print('PASS: все итоговые проверки лабораторной 4',flush=True)
|
||||
@@ -0,0 +1,13 @@
|
||||
import uvicorn
|
||||
|
||||
from src.core.settings import settings
|
||||
|
||||
if __name__ == "__main__":
|
||||
uvicorn.run(
|
||||
"src.main:app",
|
||||
host=settings.app_host,
|
||||
port=settings.app_port,
|
||||
workers=settings.app_workers,
|
||||
log_level=settings.log_level.lower(),
|
||||
timeout_graceful_shutdown=settings.shutdown_timeout_seconds,
|
||||
)
|
||||
@@ -0,0 +1,106 @@
|
||||
import base64
|
||||
import binascii
|
||||
import re
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import Depends, Request
|
||||
from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer
|
||||
from fastapi.security.http import HTTPBase, HTTPBasicCredentials
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.core.db.session import get_db_session
|
||||
from src.core.errors import ApiError
|
||||
from src.core.settings import settings
|
||||
from src.service.auth import AuthService
|
||||
from src.service.chat import ChatService
|
||||
from src.service.dto import UserDTO
|
||||
from src.service.exceptions import InvalidSessionException
|
||||
from src.service.message import MessageService
|
||||
from src.service.user import UserService
|
||||
|
||||
bearer_scheme = HTTPBearer(
|
||||
scheme_name="bearerAuth",
|
||||
description="Вставьте токен из ответа на вход, без префикса Bearer.",
|
||||
auto_error=False,
|
||||
)
|
||||
basic_scheme = HTTPBase(scheme="basic", scheme_name="basicAuth", auto_error=False)
|
||||
|
||||
|
||||
async def get_basic_credentials(
|
||||
request: Request,
|
||||
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(basic_scheme)],
|
||||
) -> HTTPBasicCredentials:
|
||||
if await request.body():
|
||||
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
|
||||
try:
|
||||
authorization = request.headers.getlist("authorization")
|
||||
if len(authorization) != 1 or len(authorization[0]) > settings.authorization_max_length:
|
||||
raise ValueError
|
||||
if credentials is None or credentials.scheme.lower() != "basic":
|
||||
raise ValueError
|
||||
decoded = base64.b64decode(credentials.credentials, validate=True).decode("utf-8")
|
||||
username, separator, password = decoded.partition(":")
|
||||
if (
|
||||
not separator
|
||||
or re.fullmatch(r"[a-z0-9_]{3,32}", username) is None
|
||||
or not 12 <= len(password) <= 128
|
||||
or not password.strip()
|
||||
):
|
||||
raise ValueError
|
||||
except (ValueError, UnicodeError, binascii.Error):
|
||||
raise ApiError(401, "unauthorized", "Неверный логин или пароль") from None
|
||||
return HTTPBasicCredentials(username=username, password=password)
|
||||
|
||||
|
||||
def get_user_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> UserService:
|
||||
return UserService(db_session=db_session)
|
||||
|
||||
|
||||
def get_chat_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> ChatService:
|
||||
return ChatService(db_session=db_session)
|
||||
|
||||
|
||||
def get_message_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> MessageService:
|
||||
return MessageService(db_session=db_session)
|
||||
|
||||
|
||||
def get_auth_service(
|
||||
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> AuthService:
|
||||
return AuthService(
|
||||
db_session=db_session,
|
||||
session_ttl_seconds=settings.session_ttl_seconds,
|
||||
)
|
||||
|
||||
|
||||
def get_bearer_token(
|
||||
request: Request,
|
||||
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(bearer_scheme)],
|
||||
) -> str:
|
||||
if credentials is None or len(request.headers.getlist("authorization")) != 1:
|
||||
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
|
||||
token = credentials.credentials
|
||||
if (
|
||||
credentials.scheme.lower() != "bearer"
|
||||
or not token
|
||||
or len(token) > 512
|
||||
or any(c.isspace() for c in token)
|
||||
):
|
||||
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
|
||||
return token
|
||||
|
||||
|
||||
async def get_current_user(
|
||||
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||
token: Annotated[str, Depends(get_bearer_token)],
|
||||
) -> UserDTO:
|
||||
try:
|
||||
return await auth.get_user(token=token)
|
||||
except InvalidSessionException as error:
|
||||
raise ApiError(401, "unauthorized", str(error)) from error
|
||||
@@ -0,0 +1,17 @@
|
||||
from fastapi import APIRouter
|
||||
|
||||
from src.api.v1.routers.attachments import router as attachments_router
|
||||
from src.api.v1.routers.auth.router import router as auth_router
|
||||
from src.api.v1.routers.chats.router import router as chats_router
|
||||
from src.api.v1.routers.messages.router import router as messages_router
|
||||
from src.api.v1.routers.users.router import router as users_router
|
||||
|
||||
router = APIRouter(prefix="/api/v1", tags=["Версия 1"])
|
||||
|
||||
router.include_router(users_router)
|
||||
router.include_router(chats_router)
|
||||
router.include_router(messages_router)
|
||||
|
||||
router.include_router(auth_router)
|
||||
|
||||
router.include_router(attachments_router)
|
||||
@@ -0,0 +1,118 @@
|
||||
from datetime import datetime
|
||||
from typing import Annotated, Literal
|
||||
from uuid import UUID
|
||||
|
||||
from anyio import to_thread
|
||||
from fastapi import APIRouter, Depends, Query, Request
|
||||
from fastapi.responses import StreamingResponse
|
||||
from pydantic import BaseModel, Field
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from src.api.dependencies import get_current_user
|
||||
from src.core.db.models import Attachment
|
||||
from src.core.db.session import get_db_session
|
||||
from src.core.errors import ApiError
|
||||
from src.core.settings import settings
|
||||
from src.core.storage import STORAGE_ERRORS, get_storage, unavailable
|
||||
from src.service.attachment import AttachmentService
|
||||
from src.service.dto import UserDTO
|
||||
|
||||
router = APIRouter(tags=["Вложения"])
|
||||
|
||||
|
||||
class AttachmentOut(BaseModel):
|
||||
id: UUID
|
||||
chat_id: UUID
|
||||
owner_id: UUID
|
||||
filename: str
|
||||
content_type: str
|
||||
size_bytes: int
|
||||
sha256: str
|
||||
status: Literal["ready"] = "ready"
|
||||
variants: list = Field(default_factory=list)
|
||||
error_code: None = None
|
||||
created_at: datetime
|
||||
updated_at: datetime
|
||||
|
||||
|
||||
def to_output(attachment: Attachment) -> AttachmentOut:
|
||||
return AttachmentOut.model_validate(attachment, from_attributes=True)
|
||||
|
||||
|
||||
def get_service(
|
||||
session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||
) -> AttachmentService:
|
||||
return AttachmentService(session)
|
||||
|
||||
|
||||
@router.post(
|
||||
"/chats/{chat_id}/attachments",
|
||||
status_code=201,
|
||||
openapi_extra={
|
||||
"requestBody": {
|
||||
"required": True,
|
||||
"content": {
|
||||
mime: {"schema": {"type": "string", "format": "binary"}}
|
||||
for mime in ("image/png", "image/jpeg")
|
||||
},
|
||||
}
|
||||
},
|
||||
)
|
||||
async def upload_attachment(
|
||||
chat_id: UUID,
|
||||
request: Request,
|
||||
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
service: Annotated[AttachmentService, Depends(get_service)],
|
||||
filename: Annotated[str, Query(min_length=1, max_length=255)],
|
||||
) -> AttachmentOut:
|
||||
if len(request.query_params.getlist("filename")) != 1:
|
||||
raise ApiError(400, "invalid_request", "Неоднозначное имя файла")
|
||||
return to_output(await service.upload(request, chat_id, user.id, filename))
|
||||
|
||||
|
||||
@router.get("/attachments/{attachment_id}")
|
||||
async def get_attachment(
|
||||
attachment_id: UUID,
|
||||
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
service: Annotated[AttachmentService, Depends(get_service)],
|
||||
) -> AttachmentOut:
|
||||
return to_output(await service.get(attachment_id, user.id))
|
||||
|
||||
|
||||
@router.get("/attachments/{attachment_id}/content")
|
||||
async def download_attachment(
|
||||
attachment_id: UUID,
|
||||
request: Request,
|
||||
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
service: Annotated[AttachmentService, Depends(get_service)],
|
||||
variant: str = "original",
|
||||
):
|
||||
attachment = await service.get(attachment_id, user.id)
|
||||
if len(request.query_params.getlist("variant")) > 1:
|
||||
raise ApiError(400, "invalid_request", "Неоднозначный вариант")
|
||||
if variant not in {"original", "thumbnail", "crop", "optimized"}:
|
||||
raise ApiError(400, "invalid_request", "Некорректный вариант")
|
||||
if variant != "original":
|
||||
raise ApiError(404, "not_found", "Вариант не найден")
|
||||
try:
|
||||
response = await to_thread.run_sync(
|
||||
lambda: get_storage().get_object(settings.s3_bucket, attachment.object_key)
|
||||
)
|
||||
except STORAGE_ERRORS as error:
|
||||
raise unavailable(error) from error
|
||||
|
||||
async def content():
|
||||
try:
|
||||
while chunk := await to_thread.run_sync(response.read, 64 * 1024):
|
||||
yield chunk
|
||||
finally:
|
||||
response.close()
|
||||
response.release_conn()
|
||||
|
||||
return StreamingResponse(
|
||||
content(),
|
||||
media_type=attachment.content_type,
|
||||
headers={
|
||||
"Content-Length": str(attachment.size_bytes),
|
||||
},
|
||||
)
|
||||
@@ -0,0 +1,31 @@
|
||||
import logging
|
||||
|
||||
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
|
||||
|
||||
from src.core.db.repo.auth import fetch_user_credentials
|
||||
from src.core.security import verify_password_async
|
||||
from src.core.settings import settings
|
||||
from src.service.user import UserService
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
async def create_admin(session_factory: async_sessionmaker[AsyncSession]) -> None:
|
||||
async with session_factory.begin() as session:
|
||||
admin = await UserService(db_session=session).create_admin(
|
||||
username=settings.admin_username,
|
||||
display_name=settings.admin_display_name,
|
||||
password=settings.admin_password.get_secret_value(),
|
||||
)
|
||||
if admin is None and settings.app_env == "production":
|
||||
credentials = await fetch_user_credentials(session, settings.admin_username)
|
||||
if credentials is None or not await verify_password_async(
|
||||
settings.admin_password.get_secret_value(), credentials.password_hash
|
||||
):
|
||||
raise RuntimeError(
|
||||
"Пароль существующего администратора не совпадает с настройкой production"
|
||||
)
|
||||
if admin is None:
|
||||
logger.info("Администратор уже существует")
|
||||
else:
|
||||
logger.info("Администратор создан: пользователь=%s", admin.id)
|
||||
@@ -0,0 +1,50 @@
|
||||
from dataclasses import asdict
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import APIRouter, Depends, Response
|
||||
from fastapi.security import HTTPBasicCredentials
|
||||
|
||||
from src.api.dependencies import (
|
||||
get_auth_service,
|
||||
get_basic_credentials,
|
||||
get_bearer_token,
|
||||
get_current_user,
|
||||
)
|
||||
from src.api.v1.routers.auth.schemas import SessionOut
|
||||
from src.api.v1.routers.users.schemas import UserOut
|
||||
from src.core.errors import ApiError
|
||||
from src.service.auth import AuthService
|
||||
from src.service.dto import UserDTO
|
||||
from src.service.exceptions import InvalidCredentialsException
|
||||
|
||||
router = APIRouter(prefix="/auth/sessions", tags=["Сессии"])
|
||||
|
||||
|
||||
@router.post("", status_code=201, response_model=SessionOut)
|
||||
async def login(
|
||||
credentials: Annotated[HTTPBasicCredentials, Depends(get_basic_credentials)],
|
||||
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||
) -> SessionOut:
|
||||
try:
|
||||
result = await auth.login(
|
||||
username=credentials.username,
|
||||
password=credentials.password,
|
||||
)
|
||||
except InvalidCredentialsException as error:
|
||||
raise ApiError(401, "unauthorized", str(error)) from error
|
||||
return SessionOut(
|
||||
token=result.token,
|
||||
token_type=result.token_type,
|
||||
expires_at=result.expires_at,
|
||||
user=UserOut(**asdict(result.user)),
|
||||
)
|
||||
|
||||
|
||||
@router.delete("/current", status_code=204)
|
||||
async def logout(
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
token: Annotated[str, Depends(get_bearer_token)],
|
||||
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||
) -> Response:
|
||||
await auth.logout(token=token)
|
||||
return Response(status_code=204)
|
||||
@@ -0,0 +1,13 @@
|
||||
from datetime import datetime
|
||||
from typing import Literal
|
||||
|
||||
from pydantic import BaseModel
|
||||
|
||||
from src.api.v1.routers.users.schemas import UserOut
|
||||
|
||||
|
||||
class SessionOut(BaseModel):
|
||||
token: str
|
||||
token_type: Literal["Bearer"]
|
||||
expires_at: datetime
|
||||
user: UserOut
|
||||
@@ -0,0 +1,86 @@
|
||||
from typing import Annotated
|
||||
from uuid import UUID
|
||||
|
||||
from fastapi import APIRouter, Depends, Query, status
|
||||
|
||||
from src.api.dependencies import get_chat_service, get_current_user
|
||||
from src.api.v1.routers.chats.schemas import ChatOut, CreateChatIn, GetChatOut
|
||||
from src.api.v1.schemas import PaginationQuery
|
||||
from src.core.errors import ApiError
|
||||
from src.core.pagination import decode_cursor, encode_cursor
|
||||
from src.service.chat import ChatService
|
||||
from src.service.dto import ChatDTO, UserDTO
|
||||
from src.service.exceptions import ChatNotFoundException, InvalidChatMembersException
|
||||
|
||||
router = APIRouter(prefix="/chats", tags=["Чаты"])
|
||||
|
||||
|
||||
def _to_chat_out(chat: ChatDTO) -> ChatOut:
|
||||
return ChatOut(
|
||||
id=chat.id,
|
||||
title=chat.title,
|
||||
member_ids=list(chat.member_ids),
|
||||
created_at=chat.created_at,
|
||||
)
|
||||
|
||||
|
||||
@router.post("", status_code=status.HTTP_201_CREATED)
|
||||
async def create_chat(
|
||||
chat_in: CreateChatIn,
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||
) -> ChatOut:
|
||||
try:
|
||||
chat = await chat_service.create_chat(
|
||||
title=chat_in.title,
|
||||
member_ids=chat_in.member_ids,
|
||||
current_user_id=current_user.id,
|
||||
)
|
||||
except InvalidChatMembersException as error:
|
||||
raise ApiError(400, "invalid_request", str(error)) from error
|
||||
return _to_chat_out(chat)
|
||||
|
||||
|
||||
@router.get("", status_code=status.HTTP_200_OK)
|
||||
async def get_chats(
|
||||
pagination: Annotated[PaginationQuery, Query()],
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||
) -> GetChatOut:
|
||||
after = None
|
||||
if pagination.cursor is not None:
|
||||
after = decode_cursor(
|
||||
pagination.cursor,
|
||||
expected_kind="chats",
|
||||
expected_owner_id=current_user.id,
|
||||
)
|
||||
chats = await chat_service.get_chats(
|
||||
current_user_id=current_user.id, limit=pagination.limit + 1, after=after
|
||||
)
|
||||
|
||||
page = chats[: pagination.limit]
|
||||
next_cursor = None
|
||||
if len(chats) > pagination.limit:
|
||||
last = page[-1]
|
||||
next_cursor = encode_cursor("chats", current_user.id, last.created_at, last.id)
|
||||
|
||||
return GetChatOut(
|
||||
items=[_to_chat_out(chat) for chat in page],
|
||||
next_cursor=next_cursor,
|
||||
)
|
||||
|
||||
|
||||
@router.get("/{chat_id}", summary="Получить доступный чат")
|
||||
async def get_chat(
|
||||
chat_id: UUID,
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||
) -> ChatOut:
|
||||
try:
|
||||
chat = await chat_service.get_chat(
|
||||
chat_id=chat_id,
|
||||
current_user_id=current_user.id,
|
||||
)
|
||||
except ChatNotFoundException as error:
|
||||
raise ApiError(404, "not_found", str(error)) from error
|
||||
return _to_chat_out(chat)
|
||||
@@ -0,0 +1,42 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
|
||||
class CreateChatIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
title: str = Field(min_length=1, max_length=100)
|
||||
member_ids: list[UUID] = Field(min_length=1, max_length=100)
|
||||
|
||||
@field_validator("title")
|
||||
@classmethod
|
||||
def title_must_not_be_blank(cls, value: str) -> str:
|
||||
value.encode("utf-8")
|
||||
if not value.strip():
|
||||
raise ValueError("title не может состоять только из пробелов")
|
||||
return value
|
||||
|
||||
@field_validator("member_ids")
|
||||
@classmethod
|
||||
def member_ids_must_be_unique(cls, value: list[UUID]) -> list[UUID]:
|
||||
if len(value) != len(set(value)):
|
||||
raise ValueError("member_ids не должен содержать дубликаты")
|
||||
return value
|
||||
|
||||
|
||||
class ChatOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: UUID
|
||||
title: str
|
||||
member_ids: list[UUID]
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class GetChatOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
items: list[ChatOut]
|
||||
next_cursor: str | None
|
||||
@@ -0,0 +1,96 @@
|
||||
import re
|
||||
from typing import Annotated
|
||||
from uuid import UUID
|
||||
|
||||
from fastapi import APIRouter, Depends, Header, Query, Request, status
|
||||
|
||||
from src.api.dependencies import get_current_user, get_message_service
|
||||
from src.api.v1.routers.messages.schemas import (
|
||||
CreateMessageIn,
|
||||
MessageOut,
|
||||
MessagePageOut,
|
||||
)
|
||||
from src.api.v1.schemas import PaginationQuery
|
||||
from src.core.errors import ApiError
|
||||
from src.core.pagination import decode_cursor, encode_cursor
|
||||
from src.service.dto import MessageDTO, UserDTO
|
||||
from src.service.exceptions import ChatNotFoundException, IdempotencyConflictException
|
||||
from src.service.message import MessageService
|
||||
|
||||
router = APIRouter(prefix="/chats", tags=["Сообщения"])
|
||||
|
||||
|
||||
def _to_message_out(message: MessageDTO) -> MessageOut:
|
||||
return MessageOut(
|
||||
id=message.id,
|
||||
chat_id=message.chat_id,
|
||||
sender_id=message.sender_id,
|
||||
text=message.text,
|
||||
attachment_ids=list(message.attachment_ids),
|
||||
created_at=message.created_at,
|
||||
)
|
||||
|
||||
|
||||
@router.post("/{chat_id}/messages", status_code=status.HTTP_201_CREATED)
|
||||
async def create_message(
|
||||
chat_id: UUID,
|
||||
message_in: CreateMessageIn,
|
||||
request: Request,
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
message_service: Annotated[MessageService, Depends(get_message_service)],
|
||||
idempotency_key: Annotated[str, Header()],
|
||||
) -> MessageOut:
|
||||
if (
|
||||
len(request.headers.getlist("idempotency-key")) != 1
|
||||
or re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", idempotency_key) is None
|
||||
):
|
||||
raise ApiError(400, "invalid_request", "Требуется корректный Idempotency-Key")
|
||||
try:
|
||||
message = await message_service.create_message(
|
||||
chat_id=chat_id,
|
||||
sender_id=current_user.id,
|
||||
text=message_in.text,
|
||||
attachment_ids=message_in.attachment_ids,
|
||||
idempotency_key=idempotency_key,
|
||||
)
|
||||
except ChatNotFoundException as error:
|
||||
raise ApiError(404, "not_found", str(error)) from error
|
||||
except IdempotencyConflictException as error:
|
||||
raise ApiError(409, "conflict", "Ключ уже использован для другого сообщения") from error
|
||||
return _to_message_out(message)
|
||||
|
||||
|
||||
@router.get("/{chat_id}/messages", status_code=status.HTTP_200_OK)
|
||||
async def get_messages(
|
||||
chat_id: UUID,
|
||||
pagination: Annotated[PaginationQuery, Query()],
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
message_service: Annotated[MessageService, Depends(get_message_service)],
|
||||
) -> MessagePageOut:
|
||||
after = None
|
||||
if pagination.cursor is not None:
|
||||
after = decode_cursor(
|
||||
pagination.cursor,
|
||||
expected_kind="messages",
|
||||
expected_owner_id=chat_id,
|
||||
)
|
||||
try:
|
||||
messages = await message_service.get_messages(
|
||||
chat_id=chat_id,
|
||||
current_user_id=current_user.id,
|
||||
limit=pagination.limit + 1,
|
||||
after=after,
|
||||
)
|
||||
except ChatNotFoundException as error:
|
||||
raise ApiError(404, "not_found", str(error)) from error
|
||||
|
||||
page = messages[: pagination.limit]
|
||||
next_cursor = None
|
||||
if len(messages) > pagination.limit:
|
||||
last = page[-1]
|
||||
next_cursor = encode_cursor("messages", chat_id, last.created_at, last.id)
|
||||
|
||||
return MessagePageOut(
|
||||
items=[_to_message_out(message) for message in page],
|
||||
next_cursor=next_cursor,
|
||||
)
|
||||
@@ -0,0 +1,43 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator, model_validator
|
||||
|
||||
|
||||
class CreateMessageIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
text: str = Field(max_length=4000)
|
||||
attachment_ids: list[UUID] = Field(default_factory=list, max_length=10)
|
||||
|
||||
@field_validator("text")
|
||||
@classmethod
|
||||
def text_must_not_be_blank(cls, value: str) -> str:
|
||||
value.encode("utf-8")
|
||||
return value
|
||||
|
||||
@model_validator(mode="after")
|
||||
def validate_message(self):
|
||||
if not self.text.strip() and not self.attachment_ids:
|
||||
raise ValueError("Требуется текст или вложение")
|
||||
if len(set(self.attachment_ids)) != len(self.attachment_ids):
|
||||
raise ValueError("Вложения не должны повторяться")
|
||||
return self
|
||||
|
||||
|
||||
class MessageOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: UUID
|
||||
chat_id: UUID
|
||||
sender_id: UUID
|
||||
text: str
|
||||
attachment_ids: list[UUID]
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class MessagePageOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
items: list[MessageOut]
|
||||
next_cursor: str | None
|
||||
@@ -0,0 +1,44 @@
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import APIRouter, Depends, status
|
||||
|
||||
from src.api.dependencies import get_current_user, get_user_service
|
||||
from src.api.v1.routers.users.schemas import CreateUserIn, UserOut
|
||||
from src.core.errors import ApiError
|
||||
from src.service.dto import UserDTO
|
||||
from src.service.exceptions import UserAlreadyExistsException
|
||||
from src.service.user import UserService
|
||||
|
||||
router = APIRouter(prefix="/users", tags=["Пользователи"])
|
||||
|
||||
|
||||
def _to_user_out(user: UserDTO) -> UserOut:
|
||||
return UserOut(
|
||||
id=user.id,
|
||||
username=user.username,
|
||||
display_name=user.display_name,
|
||||
created_at=user.created_at,
|
||||
)
|
||||
|
||||
|
||||
@router.post("", status_code=status.HTTP_201_CREATED)
|
||||
async def create_user(
|
||||
user_in: CreateUserIn,
|
||||
user_service: Annotated[UserService, Depends(get_user_service)],
|
||||
) -> UserOut:
|
||||
try:
|
||||
user = await user_service.create_user(
|
||||
password=user_in.password,
|
||||
username=user_in.username,
|
||||
display_name=user_in.display_name,
|
||||
)
|
||||
except UserAlreadyExistsException as error:
|
||||
raise ApiError(409, "conflict", str(error)) from error
|
||||
return _to_user_out(user)
|
||||
|
||||
|
||||
@router.get("/me", status_code=status.HTTP_200_OK)
|
||||
async def get_me(
|
||||
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||
) -> UserOut:
|
||||
return _to_user_out(current_user)
|
||||
@@ -0,0 +1,29 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
|
||||
class CreateUserIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
|
||||
password: str = Field(min_length=12, max_length=128)
|
||||
display_name: str = Field(min_length=1, max_length=100)
|
||||
|
||||
@field_validator("display_name", "password")
|
||||
@classmethod
|
||||
def required_string_must_not_be_blank(cls, value: str) -> str:
|
||||
value.encode("utf-8")
|
||||
if not value.strip():
|
||||
raise ValueError("Обязательная строка не может состоять только из пробелов")
|
||||
return value
|
||||
|
||||
|
||||
class UserOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: UUID
|
||||
username: str
|
||||
display_name: str
|
||||
created_at: datetime
|
||||
@@ -0,0 +1,21 @@
|
||||
import re
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
from src.core.settings import settings
|
||||
|
||||
|
||||
class PaginationQuery(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
limit: int = Field(default=50, ge=1, le=100)
|
||||
cursor: str | None = Field(default=None, min_length=1, max_length=settings.cursor_max_length)
|
||||
|
||||
@field_validator("limit", mode="before")
|
||||
@classmethod
|
||||
def limit_must_be_integer(cls, value):
|
||||
if isinstance(value, bool) or isinstance(value, float):
|
||||
raise ValueError("limit должен быть целым числом")
|
||||
if isinstance(value, str) and re.fullmatch(r"[0-9]+", value) is None:
|
||||
raise ValueError("limit должен содержать десятичные цифры")
|
||||
return value
|
||||
@@ -0,0 +1,68 @@
|
||||
"""Клиент Redis и необязательный кэш профилей пользователей."""
|
||||
|
||||
import logging
|
||||
|
||||
from redis.asyncio import Redis
|
||||
from redis.exceptions import RedisError
|
||||
|
||||
from src.core.settings import settings
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
cache: Redis | None = None
|
||||
|
||||
|
||||
def open_cache():
|
||||
global cache
|
||||
cache = Redis.from_url(
|
||||
settings.redis_url.get_secret_value(),
|
||||
decode_responses=True,
|
||||
max_connections=settings.redis_max_connections,
|
||||
socket_connect_timeout=settings.redis_connect_timeout_seconds,
|
||||
socket_timeout=settings.redis_read_timeout_seconds,
|
||||
retry_on_timeout=settings.redis_retry_on_timeout,
|
||||
)
|
||||
|
||||
|
||||
async def close_cache():
|
||||
global cache
|
||||
if cache is not None:
|
||||
await cache.aclose()
|
||||
cache = None
|
||||
|
||||
|
||||
async def get(key: str) -> str | None:
|
||||
if cache is None:
|
||||
return None
|
||||
try:
|
||||
return await cache.get(key)
|
||||
except UnicodeError:
|
||||
logger.warning("Повреждённый UTF-8 в кэше профиля; читаем PostgreSQL")
|
||||
await delete(key)
|
||||
return None
|
||||
except (RedisError, OSError):
|
||||
logger.warning("Redis недоступен; читаем профиль из PostgreSQL")
|
||||
return None
|
||||
|
||||
|
||||
async def set(key: str, value: str):
|
||||
if cache is None:
|
||||
return
|
||||
try:
|
||||
await cache.set(key, value, ex=settings.profile_cache_ttl_seconds)
|
||||
except (RedisError, OSError):
|
||||
logger.warning("Redis недоступен; пропускаем запись кэша")
|
||||
|
||||
|
||||
async def delete(key: str) -> None:
|
||||
if cache is None:
|
||||
return
|
||||
try:
|
||||
await cache.delete(key)
|
||||
except (RedisError, OSError):
|
||||
logger.warning("Redis недоступен; пропускаем удаление кэша профиля")
|
||||
|
||||
|
||||
def get_client() -> Redis:
|
||||
if cache is None:
|
||||
raise RedisError("Клиент Redis не настроен")
|
||||
return cache
|
||||
@@ -0,0 +1,24 @@
|
||||
from collections.abc import AsyncIterator
|
||||
from contextlib import asynccontextmanager
|
||||
|
||||
from fastapi import FastAPI
|
||||
|
||||
from src.api.v1.routers.auth.callback import create_admin
|
||||
from src.core import readiness
|
||||
from src.core.db import session as database
|
||||
|
||||
STARTUP_CALLBACKS = (create_admin,)
|
||||
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(app: FastAPI) -> AsyncIterator[None]:
|
||||
async with database.database_lifespan(app):
|
||||
session_factory = database.session_factory
|
||||
if session_factory is None:
|
||||
raise RuntimeError("Фабрика сессий не запущена")
|
||||
for callback in STARTUP_CALLBACKS:
|
||||
await callback(session_factory)
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
await readiness.close()
|
||||
@@ -0,0 +1,160 @@
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
|
||||
from sqlalchemy import (
|
||||
BigInteger,
|
||||
Boolean,
|
||||
CheckConstraint,
|
||||
DateTime,
|
||||
ForeignKey,
|
||||
ForeignKeyConstraint,
|
||||
Index,
|
||||
Integer,
|
||||
String,
|
||||
Text,
|
||||
UniqueConstraint,
|
||||
false,
|
||||
)
|
||||
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column, relationship
|
||||
|
||||
from src.core.db.types import Utf8Text
|
||||
|
||||
|
||||
class Base(DeclarativeBase):
|
||||
pass
|
||||
|
||||
|
||||
class User(Base):
|
||||
__tablename__ = "users"
|
||||
__table_args__ = (
|
||||
CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
|
||||
CheckConstraint(
|
||||
"octet_length(display_name) BETWEEN 1 AND 400", name="users_display_name_bytes_check"
|
||||
),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
username: Mapped[str] = mapped_column(String(32), unique=True)
|
||||
display_name: Mapped[str] = mapped_column(Utf8Text())
|
||||
password_hash: Mapped[str] = mapped_column(Text)
|
||||
is_admin: Mapped[bool] = mapped_column(Boolean, default=False, server_default=false())
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class Chat(Base):
|
||||
__tablename__ = "chats"
|
||||
__table_args__ = (
|
||||
CheckConstraint("octet_length(title) BETWEEN 1 AND 400", name="chats_title_bytes_check"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
title: Mapped[str] = mapped_column(Utf8Text())
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
members: Mapped[list["ChatMember"]] = relationship(order_by="ChatMember.user_id")
|
||||
|
||||
|
||||
class ChatMember(Base):
|
||||
__tablename__ = "chat_members"
|
||||
__table_args__ = (Index("chat_members_user_idx", "user_id", "chat_id"),)
|
||||
|
||||
chat_id: Mapped[UUID] = mapped_column(
|
||||
ForeignKey("chats.id", ondelete="CASCADE"), primary_key=True
|
||||
)
|
||||
user_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"), primary_key=True)
|
||||
|
||||
|
||||
class Message(Base):
|
||||
__tablename__ = "messages"
|
||||
__table_args__ = (
|
||||
ForeignKeyConstraint(
|
||||
["chat_id", "sender_id"], ["chat_members.chat_id", "chat_members.user_id"]
|
||||
),
|
||||
CheckConstraint("octet_length(text) BETWEEN 0 AND 16000", name="messages_text_bytes_check"),
|
||||
UniqueConstraint("chat_id", "id"),
|
||||
Index("messages_history_idx", "chat_id", "created_at", "id"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"))
|
||||
sender_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"))
|
||||
attachments: Mapped[list["MessageAttachment"]] = relationship(
|
||||
lazy="selectin", order_by="MessageAttachment.position"
|
||||
)
|
||||
text: Mapped[str] = mapped_column(Utf8Text())
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class MessageRequest(Base):
|
||||
# Таблица обслуживает только POST /chats/{chat_id}/messages: метод и путь
|
||||
# однозначно заданы таблицей и chat_id. Общая область ключа: sender/chat/key.
|
||||
__tablename__ = "message_requests"
|
||||
|
||||
sender_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"), primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"), primary_key=True)
|
||||
key: Mapped[str] = mapped_column(String(128), primary_key=True)
|
||||
request_text: Mapped[str] = mapped_column(Utf8Text())
|
||||
request_attachment_ids: Mapped[str] = mapped_column(Text, default="", server_default="")
|
||||
message_id: Mapped[UUID | None] = mapped_column(ForeignKey("messages.id"))
|
||||
expires_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class Attachment(Base):
|
||||
__tablename__ = "attachments"
|
||||
__table_args__ = (
|
||||
UniqueConstraint("chat_id", "id"),
|
||||
CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
|
||||
CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
|
||||
Index("attachments_chat_idx", "chat_id"),
|
||||
)
|
||||
|
||||
id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column(ForeignKey("chats.id"))
|
||||
owner_id: Mapped[UUID] = mapped_column(ForeignKey("users.id"))
|
||||
filename: Mapped[str] = mapped_column(String(255))
|
||||
object_key: Mapped[str] = mapped_column(Text, unique=True)
|
||||
content_type: Mapped[str] = mapped_column(String(32))
|
||||
size_bytes: Mapped[int] = mapped_column(BigInteger)
|
||||
sha256: Mapped[str] = mapped_column(String(64))
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
storage_missing_since: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class MessageAttachment(Base):
|
||||
__tablename__ = "message_attachments"
|
||||
__table_args__ = (
|
||||
ForeignKeyConstraint(
|
||||
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
|
||||
),
|
||||
ForeignKeyConstraint(
|
||||
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
|
||||
),
|
||||
UniqueConstraint("message_id", "position"),
|
||||
CheckConstraint("position BETWEEN 0 AND 9"),
|
||||
)
|
||||
|
||||
message_id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
attachment_id: Mapped[UUID] = mapped_column(primary_key=True)
|
||||
chat_id: Mapped[UUID] = mapped_column()
|
||||
position: Mapped[int] = mapped_column(Integer)
|
||||
|
||||
|
||||
class UploadIntent(Base):
|
||||
__tablename__ = "upload_intents"
|
||||
__table_args__ = (CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),)
|
||||
|
||||
object_key: Mapped[str] = mapped_column(Text, primary_key=True)
|
||||
state: Mapped[str] = mapped_column(String(16))
|
||||
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
|
||||
|
||||
class StorageFinding(Base):
|
||||
__tablename__ = "storage_findings"
|
||||
__table_args__ = (CheckConstraint("kind IN ('orphan', 'missing')"),)
|
||||
|
||||
object_key: Mapped[str] = mapped_column(Text, primary_key=True)
|
||||
kind: Mapped[str] = mapped_column(String(16), primary_key=True)
|
||||
fingerprint: Mapped[str | None] = mapped_column(Text)
|
||||
first_seen: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
last_seen: Mapped[datetime] = mapped_column(DateTime(timezone=True))
|
||||
resolved_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user