2 Commits
67 changed files with 5060 additions and 21 deletions
+20
View File
@@ -18,3 +18,23 @@ __pycache__
node_modules
evidence
.DS_Store
# В образ копируются только requirements.txt, migrations/ и src/.
**/__pycache__
**/*.pyc
contracts
examples
scripts
tests
student-tests
infra
*.md
Makefile
lab.json
requirements-dev.txt
requirements.in
compose*.yaml
.gitignore
.gitattributes
.vscode
.idea
*.log
+2 -2
View File
@@ -7,11 +7,11 @@ SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
SESSION_STORE=valkey
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_ENDPOINT=http://s3:8333
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
+87
View File
@@ -0,0 +1,87 @@
# Шпаргалка для защиты — лабораторная 4
Рабочая папка — корень clone `mtusi2026lab4`. Нужны Docker Desktop с Compose и Python 3.9+ для публичных тестов. Скрипт эксперимента использует Python 3.9+; для `random.randbytes` нужна версия не ниже 3.9.
## Подготовка и запуск
```sh
python scripts/init_secrets.py
cp .env.example .env # PowerShell: Copy-Item .env.example .env
docker compose config --quiet
docker compose up -d --build --wait
docker compose ps -a
```
API: <http://127.0.0.1:8080/health/ready>. HAProxy: <http://127.0.0.1:8404>.
В Windows у Python добавляйте `-X utf8`, чтобы публичные скрипты читали контракт в UTF-8.
## Публичный сценарий и собственные тесты
```sh
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m unittest discover -s student-tests -v
```
Smoke создаёт Алису, Боба и постороннего пользователя, загружает PNG, отправляет сообщение с вложением, скачивает оригинал как Боб и сравнивает SHA-256. Посторонний получает 404.
## Проверки уровня 4
```sh
python -X utf8 scripts/lab4_checks.py --only stack private
python -X utf8 scripts/lab4_checks.py --only failover
python -X utf8 scripts/lab4_checks.py --only outage
python -X utf8 scripts/lab4_checks.py --only memory
python -X utf8 scripts/lab4_checks.py --only compensation
```
- `private`: прямой анонимный GET S3 возвращает 403; API credentials не могут создать bucket.
- `failover`: определяет реплику **по ответу upload**, останавливает её, скачивает через другую, сравнивает байты; возвращает реплику в `finally`.
- `outage`: останавливает SeaweedFS, ожидает ограниченный 503, запускает обратно и скачивает тем же токеном.
- `memory`: десять одновременных загрузок PNG 1024×1024; выводит время, задержки и `memory.peak` cgroup каждой реплики, включая decoder и tmpfs.
- `compensation`: временный DB trigger ломает INSERT после успешного S3 PUT; затем проверяется rollback, запуск dry-run очистки и прерывание загрузки клиентом. Trigger удаляется в `finally`.
## Перезапуск всего стенда
Отдельная регрессия замечания к приостановленной PostgreSQL:
```sh
python -X utf8 scripts/check_postgres_pause.py --output evidence/postgres-pause.txt
```
Скрипт сам выполняет pause/unpause: проверяет прямой 503 с каждой реплики, живость API, замену закрытых соединений и восстановление чтения/записи. Также отдельно приостанавливает БД во время запроса, COMMIT и ROLLBACK. PostgreSQL возобновляется в `finally`; API не перезапускаются.
```sh
# Windows
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
docker compose up -d --wait
# Linux / Git Bash: использовать restart.sh и stop-one.sh; в Linux предварительно chmod +x scripts/*.sh
```
Публичный persistence проверяет старый токен, сообщение, метаданные и оригинал после перезапуска API, PostgreSQL, Valkey, S3 и HAProxy.
## Очистка orphan-объектов
```sh
docker compose --profile tools run --rm cleanup # просмотр, ничего не удаляет
docker compose --profile tools run --rm cleanup --apply # только неучтённые объекты старше часа
```
Для регулярной очистки оператор запускает вторую команду раз в час планировщиком ОС. Ключи создаёт сервер; filename не участвует в S3 key. Блокировка в PostgreSQL защищает границу PUT/COMMIT от гонки со сборщиком. Ошибка доступа к БД прерывает очистку.
## Остановка
```sh
docker compose stop # безопасно, данные сохраняются
docker compose down # удалить контейнеры, volumes сохраняются
docker compose down -v # намеренно удалить ВСЕ учебные данные lab4
```
## Короткие ответы на вопросы
- Локальный файл реплики исчезнет вместе с контейнером и недоступен второй реплике. S3 общий и сохраняет данные в отдельном volume.
- 201 возвращается после PUT оригинала и COMMIT метаданных. После 201 другая реплика читает те же данные.
- Если PUT прошёл, а COMMIT нет, остаётся orphan. Сборщик удаляет его только после grace period и повторной проверки БД под блокировкой.
- Случайный ключ не является авторизацией. API проверяет членство в чате перед метаданными, скачиванием и загрузкой.
+41
View File
@@ -0,0 +1,41 @@
# Базовый образ закреплён и тегом версии, и digest: тег читается человеком,
# digest гарантирует те же самые слои при повторной сборке.
FROM python:3.14.7-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
# PYTHONUNBUFFERED: логи сразу попадают в docker logs, а не ждут в буфере.
ENV PYTHONUNBUFFERED=1 \
PYTHONDONTWRITEBYTECODE=1 \
PIP_DISABLE_PIP_VERSION_CHECK=1 \
APP_HOST=0.0.0.0 \
APP_PORT=8080
# Непривилегированный пользователь без домашнего каталога и без shell.
RUN groupadd --gid 10001 app \
&& useradd --uid 10001 --gid app --no-create-home --shell /usr/sbin/nologin app
WORKDIR /app
# Сначала только lock-файл: слой с пакетами пересобирается лишь при изменении зависимостей.
# --require-hashes: pip ставит ровно те файлы, хеши которых записаны в requirements.txt.
# --only-binary: только готовые wheel, без компиляции во время сборки.
COPY requirements.txt ./
RUN pip install --no-cache-dir --require-hashes --only-binary=:all: --root-user-action=ignore -r requirements.txt
# Python не компилируется в отдельный бинарник, поэтому сборка одноэтапная.
# Файлы принадлежат root: процесс приложения может их читать, но не менять.
COPY migrations/ ./migrations/
COPY src/ ./
# Версия сборки попадает в лог старта: по ней видно, какие реплики уже обновлены.
ARG APP_VERSION=dev
ENV APP_VERSION=${APP_VERSION}
USER app
EXPOSE 8080
# Во время start-period Docker проверяет каждую секунду: новая реплика быстрее становится healthy.
HEALTHCHECK --interval=10s --timeout=3s --start-period=10s --start-interval=1s --retries=3 \
CMD ["python", "-m", "messenger.healthcheck"]
# exec-форма: python — процесс PID 1 и сам получает SIGTERM от docker stop.
CMD ["python", "-m", "messenger"]
+26 -1
View File
@@ -1,5 +1,5 @@
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
BASE_URL ?= http://127.0.0.1:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
@@ -28,3 +28,28 @@ test-persistence:
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
secrets:
$(PYTHON) scripts/init_secrets.py
up: secrets
docker compose up -d --build --wait
student-test:
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -v
checks:
$(PYTHON) scripts/lab4_checks.py --base-url "$(BASE_URL)"
cleanup:
docker compose --profile tools run --rm cleanup
race:
BASE_URL="$(BASE_URL)" $(PYTHON) student-tests/race.py
verify:
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/verify.py
.PHONY: test-postgres-pause
test-postgres-pause:
$(PYTHON) scripts/check_postgres_pause.py --base-url "$(BASE_URL)"
+169 -18
View File
@@ -1,37 +1,188 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Черников Дмитрий, БВТ2304.
- Целевая оценка: 4; исследовательский трек 5 не заявлен.
- Commit/PR: заполняется после публикации.
- Основа — собственная лабораторная 3. При разработке lab4 использовался Codex (OpenAI).
- Библиотеки: psycopg 3.3.6, psycopg-pool 3.3.3, Valkey client 6.1.1, argon2-cffi 25.1.0, boto3 1.43.123, Pillow 13.0.0. Транзитивные зависимости и хеши закреплены в `requirements.txt`.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Требуются Docker с Compose v2 и Python 3.9+ для тестов. Команды выполняются из корня clone `mtusi2026lab4`. UI не требуется.
| Компонент | Образ | Хранилище | Доступ |
| --- | --- | --- | --- |
| API × 2 | Python 3.14.7, собственный `mtusi-messenger:lab4` | постоянных файлов нет | только HAProxy |
| HAProxy | 3.4.5-trixie | нет | 127.0.0.1:8080; статистика 127.0.0.1:8404 |
| PostgreSQL | 18.6-trixie | `pgdata` | только Compose |
| Valkey | 9.0.6-trixie | `valkeydata`, AOF | только Compose |
| SeaweedFS | 3.85 | `s3data`: master, volume и индекс filer | только Compose; S3 :8333 |
| migrate, bucket | образ приложения | одноразовые операции | портов нет |
| cleanup | образ приложения, профиль tools | запуск оператором | портов нет |
Образы закреплены версиями и digest в Dockerfile/Compose, включая SeaweedFS 3.85 (`sha256:493129…`). Все зависимости поднимаются из этого репозитория.
```sh
python scripts/init_secrets.py
cp .env.example .env # PowerShell: Copy-Item .env.example .env
docker compose config --quiet
docker compose up -d --build --wait
docker compose ps -a
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m unittest discover -s student-tests -v
python -X utf8 scripts/lab4_checks.py
```
В Linux можно использовать `python3`. В Windows `-X utf8` нужен для чтения контракта публичными скриптами. Адрес 127.0.0.1 исключает задержки при попытках IPv6. Краткий сценарий защиты — [DEMO.md](DEMO.md).
`init_secrets.py` создаёт случайные пароли только при отсутствии файлов; значения не печатаются. `secrets/` и `.env` исключены из Git и Docker build context. При сохранённом PostgreSQL volume нужно сохранять исходные секреты.
`migrate` применяет SQL-миграции до запуска API. `bucket` ожидает S3 и идемпотентно создаёт приватный bucket административным ключом. Повторный `docker compose run --rm bucket` безопасен.
Остановка: `docker compose stop` либо `docker compose down` сохраняют volumes. **`docker compose down -v` намеренно удаляет все учебные данные lab4.**
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```text
Клиент -> HAProxy -> API x2 -> PostgreSQL: пользователи, чаты, сообщения, attachment metadata
-> Valkey: долговечные сессии с TTL
-> приватный SeaweedFS S3: оригиналы изображений
```
Из lab3 перенесены аутентификация, Argon2id, общие сессии, keyset pagination, транзакционная идемпотентность сообщений, readiness и плавная остановка API. Публичный контракт и публичные тесты сохранены.
Миграция `0004_attachments.sql` добавляет метаданные, связь сообщения с файлами и `attachment_ids`. Внешние ключи защищают принадлежность вложения чату; API проверяет список до INSERT. `attachment_ids=[]` и отсутствие поля имеют одинаковый fingerprint. Порядок IDs сохраняется; перестановка списка считается другим телом. Подтверждённые сообщения читаются любой репликой из PostgreSQL. Строка чата блокируется на запись, время следующего сообщения строго больше предыдущего.
Оригинал находится в S3. Ключ `originals/<случайный UUID>` создаёт сервер; filename используется лишь в метаданных. Метаданные и content доступны после проверки Bearer-сессии и членства в чате; постороннему возвращается 404. API не выдаёт object key, внутренний URL или redirect в S3.
Upload требует один Content-Length, Transfer-Encoding не поддерживается. Размер проверяется до чтения; тело принимается блоками до 64 KiB во временный `/tmp`. На реплику допускается один decoder, ожидание слота ограничено 8 с. Чтение ограничено общим сроком 10 с; процесс Pillow — 8 с. До распаковки проверяется предел 40 миллионов пикселей. Выполняются `verify()` и полное `load()`, тип из содержимого сверяется с MIME. Отдельный процесс освобождает память декодера после завершения.
У API лимит 512 MiB, `/tmp` — tmpfs 32 MiB. Временный оригинал удаляется после запроса; устойчивый экземпляр хранится в S3. Download читает S3 блоками по 64 KiB.
У boto3 connect timeout 1 с, read timeout 3 с, одна попытка. Пользовательские ошибки дают 400/413/415, отказ хранилища — 503. Readiness зависит от PostgreSQL, Valkey и S3: все нужны обязательному синхронному пути.
PostgreSQL: `connect_timeout=3` ограничивает подключение, таймаут пула 3 с — получение соединения. Дополнительно `BoundedConnection.wait()` ограничивает каждое сетевое ожидание psycopg **3 секундами на стороне API**, включая проверку соединения пулом, запрос, COMMIT и ROLLBACK. Серверные statement/lock/idle timeout остаются дополнительной защитой и не заменяют клиентский предел: при `docker pause postgres` таймер внутри БД тоже остановлен. На клиентском таймауте соединение закрывается в том же потоке и отбрасывается пулом; ожидания сетевого CANCEL/ROLLBACK или незавершённых фоновых запросов в API нет. Ошибка преобразуется в обычный JSON 503. После unpause пул создаёт рабочие соединения без перезапуска API.
## Приватность и конфигурация
В `secrets/s3_config` две identity, анонимной identity нет. Bootstrap/cleanup имеют административный ключ; API получает только Read, Write, List для `messenger-attachments`. API не может создать bucket или читать другой bucket. В SeaweedFS 3.85 Write допускает также удаление объектов; отдельное ограничение Delete не заявляется. Приложение не предоставляет endpoint удаления.
S3 и административные порты не опубликованы на хосте. Внутренняя сеть Compose считается доверенной учебной сетью. Прямая проверка анонимного GET выполняется из контейнера API, независимо от недоступности S3 с хоста.
`S3_ENDPOINT=http://s3:8333`, `S3_REGION=us-east-1`, `S3_BUCKET=messenger-attachments` соответствуют Compose. `.env` настраивает TTL, число реплик и лимиты изображения; параметры хранилищ задаёт Compose. При изменении bucket нужно согласованно изменить scope identity в `init_secrets.py`. `SESSION_STORE=valkey` в примере описательный: реализация использует Valkey напрямую.
## Согласованность S3 и БД
Порядок: приём и проверка -> PostgreSQL transaction/advisory lock по object key -> S3 PUT -> INSERT -> COMMIT -> HTTP 201 ready. Сообщение с вложением создаётся отдельной транзакцией. Доступное вложение можно использовать в нескольких сообщениях того же чата.
Если PUT не удался, метаданные не фиксируются. Если PUT прошёл, а INSERT/COMMIT нет, 201 не возвращается; возможен orphan в S3. При неопределённом COMMIT немедленно удалять объект опасно: транзакция могла зафиксироваться.
Сборщик перечисляет `originals/`, игнорирует объекты моложе часа, для каждого старого объекта берёт ту же advisory lock, повторно проверяет отсутствие метаданных и лишь затем удаляет. Upload держит lock от PUT до COMMIT; сборщик не удалит объект на этой границе. Повторные запуски безопасны. Отказ БД/S3 прерывает обход. Любые метаданные защищают файл независимо от наличия сообщения.
```sh
docker compose --profile tools run --rm cleanup # dry-run
docker compose --profile tools run --rm cleanup --apply # только старые orphan
```
**Действие оператора:** запускать `cleanup --apply` раз в час планировщиком ОС и сохранять summary. Без этого orphan автоматически не исчезают. Grace нельзя уменьшить ниже 3600 с. Обнаружение missing объектов и полноценный reconciler уровня 5 не заявлены.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Результаты в этой таблице не заменяются предположениями. Логи сохраняются в `evidence/`.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий | Команда | Результат |
| --- | --- | --- |
| Контракт и синтаксис | `python -X utf8 scripts/check_contract.py`; `python -X utf8 -m compileall -q src student-tests scripts` | PASS |
| Compose | `docker compose config --quiet` | PASS |
| Smoke, checksum, ACL | `python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080` | PASS, `evidence/smoke.txt` |
| Предыдущие возможности, негативные файлы | `python -X utf8 -m unittest discover -s student-tests -v` | PASS: 95 тестов, 32,356 с; `evidence/tests.txt` |
| Bootstrap, порты, private bucket | `python -X utf8 scripts/lab4_checks.py --only stack private` | PASS: повтор bootstrap; анонимный GET 403, создание bucket ключом API 403; `evidence/lab4-checks.txt` |
| Остановка загрузившей реплики | `python -X utf8 scripts/lab4_checks.py --only failover` | PASS: другой X-Instance-Id, байты совпали; `evidence/lab4-checks.txt` |
| Restart всех хранилищ | `python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080` | PASS: прежние токен, сообщение, metadata и bytes сохранены; `evidence/persistence.txt` |
| Отказ S3 | `python -X utf8 scripts/lab4_checks.py --only outage` | PASS: 503, после восстановления тот же токен и оригинал; `evidence/lab4-checks.txt` |
| Прерывание upload, отказ INSERT после PUT | `python -X utf8 scripts/lab4_checks.py --only compensation` | PASS: метаданные не зафиксированы, свежие объекты не удалены; `evidence/lab4-checks.txt` |
| 10 одновременных загрузок и RAM | `python -X utf8 scripts/lab4_checks.py --only memory` | PASS: 10/10, 2 реплики, checksum всех файлов совпал; `evidence/lab4-checks.txt` |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Гипотеза: потоковый приём и один decoder на реплику ограничивают RAM при десяти параллельных запросах. Десять потоков стартуют через barrier и загружают реальный PNG 1024×1024 с несжимаемыми RGB-пикселями (~3 MiB). Затем каждый оригинал скачивается и сверяется по SHA-256.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Скрипт выводит размер, все задержки, successful RPS, число реплик, memory.current до нагрузки и kernel memory.peak после. Пик включает decoder и tmpfs, относится к жизни контейнера и может учитывать предыдущие запросы; для отдельного эксперимента сначала перезапустите API.
Фактический прогон 04.11.2026: Windows, Docker Desktop engine 29.8.1, Linux containers, Docker VM 22 CPU / 16 464 138 240 байт RAM. У API по 0,5 CPU и 512 MiB. Перед экспериментом выполнены функциональные проверки; отдельного прогрева и повторов нет. Размер PNG — 3 147 780 байт, 1024×1024.
| Метрика | Результат |
| --- | --- |
| Одновременные запросы / успешные / ошибки | 10 / 10 / 0 |
| Длительность / successful RPS | 6,880 с / 1,453 |
| p50 / p95 / p99 (nearest rank, n=10) | 3,682 / 6,876 / 6,876 с |
| Реплика 1: RAM до / lifetime peak | 289 738 752 / 330 678 272 байт (315,4 MiB peak) |
| Реплика 2: RAM до / lifetime peak | 91 824 128 / 130 723 840 байт (124,7 MiB peak) |
| Проверка оригиналов | все 10 скачаны, SHA-256 совпал |
Высокая исходная память первой реплики включает предыдущие тесты; этот прогон доказывает успешную обработку десяти загрузок в заданном лимите, но не точную добавочную стоимость одного upload. Один короткий прогон не является production benchmark и не доказывает throughput для 40M pixels. Фактическая загрузка CPU не измерялась, заданы только лимиты.
| Воздействие | Наблюдение |
| --- | --- |
| Остановка реплики, ответившей на upload | другая реплика отдала исходные bytes; SHA-256 `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75` |
| Остановка S3 | ожидаемый 503; команда stop и проверка суммарно 4,699 с; после start исходный токен и файл сохранены |
| Ошибка INSERT после PUT, временный DB trigger | 500 вместо 201; число метаданных не выросло; orphan моложе часа оставлен grace period |
| Закрытие соединения до конца upload | метаданные не созданы |
| Restart API, PostgreSQL, Valkey, S3 и HAProxy | публичный persistence PASS: подтверждённые данные, ещё действующая сессия и оригинал сохранены |
Dry-run сборщика просмотрел 19 объектов и оставил все 19 как свежие; удалено 0. Реальное удаление объекта старше часа в этом коротком прогоне не проверялось. Лог — `evidence/lab4-checks.txt`. Проверка синтетического INSERT временно создаёт trigger только для `lab4-force-rollback.png` и удаляет его в `finally`.
## Исправление по ревью: приостановленная PostgreSQL
Замечание к `db.py`: server-side таймеры не ограничивали прямой `/health/ready`, если процесс PostgreSQL приостановлен. На исходном образе сценарий воспроизведён: во втором цикле pause прямой запрос не завершился за клиентские 8 с (`evidence/postgres-pause-before.txt`).
Команда повторения после сборки исправленного API:
```sh
python -X utf8 scripts/check_postgres_pause.py --output evidence/postgres-pause.txt
# либо make test-postgres-pause
```
Тест выполняет HTTP изнутри каждой API-реплики на `127.0.0.1:8080`, минуя HAProxy; внутренние порты на хост не публикуются. Два цикла pause/unpause, по 12 одновременных запросов на каждую из двух реплик: число запросов превышает размер пула 10. БД всегда возобновляется в `finally`. После каждого unpause теми же токенами создаётся и читается сообщение, без перезапуска API.
Фактический прогон 07.11.2026 (`evidence/postgres-pause.txt`):
| Проверка | Результат |
| --- | --- |
| 48 прямых GET /health/ready при paused PostgreSQL | все 503; 3,004–3,085 с, корректные error.code и request_id |
| GET /health/live во время pause | 200; 0,004–0,077 с |
| Возврат готовности после unpause, 2 цикла | 0,681 и 0,886 с; прежняя сессия, запись и чтение работают |
| Pause после получения соединения: запрос | таймаут 3,001 с; соединение закрыто |
| Pause перед COMMIT | таймаут 3,001 с; соединение закрыто |
| Pause перед ROLLBACK | таймаут 3,002 с; соединение закрыто, исходная ошибка сохранена |
| Пул размером 1 после каждого из трёх таймаутов | SELECT после unpause успешен в том же пуле; requests_waiting=0 |
Три секунды — предел одного ожидания драйвера; ожидание очереди пула имеет собственный предел. Таблица содержит измеренное время HTTP именно этого прогона, а не обещание неизменной задержки на любом оборудовании. Таймаут COMMIT означает неопределённый результат операции, а не доказанный rollback; безопасный повтор отправки сообщения использует тот же Idempotency-Key.
Дополнительная проверка обычного API после исправления:
```sh
python -X utf8 scripts/verify.py --only offline smoke tests --output-prefix postgres-timeout-
```
Логи: `evidence/postgres-timeout-offline.txt`, `evidence/postgres-timeout-smoke.txt`, `evidence/postgres-timeout-tests.txt`.
Повторный прогон после исправления: offline PASS, публичный smoke PASS, все 95 собственных тестов PASS за 30,857 с.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- Один хост, по одному PostgreSQL, Valkey, S3, HAProxy: отказ узла/диска не решён.
- HTTP используется для локальных синтетических данных. Для удалённого доступа нужен TLS.
- При перегрузке upload возможен 503. Upload не идемпотентен; повтор после неопределённого ответа может создать ещё один файл.
- Плавная остановка lab3 сохранена, но долгий upload может не уложиться в 10 с остановки контейнера. До 201 сохранение не гарантируется; orphan обрабатывает сборщик.
- Неиспользованные, но учтённые вложения не удаляются. Полного lifecycle и исследования уровня 5 нет.
## Источники
- Задание, контракт и публичные тесты этого репозитория.
- [Pillow Image: verify, load, MAX_IMAGE_PIXELS](https://pillow.readthedocs.io/en/stable/reference/Image.html).
- [Boto3 put_object](https://docs.aws.amazon.com/boto3/latest/reference/services/s3/client/put_object.html).
- [SeaweedFS S3 credentials](https://github.com/seaweedfs/seaweedfs/wiki/S3-Credentials).
- [Compose services](https://docs.docker.com/reference/compose-file/services/).
- [psycopg 3.3.6: Connection.wait(timeout) и закрытие соединения](https://github.com/psycopg/psycopg/blob/3.3.6/psycopg/psycopg/connection.py).
+202
View File
@@ -0,0 +1,202 @@
# Стенд lab4: HAProxy -> API x2 -> общие PostgreSQL, Valkey и приватный S3.
# Перед первым запуском: python scripts/init_secrets.py
# Запуск: docker compose up -d --build --wait (подробно — REPORT.md, раздел «Запуск из чистого clone»).
name: mtusi-lab4
x-app: &app
build:
context: .
args:
APP_VERSION: ${APP_VERSION:-lab4}
image: mtusi-messenger:lab4
# Имя остановленного контейнера встроенный DNS Docker пересылает внешнему серверу и ждёт ответа
# около 4 с (замерено в lab2). Ограничиваем ожидание DNS одной секундой.
dns_opt:
- timeout:1
- attempts:1
x-api-environment: &api-environment
APP_HOST: 0.0.0.0
APP_PORT: "8080"
APP_ENV: ${APP_ENV:-lab}
APP_LOG_LEVEL: ${APP_LOG_LEVEL:-INFO}
APP_SHUTDOWN_TIMEOUT: ${APP_SHUTDOWN_TIMEOUT:-8}
APP_DRAIN_DELAY: ${APP_DRAIN_DELAY:-3}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
DB_POOL_SIZE: ${DB_POOL_SIZE:-10}
# Пароли передаются файлами секретов, а не переменными окружения.
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
S3_ENDPOINT: http://s3:8333
S3_REGION: us-east-1
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
services:
# Единственная публичная точка входа. Проверяет /health/ready каждой реплики каждую секунду.
lb:
image: haproxy:3.4.5-trixie@sha256:76928c0d6b39bdd5f1c15d519cf48c47a6aa18c1dc552f7af1c146d2aa003c14
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
ports:
- "127.0.0.1:${APP_PUBLISHED_PORT:-8080}:8080"
# Страница состояния HAProxy (UP/DOWN реплик), только для этой машины.
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
depends_on:
api:
condition: service_healthy
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
restart: unless-stopped
# Реплики API: без container_name и без опубликованных портов, доступ только через lb.
api:
<<: *app
environment: *api-environment
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key]
tmpfs:
- /tmp:size=32M,mode=1777
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits: {cpus: "0.50", memory: 512M}
depends_on:
postgres:
condition: service_healthy
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
bucket:
condition: service_completed_successfully
stop_grace_period: 10s
restart: unless-stopped
# Одноразовый сервис: применяет миграции один раз до старта реплик и завершается.
migrate:
<<: *app
command: ["python", "-m", "messenger.migrate"]
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
restart: "no"
# S3 gateway, filer, master и volume в одном учебном контейнере; все данные в volume.
# Ни S3, ни административные HTTP-порты на хост не публикуются.
s3:
image: chrislusf/seaweedfs:3.85@sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a
command: ["server", "-ip=s3", "-dir=/data", "-volume.max=5",
"-filer", "-filer.port=8888", "-s3", "-s3.port=8333", "-s3.config=/run/secrets/s3_config"]
secrets: [s3_config]
volumes:
- s3data:/data
- ./infra/seaweedfs/filer.toml:/etc/seaweedfs/filer.toml:ro
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
restart: unless-stopped
bucket:
<<: *app
command: ["python", "-m", "messenger.bucket"]
environment:
S3_ENDPOINT: http://s3:8333
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
secrets: [s3_admin_access_key_id, s3_admin_secret_access_key]
depends_on: [s3]
restart: "no"
# Только явный запуск оператором, без административного ключа у API.
cleanup:
<<: *app
profiles: [tools]
entrypoint: ["python", "-m", "messenger.cleanup_objects"]
environment:
DATABASE_URL_FILE: /run/secrets/database_url
S3_ENDPOINT: http://s3:8333
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
secrets: [database_url, s3_admin_access_key_id, s3_admin_secret_access_key]
depends_on:
postgres: {condition: service_healthy}
bucket: {condition: service_completed_successfully}
restart: "no"
postgres:
image: postgres:18.6-trixie@sha256:74935e72241653ca55e0414067e6d8763aceb8a810eb51b452253ec3dcfc4336
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes:
# С PostgreSQL 18 образ хранит данные в /var/lib/postgresql/18/docker: volume монтируется на уровень выше.
- pgdata:/var/lib/postgresql
healthcheck:
test: ["CMD", "pg_isready", "--username=messenger", "--dbname=messenger"]
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
restart: unless-stopped
valkey:
image: valkey/valkey:9.0.6-trixie@sha256:63346cb24a61221e76bdf41acce99b3968a9fa83d8122144deab45394b27b4f2
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
secrets: [valkey_auth]
volumes:
- valkeydata:/data
- ./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro
healthcheck:
# Пароль берётся из того же файла секрета, что подключает valkey.conf.
test: ["CMD-SHELL", "valkey-cli --no-auth-warning -a \"$$(sed -n 's/^requirepass //p' /run/secrets/valkey_auth)\" ping | grep -q PONG"]
interval: 5s
timeout: 3s
retries: 10
start_period: 5s
deploy:
resources:
limits: {cpus: "0.50", memory: 256M}
restart: unless-stopped
volumes:
pgdata:
valkeydata:
s3data:
# Файлы создаёт scripts/init_secrets.py; каталог secrets/ в .gitignore.
# Каждому сервису выдаются только нужные ему секреты; lb не получает ни одного.
secrets:
postgres_password:
file: ./secrets/postgres_password
database_url:
file: ./secrets/database_url
valkey_auth:
file: ./secrets/valkey_auth
cache_url:
file: ./secrets/cache_url
s3_config:
file: ./secrets/s3_config
s3_access_key_id:
file: ./secrets/s3_access_key_id
s3_secret_access_key:
file: ./secrets/s3_secret_access_key
s3_admin_access_key_id:
file: ./secrets/s3_admin_access_key_id
s3_admin_secret_access_key:
file: ./secrets/s3_admin_secret_access_key
+19
View File
@@ -1,5 +1,24 @@
# Доказательства
Реальный прогон 04.11.2026, локальный Docker Desktop. Команда воспроизведения:
`python -X utf8 scripts/verify.py` (предварительно `docker compose up -d --build --wait`).
- `offline.txt`: проверка структуры, ссылок контракта и синтаксиса.
- `smoke.txt`: публичный накопительный smoke lab4.
- `tests.txt`: 95 собственных тестов, включая перенесённые из lab3.
- `lab4-checks.txt`: bootstrap, приватность bucket, failover загрузившей реплики,
отказ S3, 10 параллельных upload с kernel memory.peak, ошибка БД после PUT, прерывание upload.
- `persistence.txt`: публичная проверка перезапуска API, PostgreSQL, Valkey, S3 и HAProxy с сохранением volumes.
- `stack.json`: фактические времена старта контейнеров после restart, версии, ресурсы, volumes и порты; окружение и значения secrets исключены.
Регрессия ревью 07.11.2026:
- `postgres-pause-before.txt`: воспроизведение зависания старого API до исправления, клиентский timeout 8 с.
- `postgres-pause.txt`: после исправления — 48 прямых 503 за ~3 с, liveness 200, два восстановления без рестарта и закрытие/замена соединений при таймаутах запроса, COMMIT, ROLLBACK.
- `postgres-timeout-offline.txt`, `postgres-timeout-smoke.txt`, `postgres-timeout-tests.txt`: обычные проверки после изменения драйвера.
Методика и пределы выводов — в `REPORT.md`. Идентификаторы объектов и SHA-256 относятся только к синтетическим данным; tokens и credentials не сохраняются.
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
+9
View File
@@ -0,0 +1,9 @@
PASS stack: internal ports, 2 replicas, repeated bucket bootstrap␍
PASS private: anonymous object GET 403; API cannot create buckets␍
PASS upload replica stopped -> another replica download; SHA256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75␍
PASS S3 unavailable -> 503; elapsed_s=4.699␍
PASS same token and original after S3 recovery␍
{"concurrent": 10, "successful": 10, "bytes_per_file": 3147780, "dimensions": [1024, 1024], "seconds": 6.88, "successful_rps": 1.453, "latency_seconds": [1.362, 1.398, 2.486, 2.501, 3.682, 3.716, 4.713, 5.773, 6.794, 6.876], "replicas": 2, "memory_before_bytes": [289738752, 91824128], "memory_peak_bytes": [330678272, 130723840], "peak_scope": "container lifetime; cgroup includes decoder and tmpfs"}␍
PASS injected DB failure after S3 PUT: metadata rolled back, no 201; fresh orphan protected by grace␍
{"scanned": 19, "fresh": 19, "referenced": 0, "orphan": 0, "deleted": 0, "apply": false, "seconds": 0.047}␍
PASS interrupted upload: no attachment committed␍
+1
View File
@@ -0,0 +1 @@
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.␍
+2
View File
@@ -0,0 +1,2 @@
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.␍
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.␍
+29
View File
@@ -0,0 +1,29 @@
{"cycle": 1, "api": 1, "status": 503, "requests": 12, "seconds": [3.07, 3.061, 3.061, 3.058, 3.059, 3.012, 3.012, 3.013, 3.014, 3.012, 3.01, 3.011], "live_seconds": 0.01}
{"cycle": 1, "api": 2, "status": 503, "requests": 12, "seconds": [3.092, 3.021, 3.023, 3.019, 3.076, 3.006, 3.07, 3.071, 3.072, 3.007, 3.006, 3.004], "live_seconds": 0.003}
{"cycle": 1, "recovered_seconds": 0.677, "existing_session_and_write": "PASS"}
FAIL: docker compose exec --index 1: ~~~~~^^
File "/usr/local/lib/python3.14/concurrent/futures/_base.py", line 454, in result
return self.__get_result()
~~~~~~~~~~~~~~~~~^^
File "/usr/local/lib/python3.14/concurrent/futures/_base.py", line 396, in __get_result
raise self._exception
File "/usr/local/lib/python3.14/concurrent/futures/thread.py", line 86, in run
result = ctx.run(self.task)
File "/usr/local/lib/python3.14/concurrent/futures/thread.py", line 73, in run
return fn(*args, **kwargs)
File "<string>", line 11, in request
response = c.getresponse()
File "/usr/local/lib/python3.14/http/client.py", line 1478, in getresponse
response.begin()
~~~~~~~~~~~~~~^^
File "/usr/local/lib/python3.14/http/client.py", line 343, in begin
version, status, reason = self._read_status()
~~~~~~~~~~~~~~~~~^^
File "/usr/local/lib/python3.14/http/client.py", line 304, in _read_status
line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^
File "/usr/local/lib/python3.14/socket.py", line 729, in readinto
return self._sock.recv_into(b)
~~~~~~~~~~~~~~~~~~~~^^^
TimeoutError: timed out
+10
View File
@@ -0,0 +1,10 @@
{"cycle": 1, "api": 1, "status": 503, "requests": 12, "seconds": [3.065, 3.068, 3.066, 3.065, 3.004, 3.006, 3.005, 3.009, 3.008, 3.008, 3.008, 3.007], "live_seconds": 0.006}
{"cycle": 1, "api": 2, "status": 503, "requests": 12, "seconds": [3.067, 3.013, 3.004, 3.005, 3.009, 3.006, 3.007, 3.008, 3.007, 3.007, 3.006, 3.007], "live_seconds": 0.006}
{"cycle": 1, "recovered_seconds": 0.681, "existing_session_and_write": "PASS"}
{"cycle": 2, "api": 1, "status": 503, "requests": 12, "seconds": [3.071, 3.018, 3.006, 3.062, 3.006, 3.006, 3.007, 3.007, 3.004, 3.004, 3.005, 3.006], "live_seconds": 0.004}
{"cycle": 2, "api": 2, "status": 503, "requests": 12, "seconds": [3.022, 3.085, 3.015, 3.081, 3.015, 3.081, 3.007, 3.079, 3.075, 3.075, 3.076, 3.075], "live_seconds": 0.077}
{"cycle": 2, "recovered_seconds": 0.886, "existing_session_and_write": "PASS"}
{"phase": "query", "timeout_seconds": 3.001, "connection_closed": true, "pool_max_size": 1, "recovered_seconds": 0.002}
{"phase": "commit", "timeout_seconds": 3.001, "connection_closed": true, "pool_max_size": 1, "recovered_seconds": 0.002}
{"phase": "rollback", "timeout_seconds": 3.002, "connection_closed": true, "pool_max_size": 1, "recovered_seconds": 0.002}
PASS: paused PostgreSQL returns bounded direct 503; query/commit/rollback discard connections; same pools recover.
+1
View File
@@ -0,0 +1 @@
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.␍
+1
View File
@@ -0,0 +1 @@
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.␍
+100
View File
@@ -0,0 +1,100 @@
test_authentication_is_checked_before_body_and_resource (test_access.AuthenticationOrderTest.test_authentication_is_checked_before_body_and_resource) ... ok␍
test_registration_does_not_need_a_token (test_access.AuthenticationOrderTest.test_registration_does_not_need_a_token) ... ok␍
test_chat_list_contains_only_own_chats (test_access.ForeignChatTest.test_chat_list_contains_only_own_chats) ... ok␍
test_every_member_can_read_and_write (test_access.ForeignChatTest.test_every_member_can_read_and_write) ... ok␍
test_foreign_chat_looks_like_missing_chat (test_access.ForeignChatTest.test_foreign_chat_looks_like_missing_chat) ... ok␍
test_invalid_chat_id_is_400 (test_access.ForeignChatTest.test_invalid_chat_id_is_400) ... ok␍
test_outsider_cannot_get_chat (test_access.ForeignChatTest.test_outsider_cannot_get_chat) ... ok␍
test_outsider_cannot_read_history (test_access.ForeignChatTest.test_outsider_cannot_read_history) ... ok␍
test_outsider_cannot_write (test_access.ForeignChatTest.test_outsider_cannot_write) ... ok␍
test_unknown_route_is_404 (test_access.ForeignChatTest.test_unknown_route_is_404) ... ok␍
test_x_user_id_does_not_open_a_foreign_chat (test_access.ForeignChatTest.test_x_user_id_does_not_open_a_foreign_chat) ... ok␍
test_attachment_only_and_idempotency (test_attachments.AttachmentsTest.test_attachment_only_and_idempotency) ... ok␍
test_byte_limit_before_body (test_attachments.AttachmentsTest.test_byte_limit_before_body) ... ok␍
test_corrupt_and_wrong_mime (test_attachments.AttachmentsTest.test_corrupt_and_wrong_mime) ... ok␍
test_filename (test_attachments.AttachmentsTest.test_filename) ... ok␍
test_foreign_chat_upload (test_attachments.AttachmentsTest.test_foreign_chat_upload) ... ok␍
test_jpeg_original (test_attachments.AttachmentsTest.test_jpeg_original) ... ok␍
test_original_and_metadata_and_acl (test_attachments.AttachmentsTest.test_original_and_metadata_and_acl) ... ok␍
test_pixel_limit_before_decode (test_attachments.AttachmentsTest.test_pixel_limit_before_decode) ... ok␍
test_unknown_foreign_and_duplicate_ids (test_attachments.AttachmentsTest.test_unknown_foreign_and_duplicate_ids) ... ok␍
test_errors_also_carry_instance_id (test_balancing.BalancingTest.test_errors_also_carry_instance_id) ... ok␍
test_message_written_on_one_replica_is_read_on_another (test_balancing.BalancingTest.test_message_written_on_one_replica_is_read_on_another) ... ok␍
test_one_session_is_served_by_several_replicas (test_balancing.BalancingTest.test_one_session_is_served_by_several_replicas) ... ok␍
test_100_messages_from_10_clients (test_concurrency.ConcurrencyTest.test_100_messages_from_10_clients) ... ok␍
test_chats_created_in_parallel_are_all_listed (test_concurrency.ConcurrencyTest.test_chats_created_in_parallel_are_all_listed) ... ok␍
test_same_username_registered_in_parallel_wins_once (test_concurrency.ConcurrencyTest.test_same_username_registered_in_parallel_wins_once) ... ok␍
test_failed_validation_is_not_remembered (test_idempotency.IdempotencyTest.test_failed_validation_is_not_remembered) ... ok␍
test_invalid_keys_are_400 (test_idempotency.IdempotencyTest.test_invalid_keys_are_400) ... ok␍
test_json_formatting_does_not_matter (test_idempotency.IdempotencyTest.test_json_formatting_does_not_matter) ... ok␍
test_key_format_limits_are_accepted (test_idempotency.IdempotencyTest.test_key_format_limits_are_accepted) ... ok␍
test_key_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_key_scope_is_user_and_chat) ... ok␍
test_missing_key_is_400 (test_idempotency.IdempotencyTest.test_missing_key_is_400) ... ok␍
test_parallel_requests_with_one_key_create_one_message (test_idempotency.IdempotencyTest.test_parallel_requests_with_one_key_create_one_message) ... ok␍
test_replay_checks_the_session_again (test_idempotency.IdempotencyTest.test_replay_checks_the_session_again) ... ok␍
test_replay_returns_the_same_message (test_idempotency.IdempotencyTest.test_replay_returns_the_same_message) ... ok␍
test_same_key_with_another_body_is_409 (test_idempotency.IdempotencyTest.test_same_key_with_another_body_is_409) ... ok␍
test_chats_are_paged_in_creation_order (test_pagination.ChatListPaginationTest.test_chats_are_paged_in_creation_order) ... ok␍
test_cursor_of_another_user_is_400 (test_pagination.ChatListPaginationTest.test_cursor_of_another_user_is_400) ... ok␍
test_default_limit_is_50 (test_pagination.DefaultLimitTest.test_default_limit_is_50) ... ok␍
test_empty_history (test_pagination.GrowingHistoryTest.test_empty_history) ... ok␍
test_messages_sent_during_walk_are_not_lost (test_pagination.GrowingHistoryTest.test_messages_sent_during_walk_are_not_lost) ... ok␍
test_cursor_from_another_chat_is_400 (test_pagination.MessagePaginationTest.test_cursor_from_another_chat_is_400) ... ok␍
test_default_and_maximum_limit (test_pagination.MessagePaginationTest.test_default_and_maximum_limit) ... ok␍
test_invalid_cursor_is_400 (test_pagination.MessagePaginationTest.test_invalid_cursor_is_400) ... ok␍
test_invalid_limit_is_400 (test_pagination.MessagePaginationTest.test_invalid_limit_is_400) ... ok␍
test_last_full_page_has_no_cursor (test_pagination.MessagePaginationTest.test_last_full_page_has_no_cursor) ... ok␍
test_limit_can_change_between_pages (test_pagination.MessagePaginationTest.test_limit_can_change_between_pages) ... ok␍
test_one_message_per_page (test_pagination.MessagePaginationTest.test_one_message_per_page) ... ok␍
test_walk_over_several_pages (test_pagination.MessagePaginationTest.test_walk_over_several_pages) ... ok␍
test_basic_is_rejected_on_business_endpoints (test_sessions.BearerTest.test_basic_is_rejected_on_business_endpoints) ... ok␍
test_protected_endpoints_need_a_token (test_sessions.BearerTest.test_protected_endpoints_need_a_token) ... ok␍
test_scheme_name_is_case_insensitive (test_sessions.BearerTest.test_scheme_name_is_case_insensitive) ... ok␍
test_token_selects_the_user (test_sessions.BearerTest.test_token_selects_the_user) ... ok␍
test_unknown_or_malformed_token (test_sessions.BearerTest.test_unknown_or_malformed_token) ... ok␍
test_x_user_id_is_ignored (test_sessions.BearerTest.test_x_user_id_is_ignored) ... ok␍
test_credentials_in_json_body_are_not_accepted (test_sessions.LoginTest.test_credentials_in_json_body_are_not_accepted) ... ok␍
test_each_login_gives_a_new_token (test_sessions.LoginTest.test_each_login_gives_a_new_token) ... ok␍
test_malformed_basic_header (test_sessions.LoginTest.test_malformed_basic_header) ... ok␍
test_password_with_colons_and_unicode (test_sessions.LoginTest.test_password_with_colons_and_unicode) ... ok␍
test_registration_never_returns_password (test_sessions.LoginTest.test_registration_never_returns_password) ... ok␍
test_successful_login (test_sessions.LoginTest.test_successful_login) ... ok␍
test_unknown_user_gets_the_same_answer (test_sessions.LoginTest.test_unknown_user_gets_the_same_answer) ... ok␍
test_wrong_password (test_sessions.LoginTest.test_wrong_password) ... ok␍
test_login_again_after_logout (test_sessions.LogoutTest.test_login_again_after_logout) ... ok␍
test_logout_revokes_only_the_current_token (test_sessions.LogoutTest.test_logout_revokes_only_the_current_token) ... ok␍
test_bad_member_ids (test_validation.ChatValidationTest.test_bad_member_ids) ... ok␍
test_bad_titles (test_validation.ChatValidationTest.test_bad_titles) ... ok␍
test_caller_must_be_a_member (test_validation.ChatValidationTest.test_caller_must_be_a_member) ... ok␍
test_duplicate_members (test_validation.ChatValidationTest.test_duplicate_members) ... ok␍
test_unknown_member_rolls_back_the_whole_chat (test_validation.ChatValidationTest.test_unknown_member_rolls_back_the_whole_chat) ... ok␍
test_valid_chat_keeps_member_order (test_validation.ChatValidationTest.test_valid_chat_keeps_member_order) ... ok␍
test_extra_fields (test_validation.InvalidJsonTest.test_extra_fields) ... ok␍
test_invalid_utf8 (test_validation.InvalidJsonTest.test_invalid_utf8) ... ok␍
test_json_that_is_not_an_object (test_validation.InvalidJsonTest.test_json_that_is_not_an_object) ... ok␍
test_lone_surrogate_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_lone_surrogate_is_rejected_not_crashed) ... ok␍
test_malformed_json_on_message (test_validation.InvalidJsonTest.test_malformed_json_on_message) ... ok␍
test_malformed_json_on_register (test_validation.InvalidJsonTest.test_malformed_json_on_register) ... ok␍
test_nul_character_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_nul_character_is_rejected_not_crashed) ... ok␍
test_wrong_content_type (test_validation.InvalidJsonTest.test_wrong_content_type) ... ok␍
test_wrong_types (test_validation.InvalidJsonTest.test_wrong_types) ... ok␍
test_empty_message_is_400 (test_validation.MessageValidationTest.test_empty_message_is_400) ... ok␍
test_missing_or_wrong_text (test_validation.MessageValidationTest.test_missing_or_wrong_text) ... ok␍
test_nul_in_text_is_400 (test_validation.MessageValidationTest.test_nul_in_text_is_400) ... ok␍
test_oversized_body_is_413 (test_validation.MessageValidationTest.test_oversized_body_is_413) ... ok␍
test_sender_id_in_body_is_rejected (test_validation.MessageValidationTest.test_sender_id_in_body_is_rejected) ... ok␍
test_text_length_limit (test_validation.MessageValidationTest.test_text_length_limit) ... ok␍
test_unicode_text_is_kept (test_validation.MessageValidationTest.test_unicode_text_is_kept) ... ok␍
test_bad_display_names (test_validation.UserValidationTest.test_bad_display_names) ... ok␍
test_bad_passwords (test_validation.UserValidationTest.test_bad_passwords) ... ok␍
test_bad_usernames (test_validation.UserValidationTest.test_bad_usernames) ... ok␍
test_duplicate_username_is_409 (test_validation.UserValidationTest.test_duplicate_username_is_409) ... ok␍
test_missing_fields (test_validation.UserValidationTest.test_missing_fields) ... ok␍
test_password_length_limits_are_accepted (test_validation.UserValidationTest.test_password_length_limits_are_accepted) ... ok␍
test_unicode_display_name_is_kept (test_validation.UserValidationTest.test_unicode_display_name_is_kept) ... ok␍
test_username_length_limits_are_accepted (test_validation.UserValidationTest.test_username_length_limits_are_accepted) ... ok␍
␍
----------------------------------------------------------------------␍
Ran 95 tests in 30.857s␍
␍
OK␍
+1
View File
@@ -0,0 +1 @@
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.␍
+138
View File
@@ -0,0 +1,138 @@
{
"captured_at": "2026-11-04T19:26:14.180356+00:00",
"containers": [
{
"name": "mtusi-lab4-api-1",
"image": "mtusi-messenger:lab4",
"status": "running",
"started_at": "2026-11-04T19:24:19.538407817Z",
"health": "healthy",
"memory_limit_bytes": 536870912,
"cpu_limit_nanos": 500000000,
"volumes": [],
"published_ports": {
"8080/tcp": null
}
},
{
"name": "mtusi-lab4-api-2",
"image": "mtusi-messenger:lab4",
"status": "running",
"started_at": "2026-11-04T19:24:19.285225452Z",
"health": "healthy",
"memory_limit_bytes": 536870912,
"cpu_limit_nanos": 500000000,
"volumes": [],
"published_ports": {
"8080/tcp": null
}
},
{
"name": "mtusi-lab4-bucket-1",
"image": "mtusi-messenger:lab4",
"status": "exited",
"started_at": "2026-11-04T19:23:55.307758218Z",
"health": "unhealthy",
"memory_limit_bytes": 0,
"cpu_limit_nanos": 0,
"volumes": [],
"published_ports": {}
},
{
"name": "mtusi-lab4-lb-1",
"image": "haproxy:3.4.5-trixie@sha256:76928c0d6b39bdd5f1c15d519cf48c47a6aa18c1dc552f7af1c146d2aa003c14",
"status": "running",
"started_at": "2026-11-04T19:24:22.963206783Z",
"health": null,
"memory_limit_bytes": 134217728,
"cpu_limit_nanos": 500000000,
"volumes": [],
"published_ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
],
"8404/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8404"
}
]
}
},
{
"name": "mtusi-lab4-migrate-1",
"image": "mtusi-messenger:lab4",
"status": "exited",
"started_at": "2026-11-04T19:23:57.342273869Z",
"health": "unhealthy",
"memory_limit_bytes": 134217728,
"cpu_limit_nanos": 500000000,
"volumes": [],
"published_ports": {}
},
{
"name": "mtusi-lab4-postgres-1",
"image": "postgres:18.6-trixie@sha256:74935e72241653ca55e0414067e6d8763aceb8a810eb51b452253ec3dcfc4336",
"status": "running",
"started_at": "2026-11-04T19:23:51.808538597Z",
"health": "healthy",
"memory_limit_bytes": 536870912,
"cpu_limit_nanos": 1000000000,
"volumes": [
{
"name": "mtusi-lab4_pgdata",
"destination": "/var/lib/postgresql"
}
],
"published_ports": {
"5432/tcp": null
}
},
{
"name": "mtusi-lab4-s3-1",
"image": "chrislusf/seaweedfs:3.85@sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a",
"status": "running",
"started_at": "2026-11-04T19:23:54.740732946Z",
"health": null,
"memory_limit_bytes": 536870912,
"cpu_limit_nanos": 1000000000,
"volumes": [
{
"name": "mtusi-lab4_s3data",
"destination": "/data"
}
],
"published_ports": {
"18080/tcp": null,
"18888/tcp": null,
"19333/tcp": null,
"7333/tcp": null,
"8080/tcp": null,
"8333/tcp": null,
"8888/tcp": null,
"9333/tcp": null
}
},
{
"name": "mtusi-lab4-valkey-1",
"image": "valkey/valkey:9.0.6-trixie@sha256:63346cb24a61221e76bdf41acce99b3968a9fa83d8122144deab45394b27b4f2",
"status": "running",
"started_at": "2026-11-04T19:23:51.712862469Z",
"health": "healthy",
"memory_limit_bytes": 268435456,
"cpu_limit_nanos": 500000000,
"volumes": [
{
"name": "mtusi-lab4_valkeydata",
"destination": "/data"
}
],
"published_ports": {
"6379/tcp": null
}
}
]
}
+100
View File
@@ -0,0 +1,100 @@
test_authentication_is_checked_before_body_and_resource (test_access.AuthenticationOrderTest.test_authentication_is_checked_before_body_and_resource) ... ok␍
test_registration_does_not_need_a_token (test_access.AuthenticationOrderTest.test_registration_does_not_need_a_token) ... ok␍
test_chat_list_contains_only_own_chats (test_access.ForeignChatTest.test_chat_list_contains_only_own_chats) ... ok␍
test_every_member_can_read_and_write (test_access.ForeignChatTest.test_every_member_can_read_and_write) ... ok␍
test_foreign_chat_looks_like_missing_chat (test_access.ForeignChatTest.test_foreign_chat_looks_like_missing_chat) ... ok␍
test_invalid_chat_id_is_400 (test_access.ForeignChatTest.test_invalid_chat_id_is_400) ... ok␍
test_outsider_cannot_get_chat (test_access.ForeignChatTest.test_outsider_cannot_get_chat) ... ok␍
test_outsider_cannot_read_history (test_access.ForeignChatTest.test_outsider_cannot_read_history) ... ok␍
test_outsider_cannot_write (test_access.ForeignChatTest.test_outsider_cannot_write) ... ok␍
test_unknown_route_is_404 (test_access.ForeignChatTest.test_unknown_route_is_404) ... ok␍
test_x_user_id_does_not_open_a_foreign_chat (test_access.ForeignChatTest.test_x_user_id_does_not_open_a_foreign_chat) ... ok␍
test_attachment_only_and_idempotency (test_attachments.AttachmentsTest.test_attachment_only_and_idempotency) ... ok␍
test_byte_limit_before_body (test_attachments.AttachmentsTest.test_byte_limit_before_body) ... ok␍
test_corrupt_and_wrong_mime (test_attachments.AttachmentsTest.test_corrupt_and_wrong_mime) ... ok␍
test_filename (test_attachments.AttachmentsTest.test_filename) ... ok␍
test_foreign_chat_upload (test_attachments.AttachmentsTest.test_foreign_chat_upload) ... ok␍
test_jpeg_original (test_attachments.AttachmentsTest.test_jpeg_original) ... ok␍
test_original_and_metadata_and_acl (test_attachments.AttachmentsTest.test_original_and_metadata_and_acl) ... ok␍
test_pixel_limit_before_decode (test_attachments.AttachmentsTest.test_pixel_limit_before_decode) ... ok␍
test_unknown_foreign_and_duplicate_ids (test_attachments.AttachmentsTest.test_unknown_foreign_and_duplicate_ids) ... ok␍
test_errors_also_carry_instance_id (test_balancing.BalancingTest.test_errors_also_carry_instance_id) ... ok␍
test_message_written_on_one_replica_is_read_on_another (test_balancing.BalancingTest.test_message_written_on_one_replica_is_read_on_another) ... ok␍
test_one_session_is_served_by_several_replicas (test_balancing.BalancingTest.test_one_session_is_served_by_several_replicas) ... ok␍
test_100_messages_from_10_clients (test_concurrency.ConcurrencyTest.test_100_messages_from_10_clients) ... ok␍
test_chats_created_in_parallel_are_all_listed (test_concurrency.ConcurrencyTest.test_chats_created_in_parallel_are_all_listed) ... ok␍
test_same_username_registered_in_parallel_wins_once (test_concurrency.ConcurrencyTest.test_same_username_registered_in_parallel_wins_once) ... ok␍
test_failed_validation_is_not_remembered (test_idempotency.IdempotencyTest.test_failed_validation_is_not_remembered) ... ok␍
test_invalid_keys_are_400 (test_idempotency.IdempotencyTest.test_invalid_keys_are_400) ... ok␍
test_json_formatting_does_not_matter (test_idempotency.IdempotencyTest.test_json_formatting_does_not_matter) ... ok␍
test_key_format_limits_are_accepted (test_idempotency.IdempotencyTest.test_key_format_limits_are_accepted) ... ok␍
test_key_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_key_scope_is_user_and_chat) ... ok␍
test_missing_key_is_400 (test_idempotency.IdempotencyTest.test_missing_key_is_400) ... ok␍
test_parallel_requests_with_one_key_create_one_message (test_idempotency.IdempotencyTest.test_parallel_requests_with_one_key_create_one_message) ... ok␍
test_replay_checks_the_session_again (test_idempotency.IdempotencyTest.test_replay_checks_the_session_again) ... ok␍
test_replay_returns_the_same_message (test_idempotency.IdempotencyTest.test_replay_returns_the_same_message) ... ok␍
test_same_key_with_another_body_is_409 (test_idempotency.IdempotencyTest.test_same_key_with_another_body_is_409) ... ok␍
test_chats_are_paged_in_creation_order (test_pagination.ChatListPaginationTest.test_chats_are_paged_in_creation_order) ... ok␍
test_cursor_of_another_user_is_400 (test_pagination.ChatListPaginationTest.test_cursor_of_another_user_is_400) ... ok␍
test_default_limit_is_50 (test_pagination.DefaultLimitTest.test_default_limit_is_50) ... ok␍
test_empty_history (test_pagination.GrowingHistoryTest.test_empty_history) ... ok␍
test_messages_sent_during_walk_are_not_lost (test_pagination.GrowingHistoryTest.test_messages_sent_during_walk_are_not_lost) ... ok␍
test_cursor_from_another_chat_is_400 (test_pagination.MessagePaginationTest.test_cursor_from_another_chat_is_400) ... ok␍
test_default_and_maximum_limit (test_pagination.MessagePaginationTest.test_default_and_maximum_limit) ... ok␍
test_invalid_cursor_is_400 (test_pagination.MessagePaginationTest.test_invalid_cursor_is_400) ... ok␍
test_invalid_limit_is_400 (test_pagination.MessagePaginationTest.test_invalid_limit_is_400) ... ok␍
test_last_full_page_has_no_cursor (test_pagination.MessagePaginationTest.test_last_full_page_has_no_cursor) ... ok␍
test_limit_can_change_between_pages (test_pagination.MessagePaginationTest.test_limit_can_change_between_pages) ... ok␍
test_one_message_per_page (test_pagination.MessagePaginationTest.test_one_message_per_page) ... ok␍
test_walk_over_several_pages (test_pagination.MessagePaginationTest.test_walk_over_several_pages) ... ok␍
test_basic_is_rejected_on_business_endpoints (test_sessions.BearerTest.test_basic_is_rejected_on_business_endpoints) ... ok␍
test_protected_endpoints_need_a_token (test_sessions.BearerTest.test_protected_endpoints_need_a_token) ... ok␍
test_scheme_name_is_case_insensitive (test_sessions.BearerTest.test_scheme_name_is_case_insensitive) ... ok␍
test_token_selects_the_user (test_sessions.BearerTest.test_token_selects_the_user) ... ok␍
test_unknown_or_malformed_token (test_sessions.BearerTest.test_unknown_or_malformed_token) ... ok␍
test_x_user_id_is_ignored (test_sessions.BearerTest.test_x_user_id_is_ignored) ... ok␍
test_credentials_in_json_body_are_not_accepted (test_sessions.LoginTest.test_credentials_in_json_body_are_not_accepted) ... ok␍
test_each_login_gives_a_new_token (test_sessions.LoginTest.test_each_login_gives_a_new_token) ... ok␍
test_malformed_basic_header (test_sessions.LoginTest.test_malformed_basic_header) ... ok␍
test_password_with_colons_and_unicode (test_sessions.LoginTest.test_password_with_colons_and_unicode) ... ok␍
test_registration_never_returns_password (test_sessions.LoginTest.test_registration_never_returns_password) ... ok␍
test_successful_login (test_sessions.LoginTest.test_successful_login) ... ok␍
test_unknown_user_gets_the_same_answer (test_sessions.LoginTest.test_unknown_user_gets_the_same_answer) ... ok␍
test_wrong_password (test_sessions.LoginTest.test_wrong_password) ... ok␍
test_login_again_after_logout (test_sessions.LogoutTest.test_login_again_after_logout) ... ok␍
test_logout_revokes_only_the_current_token (test_sessions.LogoutTest.test_logout_revokes_only_the_current_token) ... ok␍
test_bad_member_ids (test_validation.ChatValidationTest.test_bad_member_ids) ... ok␍
test_bad_titles (test_validation.ChatValidationTest.test_bad_titles) ... ok␍
test_caller_must_be_a_member (test_validation.ChatValidationTest.test_caller_must_be_a_member) ... ok␍
test_duplicate_members (test_validation.ChatValidationTest.test_duplicate_members) ... ok␍
test_unknown_member_rolls_back_the_whole_chat (test_validation.ChatValidationTest.test_unknown_member_rolls_back_the_whole_chat) ... ok␍
test_valid_chat_keeps_member_order (test_validation.ChatValidationTest.test_valid_chat_keeps_member_order) ... ok␍
test_extra_fields (test_validation.InvalidJsonTest.test_extra_fields) ... ok␍
test_invalid_utf8 (test_validation.InvalidJsonTest.test_invalid_utf8) ... ok␍
test_json_that_is_not_an_object (test_validation.InvalidJsonTest.test_json_that_is_not_an_object) ... ok␍
test_lone_surrogate_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_lone_surrogate_is_rejected_not_crashed) ... ok␍
test_malformed_json_on_message (test_validation.InvalidJsonTest.test_malformed_json_on_message) ... ok␍
test_malformed_json_on_register (test_validation.InvalidJsonTest.test_malformed_json_on_register) ... ok␍
test_nul_character_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_nul_character_is_rejected_not_crashed) ... ok␍
test_wrong_content_type (test_validation.InvalidJsonTest.test_wrong_content_type) ... ok␍
test_wrong_types (test_validation.InvalidJsonTest.test_wrong_types) ... ok␍
test_empty_message_is_400 (test_validation.MessageValidationTest.test_empty_message_is_400) ... ok␍
test_missing_or_wrong_text (test_validation.MessageValidationTest.test_missing_or_wrong_text) ... ok␍
test_nul_in_text_is_400 (test_validation.MessageValidationTest.test_nul_in_text_is_400) ... ok␍
test_oversized_body_is_413 (test_validation.MessageValidationTest.test_oversized_body_is_413) ... ok␍
test_sender_id_in_body_is_rejected (test_validation.MessageValidationTest.test_sender_id_in_body_is_rejected) ... ok␍
test_text_length_limit (test_validation.MessageValidationTest.test_text_length_limit) ... ok␍
test_unicode_text_is_kept (test_validation.MessageValidationTest.test_unicode_text_is_kept) ... ok␍
test_bad_display_names (test_validation.UserValidationTest.test_bad_display_names) ... ok␍
test_bad_passwords (test_validation.UserValidationTest.test_bad_passwords) ... ok␍
test_bad_usernames (test_validation.UserValidationTest.test_bad_usernames) ... ok␍
test_duplicate_username_is_409 (test_validation.UserValidationTest.test_duplicate_username_is_409) ... ok␍
test_missing_fields (test_validation.UserValidationTest.test_missing_fields) ... ok␍
test_password_length_limits_are_accepted (test_validation.UserValidationTest.test_password_length_limits_are_accepted) ... ok␍
test_unicode_display_name_is_kept (test_validation.UserValidationTest.test_unicode_display_name_is_kept) ... ok␍
test_username_length_limits_are_accepted (test_validation.UserValidationTest.test_username_length_limits_are_accepted) ... ok␍
␍
----------------------------------------------------------------------␍
Ran 95 tests in 32.356s␍
␍
OK␍
+11
View File
@@ -1,5 +1,16 @@
# Инфраструктура студента
Реализованный стенд — `compose.yaml` в корне:
- `haproxy/haproxy.cfg`: round-robin, активная readiness-проверка, внутренние API без опубликованных портов.
- `valkey/valkey.conf`: пароль из Compose secret и AOF для долговечных сессий.
- `seaweedfs/filer.toml`: индекс filer в `/data/filerldb2`, общий persistent volume `s3data`.
- SeaweedFS 3.85 закреплён digest; S3 credentials создаёт `scripts/init_secrets.py` в игнорируемом `secrets/s3_config`.
- Одноразовый `bucket` создаёт приватный bucket до старта API; одноразовый `migrate` применяет SQL.
- Операторский профиль `tools` содержит сборщик orphan-объектов; по умолчанию dry-run.
Фактический запуск, роли, права и результаты описаны в `REPORT.md`; сценарий защиты — в `DEMO.md`.
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
+72
View File
@@ -0,0 +1,72 @@
# HAProxy для lab3: единая точка входа, round-robin между репликами API.
# Реплики находятся через DNS Docker и исключаются по активной проверке /health/ready.
global
log stdout format raw local0 info
maxconn 4096
# Встроенный DNS Docker: имя сервиса api возвращает адреса всех запущенных реплик.
# Список перечитывается каждую секунду, поэтому новые и удалённые реплики видны сразу.
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
hold other 1s
hold refused 1s
hold nx 1s
hold timeout 1s
accepted_payload_size 8192
defaults
mode http
log global
option httplog
option dontlognull
# Соединение к реплике закрывается после каждого ответа: запрос не уйдёт по старому
# соединению в реплику, которая уже закрывает приём.
option http-server-close
timeout connect 1s
timeout client 30s
timeout server 15s
timeout http-request 10s
timeout http-keep-alive 10s
timeout check 1s
# Повтор только если соединение с репликой не установилось: запрос до неё не дошёл,
# поэтому повтор на другой реплике безопасен даже для POST.
retries 2
retry-on conn-failure
option redispatch 1
# Ошибки самого балансировщика — в формате ошибок контракта (без X-Instance-Id: его ставит только API).
unique-id-format %[uuid()]
http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica failed to respond","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No API replica is available","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica did not answer in time","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
frontend public
bind :8080
default_backend api
backend api
balance roundrobin
# Реплика готова, только пока /health/ready отвечает 200. После SIGTERM реплика сама
# начинает отвечать 503 и ещё 3 с обслуживает запросы (APP_DRAIN_DELAY).
option httpchk
http-check send meth GET uri /health/ready
http-check expect status 200
# inter 1s: проверка раз в секунду; после первой неудачи — раз в 0,5 с (fastinter);
# fall 2: реплика исключается после двух неудач подряд, то есть примерно за 1,5–2,5 с.
# rise 2: возвращается после двух успешных проверок.
default-server check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
server-template api 1-8 api:8080
# Страница состояния: какие реплики UP/DOWN. Опубликована только на 127.0.0.1.
frontend stats
bind :8404
stats enable
stats uri /
stats refresh 2s
# Показывать адреса реплик: по ним видно, какой контейнер в каком состоянии.
stats show-legends
+4
View File
@@ -0,0 +1,4 @@
# Индекс файлов S3 тоже должен пережить пересоздание контейнера.
[leveldb2]
enabled = true
dir = "/data/filerldb2"
+23
View File
@@ -0,0 +1,23 @@
# Valkey для сессий lab2. Это единственное хранилище сессий, поэтому включена persistence.
# Пароль (строка requirepass ...) лежит в файле секрета, который создаёт scripts/init_secrets.py.
include /run/secrets/valkey_auth
bind 0.0.0.0
port 6379
protected-mode yes
dir /data
# AOF: каждая запись попадает в журнал на диске, и после рестарта Valkey восстанавливает его.
# fsync на каждую запись: сессия подтверждается клиенту только после записи на диск.
# Записей мало (только вход и выход), поэтому цена fsync незаметна.
appendonly yes
appendfsync always
# RDB-снимки не нужны: всё восстанавливается из AOF.
save ""
# Сессии нельзя вытеснять молча: при нехватке памяти новая запись получит ошибку,
# и API ответит 503, а уже выданные сессии останутся.
maxmemory 128mb
maxmemory-policy noeviction
+46
View File
@@ -0,0 +1,46 @@
-- Схема мессенджера: пользователи, чаты, участники, сообщения.
-- Ограничения повторяют правила контракта, чтобы база не приняла неверные данные,
-- даже если ошибка будет в коде приложения.
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL,
display_name text NOT NULL,
password_hash text NOT NULL, -- Argon2id, сам пароль не хранится
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT users_username_key UNIQUE (username),
CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'),
CONSTRAINT users_display_name_length CHECK (char_length(display_name) BETWEEN 1 AND 100)
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT chats_title_length CHECK (char_length(title) BETWEEN 1 AND 100)
);
-- Участники задаются при создании чата и потом не меняются.
-- position хранит порядок member_ids из запроса на создание.
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats (id),
user_id uuid NOT NULL REFERENCES users (id),
position smallint NOT NULL,
PRIMARY KEY (chat_id, user_id),
CONSTRAINT chat_members_position_key UNIQUE (chat_id, position)
);
-- Список чатов пользователя ищется по user_id.
CREATE INDEX chat_members_user_id_idx ON chat_members (user_id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL,
sender_id uuid NOT NULL,
text text NOT NULL,
created_at timestamptz NOT NULL,
CONSTRAINT messages_text_length CHECK (char_length(text) BETWEEN 1 AND 4000),
-- Отправитель обязан состоять в чате: это проверяет и база, а не только код.
CONSTRAINT messages_sender_is_member FOREIGN KEY (chat_id, sender_id)
REFERENCES chat_members (chat_id, user_id)
);
@@ -0,0 +1,8 @@
-- Индекс для чтения истории чата. Приложение выполняет запрос
-- SELECT ... FROM messages
-- WHERE chat_id = $1 AND (created_at, id) > ($2, $3)
-- ORDER BY created_at, id LIMIT $4
-- Колонки индекса идут в том же порядке, поэтому страница читается диапазоном индекса
-- без сортировки и без просмотра всей истории чата. План на 10 000+ сообщениях —
-- в evidence/explain.txt (scripts/explain_history.py).
CREATE INDEX messages_chat_history_idx ON messages (chat_id, created_at, id);
+20
View File
@@ -0,0 +1,20 @@
-- Идемпотентность отправки сообщения (с lab3).
-- Область ключа: пользователь + метод + путь чата + значение Idempotency-Key.
-- Строка ключа и сообщение создаются в одной транзакции: повтор запроса с тем же ключом
-- либо находит готовый результат, либо (если первая попытка не зафиксирована) создаёт его заново,
-- но никогда не создаёт второе сообщение.
-- Миграция только добавляет таблицу: версия API из lab2 продолжает работать с этой схемой.
CREATE TABLE idempotency_keys (
user_id uuid NOT NULL REFERENCES users (id),
method text NOT NULL,
path text NOT NULL,
key text NOT NULL,
request_hash text NOT NULL, -- sha256 разобранного тела: другое тело с тем же ключом — 409
message_id uuid NOT NULL REFERENCES messages (id),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
PRIMARY KEY (user_id, method, path, key),
CONSTRAINT idempotency_keys_key_format CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$')
);
-- Удаление ключей старше срока хранения (IDEMPOTENCY_TTL_SECONDS, не меньше 24 часов).
CREATE INDEX idempotency_keys_created_at_idx ON idempotency_keys (created_at);
+27
View File
@@ -0,0 +1,27 @@
-- Байты только в S3; ключ не зависит от filename и не отдаётся клиенту.
CREATE TABLE attachments (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL,
owner_id uuid NOT NULL,
object_key text NOT NULL UNIQUE,
filename text NOT NULL CHECK (char_length(filename) BETWEEN 1 AND 255),
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
size_bytes integer NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
FOREIGN KEY (chat_id, owner_id) REFERENCES chat_members (chat_id, user_id),
UNIQUE (id, chat_id)
);
CREATE INDEX attachments_chat_idx ON attachments (chat_id);
ALTER TABLE messages DROP CONSTRAINT messages_text_length;
ALTER TABLE messages ADD CONSTRAINT messages_text_length CHECK (char_length(text) BETWEEN 0 AND 4000);
-- Массив хранит порядок attachment_ids и возвращается вместе с сообщением/повтором.
ALTER TABLE messages ADD COLUMN attachment_ids uuid[] NOT NULL DEFAULT '{}';
CREATE TABLE message_attachments (
message_id uuid NOT NULL REFERENCES messages (id),
attachment_id uuid NOT NULL,
chat_id uuid NOT NULL,
PRIMARY KEY (message_id, attachment_id),
FOREIGN KEY (attachment_id, chat_id) REFERENCES attachments (id, chat_id)
);
+8
View File
@@ -0,0 +1,8 @@
# Прямые зависимости API. Точные версии всех пакетов с хешами — в requirements.txt,
# он генерируется из этого файла командой из REPORT.md («Обновление зависимостей»).
psycopg[binary]==3.3.6
psycopg-pool==3.3.3
valkey==6.1.1
argon2-cffi==25.1.0
boto3==1.43.123
Pillow==13.0.0
+360
View File
@@ -0,0 +1,360 @@
# This file was autogenerated by uv via the following command:
# uv pip compile requirements.in --generate-hashes --output-file requirements.txt --python C:\Users\Dima Chernikov\AppData\Local\Programs\Python\Python314\python.exe
argon2-cffi==25.1.0 \
--hash=sha256:694ae5cc8a42f4c4e2bf2ca0e64e51e23a040c6a517a85074683d3959e1346c1 \
--hash=sha256:fdc8b074db390fccb6eb4a3604ae7231f219aa669a2652e0f20e16ba513d5741
# via -r requirements.in
argon2-cffi-bindings==26.1.0 \
--hash=sha256:061a6919145bbf282ebf1f9c59d3135d4833c25313c8595c0d68cf7712ddfce2 \
--hash=sha256:0cc40f7b4050bb93eb67de95d2d759322fc7ce4930b9d645581ecf4913ec651e \
--hash=sha256:151dfaad9de753f4af2a7854e707e4784f2acc434340ade64239c5b104b2d605 \
--hash=sha256:19423e5d7ac1cc354baab59eaabf18db2ec04ef6593b5abe5a34f323c4a8f87a \
--hash=sha256:19b562b1de4b9052ef1214a2821c44b6e6f22945daa102c32ae4eff929d8b6d8 \
--hash=sha256:1a0a29ed86960e44eaace7e081bdfab4f08b012fd96ec8edba71e2ad020939e4 \
--hash=sha256:1af817e84578ef8b7295ad17de0f9896e4c8520dbf2233c7aa5aa3d487256fc4 \
--hash=sha256:1b0bcac4d490a237e18cf91f57352920c29f77f2fa39efd0813fb81298bf17ba \
--hash=sha256:1d98e33bd8bd67d7206c124e200bf2229c4cfa8c9c19f7b44a897f0fc71837eb \
--hash=sha256:21ca0396fe5ec995dd54431c32698189666f9224810acfa752e50d2bd94d9df2 \
--hash=sha256:224865cbbcb7a2bd1356741dff12b0134df726b6d44bb7b500df8e303cbd9e81 \
--hash=sha256:242bb0cda2ae3650764fc194593d9ea45fc9e72729acd89778c7cfe184cec2a5 \
--hash=sha256:27f1821903e2ceadcb88ec2b45ef190897b7682449c772f4d9b53e42c520cf29 \
--hash=sha256:28524438cd3e723f25412f63d4fd516ff5bae9ae5aa56acbe2a1404398a0cf31 \
--hash=sha256:2b741888c93147444fdfc851abd81cc207f37f7f7da42062a00deb3888e57da8 \
--hash=sha256:2c36ff87b5dfaa477d0bd51e9d7f6abdae7c8955d2983c97419085d842154b3e \
--hash=sha256:34b7d9c24a4165a2c61cc8ae11d44d48c9ce2830fb536cb7914e11fdd9962728 \
--hash=sha256:49d525938467d52c923a890153c99087c9d5a937d1f6b585dbdba34ec82e397a \
--hash=sha256:4f84cdd868978d7b7350a566c254042d44216d9e37f241f3a6d3b1dfebeede35 \
--hash=sha256:62ff20cd130c956c7c9144d5fe35228f98b51c579b2439e988b27ef93e16c02a \
--hash=sha256:63505c71542a44b68b1e38060450fb006404170da375feb31af153e7f9c6205d \
--hash=sha256:6376d4b3aca039375ca8bf92f770da0ec424a1ce3a37077a8d3c557411aa56ca \
--hash=sha256:6a4e68eed961a8de6928d1c17ff3dc2a547e0e923c17f8f1cd79fb7bc9502f98 \
--hash=sha256:6ab674f668d5962a3a4136ae0812519b0f1586874263723a32181d60d64137e1 \
--hash=sha256:7014ab7e6f5d8511af92544667a0346ea6dfc314ea9a7cad1dba9fdb5c9a6e33 \
--hash=sha256:76ae29acace5d33355344612844d588e19deaaba4639d8bb01601e4b1418ef36 \
--hash=sha256:78de2d65e0b9ea7ce9d1b1c3e87297b2d7305a02c266ee2a2d6910daddd7ee69 \
--hash=sha256:9bacedc04b0402837586a17f0919e3dfdd95291f441f1f56bd80ec274c2840a1 \
--hash=sha256:a86c069c91a747a2c4e5c51473590aeb48172fff9b2130d23729a42d98665ecb \
--hash=sha256:ac82fc756a446b6ccd7139ce70efa9d8bbe541e7ad579a12dcb52764b7175c5f \
--hash=sha256:af11ac37a7c53dc16cb7950a6190851b0870fe218b6c60c0bb7ac355234e3083 \
--hash=sha256:b70225b5fd1e0d2ef4f7fd30d24658454535f0924dff0caca5dc08efbbbadfbb \
--hash=sha256:c49e853a3bef9dd10329f31f702e7fa9b5c58229ff9c2ff6d069efaf09177c08 \
--hash=sha256:ccaf0a46cbb380f1fd102a874e32aa629fd3cb0c0e94f4943fa1f6d5edc5dac6 \
--hash=sha256:d157ddfab1e8b21f2f1dedda9c09645d98b5ed0b667b0626be600a345d426440 \
--hash=sha256:d88e5f7e60f28ae0b0cc6b2f16c43e87cd642a196a86f85e0d8bb6fe016fc16d \
--hash=sha256:db0fcd827ca61622a01b220aadfbece01939acf53888f2cb98cd93e9b1e2c97e \
--hash=sha256:df612391feca41c44d20118f3b88d1b86419465cd1f5496859f715ca60ec2210 \
--hash=sha256:f0c3103fcff20183e593459cfea6e012281c0e76ae3ed8b5565ad1b92eac3990 \
--hash=sha256:f9c4420a7a864fe1b86ce35befc95b8e39fb852493b81cf798671ddc265de638 \
--hash=sha256:ffff613aaa9ce6236766e2fc6dc560bb5abde7a2e2416e3db1f9ae395a2b4dd4
# via argon2-cffi
boto3==1.43.123 \
--hash=sha256:055fabb990c5d2f31fce4ca569255bd640cdd11a3ca68c9ecad35f4f8a5b83b5 \
--hash=sha256:d18d66e1e13faa0c25d0b1b8c5ce946e29fb5fc0b6456b655a93a678ff4cc313
# via -r requirements.in
botocore==1.43.123 \
--hash=sha256:80948cb9b1cdf1a1a25809089a42e3a1bc4af0258d198222db6e97dcc660dd0c \
--hash=sha256:e30580f9c1282c321529238ff8ff75066096a2adbd0a293c8ae592c21d1733a3
# via
# boto3
# s3transfer
cffi==2.1.1 \
--hash=sha256:046bfc24911b37851ee1b51aab8bffe713d89c68c6a057b09484ce9fd5f69b4e \
--hash=sha256:06c72bb76605a4b0cd0aad6930b69d4baf7dd5d806cfc409b824191099700e66 \
--hash=sha256:0beceaabe56af686895136a2de78db54ecd8e4046b236b8fd6d6cb61389e9bf2 \
--hash=sha256:154852545011f779917b11c78db2358d095da62a9a172b78ad0a583ee5adc0d0 \
--hash=sha256:194cffa889098ced9976c3fc6340305e43f6303657d298da55366907c05c22d6 \
--hash=sha256:19ee6127ee34de7d83ce3d371ebc5ed91addbdcc39f9ab15ce4eb35a4e534971 \
--hash=sha256:1a18a57b58cfb21fc28d72e876acf10eaed67a1ed96226f92af4df681d571c4c \
--hash=sha256:1aa5645c30469b09530c4ebca77ebf8f17618293c58f8549cb1a543a50236e7d \
--hash=sha256:1dea0e4d7d4f11f619fe8c1d76caf49e24405b4b5743c0e3be16a500ecd930c9 \
--hash=sha256:208f941bb9d18e768138677f0a6d2ce01f590df56043dda1df1535ac57c88517 \
--hash=sha256:210019b6c7cf07f081b4c54635c8cf744377001350e29cc0f81c4377b4797735 \
--hash=sha256:246fa40ce8645a614ff682e0b70f37134e460eaf93a775e0cbe3cca585a67a80 \
--hash=sha256:25792eac27877609e7bb06d42ff88278a6624fff2ba9bbb523c09616b117e80f \
--hash=sha256:27350daa11d4f10c540e6e89dada4c54feb7256ad03e9a4dc075ebad7ba360d1 \
--hash=sha256:28907ab9bfb6aa13184cfc17c6b8e1023c5ab6fd7076d8c20a35e59fe04f8f29 \
--hash=sha256:2ae64be792b8966f2c69538199728b290e34726562896df1e5dc8ffd8d8188e8 \
--hash=sha256:31348097ff5bbe827ccc41795d4dd099d9f0625e7def00ee653c137a490c2a6c \
--hash=sha256:3143d81e29e1e20a9ce10901ec369012947876596f75a222235965f2b7ae832e \
--hash=sha256:3222ba5d678f80a030e6afbcc33dc1ae5cb45facabb61cee2c7016b8432fde48 \
--hash=sha256:3311ed60d36f83378794e1009ac6258bafbf81f7888b4caa7b35a521e3f95813 \
--hash=sha256:334644fbac4eff73d985a17a91226df55d0f394160c4cfb880e084c8f7161cac \
--hash=sha256:34e261f78cb6ceaaa36f42f2613f4380d94d9c759a9c73c769ee6e0247364632 \
--hash=sha256:363e05fa78e15116c3c32c210ee36884fd6b9afa6d440e47112c3bd511d64cb6 \
--hash=sha256:398aff33cee2767e3e781d2554c54bd0dff386bb437581e0d8011fde1a942ec1 \
--hash=sha256:3d22a20b1fb1632cc72c22f95f7b0d2961c3e1c235f245ba4c606c4771035659 \
--hash=sha256:42a494cee34437f05546455144f2b5d9ac09b1face62bcfce597d2e521066688 \
--hash=sha256:42e2f76b9455f5a9a844f770bf3e200ed3da0e15f5df3db9c31fe80b04b3d004 \
--hash=sha256:42f6930c31dc7f50732c9ae793c2786c7b6b044195967bbdde40bb9be81c4cc0 \
--hash=sha256:456a61fa52d579ebf9df2e9552ead5129855dbaff6c1e5a9b1bc408809bdc062 \
--hash=sha256:471cee653ae88de62096552e6d24ccb4a5adb8c8c9f10b5054d0122c15bf2779 \
--hash=sha256:49cbc70e6542d4ccccb936558d1064a8012541e78f821f955cff24e357776c94 \
--hash=sha256:4a7c934f7360e8cd64fe9efadcbd10c7c6364f531e432b9a4bf5ccbc9e0e8b50 \
--hash=sha256:4be96343e422f2dfcd12ab5c9f5aebe03f82f737c6bffeca6830b3875cb44aab \
--hash=sha256:4f42141fc14250de6dde5ee7ea4432be017252d91f19c5ad043c084cea629cac \
--hash=sha256:507a24c282e0f42f8ed737cf048572cbf580468da5555764a8331735e9c736b6 \
--hash=sha256:51b31d1c98274844cfd7838ce00bfc27c7423a4dc00fc0772fc3331c2cc90676 \
--hash=sha256:58acb8ab8e295e6c5ea12f888cbb13cf21511ef2a3303a23f4325c29d17fe5c1 \
--hash=sha256:5a59cc1c4442bc3d5c703bf720b51138d0bfc173618807c9ee2490a7541dd3d9 \
--hash=sha256:5bb4e7ea95dcd6a014a6fef62e62467d67d8e582326443f3d68e71d6320a9fcf \
--hash=sha256:5c58fe613dc5e5336357eff555824a314d8e43282600435c8d1cb6a7a2fedd13 \
--hash=sha256:5e7cecbaadb83884793e05828cee59b210b24583b9c7425d0ba6a754fe22eb4e \
--hash=sha256:616f097f2fe415bc92a247f02e11f634e1f9e9a83d327e3c915c15089c87869e \
--hash=sha256:63bbfd5ded17c4840ac07cd8f1c21ba9d9708141f840b324f422f41b207e3973 \
--hash=sha256:64faea20f4e2613363a1a9b9c7dd73058f3ecd00133a511e72ad7c511658f527 \
--hash=sha256:661c298b4821edebead0c91edd2b00374d67ad7c5a1f7a91d4442633b79d6a72 \
--hash=sha256:68e62fe11f30d5ca8289242866f0a5291402d8529ca2178ab8afc5c9694ae890 \
--hash=sha256:6a8dddef476fab96d066d578fc88526767b836ab5ab21754e1d5bf3879c31c7c \
--hash=sha256:6e192623c49c94421616a5778fba35cf0d5a8d000650c1967ef4448ee5cdd990 \
--hash=sha256:7225e4514edb64eb6740324353e0da0711954fd8d7da4576755b1c6e09b697cd \
--hash=sha256:75f80557d1389eddbd0de2681f6a390a0c5338c31ddaa821381c203fc3fd50d9 \
--hash=sha256:770de9db11e84213beec501cfcaa013b019820ca881e03344dea5844f7876d94 \
--hash=sha256:7750c6449dff7864bb9bb27ddfb0267756189201a3afc911d82b3caacd70dfc3 \
--hash=sha256:7bde5e4cc5c10140859842b9d383af292b22639a4dffb725314baf45968cef80 \
--hash=sha256:7ce713ace7c0e4520535b42b77eaa742c16dab813978064913e5a3cf82973b41 \
--hash=sha256:7da0c5eff80f0197f3b3d1232ec5a682a9325f4ae9016a78f5f5ca35f9ced1f5 \
--hash=sha256:7dbb61fe3a7699468030f71bbe5f8a0e326a151daa91beb11a6fc1f980c55e1c \
--hash=sha256:811bd1e21d32de12efca32393a0ab3f5133b54fce9bd44b8bd77ab07da14bf6a \
--hash=sha256:8ef53b2de9bcb9197d31854256575d59dbac0cba72ac627bb291ef5eceb74be4 \
--hash=sha256:937c0052c05a31ca1daf18de3158eed4dbfcb9cc107adbea227728d647be701e \
--hash=sha256:9d2055050ea716bd38b7f7f1579c275386646b4894c155a3e2f3cd62ed41b7c6 \
--hash=sha256:9f8d177621de5cb38ee3e731eda45d421db093ec0739f46a5594babda7987a98 \
--hash=sha256:a2d7755bef5a12ed488f4ef1f1b69ee9191d7396083b755a5d2295f6edb4768b \
--hash=sha256:a48d62ab9d6f4f98c983223a547af44be6ca3691074c31cecced6facd3ba2dc1 \
--hash=sha256:a4f00aa42f75d6e4595e8866e748cc1705adc0cddfeb2ca86d0d03993d63ba03 \
--hash=sha256:a6e721d4b0e45d5b65e87534470e67b18dcd092c83f68fba09f152b9cbc061af \
--hash=sha256:a730a083190634c65cca36ba5f489531576ebd79bcd5c8e172130f6453127231 \
--hash=sha256:a931079504ecc49efed7744c476a5c343a92fabf66dec2db95edb1b2fdc770e2 \
--hash=sha256:aa9511c62d14da7aacc9b4bf51f3f697a621e83b2d6919008243c3aad168eea3 \
--hash=sha256:ab36d55f9ed2d067327667c2fea18dda018eb628dd6347aa01dda6cf1f5d3836 \
--hash=sha256:ad2c86c495b899d862ea0f4b42891b8713a3bd45dd4105c7fd51c2a72f39f3a5 \
--hash=sha256:aeae0e330c9f6acd681f647d46cefd30c29f93e3392882e792e82080c9691399 \
--hash=sha256:b0431303acaea1089ad4b3e9ce4e6518193def1118d4073ca848635ee4ea2e96 \
--hash=sha256:b5bdfd1c873d4e093aabc0ca84c4ca6dbc4f752afb5c86f146d9742580c9da2e \
--hash=sha256:baed1e86cc735622097354b9d1281406caf42ff42a886d29faa8e8d1630333be \
--hash=sha256:c1453022f490d2459a11819d83ad1d586e9ff65a12ac3e705ffebd46d3685dcf \
--hash=sha256:c26608d2222fb1e94487e4a387d85f13eb55d5ed725cb25a0c589ac4ee60e7bc \
--hash=sha256:c7659f22557c5a0bc4855cd635f55edec690cc008a40768527762cb9fb263455 \
--hash=sha256:c8c69575568085ba0b1b10c0249d779a214aea6f6522e949a0fc9fb0fcb449d0 \
--hash=sha256:c8d2c9fd1f2d16f780d15127abb050d13d1a76c03a4bd87d7e4980e45e511e12 \
--hash=sha256:ca82be1a1d406ecfe1d25dc16cb33488e5a16bf4438c9fb590484ea29d92478b \
--hash=sha256:cc572dace3f60ef98d7b12ff411d20f5362feb31a0439eab0085bbfd349982d7 \
--hash=sha256:d18e5ac0f2f03f4f518d3e23db0f0cad7faa1da8620e9c09461d443bbf6e6692 \
--hash=sha256:d28630f5854ab07ab1fd4aba756de52326c82e6be15d414b12793f1975048b54 \
--hash=sha256:d9c275eaacd24aa73f94ffd6de08fc3f932424d8b6c376f4bed7cde376fe7bc3 \
--hash=sha256:da0e573f9f97159390c89d9f1a9e41908b66d408cc5b58d08cf3847d844c531b \
--hash=sha256:dd31f52ea1086513bb9df30f8fcee9b8918323ae067a3d5b78bc826a000712be \
--hash=sha256:dddad92b554513a31f272570678ba307fb9f618f05e3d4a5eacafff9eae03e1d \
--hash=sha256:df423d40ee8654634421812bc3b196da3f9bd7d32929da813f8394c4348a5358 \
--hash=sha256:df913725b79db7bcf03448f36b7bf8815363417d5b58deecf9305e3e30f0f21a \
--hash=sha256:e0bcb7e0f677f543555d2adff3bf19c05f66cdb4796e5ff602442ab2fe3c4ef7 \
--hash=sha256:e2d65b31f36619cda3999b78b2aa9632e76b78448e7a56fc4240824200e7c4fc \
--hash=sha256:e6e8cff14d6fb0be70a09c0bdc58096f501952d04624ebf867e0e56da2df8960 \
--hash=sha256:f16c709686a78c727bbbf059f92b0bf41c6fc60deec706d2dc19f529175a6125 \
--hash=sha256:f24fb43132a4c6b4cb4eb029492919b2db645be6808d738f244fd146c03c32cb \
--hash=sha256:f53e442b08449d42821fa4a4fba000095af9f62742a500f978a9f557ec44339a \
--hash=sha256:f5cfbc5fe74540d335175b656c725d74d90e3730c626d92575eea35029d9afaa \
--hash=sha256:f81b3b8f3d4e343550fa4baa0e479bba9f2d29ce9c2e9b51d1ce1718d7442fcf \
--hash=sha256:f8ec5e643a9a937f64e1999eb9f75d072263751912dc5cd06d3c85f8f44be7c3 \
--hash=sha256:fb92203a88b3d3053034db775110081c49d28be6551923805e039924093761e4 \
--hash=sha256:fcd22650c908d7b7da162bbfaab594a1227a15d1643a98c68b122ac642fa2264
# via argon2-cffi-bindings
jmespath==1.1.0 \
--hash=sha256:472c87d80f36026ae83c6ddd0f1d05d4e510134ed462851fd5f754c8c3cbb88d \
--hash=sha256:a5663118de4908c91729bea0acadca56526eb2698e83de10cd116ae0f4e97c64
# via
# boto3
# botocore
pillow==13.0.0 \
--hash=sha256:02464da86f561f410e13b061ec37c3068a9cb557a095494157742d07b3c24a27 \
--hash=sha256:04a63720f79e22fd54d897c233a68314c50ca0603360f54ce2bd5db8f0f43782 \
--hash=sha256:05cd2cd39055d0b9650060e4513ef4a9a0aea870083950bd046a0d6490f93a22 \
--hash=sha256:06903aac074d00c988e77a1fc435286dc498506d4ca8d6f69df9babddf4ecc15 \
--hash=sha256:08b826a9bf1265c76de04a42061d61ea6b109418b7826f28ff1ecdfaa26c5502 \
--hash=sha256:0d1a9cf7bc6917538b20f8d06b9ab2147e542f68849e96fc58eb66bdf6acc692 \
--hash=sha256:10b5019883c98f1dd819ca48ffc6f33a91cee04948fe637c605f4345c7cafd6f \
--hash=sha256:12b0fa15879fe5a9d9eebe66e4e2d74128a773b1a4448010c9c714f45e04b9d8 \
--hash=sha256:12fbb851cf323cc19aac3eea1df5ad17b57e91e9fe3cfd06100dba7bb8208c13 \
--hash=sha256:149a1c323ba366f90b48e6f1a6db6582eb50512df374588de56fc909abc0f0f3 \
--hash=sha256:19b66ca0a4d25cc0200b381ce824c7ea090db61427315e73cfb05dbf1b35c369 \
--hash=sha256:1c774b9c0ba0d0b356f71530677b39028878a2cae5a93e0a13779cfd17120f88 \
--hash=sha256:20722cd5375533ad754053363a80b8fb30c79d37930a6f7228030e237ce3bd5d \
--hash=sha256:20822140c9a2ba9c5e42df342b0a892ab2e102fc0e3db967a133bb9ce3f898bb \
--hash=sha256:21c32061a5512dc13f87cc7303e120e4d77c2f70df89a35af0e3ce246e5ac57f \
--hash=sha256:2310e2adfc13c6d457d7d0f2ffdd5c56a74a317650cf765887df8d515a647ac0 \
--hash=sha256:23edf4ec4b6f4f240e8df6e4985e9ee2ced86474632433e55fb1e2548744bf40 \
--hash=sha256:2d50500a4a3bc6469adcdb319cf05d688b08ca3bf0f22a05339f3b25b433a599 \
--hash=sha256:2e31c4e68cffd7b1f116127626813b82fcba19edf6b940a7b0c266d6484d0055 \
--hash=sha256:34fb3db1149c879343861831728c243c432d4a5afc8f1878ca7612ef8de2a033 \
--hash=sha256:37290fbef0c73e2d51d594eb78fded7dc7170d1c3ad0a890269e6fd8c8c4e061 \
--hash=sha256:405be6058e206a86fedce2f715ecc2343f94072d7925251632dffa2c05f70dca \
--hash=sha256:40a266371ece581e5de13b6635ef78d7487824af80561b6ca27694a88c19bc0f \
--hash=sha256:42d63be3af4f9b951b199b0a9d23365d37ab14687e6d77b74940432c8515c4ca \
--hash=sha256:44629d4498c9cb6b2051806155f22141df0d8a929c56134b166655232dfb2f8c \
--hash=sha256:49c12af515073e9bf511e4ef736743bf70d531a643668722279314b937742ba4 \
--hash=sha256:4a25756244bdcce3b50580baadf320fa48297f0eeb8e114ba64139a40d4d0fc8 \
--hash=sha256:4bd024d567eca931b668978d672dba914d4b8e2628e2c3073a2ad178de8a2620 \
--hash=sha256:4f8db54177035a2b5f717f94475b74907e12a96dc74f6d487f3966b0a4694071 \
--hash=sha256:51ebb529fc5e8abdd55302f6c3f8943037348ec2384329a3e55677f69ae2fdfc \
--hash=sha256:567f20f1c75897d7663830da6ea8af719e03d712b1d9ee7f813319f9ece42e5a \
--hash=sha256:5933fcea5a5ba64c686f55c886a115cbfd92f2900460784a1e79909fdbafd7b6 \
--hash=sha256:5bdb38ba220b61b4ec31dd1046dea6b016d3c6850a23f43ed8b58332b2fc668e \
--hash=sha256:5f56499c1a74d2b862beb0c33b8016f99d095858455df9d21583bbbc1c15b582 \
--hash=sha256:67871a13cf47275201553b536c025da777f997fa562a19eb798af4ad4b97c18f \
--hash=sha256:67c8d44ad89fa7eb88de5d6ef6199b1e03dd24974f85a67639fc8badb801fe79 \
--hash=sha256:6a0920cb55df5a4d3f6862964908078c0bd59332bdd1bcd20d14e8c70ef27cc5 \
--hash=sha256:6bce6a29c3898191f4c9998e4d4e8f69790caeabde46e54da4bc235ce5bde683 \
--hash=sha256:6f38f3f885a09cafc93fd667b1173a92f379e43785d635e7983c893f0da319fb \
--hash=sha256:73ee25cf8cf8b75d5a5aeed7cb6588f5e5dbfbb0fde51707b630bbb23897645c \
--hash=sha256:7b999816b5850a35ada08443e6e03945f1f6488144a83afe2d37b240a552aafa \
--hash=sha256:7c88c10dd432f3b39ccdafc9ed81d0c21b8fd634502574da76d1bfa4fe2c76d0 \
--hash=sha256:7d5e097eabd5d4915c27ac9f6e9325bb1e01a7c94d7348b5c4451d3fc30e8521 \
--hash=sha256:7e91e97a929232cdb828889ee6ad0e48d7f40f4ec38818f4e4a8968b2b1af22e \
--hash=sha256:7f6299e494e46253d40c34653cac369412f44ca53b5f85d848d3f95b1ed0546c \
--hash=sha256:816752a5ef76a80484c8c441c85593b7ea9304f6231fc5776ad1fbff7e773058 \
--hash=sha256:83b37abd87b590acd8f47ca8a61f70893322b11834d36e07c2298dacad4d14d2 \
--hash=sha256:8619685cad8efc4c38c66d3b36aad854523297c43d748b3b6f0cc03c90ba3463 \
--hash=sha256:8bf295fe459343bc6093c8e5e0df60bfa189e0fcb775a22e2c2488fdeccc6c0d \
--hash=sha256:8e459b613cf31f8980f584387b4fe47bf08e076e288d61aa8eba1f7fd4ddbb81 \
--hash=sha256:8f36aa77f74b14a2103622b196402c71330e4e7cf4122ee45c854e9a01e0eecf \
--hash=sha256:93ff9c9c3663ce23aaa5d0b6b6abac55359e2a0c06c7e30f3771829af816be63 \
--hash=sha256:9a635068d9793c7f0d929f39f18b58f1bd86c236e8e7b64167b86af9232ebca0 \
--hash=sha256:9dda0788a9932776a75d8bcc020076edc308ce2508b51f6739a45e3158b3fc42 \
--hash=sha256:a192360d512305fe92d3053e4f7627bbad1f7708f1f4ad38cccd9336acabe9ad \
--hash=sha256:a2a14cd73d5e6c927f644b0110ee81f59c4ef506259ec9183904747f2caacc81 \
--hash=sha256:a625df9a2a5597fa5e5266e01aefc82604bb85d291e3547981e863560d75da6c \
--hash=sha256:a6aaa7871aebca081eb5c45f83e845bbd9712ae99fa9286dbfdcee835e63f4b4 \
--hash=sha256:aa694c49787040943570d61c9b8fc01271bd2a2cfdd55f0d896f8aecdce1a981 \
--hash=sha256:adb3c2124c68e480f4632d06cb7caa3b48a51678475f483b4edb1c6dee29ea43 \
--hash=sha256:b84be41387fc00db28c13c02e30d42b02d8d8f6a4a741a1aee6012ca7f1f6039 \
--hash=sha256:bf97ba1b5542050e9b0c74e632323b6d8136cc99d64e193abebee22fe6013c76 \
--hash=sha256:c3bc8ee0271387e0b1e3ad0ff893645990a656e79bf9c42f4f734a3642b11d51 \
--hash=sha256:c50c80e3591e5cf9a8dfa6007d4f10732f02e32263850999286e56ccd650cfb2 \
--hash=sha256:c6fd031333dedcad7ce3e03d244093f43504f209e86925ebdb2b868fa4037630 \
--hash=sha256:c87a04e7f152ee4db5dbe15f0bfa3fe628a1aeedbe66b81c43b87f52c813f9ac \
--hash=sha256:cdcd1ba258178f7356d74170c9a81ba4eab6a5d55748bc402a5a2a6fe6be3510 \
--hash=sha256:d4737f50d23ddd11d6685faacbb9252887dde0bc7997127757247983d74399d6 \
--hash=sha256:d7710eb676e9bb68965cb045be0d333b4c0d7f9dfbaa7fbf121385b1588683d3 \
--hash=sha256:d9b0a2bee3f3e03e9f29057aedb807dbf1e1d96ee1b9d0f422d9db6c8583271d \
--hash=sha256:e65dd6e75de67b2362a4fa3e16aa627595f65054dc4ec73d64680c84d592fa61 \
--hash=sha256:e892354a424b1e82a78ba16785822bdd40de06f19446a3d4a28047df1a4f8932 \
--hash=sha256:e8ca8f69b7c77fa96dad99f8638c1fc4f1c0bed4acaa1baf7a3c31bdb80a0ab1 \
--hash=sha256:e91c2b1cbeae768c98752e67e717e283d68dae45717b41f2d91eaee648e37b7d \
--hash=sha256:e98b4f91f99b24b1da72e10621ba181f7281922384a7403094debb4199de6c00 \
--hash=sha256:ef5fe6b7db3f501c56000ba8fe7c7e1a35ca1d45824fbeb95a67daa85cff4dbe \
--hash=sha256:f11a3c1358bb3c68012a7b1f41b223c3db9f7bfde90b481df028cfe1c3363313 \
--hash=sha256:f391dc92a015c478745192fe4f2e120c2af2aba18d9fe0616341cbf537599806 \
--hash=sha256:f7cbb7a64e7ec664775195e4f81923bc8a93d9451b963f844e59118f63147a7a \
--hash=sha256:f9bd7d260d986f3553518c5d723544346fa48031f8aef3265d786aeb59845bc0 \
--hash=sha256:fc481f742ccda20e9ed760b8f978dff50f2a4e9bc253ac167fb0a05b0783ef52 \
--hash=sha256:ff3fe9eb621fbb9db4c4be33ab946f6bac5f98ab50ca8d3260503653656c961b \
--hash=sha256:ffea6b2986a797c84b6d1d27d4f43e0b83c73fc16281a930891cd237cf0d08fe
# via -r requirements.in
psycopg==3.3.6 \
--hash=sha256:a1db9f7148b06a28606767efaca51fa6f9398c5c0a3810519be69d7000bdb631 \
--hash=sha256:c081f2250df751a943036e42db6df4571c66cd0aabe8291a7a506512b12007d2
# via -r requirements.in
psycopg-binary==3.3.6 \
--hash=sha256:05a83ac9fd52b9bca7cb5ab04b3691163170bd16f53defa27216ea3aa07ee781 \
--hash=sha256:0a52991594ac4db888c7d39bccef331797e30cb31a95cae02cf2607f83a42dc2 \
--hash=sha256:0bf08b749cc144f33b44a91b78e3f71c60eb07963746a0df5a100b36ce3d7475 \
--hash=sha256:0ebfad5d131de9f892ae9e70cc7616207768b6714b66a52d4612b8ceaf78b372 \
--hash=sha256:1679a1cb93fbe5a6d1fd58d82cbddcc6fcb8c61446ba7cae6eb2a7b19bc585de \
--hash=sha256:198a48e68cc99ccac03ba95ac857e73aa66f3bf6be77019fafb0832a05f7ad03 \
--hash=sha256:1fbd30e537dab22cafdf080608f10148fe2a5f3a61294ddb5113caac8a623840 \
--hash=sha256:289aadd6a00e151203c081f708348ec89f1e483c9b510ef4ac3981f847f01f79 \
--hash=sha256:2f122603f36050937982abf9668d8bc4769a79f7c93a65013b1c49f1cab7b56b \
--hash=sha256:303732e798fe6729f8e12021b9c96107df8e95ecec4dd487c67b98ec2a59435e \
--hash=sha256:31cd942c23f613276b81a6e6598cefa12960058b0f46e1e874b540c793f6aca5 \
--hash=sha256:366db6e97e66b37211475f20c4c1324a2dc0dd825e46d4e87f9d599304d276f9 \
--hash=sha256:373704aea331d3f3e3402c125a1543f5875e2986ebb54f97d1647942161f803f \
--hash=sha256:37d40450659401600e6d043ff586c89a71a69f33cbb8bcdba6cdb2569beecdbe \
--hash=sha256:37e517c146b185f9c0c6e8d0a0ebbdeeeb67896af28466e032bc810d0c7dc7a7 \
--hash=sha256:3af90f92769d8cc10f94515ee7a0aef36ea85ca733a0ce22858f6e0953f41138 \
--hash=sha256:3c9e663b2e800e3218994cf948c11bcc2844e6491b34aa80d089baf6531827bf \
--hash=sha256:3f84dab25e0385692ee13274c68678377e0b1a70ab9d14e56264cbf61f60c62d \
--hash=sha256:4690cf67738f0e0e49a32aeec99bf0e4595cc2b4f1af984a4345394b1dcff91a \
--hash=sha256:566dd827f17728efdf7d88a5b066f815170f6fdad13967ae952842d90e6aaa9f \
--hash=sha256:5927b7ba63153cd8e9862987290a2b783a5c590daf2a4ef981700cc3569166d4 \
--hash=sha256:5ad8f35e67cc16d1fad1fa8c88972dc9b3a3141ea67897399904edab96a301b6 \
--hash=sha256:5ea8beeb5541780b4b50b462eeacbc4f594ce3b911dc20c81c75f267876f71d2 \
--hash=sha256:5f598f19fa9a91540b5cee17932ffd227b7b53a481605bcc4573c0eafa647300 \
--hash=sha256:612382ac3ed13651c7fa44b5fee9fbf7baaa2ddbc6f500391672682c5f1df9e0 \
--hash=sha256:6ff05561e4a067d35507dc5c90f1deb2ec1c9703ac5cccc1bc26e08a197f9c5a \
--hash=sha256:7308c93cf0b19bbaf8e6ff0a6ad50d3c442385739245fe15a8d593bf841734a6 \
--hash=sha256:79a2a1c3449f6c3409427078ed1cec10de79f3023cb5f2504f0597d350ad46c7 \
--hash=sha256:7beb3e41c9a1e509f3ed85263386588cbe3e975aa67be21f79f44fd35ffaeefc \
--hash=sha256:86147cb5d140341c3363fb5bacce31f8d5543902a46699d3c536b101bbceaf9e \
--hash=sha256:889e42acec10450185e0cdfb396f375e2c1a8d7737c114830a7fde4654f59e30 \
--hash=sha256:910ace140e3e7b7596898d083f37a8fe90c5c40684252ad4e682364b2cd3deba \
--hash=sha256:955e3dd94da361e052d2e49acf591017158dc8f8ed2c8a42c2e3943403c39dc2 \
--hash=sha256:9892188bb15e5803beb51afe8a25add6b56be391a53058e8bca03b74e1e6bf22 \
--hash=sha256:98c02090d88f2ebc0ec1e8da538f77d225ce0fffecf372aa39262e62a1b054ef \
--hash=sha256:9b2f11794e017ce340934e35de46181c46ef71ec75ea3d85dd75cd836761c01e \
--hash=sha256:a2e44a342d2aee40508e28a563d8961c39d9bbd8cae36d8578f0a3c6658aab0f \
--hash=sha256:a4ee3bdd5468a725f2a4d9aab8a74b6d0279f768c8b5d3aeb102c5307ff3d59c \
--hash=sha256:a5165300324efd5a772c48a88ab3a928513ab3979fca76553e62ee815f7b2b9c \
--hash=sha256:a9348c5b43a3bb5ef8c2e89d5237c9c87eeafb01d338c84a7aebbc5cd0313299 \
--hash=sha256:aa73160077345ec21b3f51e8e24b3de2e99586217e497629326eb9b2ea88c52e \
--hash=sha256:ad1c785e784cfd87e8436c6b7702f2d321fc39601bbaf29bc63a41a867091638 \
--hash=sha256:b3f75dee0f9afafabe4edc52c4842f1e1878ed2069bd05b22d6fe961e97e4dba \
--hash=sha256:b599defe9190b17e9907c8b4d114c181e702c87efcd1b8a0ad40971cdcc4634a \
--hash=sha256:b82491019b884d62318b5f30706c3d7e6d4e5a6cb7eabcb3edc0c1b0fdaceae9 \
--hash=sha256:b8ece331509f7a975b90501f41e83ad905e4141753fedf3f2711b2bc70a8efbc \
--hash=sha256:b979a42815410432420275412633960807178b1ce26591a16ce06e78a5bd4bb2 \
--hash=sha256:be4f9b3c9338ac5dd217c5847e21521b396c8117f78dc420d495a5c49bbef874 \
--hash=sha256:bf8c8481d026b85dd70c5fa7dde85b2333aed0b32a2602bcd38a900cbd78a49c \
--hash=sha256:c61617eaae0112ca154da87ffb99b73af2c74067acac28dfb9a4455b019dff2e \
--hash=sha256:c6d19cb4999d03231e8730a5f66c8f5068bc3b532677eb39dab0f600bff3e312 \
--hash=sha256:c7753871eb57e6a5f4646f6168590c6653073dea5e9e720b201c8875332df4c8 \
--hash=sha256:c7f92daa0d2a1c76f07264abddf8cbabd30152a2f09c3270e50f0c7efdf5dcac \
--hash=sha256:cbd5f73073ed19c378d4c35499db1e3e703a5b1a324e521204065967bfaa7a18 \
--hash=sha256:cec5ea900390897d0b46130f60bc2883bf19c314f9044235217c8be88b0ef269 \
--hash=sha256:d636338c8f21b0df2f84657b00bc34f9313f826ef93f1155bc743607e4a0c5eb \
--hash=sha256:dc75da5a20951049f7b773145f998f69d181adad9c58a0ff36e0cf1d73c10e10 \
--hash=sha256:e23a66a763fbe83fcc210bc77c27e5a5ea380ebf091c06f34d8561b695e5a40f \
--hash=sha256:e8cbb54454dbf1bbf2ff08dd7693e8d94ac94b1a20f70f4b3b813d52ecb5cbc1 \
--hash=sha256:ee2c4728c691245e24501fcd7a97b5b381236b9985bc445bba88cdce7d1b5784 \
--hash=sha256:f0535693ce476a722b718b002d5d2c27d47e71ca945276ac194409c98e74c492 \
--hash=sha256:f19cc87343eaa55255e76b31259a570072ac95d6ae82c92dd34b97691f5e49dc \
--hash=sha256:f21d057f3e5f5491067e5b292498073b73847d48799b099803fef100775fcc52 \
--hash=sha256:f87dbdc42e78ee0f7ea180c03f8c78e80a949e373066629bd90fefff10552dff \
--hash=sha256:fa34eb47969297471db7b7f193622c7e3ee839ec05abd05f1fe104d5b1b1dcf4 \
--hash=sha256:fdccb3a0e184b03e9baa673b15a809cf36c339c85dbda0ebc25a698846dfbee8
# via psycopg
psycopg-pool==3.3.3 \
--hash=sha256:9b9cd6a4fcec47a410f7e82d408540e7f77b478509e91b44c1a5457a13e5ff37 \
--hash=sha256:df87b5d9d0ad7db37f6cdad4fa8ce113d250f5997f6db38e9a99192fb67f9e1d
# via -r requirements.in
pycparser==3.0 \
--hash=sha256:600f49d217304a5902ac3c37e1281c9fe94e4d0489de643a9504c5cdfdfc6b29 \
--hash=sha256:b727414169a36b7d524c1c3e31839a521725078d7b2ff038656844266160a992
# via cffi
python-dateutil==2.9.0.post0 \
--hash=sha256:37dd54208da7e1cd875388217d5e00ebd4179249f90fb72437e91a35459a0ad3 \
--hash=sha256:a8b2bc7bffae282281c8140a97d3aa9c14da0b136dfe83f850eea9a5f7470427
# via botocore
s3transfer==0.19.3 \
--hash=sha256:24eb7535804306355e31c952a90022bf5b2f9d760f9a11062c7493a217c08553 \
--hash=sha256:8326acc3d056d7f7b8a37110c7d2aea41f67e83f6ae79cd3b5fbcca34c726406
# via boto3
six==1.17.0 \
--hash=sha256:4721f391ed90541fddacab5acf947aa0d3dc7d27b2e1e8eda2be8970586c3274 \
--hash=sha256:ff70335d468e7eb6ec65b95b99d3a2836546063f63acc5171de367e834932a81
# via python-dateutil
typing-extensions==4.16.0 \
--hash=sha256:481caa481374e813c1b176ada14e97f1f67a4539ce9cfeb3f350d78d6370c2e8 \
--hash=sha256:dc983d19a509c94dba722ee6abd33940f7c05a89e243c47e907eb4db6f1a43e5
# via psycopg-pool
tzdata==2026.6 \
--hash=sha256:0a10eec6e13ef16b627fabed9a5f2ba61a62b1c67f327305f4e7e412a70b4aec \
--hash=sha256:85d2cd9c09f81f0bb29db27759fc83af4f1e620efb814f8c5bf8b4cc4feece6d
# via psycopg
urllib3==2.8.0 \
--hash=sha256:0cf3cae568d36aa9576b28dfb35f11328f1cb974ca7647d9475ebb86c75ac6e3 \
--hash=sha256:63bf2ead4c879426ebf22ef2a781eeb4aa3b4ae798a0435506f8687fd5bb9b63
# via botocore
valkey==6.1.1 \
--hash=sha256:5880792990c6c2b5eb604a5ed5f98f300880b6dd92d123819b66ed54bb259731 \
--hash=sha256:e2691541c6e1503b53c714ad9a35551ac9b7c0bbac93865f063dbc859a46de92
# via -r requirements.in
+208
View File
@@ -0,0 +1,208 @@
#!/usr/bin/env python3
"""Regression: pause PostgreSQL, direct API 503, discard connection and recover.
No published replica ports: direct HTTP is sent from inside each API container.
PostgreSQL is always unpaused in finally. Uses existing local synthetic stand.
"""
import argparse
from concurrent.futures import ThreadPoolExecutor
import json
from pathlib import Path
import queue
import subprocess
import sys
import threading
import time
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, Failure, check
LOG = []
def record(value):
text = value if isinstance(value, str) else json.dumps(value, ensure_ascii=False)
LOG.append(text)
print(text, flush=True)
def compose(*args, timeout=40):
proc = subprocess.run(['docker', 'compose', *args], cwd=ROOT, capture_output=True,
text=True, encoding='utf-8', errors='replace', timeout=timeout)
if proc.returncode:
raise RuntimeError('docker compose ' + ' '.join(args[:3]) + ': ' + proc.stderr[-1200:])
return proc.stdout.strip()
PROBE = r'''
from concurrent.futures import ThreadPoolExecutor
import http.client, json, sys, time
expected, count = map(int, sys.argv[1:])
def request(path, status):
c = http.client.HTTPConnection('127.0.0.1', 8080, timeout=8)
start = time.monotonic()
try:
c.request('GET', path)
response = c.getresponse()
body = json.loads(response.read())
assert response.status == status, (response.status, body)
assert response.getheader('X-Request-Id')
assert response.getheader('X-Instance-Id')
if status == 503:
assert body['error']['code'] == 'unavailable'
assert body['error']['request_id'] == response.getheader('X-Request-Id')
return round(time.monotonic() - start, 3)
finally:
c.close()
with ThreadPoolExecutor(max_workers=count) as executor:
futures = [executor.submit(request, '/health/ready', expected) for _ in range(count)]
live = request('/health/live', 200)
elapsed = [future.result() for future in futures]
print(json.dumps(dict(status=expected, requests=count, seconds=elapsed, live_seconds=live)))
'''
WORKER = r'''
import json, sys, time
from messenger.config import read_secret
from messenger.db import create_pool, Repository
from messenger.errors import Unavailable
class SyntheticRollback(Exception): pass
pool = create_pool(read_secret('DATABASE_URL'), 1)
pool.open(wait=True, timeout=10)
repo = Repository(pool)
phase = sys.argv[1]
try:
try:
with repo._transaction() as conn:
conn.execute('SELECT 1')
print('ARMED', flush=True)
assert sys.stdin.readline().strip() == 'go'
started = time.monotonic()
if phase == 'query':
conn.execute('SELECT 1')
elif phase == 'rollback':
raise SyntheticRollback()
# commit: leave the block while PostgreSQL is paused.
except (Unavailable, SyntheticRollback) as error:
elapsed = time.monotonic() - started
assert conn.closed, 'timed-out connection was returned open'
assert elapsed < 8, elapsed
expected = SyntheticRollback if phase == 'rollback' else Unavailable
assert isinstance(error, expected), type(error)
print('TIMED_OUT', flush=True)
else:
raise AssertionError('operation unexpectedly succeeded while PostgreSQL paused')
assert sys.stdin.readline().strip() == 'resume'
recovery = time.monotonic()
while True:
try:
repo.ping()
break
except Unavailable:
if time.monotonic() - recovery >= 15:
raise
time.sleep(0.1)
assert pool.get_stats().get('requests_waiting', 0) == 0
print(json.dumps(dict(phase=phase, timeout_seconds=round(elapsed, 3),
connection_closed=conn.closed, pool_max_size=1,
recovered_seconds=round(time.monotonic()-recovery, 3))), flush=True)
finally:
pool.close(timeout=1)
'''
def line(proc, timeout=15):
result = queue.Queue()
threading.Thread(target=lambda: result.put(proc.stdout.readline()), daemon=True).start()
try:
return result.get(timeout=timeout).strip()
except queue.Empty:
raise AssertionError('database test worker did not finish in time') from None
def ready(c):
start = time.monotonic()
while time.monotonic() - start < 30:
try:
c.call('GET', '/health/ready', schema='Health')
return round(time.monotonic() - start, 3)
except Failure:
time.sleep(0.2)
raise AssertionError('API did not recover after PostgreSQL unpause')
def readiness(c, ids):
a, b, eve, chat = c.bootstrap()
for index in range(len(ids)):
compose('exec', '--index', str(index + 1), '-T', 'api', 'python', '-c', PROBE, '200', '1')
for cycle in range(2):
try:
compose('pause', 'postgres')
with ThreadPoolExecutor(max_workers=len(ids)) as executor:
futures = [executor.submit(compose, 'exec', '--index', str(index + 1), '-T', 'api',
'python', '-c', PROBE, '503', '12') for index in range(len(ids))]
for index, future in enumerate(futures):
record(dict(cycle=cycle + 1, api=index + 1, **json.loads(future.result())))
finally:
compose('unpause', 'postgres')
elapsed = ready(c)
# Same token and a real DB write/read after recovery, no API restart.
message = c.message(a, chat, 'PostgreSQL pause regression ' + str(cycle))['json']
page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages', actor=b, schema='MessagePage')['json']
check(message in page['items'], 'confirmed write not visible after unpause')
record(dict(cycle=cycle + 1, recovered_seconds=elapsed, existing_session_and_write='PASS'))
def operation(phase):
proc = subprocess.Popen(['docker', 'compose', 'exec', '-T', 'api', 'python', '-u', '-c', WORKER, phase],
cwd=ROOT, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE,
text=True, encoding='utf-8', errors='replace')
try:
check(line(proc) == 'ARMED', 'worker could not open a transaction')
try:
compose('pause', 'postgres')
proc.stdin.write('go\n')
proc.stdin.flush()
check(line(proc) == 'TIMED_OUT', 'operation did not time out and close connection: ' + phase)
finally:
compose('unpause', 'postgres')
out, err = proc.communicate('resume\n', timeout=25)
check(proc.returncode == 0, 'worker failed: ' + err[-1200:])
record(json.loads(out))
finally:
if proc.poll() is None:
proc.kill()
proc.communicate(timeout=5)
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--base-url', default='http://127.0.0.1:8080')
parser.add_argument('--output', type=Path)
args = parser.parse_args()
try:
c = Client(args.base_url, timeout=8)
ready(c)
ids = compose('ps', '-q', 'api').splitlines()
check(len(ids) >= 2, 'start at least two API replicas')
readiness(c, ids)
for phase in ('query', 'commit', 'rollback'):
operation(phase)
ready(c)
record('PASS: paused PostgreSQL returns bounded direct 503; query/commit/rollback discard connections; same pools recover.')
return 0
except Exception as error:
record('FAIL: ' + str(error))
return 1
finally:
if args.output:
args.output.write_text('\n'.join(LOG) + '\n', encoding='utf-8')
if __name__ == '__main__':
sys.exit(main())
+139
View File
@@ -0,0 +1,139 @@
#!/usr/bin/env python3
"""EXPLAIN (ANALYZE, BUFFERS) of the history page query on 10 000+ messages.
python scripts/explain_history.py --output evidence/explain.txt
The stand must be running. The script registers two synthetic users through the API,
creates a target chat and a noise chat, bulk-inserts messages with SQL, runs ANALYZE and
prints the plans of the same query the API runs (src/messenger/db.py, list_messages):
first page, a page in the middle, the last page, the generic plan of the parameterized
query, and for comparison the middle page without the index (DROP INDEX inside a
transaction that is rolled back, so the database is left unchanged).
Standard library only.
"""
import argparse
import base64
import json
from pathlib import Path
import subprocess
import sys
import time
import urllib.request
import uuid
ROOT = Path(__file__).resolve().parents[1]
BASE = 'http://127.0.0.1:8080'
PSQL = ['docker', 'compose', 'exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger',
'-X', '-v', 'ON_ERROR_STOP=1']
PAGE = 51 # limit 50 + 1 row to learn whether the next page exists, as the API does
lines = []
def out(text=''):
lines.append(text)
print(text, flush=True)
def psql(sql, echo=True):
"""Run SQL in one psql session; with echo the transcript shows every statement before its result."""
args = PSQL + (['--echo-all'] if echo else ['-At']) + ['-f', '-']
done = subprocess.run(args, cwd=str(ROOT), input=sql.encode('utf-8'), stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
text = done.stdout.decode('utf-8', 'replace').strip()
if done.returncode != 0:
out(text)
raise SystemExit('psql failed')
return text
def api(method, path, body=None, headers=None):
headers = dict(headers or {})
data = None
if body is not None:
data = json.dumps(body).encode('utf-8')
headers['Content-Type'] = 'application/json'
request = urllib.request.Request(BASE + path, data=data, headers=headers, method=method)
with urllib.request.urlopen(request, timeout=10) as response:
return json.loads(response.read())
def user(label):
username = label + '_' + uuid.uuid4().hex[:10]
password = 'Explain-' + uuid.uuid4().hex
created = api('POST', '/api/v1/users', {'username': username, 'display_name': label, 'password': password})
credential = base64.b64encode((username + ':' + password).encode()).decode()
session = api('POST', '/api/v1/auth/sessions', headers={'Authorization': 'Basic ' + credential})
return created['id'], session['token']
def page_sql(chat_id, after=None):
"""The same SQL text as Repository.list_messages, with literal values."""
sql = "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = '%s' " % chat_id
if after:
sql += "AND (created_at, id) > ('%s', '%s') " % after
return sql + 'ORDER BY created_at, id LIMIT %d' % PAGE
def main():
parser = argparse.ArgumentParser(description='EXPLAIN of the history query; inserts synthetic messages')
parser.add_argument('--messages', type=int, default=10000, help='messages in the target chat (>= 10000)')
parser.add_argument('--noise', type=int, default=20000, help='messages in another chat')
parser.add_argument('--output', default=None)
args = parser.parse_args()
sys.stdout.reconfigure(errors='replace')
out('# %s UTC, %s' % (time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime()), psql('SELECT version()', echo=False)))
alice, alice_token = user('explain_a')
bob, _ = user('explain_b')
target = api('POST', '/api/v1/chats', {'title': 'EXPLAIN target', 'member_ids': [alice, bob]},
{'Authorization': 'Bearer ' + alice_token})['id']
noise = api('POST', '/api/v1/chats', {'title': 'EXPLAIN noise', 'member_ids': [alice]},
{'Authorization': 'Bearer ' + alice_token})['id']
out('# target chat %s: %d messages; noise chat %s: %d messages' % (target, args.messages, noise, args.noise))
started = time.monotonic()
psql('''
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '%(target)s', CASE WHEN i %% 2 = 0 THEN '%(alice)s'::uuid ELSE '%(bob)s'::uuid END,
'seed message ' || i, clock_timestamp() + i * interval '1 millisecond'
FROM generate_series(1, %(messages)d) AS i;
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '%(noise)s', '%(alice)s', 'noise message ' || i, clock_timestamp() + i * interval '1 millisecond'
FROM generate_series(1, %(noise_count)d) AS i;
ANALYZE messages;
''' % {'target': target, 'noise': noise, 'alice': alice, 'bob': bob, 'messages': args.messages, 'noise_count': args.noise},
echo=False)
out('# inserted and analyzed in %.1f s' % (time.monotonic() - started))
out(psql("SELECT 'messages total: ' || count(*) || ', in target chat: ' || count(*) FILTER (WHERE chat_id = '%s') FROM messages" % target, echo=False))
def key_at(position):
row = psql("SELECT created_at || '|' || id FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET %d LIMIT 1"
% (target, position - 1), echo=False)
return tuple(row.split('|'))
middle, last = key_at(args.messages // 2), key_at(args.messages - 20)
explain = 'EXPLAIN (ANALYZE, BUFFERS, COSTS OFF) '
out()
out('== 1. First page, middle page and last page: index range scan, no sort ==')
out(psql('\n'.join(explain + page_sql(target, after) + ';' for after in (None, middle, last))))
out()
out('== 2. Generic plan of the parameterized query (how a prepared statement with $1..$4 runs) ==')
out(psql('''SET plan_cache_mode = force_generic_plan;
PREPARE history_page(uuid, timestamptz, uuid, int) AS
SELECT id, chat_id, sender_id, text, created_at FROM messages
WHERE chat_id = $1 AND (created_at, id) > ($2, $3) ORDER BY created_at, id LIMIT $4;
%sEXECUTE history_page('%s', '%s', '%s', %d);''' % (explain, target, middle[0], middle[1], PAGE)))
out()
out('== 3. For comparison: the same middle page without the index (rolled back) ==')
out(psql('''BEGIN;
DROP INDEX messages_chat_history_idx;
%s%s;
ROLLBACK;''' % (explain, page_sql(target, middle))))
out(psql("SELECT 'index still exists: ' || (to_regclass('messages_chat_history_idx') IS NOT NULL)", echo=False))
if args.output:
Path(args.output).parent.mkdir(parents=True, exist_ok=True)
Path(args.output).write_text('\n'.join(lines) + '\n', encoding='utf-8')
if __name__ == '__main__':
main()
+62
View File
@@ -0,0 +1,62 @@
#!/usr/bin/env python3
"""Create local secret files for the compose stand.
python scripts/init_secrets.py
Passwords are random and synthetic; they are created only if missing and never printed.
The URL/config files are always rebuilt from the password files, so the pair stays consistent.
secrets/ is listed in .gitignore and .dockerignore.
PostgreSQL applies its password only when the data volume is created. If secrets/ is
deleted while the pgdata volume is kept, restore the old files or recreate the volume
(docker compose down -v deletes ALL lab data).
"""
from pathlib import Path
import json
import secrets
ROOT = Path(__file__).resolve().parents[1]
DIR = ROOT / 'secrets'
def write(name, content):
path = DIR / name
path.write_text(content, encoding='utf-8', newline='\n')
# Readable for the non-root users inside containers (files are bind-mounted as is).
path.chmod(0o644)
def password(name):
path = DIR / name
if path.is_file() and path.read_text(encoding='utf-8').strip():
print('keep secrets/' + name)
return path.read_text(encoding='utf-8').strip()
value = secrets.token_hex(24) # hex: safe inside URLs without escaping
write(name, value + '\n')
print('created secrets/' + name)
return value
def main():
DIR.mkdir(exist_ok=True)
postgres = password('postgres_password')
valkey = password('valkey_password')
write('database_url', 'postgresql://messenger:%s@postgres:5432/messenger\n' % postgres)
write('valkey_auth', 'requirepass %s\n' % valkey)
write('cache_url', 'valkey://:%s@valkey:6379/0\n' % valkey)
admin_key = password('s3_admin_access_key_id')
admin_secret = password('s3_admin_secret_access_key')
api_key = password('s3_access_key_id')
api_secret = password('s3_secret_access_key')
identities = [
dict(name='bootstrap', credentials=[dict(accessKey=admin_key, secretKey=admin_secret)],
actions=['Admin', 'Read', 'Write', 'List', 'Tagging']),
dict(name='messenger-api', credentials=[dict(accessKey=api_key, secretKey=api_secret)],
actions=['Read:messenger-attachments', 'Write:messenger-attachments', 'List:messenger-attachments'])]
# Нет anonymous identity: ни объект, ни список bucket не доступны анонимно.
write('s3_config', json.dumps(dict(identities=identities)) + '\n')
print('written secrets/database_url, secrets/valkey_auth, secrets/cache_url')
if __name__ == '__main__':
main()
+211
View File
@@ -0,0 +1,211 @@
#!/usr/bin/env python3
"""Повторяемые интеграционные проверки lab4. Запуск на локальном синтетическом стенде.
Ничего не удаляет из volumes. Отказы восстанавливаются в finally; токены не печатаются.
"""
import argparse
from concurrent.futures import ThreadPoolExecutor
import hashlib
import json
import os
from pathlib import Path
import random
import socket
import struct
import subprocess
import sys
import threading
import time
from urllib.parse import urlsplit
import zlib
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, Failure, check
def command(*args):
result = subprocess.run(list(args), cwd=ROOT, capture_output=True, text=True, encoding='utf-8', errors='replace')
if result.returncode:
raise RuntimeError('Command failed: ' + ' '.join(args[:4]) + '\n' + result.stderr[-1500:])
return result.stdout.strip()
def compose(*args):
return command('docker', 'compose', *args)
def sql(query):
return compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-Atc', query)
def ready(c):
deadline = time.monotonic() + 60
while time.monotonic() < deadline:
try:
c.call('GET', '/health/ready', schema='Health')
return
except Failure:
time.sleep(0.5)
raise AssertionError('API did not become ready')
def stack(c):
config = json.loads(compose('config', '--format', 'json'))
for name in ('api', 'postgres', 'valkey', 's3'):
check(not config['services'][name].get('ports'), name + ': internal ports must not be published')
check(config['services']['api']['deploy']['replicas'] >= 2, 'two replicas required')
compose('run', '--rm', '--no-deps', 'bucket')
print('PASS stack: internal ports, 2 replicas, repeated bucket bootstrap')
def private(c):
a, b, eve, chat = c.bootstrap()
att, data = c.attachment(a, chat)
# Ключ доступен только оператору через БД, через публичный API его нет.
key = sql("SELECT object_key FROM attachments WHERE id='%s'" % att['id'])
code = """import urllib.request, urllib.error
from messenger.objects import ObjectStore
from botocore.exceptions import ClientError
s=ObjectStore()
try:
urllib.request.urlopen('http://s3:8333/'+s.bucket+'/'+%r)
raise AssertionError('anonymous GET allowed')
except urllib.error.HTTPError as e:
assert e.code==403, e.code
try:
s.client.create_bucket(Bucket='lab4-forbidden-bucket')
raise AssertionError('API has admin rights')
except ClientError as e:
assert e.response['ResponseMetadata']['HTTPStatusCode']==403
print('PASS private: anonymous object GET 403; API cannot create buckets')
""" % key
print(compose('exec', '-T', 'api', 'python', '-c', code))
def failover(c):
a, b, eve, chat = c.bootstrap()
data = (ROOT / 'tests/fixtures/sample.png').read_bytes()
result = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=failover.png', 201,
actor=a, raw=data, headers={'Content-Type': 'image/png'}, schema='Attachment')
target = result['headers']['X-Instance-Id']
ids = compose('ps', '-q', 'api').splitlines()
check(any(i.startswith(target) for i in ids), 'upload instance must be a replica of this stack')
try:
command('docker', 'stop', target)
ready(c)
download = c.call('GET', '/api/v1/attachments/' + result['json']['id'] + '/content', actor=b)
check(download['headers']['X-Instance-Id'] != target, 'download used stopped replica')
check(download['bytes'] == data, 'failover changed bytes')
print('PASS upload replica stopped -> another replica download; SHA256=' + hashlib.sha256(data).hexdigest())
finally:
command('docker', 'start', target)
compose('up', '-d', '--wait')
def outage(c):
a, b, eve, chat = c.bootstrap()
att, content = c.attachment(a, chat)
start = time.monotonic()
try:
compose('stop', 's3')
# После остановки dependency LB тоже исключает реплики. Проверяем обычным HTTP:
# созданный LB ответ вправе не иметь X-Instance-Id.
import urllib.request
import urllib.error
req = urllib.request.Request(c.base + '/api/v1/attachments/' + att['id'] + '/content',
headers={'Authorization': 'Bearer ' + b['token']})
try:
urllib.request.urlopen(req, timeout=6)
raise AssertionError('S3 down but content succeeded')
except urllib.error.HTTPError as e:
check(e.code == 503, 'S3 down must return 503')
payload = json.loads(e.read())
check(payload['error']['code'] == 'unavailable', 'invalid outage error')
print('PASS S3 unavailable -> 503; elapsed_s=' + str(round(time.monotonic()-start, 3)))
finally:
compose('start', 's3')
ready(c)
check(c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=b)['bytes'] == content,
'S3 outage lost object')
print('PASS same token and original after S3 recovery')
def png_noise():
# 3 MiB несжимаемых пикселей, реальный PNG. Случайность фиксирована.
rng = random.Random(42)
raw = b''.join(b'\0' + rng.randbytes(1024 * 3) for _ in range(1024))
def chunk(kind, data):
return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data))
return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', struct.pack('>IIBBBBB', 1024, 1024, 8, 2, 0, 0, 0))
+ chunk(b'IDAT', zlib.compress(raw)) + chunk(b'IEND', b''))
def memory(c):
a, b, eve, chat = c.bootstrap()
data = png_noise()
ids = compose('ps', '-q', 'api').splitlines()
# Kernel memory.peak учитывает дочерний decoder и tmpfs; sampling не пропустит пик.
before = [int(command('docker', 'exec', i, 'cat', '/sys/fs/cgroup/memory.current')) for i in ids]
barrier = threading.Barrier(10)
def upload(_):
barrier.wait()
start = time.monotonic()
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=memory.png', 201,
actor=a, raw=data, headers={'Content-Type': 'image/png'}, schema='Attachment')
return round(time.monotonic() - start, 3), r['headers']['X-Instance-Id'], r['json']
start = time.monotonic()
with ThreadPoolExecutor(max_workers=10) as pool:
results = list(pool.map(upload, range(10)))
elapsed = time.monotonic() - start
peak = [int(command('docker', 'exec', i, 'cat', '/sys/fs/cgroup/memory.peak')) for i in ids]
for _, _, att in results:
got = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=b)
check(hashlib.sha256(got['bytes']).hexdigest() == att['sha256'], 'concurrent checksum mismatch')
print(json.dumps(dict(concurrent=10, successful=10, bytes_per_file=len(data), dimensions=[1024, 1024],
seconds=round(elapsed, 3), successful_rps=round(10/elapsed, 3),
latency_seconds=sorted(r[0] for r in results),
replicas=len(set(r[1] for r in results)), memory_before_bytes=before,
memory_peak_bytes=peak, peak_scope='container lifetime; cgroup includes decoder and tmpfs')))
def compensation(c):
a, b, eve, chat = c.bootstrap()
before = int(sql('SELECT count(*) FROM attachments'))
sql("""CREATE OR REPLACE FUNCTION lab4_force_failure() RETURNS trigger LANGUAGE plpgsql AS $$
BEGIN IF NEW.filename='lab4-force-rollback.png' THEN RAISE EXCEPTION 'synthetic lab4 failure'; END IF;
RETURN NEW; END $$;
CREATE TRIGGER lab4_force_failure BEFORE INSERT ON attachments FOR EACH ROW EXECUTE FUNCTION lab4_force_failure();""")
try:
c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=lab4-force-rollback.png', 500,
actor=a, raw=(ROOT / 'tests/fixtures/sample.png').read_bytes(), headers={'Content-Type': 'image/png'})
check(int(sql('SELECT count(*) FROM attachments')) == before, 'failed transaction left metadata')
finally:
sql('DROP TRIGGER IF EXISTS lab4_force_failure ON attachments; DROP FUNCTION IF EXISTS lab4_force_failure()')
print('PASS injected DB failure after S3 PUT: metadata rolled back, no 201; fresh orphan protected by grace')
print(compose('--profile', 'tools', 'run', '--rm', '--no-deps', 'cleanup'))
# Обрыв клиента до завершения тела: INSERT/PUT ещё не выполнялись.
address = urlsplit(c.base)
with socket.create_connection((address.hostname, address.port or 80), timeout=5) as sock:
body = (ROOT / 'tests/fixtures/sample.png').read_bytes()
headers = ('POST /api/v1/chats/%s/attachments?filename=interrupted.png HTTP/1.1\r\n'
'Host: local\r\nAuthorization: Bearer %s\r\nContent-Type: image/png\r\n'
'Content-Length: %d\r\n\r\n') % (chat['id'], a['token'], len(body))
sock.sendall(headers.encode() + body[:len(body)//2])
time.sleep(1)
check(int(sql('SELECT count(*) FROM attachments')) == before, 'interrupted upload committed metadata')
print('PASS interrupted upload: no attachment committed')
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--base-url', default=os.environ.get('BASE_URL', 'http://127.0.0.1:8080'))
parser.add_argument('--only', nargs='+', choices=['stack', 'private', 'failover', 'outage', 'memory', 'compensation'])
args = parser.parse_args()
c = Client(args.base_url, timeout=30)
for name in args.only or ['stack', 'private', 'failover', 'outage', 'memory', 'compensation']:
globals()[name](c)
if __name__ == '__main__':
main()
+10
View File
@@ -0,0 +1,10 @@
@echo off
rem Windows twin of scripts/restart.sh: tests/resilience.py starts the hook directly,
rem and Windows cannot execute a .sh file. Same actions, volumes are kept.
setlocal
cd /d "%~dp0.."
docker compose stop api || exit /b 1
docker compose restart postgres valkey s3 || exit /b 1
docker compose start api || exit /b 1
docker compose restart lb || exit /b 1
exit /b 0
+11
View File
@@ -0,0 +1,11 @@
#!/bin/sh
# Hook for: make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Restarts the whole stand: all API replicas, PostgreSQL, Valkey and the load balancer,
# keeping the named volumes: no "down -v", no FLUSHALL, no re-seed.
# The test itself waits for API readiness through the load balancer afterwards.
set -eu
cd "$(dirname "$0")/.."
docker compose stop api
docker compose restart postgres valkey s3
docker compose start api
docker compose restart lb
+35
View File
@@ -0,0 +1,35 @@
#!/usr/bin/env python3
"""Sanitized runtime snapshot: real processes, start times, limits and volumes; no environment/secrets."""
import datetime as dt
import json
from pathlib import Path
import subprocess
ROOT = Path(__file__).resolve().parents[1]
def command(*args):
return subprocess.check_output(list(args), cwd=ROOT, text=True, encoding='utf-8')
def main():
ids = command('docker', 'compose', 'ps', '-a', '-q').split()
containers = json.loads(command('docker', 'inspect', *ids))
result = {'captured_at': dt.datetime.now(dt.timezone.utc).isoformat(), 'containers': []}
for item in containers:
# Only these selected fields are persisted; Config.Env is deliberately excluded.
result['containers'].append(dict(
name=item['Name'].lstrip('/'), image=item['Config']['Image'],
status=item['State']['Status'], started_at=item['State']['StartedAt'],
health=item['State'].get('Health', {}).get('Status'),
memory_limit_bytes=item['HostConfig']['Memory'], cpu_limit_nanos=item['HostConfig']['NanoCpus'],
volumes=[dict(name=m.get('Name'), destination=m['Destination'])
for m in item['Mounts'] if m['Type'] == 'volume'],
published_ports=item['NetworkSettings']['Ports']))
text = json.dumps(result, indent=2)
(ROOT / 'evidence/stack.json').write_text(text + '\n', encoding='utf-8')
print('Saved evidence/stack.json (process start times, versions, limits, volumes and ports)')
if __name__ == '__main__':
main()
+19
View File
@@ -0,0 +1,19 @@
@echo off
rem Windows twin of scripts/stop-one.sh: tests/resilience.py starts the hook directly,
rem and Windows cannot execute a .sh file. Stops ONE api replica by X-Instance-Id (container ID).
setlocal
if "%TARGET_INSTANCE_ID%"=="" (
echo TARGET_INSTANCE_ID is not set 1>&2
exit /b 2
)
cd /d "%~dp0.."
set PROJECT=%COMPOSE_PROJECT_NAME%
if "%PROJECT%"=="" set PROJECT=mtusi-lab4
set ID=
for /f %%i in ('docker ps -q --filter "id=%TARGET_INSTANCE_ID%" --filter "label=com.docker.compose.project=%PROJECT%" --filter "label=com.docker.compose.service=api"') do set ID=%%i
if "%ID%"=="" (
echo TARGET_INSTANCE_ID is not a running api replica of %PROJECT% 1>&2
exit /b 1
)
docker stop %ID% >nul || exit /b 1
exit /b 0
+19
View File
@@ -0,0 +1,19 @@
#!/bin/sh
# Hook for: make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Stops exactly ONE API replica and leaves it stopped. TARGET_INSTANCE_ID is the X-Instance-Id
# of the replica, which is its container hostname = short container ID. The hook checks that
# the ID belongs to a running "api" container of this compose project before stopping it.
# docker stop sends SIGTERM: the replica reports not ready, HAProxy removes it, then it exits.
# Restore afterwards: docker compose up -d (or docker start <id>)
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
cd "$(dirname "$0")/.."
project="${COMPOSE_PROJECT_NAME:-mtusi-lab4}"
id=$(docker ps -q --filter "id=$TARGET_INSTANCE_ID" \
--filter "label=com.docker.compose.project=$project" \
--filter "label=com.docker.compose.service=api")
if [ -z "$id" ]; then
echo "TARGET_INSTANCE_ID is not a running api replica of $project" >&2
exit 1
fi
docker stop "$id" >/dev/null
+43
View File
@@ -0,0 +1,43 @@
#!/usr/bin/env python3
"""Run acceptance checks and save real UTF-8 evidence. Requires an already running stand."""
import argparse
import os
from pathlib import Path
import subprocess
import sys
ROOT = Path(__file__).resolve().parents[1]
def main():
url = os.environ.get('BASE_URL', 'http://127.0.0.1:8080')
hook = 'scripts/restart.cmd' if os.name == 'nt' else 'scripts/restart.sh'
checks = [
('offline.txt', ['scripts/check_contract.py']),
('smoke.txt', ['tests/smoke.py', '--base-url', url]),
('tests.txt', ['-m', 'unittest', 'discover', '-s', 'student-tests', '-v']),
('lab4-checks.txt', ['scripts/lab4_checks.py', '--base-url', url]),
('postgres-pause.txt', ['scripts/check_postgres_pause.py', '--base-url', url]),
('persistence.txt', ['tests/resilience.py', '--mode', 'persistence', '--action-script', hook, '--base-url', url]),
('stack.txt', ['scripts/stack_evidence.py']),
]
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--only', nargs='+', choices=[Path(filename).stem for filename, _ in checks])
parser.add_argument('--output-prefix', default='', help='Keep a separate set of evidence logs')
options = parser.parse_args()
for filename, args in checks:
if options.only and Path(filename).stem not in options.only:
continue
result = subprocess.run([sys.executable, '-X', 'utf8', *args], cwd=ROOT,
env=dict(os.environ, BASE_URL=url), capture_output=True)
content = result.stdout.decode('utf-8', errors='replace') + result.stderr.decode('utf-8', errors='replace')
(ROOT / 'evidence' / (options.output_prefix + filename)).write_text(content, encoding='utf-8')
print(filename + ': ' + ('PASS' if result.returncode == 0 else 'FAIL'), flush=True)
if result.returncode:
print(content[-6000:], flush=True)
return result.returncode
return 0
if __name__ == '__main__':
sys.exit(main())
+1
View File
@@ -0,0 +1 @@
"""In-memory мессенджер, лабораторная 1. Только стандартная библиотека Python."""
+94
View File
@@ -0,0 +1,94 @@
"""Точка входа API: python -m messenger."""
import logging
import signal
import sys
import threading
import time
from .config import load_config
from .db import Repository, create_pool
from .server import MessengerServer
from .sessions import SessionStore
from .objects import ObjectStore
log = logging.getLogger('messenger')
# Как часто реплика удаляет ключи идемпотентности старше срока хранения.
CLEANUP_INTERVAL = 600
def cleanup_idempotency_keys(repo, ttl, stop):
"""Фоновая очистка. Каждая реплика делает одно и то же; повторный DELETE безвреден."""
while not stop.wait(CLEANUP_INTERVAL):
try:
deleted = repo.delete_expired_idempotency_keys(ttl)
log.info('event=idempotency_cleanup deleted=%d', deleted)
except Exception as error: # очистка не должна останавливать реплику
log.warning('event=idempotency_cleanup_failed error=%s', type(error).__name__)
def main():
config = load_config()
logging.Formatter.converter = time.gmtime # время в логах — UTC
logging.basicConfig(
stream=sys.stdout,
level=config.log_level,
format='%(asctime)s.%(msecs)03dZ %(levelname)s %(message)s',
datefmt='%Y-%m-%dT%H:%M:%S',
)
# Пул открывается в фоне: если БД ещё не готова, API всё равно стартует,
# а /health/ready отвечает 503, пока соединение не появится.
pool = create_pool(config.database_url, config.db_pool_size)
pool.open(wait=False)
sessions = SessionStore(config.cache_url, config.session_ttl)
repo = Repository(pool)
try:
server = MessengerServer((config.host, config.port), repo, sessions, config.instance_id,
config.idempotency_ttl, ObjectStore())
except OSError as error:
log.error('event=bind_failed host=%s port=%d error=%s', config.host, config.port, error)
return 1
# Обработчик сигнала только запоминает номер: всю остановку делает главный поток.
received = []
def on_signal(signum, _frame):
received.append(signum)
for name in ('SIGTERM', 'SIGINT', 'SIGBREAK'): # SIGBREAK есть только в Windows
if hasattr(signal, name):
signal.signal(getattr(signal, name), on_signal)
stop_cleanup = threading.Event()
threading.Thread(target=cleanup_idempotency_keys, args=(repo, config.idempotency_ttl, stop_cleanup),
name='idempotency-cleanup', daemon=True).start()
threading.Thread(target=server.serve_forever, name='accept-loop', daemon=True).start()
log.info('event=started instance=%s version=%s host=%s port=%d env=%s session_ttl_s=%d db_pool_max=%d '
'drain_delay_s=%g shutdown_timeout_s=%g', config.instance_id, config.version, config.host, config.port,
config.env, config.session_ttl, config.db_pool_size, config.drain_delay, config.shutdown_timeout)
while not received:
time.sleep(0.1)
started = time.monotonic()
log.info('event=shutdown_started signal=%s', signal.Signals(received[0]).name)
# 1. Реплика объявляет себя неготовой, но ещё обслуживает запросы: балансировщик проверяет
# /health/ready каждую секунду и после двух неудач (около 2 с) перестаёт слать сюда трафик.
server.begin_not_ready()
time.sleep(config.drain_delay)
# 2. Приём закрывается. Запросы на уже открытых соединениях получают 503.
server.begin_drain()
server.shutdown()
server.server_close()
# 3. Начатые запросы дорабатывают. Секунда остаётся на закрытие соединений с хранилищами.
remaining = config.shutdown_timeout - 1 - (time.monotonic() - started)
clean = server.wait_idle(max(remaining, 0))
stop_cleanup.set()
pool.close(timeout=1)
sessions.close()
log.info('event=shutdown_finished clean=%s duration_ms=%.0f', clean, (time.monotonic() - started) * 1000)
return 0 if clean else 1
if __name__ == '__main__':
sys.exit(main())
+31
View File
@@ -0,0 +1,31 @@
"""Идемпотентное создание bucket отдельными административными credentials."""
import time
from botocore.exceptions import BotoCoreError, ClientError
from .objects import ObjectStore
def main():
store = ObjectStore(admin=True)
for attempt in range(30):
try:
store.client.create_bucket(Bucket=store.bucket, ACL='private')
print('bucket ready (private; authentication configured by s3_config)')
return
except ClientError as error:
if error.response['Error']['Code'] in ('BucketAlreadyOwnedByYou', 'BucketAlreadyExists'):
# Нельзя присваивать bucket другого владельца: head с собственным ключом.
store.ping()
print('bucket already ready')
return
if attempt == 29:
raise
except BotoCoreError:
if attempt == 29:
raise
time.sleep(1)
if __name__ == '__main__':
main()
+55
View File
@@ -0,0 +1,55 @@
"""Сборщик неучтённых объектов; default dry-run, grace >= 1 час, повторный запуск безопасен.
Оператор: docker compose --profile tools run --rm cleanup [--apply]
Только originals/. Свежий объект и любая запись БД защищены. Проверка БД и удаление
делаются под той же advisory lock, которую upload держит от PUT до COMMIT.
При недоступности БД/S3 обход прерывается, никаких delete по неполному снимку.
"""
import argparse
import datetime as dt
import json
import time
from .config import read_secret
from .db import create_pool
from .objects import ObjectStore
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--apply', action='store_true')
parser.add_argument('--grace-seconds', type=int, default=3600)
args = parser.parse_args()
if args.grace_seconds < 3600:
parser.error('grace не меньше 3600 секунд')
store = ObjectStore(admin=True)
pool = create_pool(read_secret('DATABASE_URL'), 1)
pool.open(wait=True)
cutoff = dt.datetime.now(dt.timezone.utc) - dt.timedelta(seconds=args.grace_seconds)
counts = dict(scanned=0, fresh=0, referenced=0, orphan=0, deleted=0)
start = time.monotonic()
try:
pages = store.client.get_paginator('list_objects_v2').paginate(Bucket=store.bucket, Prefix='originals/')
for page in pages:
for obj in page.get('Contents', []):
counts['scanned'] += 1
if obj['LastModified'] >= cutoff:
counts['fresh'] += 1
continue
with pool.connection() as conn:
conn.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s, 0))', (obj['Key'],))
row = conn.execute('SELECT 1 FROM attachments WHERE object_key=%s', (obj['Key'],)).fetchone()
if row:
counts['referenced'] += 1
else:
counts['orphan'] += 1
if args.apply:
store.call('delete_object', Key=obj['Key'])
counts['deleted'] += 1
finally:
pool.close()
print(json.dumps(dict(counts, apply=args.apply, seconds=round(time.monotonic()-start, 3))))
if __name__ == '__main__':
main()
+84
View File
@@ -0,0 +1,84 @@
"""Конфигурация из переменных окружения и файлов секретов (см. .env.example и compose.yaml)."""
import os
import socket
from collections import namedtuple
Config = namedtuple('Config', 'host port env log_level shutdown_timeout drain_delay session_ttl idempotency_ttl '
'db_pool_size database_url cache_url instance_id version')
LOG_LEVELS = ('DEBUG', 'INFO', 'WARNING', 'ERROR')
# Заявленный срок остановки по SIGTERM — не более 10 секунд.
MAX_SHUTDOWN_TIMEOUT = 10.0
MAX_SESSION_TTL = 30 * 24 * 3600
# Контракт: результат идемпотентного запроса хранится не меньше 24 часов.
MIN_IDEMPOTENCY_TTL = 24 * 3600
def _environ(environ):
# strip(): .env из Windows может принести в значение символ \r.
return {name: value.strip() for name, value in (os.environ if environ is None else environ).items()}
def read_secret(name, environ=None):
"""Секрет из файла, путь к которому в NAME_FILE (секреты Docker), или из NAME для отладки.
Значение секрета никогда не попадает в сообщения об ошибках и в логи.
"""
environ = _environ(environ)
path = environ.get(name + '_FILE')
if path:
try:
with open(path, encoding='utf-8') as file:
value = file.read().strip()
except OSError as error:
raise SystemExit('Не удалось прочитать файл из %s_FILE: %s' % (name, error.strerror))
else:
value = environ.get(name, '')
if not value:
raise SystemExit('Нужен %s_FILE (путь к файлу секрета) или %s' % (name, name))
return value
def _integer(environ, name, default, low, high):
try:
value = int(environ.get(name, str(default)))
except ValueError:
raise SystemExit('%s должен быть целым числом' % name)
if not low <= value <= high:
raise SystemExit('%s должен быть в диапазоне %d..%d' % (name, low, high))
return value
def load_config(environ=None):
environ = _environ(environ)
try:
shutdown_timeout = float(environ.get('APP_SHUTDOWN_TIMEOUT', '8'))
drain_delay = float(environ.get('APP_DRAIN_DELAY', '3'))
except ValueError:
raise SystemExit('APP_SHUTDOWN_TIMEOUT и APP_DRAIN_DELAY должны быть числами')
if not 0 < shutdown_timeout <= MAX_SHUTDOWN_TIMEOUT:
raise SystemExit('APP_SHUTDOWN_TIMEOUT должен быть больше 0 и не больше 10 секунд')
# Задержка вывода из балансировщика входит в общий срок остановки, и на сами запросы
# должно остаться время.
if not 0 <= drain_delay <= shutdown_timeout - 2:
raise SystemExit('APP_DRAIN_DELAY должен быть от 0 до APP_SHUTDOWN_TIMEOUT - 2 секунд')
log_level = environ.get('APP_LOG_LEVEL', 'INFO').upper()
if log_level not in LOG_LEVELS:
raise SystemExit('APP_LOG_LEVEL должен быть одним из: ' + ', '.join(LOG_LEVELS))
return Config(
host=environ.get('APP_HOST', '0.0.0.0'),
port=_integer(environ, 'APP_PORT', 8080, 1, 65535),
env=environ.get('APP_ENV', 'lab'),
log_level=log_level,
shutdown_timeout=shutdown_timeout,
drain_delay=drain_delay,
session_ttl=_integer(environ, 'SESSION_TTL_SECONDS', 3600, 1, MAX_SESSION_TTL),
idempotency_ttl=_integer(environ, 'IDEMPOTENCY_TTL_SECONDS', MIN_IDEMPOTENCY_TTL,
MIN_IDEMPOTENCY_TTL, MAX_SESSION_TTL),
db_pool_size=_integer(environ, 'DB_POOL_SIZE', 10, 1, 50),
database_url=read_secret('DATABASE_URL', environ),
cache_url=read_secret('CACHE_URL', environ),
# X-Instance-Id: в Docker hostname контейнера — короткий ID, по нему хук находит реплику.
instance_id=environ.get('INSTANCE_ID') or socket.gethostname(),
version=environ.get('APP_VERSION', 'dev'),
)
+303
View File
@@ -0,0 +1,303 @@
"""Доступ к PostgreSQL: ограниченный пул соединений, таймауты, только параметризованные запросы.
Значения всегда передаются отдельно от текста SQL (%s), поэтому SQL-инъекция невозможна.
Каждый метод — одна транзакция: при любой ошибке внутри неё всё откатывается.
"""
import logging
import uuid
from contextlib import contextmanager
import psycopg
from psycopg import errors
from psycopg.rows import dict_row
from psycopg_pool import ConnectionPool
from .errors import Unavailable, not_found
from .timeutil import format_time, from_micros, to_micros
log = logging.getLogger('messenger')
# Таймауты на стороне сервера БД: долгий запрос, ожидание блокировки и брошенная транзакция
# прерываются, а не держат соединение из пула бесконечно.
SESSION_OPTIONS = '-c statement_timeout=5000 -c lock_timeout=3000 -c idle_in_transaction_session_timeout=10000'
# Отдельный клиентский предел: server-side таймеры не работают при docker pause.
DB_IO_TIMEOUT = 3.0
class BoundedConnection(psycopg.Connection):
"""Ограничивает сетевое ожидание, включая pool check, COMMIT и ROLLBACK.
Connection.wait(timeout=...) поддерживается закреплённым psycopg 3.3.6.
После таймаута протокол может быть посреди ответа: такое соединение нельзя
возвращать в пул или ждать его ROLLBACK. Закрываем его в том же потоке;
pool заменит закрытое соединение. Ожидания server-side CANCEL здесь нет.
"""
def wait(self, gen, interval=0.1, timeout=None):
limit = DB_IO_TIMEOUT if timeout is None else min(timeout, DB_IO_TIMEOUT)
try:
return super().wait(gen, interval=interval, timeout=limit)
except errors._WaitTimeout as error:
self.close()
raise psycopg.OperationalError('PostgreSQL client I/O timeout') from error
MEMBER_IDS = 'array(SELECT m.user_id FROM chat_members m WHERE m.chat_id = c.id ORDER BY m.position) AS member_ids'
class UsernameTaken(Exception):
pass
class UnknownMember(Exception):
pass
class IdempotencyConflict(Exception):
"""Тот же Idempotency-Key уже использован с другим телом запроса."""
def create_pool(database_url, max_size):
return ConnectionPool(
database_url,
connection_class=BoundedConnection,
min_size=1,
max_size=max_size, # не больше max_size соединений с БД на процесс
timeout=3, # ждать свободное соединение не дольше 3 с, затем 503
max_waiting=100, # очередь ожидающих запросов ограничена
check=ConnectionPool.check_connection, # оборванное соединение (рестарт БД) не выдаётся
kwargs={
'connect_timeout': 3,
'application_name': 'messenger-api',
'options': SESSION_OPTIONS,
'row_factory': dict_row,
},
name='messenger',
open=False,
)
def _user(row):
return {'id': str(row['id']), 'username': row['username'], 'display_name': row['display_name'],
'created_at': format_time(row['created_at'])}
def _chat(row):
return {'id': str(row['id']), 'title': row['title'], 'member_ids': [str(m) for m in row['member_ids']],
'created_at': format_time(row['created_at'])}
def _message(row):
return {'id': str(row['id']), 'chat_id': str(row['chat_id']), 'sender_id': str(row['sender_id']),
'text': row['text'], 'attachment_ids': [str(x) for x in row['attachment_ids']],
'created_at': format_time(row['created_at'])}
def attachment(row):
return {**{k: str(row[k]) for k in ('id', 'chat_id', 'owner_id')},
**{k: row[k] for k in ('filename', 'content_type', 'size_bytes', 'sha256')},
'status': 'ready', 'variants': [], 'error_code': None,
'created_at': format_time(row['created_at']), 'updated_at': format_time(row['updated_at'])}
def _page(rows, limit, convert):
"""Из limit+1 строк: элементы страницы и ключ (created_at, id) последней, если есть продолжение."""
items = rows[:limit]
has_more = len(rows) > limit
next_key = (to_micros(items[-1]['created_at']), str(items[-1]['id'])) if has_more else None
return [convert(row) for row in items], next_key
def _after(key):
return from_micros(key[0]), uuid.UUID(key[1])
class Repository:
def __init__(self, pool):
self._pool = pool
@contextmanager
def _transaction(self):
"""Соединение из пула в транзакции: COMMIT при успехе, ROLLBACK при исключении."""
try:
with self._pool.connection() as conn:
yield conn
except psycopg.OperationalError as error:
# Включая клиентский I/O timeout, когда процесс PostgreSQL приостановлен.
raise Unavailable('postgres') from error
def ping(self):
with self._transaction() as conn:
conn.execute('SELECT 1')
# --- пользователи -------------------------------------------------------
def create_user(self, username, display_name, password_hash):
try:
with self._transaction() as conn:
row = conn.execute(
'INSERT INTO users (id, username, display_name, password_hash) VALUES (%s, %s, %s, %s) '
'RETURNING id, username, display_name, created_at',
(uuid.uuid4(), username, display_name, password_hash),
).fetchone()
except errors.UniqueViolation:
# Уникальность username гарантирует индекс БД, поэтому гонка двух регистраций безопасна.
raise UsernameTaken
return _user(row)
def get_user(self, user_id):
with self._transaction() as conn:
row = conn.execute(
'SELECT id, username, display_name, created_at FROM users WHERE id = %s', (uuid.UUID(user_id),),
).fetchone()
return _user(row) if row else None
def get_credentials(self, username):
"""(пользователь, хеш пароля) или (None, None)."""
with self._transaction() as conn:
row = conn.execute(
'SELECT id, username, display_name, created_at, password_hash FROM users WHERE username = %s',
(username,),
).fetchone()
return (_user(row), row['password_hash']) if row else (None, None)
# --- чаты ---------------------------------------------------------------
def create_chat(self, title, member_ids):
"""Чат и все участники одной транзакцией.
Неизвестный участник нарушает внешний ключ chat_members.user_id; тогда транзакция
откатывается целиком и уже вставленная строка chats тоже исчезает.
"""
chat_id = uuid.uuid4()
members = [uuid.UUID(member_id) for member_id in member_ids]
try:
with self._transaction() as conn:
row = conn.execute(
'INSERT INTO chats (id, title) VALUES (%s, %s) RETURNING id, title, created_at', (chat_id, title),
).fetchone()
conn.execute(
'INSERT INTO chat_members (chat_id, user_id, position) '
'SELECT %s, member.user_id, member.ordinality - 1 '
'FROM unnest(%s::uuid[]) WITH ORDINALITY AS member(user_id, ordinality)',
(chat_id, members),
)
except errors.ForeignKeyViolation:
log.info('event=chat_rolled_back reason=unknown_member')
raise UnknownMember
return _chat(dict(row, member_ids=members))
def get_chat(self, chat_id, user_id):
"""Чат, если он есть и user_id в нём состоит; иначе None."""
with self._transaction() as conn:
row = conn.execute(
'SELECT c.id, c.title, c.created_at, ' + MEMBER_IDS + ' FROM chats c '
'WHERE c.id = %s AND EXISTS ('
' SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = %s)',
(uuid.UUID(chat_id), uuid.UUID(user_id)),
).fetchone()
return _chat(row) if row else None
def list_chats(self, user_id, after, limit):
select = ('SELECT c.id, c.title, c.created_at, ' + MEMBER_IDS + ' '
'FROM chat_members me JOIN chats c ON c.id = me.chat_id WHERE me.user_id = %s ')
order = 'ORDER BY c.created_at, c.id LIMIT %s'
with self._transaction() as conn:
if after is None:
rows = conn.execute(select + order, (uuid.UUID(user_id), limit + 1)).fetchall()
else:
rows = conn.execute(select + 'AND (c.created_at, c.id) > (%s, %s) ' + order,
(uuid.UUID(user_id), *_after(after), limit + 1)).fetchall()
return _page(rows, limit, _chat)
# --- сообщения ----------------------------------------------------------
def add_message(self, chat_id, sender_id, text, key, request_hash, ttl_seconds, attachment_ids=()):
"""Идемпотентная отправка: (сообщение, True если это повтор уже выполненного запроса).
Строка чата блокируется до конца транзакции. Поэтому, во-первых, сообщения одного чата
записываются по очереди и created_at растёт в порядке фиксации: читатель, идущий по
cursor, не пропустит сообщение, зафиксированное позже уже прочитанного. Во-вторых,
одновременные запросы с одним ключом (область ключа включает путь чата) тоже идут по
очереди, даже через разные реплики: второй увидит ключ первого и вернёт то же сообщение.
Ключ и сообщение фиксируются одной транзакцией; при ошибке не остаётся ни того, ни другого.
"""
chat = uuid.UUID(chat_id)
scope = (uuid.UUID(sender_id), 'POST', '/api/v1/chats/%s/messages' % chat_id, key)
with self._transaction() as conn:
conn.execute('SELECT 1 FROM chats WHERE id = %s FOR NO KEY UPDATE', (chat,))
stored = conn.execute(
'SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.created_at, m.attachment_ids '
'FROM idempotency_keys k JOIN messages m ON m.id = k.message_id '
'WHERE k.user_id = %s AND k.method = %s AND k.path = %s AND k.key = %s '
' AND k.created_at > clock_timestamp() - make_interval(secs => %s)',
scope + (ttl_seconds,),
).fetchone()
if stored:
if stored['request_hash'] != request_hash:
raise IdempotencyConflict
return _message(stored), True
ids = [uuid.UUID(value) for value in attachment_ids]
found = conn.execute('SELECT id FROM attachments WHERE chat_id = %s AND id = ANY(%s::uuid[])',
(chat, ids)).fetchall()
if len(found) != len(ids):
raise not_found()
row = conn.execute(
'INSERT INTO messages (id, chat_id, sender_id, text, attachment_ids, created_at) '
'VALUES (%s, %s, %s, %s, %s, GREATEST(clock_timestamp(), '
" (SELECT max(created_at) FROM messages WHERE chat_id = %s) + interval '1 microsecond')) "
'RETURNING id, chat_id, sender_id, text, created_at, attachment_ids',
(uuid.uuid4(), chat, uuid.UUID(sender_id), text, ids, chat),
).fetchone()
for aid in ids:
conn.execute('INSERT INTO message_attachments (message_id, attachment_id, chat_id) VALUES (%s,%s,%s)',
(row['id'], aid, chat))
# Устаревшая запись с тем же ключом (старше срока хранения) заменяется новой.
conn.execute(
'INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id) '
'VALUES (%s, %s, %s, %s, %s, %s) '
'ON CONFLICT (user_id, method, path, key) DO UPDATE SET request_hash = EXCLUDED.request_hash, '
' message_id = EXCLUDED.message_id, created_at = EXCLUDED.created_at',
scope + (request_hash, row['id']),
)
return _message(row), False
def delete_expired_idempotency_keys(self, ttl_seconds):
"""Удаляет ключи старше срока хранения; возвращает число удалённых."""
with self._transaction() as conn:
return conn.execute(
'DELETE FROM idempotency_keys WHERE created_at < clock_timestamp() - make_interval(secs => %s)',
(ttl_seconds,),
).rowcount
def list_messages(self, chat_id, after, limit):
"""Страница истории. Запрос совпадает по форме с индексом messages_chat_history_idx."""
select = 'SELECT id, chat_id, sender_id, text, created_at, attachment_ids FROM messages WHERE chat_id = %s '
order = 'ORDER BY created_at, id LIMIT %s'
with self._transaction() as conn:
if after is None:
rows = conn.execute(select + order, (uuid.UUID(chat_id), limit + 1)).fetchall()
else:
rows = conn.execute(select + 'AND (created_at, id) > (%s, %s) ' + order,
(uuid.UUID(chat_id), *_after(after), limit + 1)).fetchall()
return _page(rows, limit, _message)
def save_attachment(self, values, put):
# Та же блокировка используется сборщиком orphan-объектов. Даже долгая пауза
# между PUT и COMMIT не позволит сборщику удалить загружаемый объект.
with self._transaction() as conn:
conn.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s, 0))', (values['object_key'],))
put()
row = conn.execute(
'INSERT INTO attachments (id, chat_id, owner_id, object_key, filename, content_type, size_bytes, sha256) '
'VALUES (%(id)s,%(chat_id)s,%(owner_id)s,%(object_key)s,%(filename)s,%(content_type)s,%(size_bytes)s,%(sha256)s) '
'RETURNING *', values).fetchone()
return attachment(row)
def get_attachment(self, attachment_id, user_id):
with self._transaction() as conn:
row = conn.execute(
'SELECT a.* FROM attachments a JOIN chat_members m ON m.chat_id=a.chat_id '
'WHERE a.id=%s AND m.user_id=%s', (uuid.UUID(attachment_id), uuid.UUID(user_id))).fetchone()
return row
+29
View File
@@ -0,0 +1,29 @@
"""Ошибки, которые HTTP-слой превращает в ответы контракта."""
class ApiError(Exception):
"""Ответ с ошибкой в формате {"error": {...}}; challenge — значение WWW-Authenticate для 401."""
def __init__(self, status, code, message, challenge=None):
super().__init__(message)
self.status = status
self.code = code
self.message = message
self.challenge = challenge
class Unavailable(Exception):
"""Хранилище (postgres или valkey) не ответило в срок; клиент получит 503."""
def __init__(self, dependency):
super().__init__(dependency)
self.dependency = dependency
def bad_request(message):
return ApiError(400, 'invalid_request', message)
def not_found():
# Чужой объект неотличим от несуществующего.
return ApiError(404, 'not_found', 'Объект не найден')
+26
View File
@@ -0,0 +1,26 @@
"""Проверка для Docker HEALTHCHECK: python -m messenger.healthcheck.
В slim-образе нет curl, поэтому готовность проверяется самим интерпретатором.
Код возврата 0 — контейнер healthy, 1 — unhealthy.
"""
import http.client
import os
import sys
def main():
try:
connection = http.client.HTTPConnection('127.0.0.1', int(os.environ.get('APP_PORT', '8080')), timeout=2)
try:
connection.request('GET', '/health/ready', headers={'Connection': 'close'})
response = connection.getresponse()
response.read() # дочитываем ответ, чтобы соединение закрылось штатно, а не обрывом
return 0 if response.status == 200 else 1
finally:
connection.close()
except (OSError, ValueError, http.client.HTTPException):
return 1
if __name__ == '__main__':
sys.exit(main())
+29
View File
@@ -0,0 +1,29 @@
"""Декодирование в отдельном процессе: RAM освобождается при выходе, время ограничено родителем."""
import sys
import warnings
from PIL import Image, UnidentifiedImageError
def main():
path, expected, pixels = sys.argv[1:]
Image.MAX_IMAGE_PIXELS = int(pixels)
warnings.simplefilter('error', Image.DecompressionBombWarning)
try:
with Image.open(path, formats=['PNG', 'JPEG']) as image:
if image.width * image.height > int(pixels):
return 13
if Image.MIME[image.format] != expected:
return 15
image.verify()
with Image.open(path, formats=['PNG', 'JPEG']) as image:
image.load() # verify одного JPEG недостаточно: проверяем и распаковку.
return 0
except (Image.DecompressionBombWarning, Image.DecompressionBombError):
return 13
except (OSError, ValueError, SyntaxError, UnidentifiedImageError):
return 15
if __name__ == '__main__':
sys.exit(main())
+77
View File
@@ -0,0 +1,77 @@
"""Миграции схемы: python -m messenger.migrate.
Файлы migrations/NNNN_*.sql применяются по порядку номеров, каждый в своей транзакции.
Применённые версии и контрольные суммы записываются в schema_migrations, поэтому повторный
запуск ничего не дублирует. Изменение уже применённого файла останавливает запуск: менять
схему нужно новым файлом. Advisory lock не даёт двум процессам применять миграции одновременно.
"""
import hashlib
import logging
import sys
import time
from pathlib import Path
import psycopg
from .config import read_secret
log = logging.getLogger('messenger.migrate')
MIGRATIONS_DIR = Path(__file__).resolve().parents[1] / 'migrations'
LOCK_ID = 2026_0002 # произвольная константа для pg_advisory_lock
CREATE_TABLE = '''
CREATE TABLE IF NOT EXISTS schema_migrations (
version text PRIMARY KEY,
checksum text NOT NULL,
applied_at timestamptz NOT NULL DEFAULT now()
)'''
def _read(path):
# Окончания строк нормализуются: checkout в Windows (CRLF) не должен менять контрольную сумму.
sql = path.read_text(encoding='utf-8').replace('\r\n', '\n')
return sql, hashlib.sha256(sql.encode('utf-8')).hexdigest()
def migrate(database_url, directory=MIGRATIONS_DIR):
files = sorted(directory.glob('[0-9][0-9][0-9][0-9]_*.sql'))
if not files:
raise SystemExit('Нет файлов миграций в ' + str(directory))
applied_now = 0
with psycopg.connect(database_url, autocommit=True, connect_timeout=5) as conn:
conn.execute('SELECT pg_advisory_lock(%s)', (LOCK_ID,))
try:
conn.execute(CREATE_TABLE)
applied = dict(conn.execute('SELECT version, checksum FROM schema_migrations').fetchall())
for path in files:
version = path.stem
sql, checksum = _read(path)
if version in applied:
if applied[version] != checksum:
raise SystemExit('Миграция %s изменена после применения: добавьте новую вместо правки' % version)
continue
started = time.monotonic()
with conn.transaction():
conn.execute(sql)
conn.execute('INSERT INTO schema_migrations (version, checksum) VALUES (%s, %s)', (version, checksum))
applied_now += 1
log.info('event=migration_applied version=%s duration_ms=%.0f', version, (time.monotonic() - started) * 1000)
finally:
conn.execute('SELECT pg_advisory_unlock(%s)', (LOCK_ID,))
log.info('event=migrations_done applied_now=%d total=%d', applied_now, len(files))
def main():
logging.basicConfig(stream=sys.stdout, level=logging.INFO, format='%(levelname)s %(message)s')
try:
migrate(read_secret('DATABASE_URL'))
except psycopg.Error as error:
# Сообщения psycopg не содержат пароль, а первая строка объясняет причину.
log.error('event=migration_failed error=%s detail=%s', type(error).__name__, str(error).splitlines()[0][:300])
return 1
return 0
if __name__ == '__main__':
sys.exit(main())
+40
View File
@@ -0,0 +1,40 @@
"""Приватный S3; ограниченные таймауты и отсутствие скрытых повторов PUT."""
import os
import boto3
from botocore.config import Config
from botocore.exceptions import BotoCoreError, ClientError
from .config import read_secret
from .errors import Unavailable
class ObjectStore:
def __init__(self, admin=False):
self.bucket = os.environ.get('S3_BUCKET', 'messenger-attachments')
prefix = 'S3_ADMIN_' if admin else 'S3_'
self.client = boto3.client(
's3', endpoint_url=os.environ.get('S3_ENDPOINT', 'http://s3:9000'),
region_name=os.environ.get('S3_REGION', 'us-east-1'),
aws_access_key_id=read_secret(prefix + 'ACCESS_KEY_ID'),
aws_secret_access_key=read_secret(prefix + 'SECRET_ACCESS_KEY'),
config=Config(connect_timeout=1, read_timeout=3, max_pool_connections=16,
retries={'total_max_attempts': 1}, s3={'addressing_style': 'path'},
request_checksum_calculation='when_required',
response_checksum_validation='when_required'))
def call(self, method, **kwargs):
try:
return getattr(self.client, method)(Bucket=self.bucket, **kwargs)
except (BotoCoreError, ClientError, OSError) as error:
raise Unavailable('s3') from error
def ping(self):
self.call('head_bucket')
def put(self, key, file, size, content_type):
file.seek(0)
self.call('put_object', Key=key, Body=file, ContentLength=size, ContentType=content_type)
def get(self, key):
return self.call('get_object', Key=key)['Body']
+50
View File
@@ -0,0 +1,50 @@
"""Хеширование паролей: Argon2id из библиотеки argon2-cffi.
Хеш хранит алгоритм, параметры и соль в одной строке вида $argon2id$v=19$m=...,t=...,p=...$соль$хеш.
"""
import secrets
import threading
from contextlib import contextmanager
from argon2 import PasswordHasher
from argon2.exceptions import InvalidHashError, VerificationError
from .errors import Unavailable
# Минимальные параметры из OWASP Password Storage Cheat Sheet: 19 МиБ памяти, 2 прохода, 1 поток.
_hasher = PasswordHasher(time_cost=2, memory_cost=19 * 1024, parallelism=1)
# Каждый расчёт занимает 19 МиБ памяти. Одновременно считаем не больше 4 хешей на процесс,
# чтобы пик памяти реплики был предсказуем при лимите контейнера (compose.yaml, 256 МБ).
# Остальные запросы ждут очереди; дольше 5 с — ответ 503 вместо бесконечного ожидания.
MAX_CONCURRENT_HASHES = 4
_slots = threading.BoundedSemaphore(MAX_CONCURRENT_HASHES)
# Хеш случайного пароля. Проверка против него для несуществующего username занимает
# столько же времени, сколько обычная: по задержке ответа нельзя узнать, есть ли пользователь.
_DUMMY_HASH = _hasher.hash(secrets.token_hex(16))
@contextmanager
def _slot():
if not _slots.acquire(timeout=5):
raise Unavailable('password-hashing')
try:
yield
finally:
_slots.release()
def hash_password(password):
with _slot():
return _hasher.hash(password)
def verify_password(password_hash, password):
"""True, если пароль подходит к хешу; при password_hash=None всегда False за то же время."""
with _slot():
try:
_hasher.verify(password_hash or _DUMMY_HASH, password)
except (VerificationError, InvalidHashError):
return False
return password_hash is not None
+489
View File
@@ -0,0 +1,489 @@
"""HTTP-слой: маршрутизация, аутентификация, ответы в формате контракта, логи запросов."""
import json
import hashlib
import logging
import os
import re
import subprocess
import sys
import tempfile
import threading
import time
import uuid
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from urllib.parse import parse_qs
from . import validation
from .db import IdempotencyConflict, UnknownMember, UsernameTaken
from .errors import ApiError, Unavailable, bad_request, not_found
from .passwords import hash_password, verify_password
from .timeutil import format_time
from .db import attachment
log = logging.getLogger('messenger')
# Сообщение в 4000 символов даже в виде \uXXXX-последовательностей меньше 64 КиБ.
MAX_BODY_BYTES = 64 * 1024
# Тело до этого размера дочитывается ради аккуратного 413; больше — соединение просто закрывается.
MAX_DISCARD_BYTES = 1024 * 1024
BASIC_CHALLENGE = 'Basic realm="messenger", charset="UTF-8"'
BEARER_CHALLENGE = 'Bearer realm="messenger"'
CHAT = r'/api/v1/chats/(?P<chat_id>[^/]+)'
ROUTES = tuple((method, re.compile(pattern), handler) for method, pattern, handler in (
('GET', r'/health/live', '_live'),
('GET', r'/health/ready', '_ready'),
('POST', r'/api/v1/users', '_create_user'),
('GET', r'/api/v1/users/me', '_current_user'),
('POST', r'/api/v1/auth/sessions', '_create_session'),
('DELETE', r'/api/v1/auth/sessions/current', '_delete_session'),
('POST', r'/api/v1/chats', '_create_chat'),
('GET', r'/api/v1/chats', '_list_chats'),
('GET', CHAT, '_get_chat'),
('POST', CHAT + r'/messages', '_create_message'),
('GET', CHAT + r'/messages', '_list_messages'),
('POST', CHAT + r'/attachments', '_upload'),
('GET', r'/api/v1/attachments/(?P<attachment_id>[^/]+)', '_attachment'),
('GET', r'/api/v1/attachments/(?P<attachment_id>[^/]+)/content', '_content'),
))
class Download:
def __init__(self, stream, row):
self.stream, self.row = stream, row
class MessengerServer(ThreadingHTTPServer):
"""Поток на соединение; считает выполняющиеся запросы для плавной остановки."""
# Потоки-демоны не держат процесс: срок остановки ограничивает wait_idle().
daemon_threads = True
# Очередь соединений по умолчанию (5) мала для десятков одновременных клиентов.
request_queue_size = 128
def __init__(self, address, repo, sessions, instance_id, idempotency_ttl, objects):
super().__init__(address, RequestHandler)
self.repo = repo
self.sessions = sessions
self.instance_id = instance_id
self.idempotency_ttl = idempotency_ttl
self.objects = objects
# Один декодер на реплику: 40M RGBA <=160 MB + память интерпретаторов.
self.upload_slots = threading.BoundedSemaphore(1)
self.max_upload = int(os.environ.get('MAX_UPLOAD_BYTES', '10485760'))
self.max_pixels = int(os.environ.get('MAX_IMAGE_PIXELS', '40000000'))
if not 1 <= self.max_upload <= 10485760 or not 1 <= self.max_pixels <= 40000000:
raise ValueError('Некорректный лимит вложений')
self._state = threading.Condition()
self._active = 0
self._draining = False
self.ready = True
def begin_not_ready(self):
"""Первый шаг остановки: /health/ready отвечает 503, остальные запросы ещё обслуживаются.
Балансировщик видит это при следующих проверках и перестаёт присылать сюда запросы.
"""
self.ready = False
def try_begin_request(self):
"""False, если сервер уже останавливается и запрос принимать нельзя."""
with self._state:
if self._draining:
return False
self._active += 1
return True
def end_request(self):
with self._state:
self._active -= 1
self._state.notify_all()
def begin_drain(self):
with self._state:
self._draining = True
def wait_idle(self, timeout):
"""Ждёт завершения начатых запросов; True, если успели за timeout секунд."""
with self._state:
return self._state.wait_for(lambda: self._active == 0, timeout)
def handle_error(self, request, client_address):
# Обрыв соединения клиентом — обычная ситуация, а не ошибка сервера: без traceback.
error = sys.exc_info()[0]
level = logging.DEBUG if issubclass(error, ConnectionError) else logging.WARNING
log.log(level, 'event=connection_error error=%s', error.__name__)
class RequestHandler(BaseHTTPRequestHandler):
protocol_version = 'HTTP/1.1'
# Секунды ожидания данных от клиента: зависшее соединение не занимает поток вечно.
timeout = 15
def do_GET(self):
self._handle()
do_POST = do_PUT = do_PATCH = do_DELETE = do_HEAD = do_OPTIONS = do_GET
# --- общий путь запроса -------------------------------------------------
def _handle(self):
started = time.monotonic()
self.request_id = uuid.uuid4().hex
self.user_id = '-'
path, _, query = self.path.partition('?')
status = 0 # 0 в логе: ответ отправить не удалось
accepted = self.server.try_begin_request()
try:
if accepted:
status, payload, headers = self._process(path, query)
else:
self.close_connection = True
status, payload, headers = self._error(ApiError(503, 'unavailable', 'Сервер завершает работу'))
self._send(status, payload, headers)
except OSError:
status = 0
self.close_connection = True
finally:
if accepted:
self.server.end_request()
# В лог попадают только метаданные: тела запросов, тексты сообщений, пароли и токены не пишутся.
log.log(
logging.DEBUG if path.startswith('/health/') else logging.INFO,
'request_id=%s method=%s path=%s status=%d duration_ms=%.1f user_id=%s',
self.request_id, self.command, re.sub(r'[^\x21-\x7e]', '?', path)[:200], status,
(time.monotonic() - started) * 1000, self.user_id,
)
def _process(self, path, query):
"""(статус, тело или None, дополнительные заголовки)."""
try:
upload = self.command == 'POST' and re.fullmatch(CHAT + r'/attachments', path)
if upload:
# До чтения файла проверяем токен и чат. При ошибке непрочитанное тело
# не должно интерпретироваться как следующий запрос keep-alive.
self.close_connection = True
body = b'' if upload else self._read_body()
for method, pattern, handler in ROUTES:
match = pattern.fullmatch(path)
if match and method == self.command:
params = parse_qs(query, keep_blank_values=True)
status, payload = getattr(self, handler)(body, params, **match.groupdict())
return status, payload, ()
raise ApiError(404, 'not_found', 'Маршрут не найден')
except ApiError as error:
return self._error(error)
except Unavailable as error:
log.warning('event=dependency_unavailable request_id=%s dependency=%s error=%s',
self.request_id, error.dependency, type(error.__cause__).__name__)
return self._error(ApiError(503, 'unavailable', 'Сервис временно недоступен: ' + error.dependency))
except Exception:
log.exception('event=unhandled_error request_id=%s', self.request_id)
return self._error(ApiError(500, 'internal_error', 'Внутренняя ошибка сервера'))
def _read_body(self):
"""Читает тело целиком до маршрутизации, чтобы keep-alive поток не сбился."""
header = self.headers.get('Content-Length')
if header is None:
if self.headers.get('Transfer-Encoding'):
self.close_connection = True
raise bad_request('Нужен заголовок Content-Length')
return b''
if not re.fullmatch(r'[0-9]{1,18}', header):
self.close_connection = True
raise bad_request('Некорректный Content-Length')
length = int(header)
if length > MAX_BODY_BYTES:
self.close_connection = True
if length <= MAX_DISCARD_BYTES:
self._discard(length)
raise ApiError(413, 'payload_too_large', 'Тело запроса больше %d байт' % MAX_BODY_BYTES)
try:
body = self.rfile.read(length)
except OSError: # таймаут или обрыв соединения
body = b''
if len(body) != length:
self.close_connection = True
raise bad_request('Тело запроса получено не полностью')
return body
def _discard(self, remaining):
"""Дочитывает слишком большое тело по частям, не храня его в памяти.
Если закрыть соединение с непрочитанными данными, клиент получит обрыв
вместо ответа 413.
"""
try:
while remaining > 0:
chunk = self.rfile.read(min(remaining, 64 * 1024))
if not chunk:
break
remaining -= len(chunk)
except OSError:
pass
def _error(self, error):
payload = {'error': {'code': error.code, 'message': error.message, 'request_id': self.request_id}}
headers = (('WWW-Authenticate', error.challenge),) if error.challenge else ()
return error.status, payload, headers
def _send(self, status, payload, headers=()):
"""Ответ с JSON-телом; payload=None — ответ без тела (204)."""
if isinstance(payload, Download):
with payload.stream as stream:
self.send_response(status)
self.send_header('Content-Type', payload.row['content_type'])
self.send_header('Content-Length', str(payload.row['size_bytes']))
self.send_header('X-Request-Id', self.request_id)
self.send_header('X-Instance-Id', self.server.instance_id)
self.send_header('X-Content-Type-Options', 'nosniff')
self.send_header('Cache-Control', 'private, no-store')
self.end_headers()
if self.command != 'HEAD':
while chunk := stream.read(64 * 1024):
self.wfile.write(chunk)
return
body = b'' if payload is None else json.dumps(payload, ensure_ascii=False, separators=(',', ':')).encode('utf-8')
self.send_response(status)
if payload is not None:
self.send_header('Content-Type', 'application/json; charset=utf-8')
self.send_header('Content-Length', str(len(body)))
self.send_header('X-Request-Id', self.request_id)
# Какая реплика ответила: имя контейнера, стабильно для жизни процесса.
self.send_header('X-Instance-Id', self.server.instance_id)
for name, value in headers:
self.send_header(name, value)
if self.close_connection:
self.send_header('Connection', 'close')
self.end_headers()
if body and self.command != 'HEAD':
self.wfile.write(body)
def send_error(self, code, message=None, explain=None):
"""Ошибки разбора HTTP (до маршрутизации) — тоже в общем формате ошибок."""
self.request_id = uuid.uuid4().hex
self.close_connection = True
if code == 501: # метод, которого нет в API
error = ApiError(404, 'not_found', 'Маршрут не найден')
else:
error = bad_request('Некорректный HTTP-запрос')
self._send(*self._error(error))
log.info('request_id=%s event=http_parse_error http_status=%d status=%d', self.request_id, code, error.status)
def version_string(self):
return 'messenger' # заголовок Server без версии Python
def log_request(self, code='-', size='-'):
pass # запрос логируется один раз в _handle
def log_message(self, format, *args):
log.debug('event=http_server detail=%s', format % args)
# --- общие проверки -----------------------------------------------------
def _authenticate(self):
"""user_id владельца Bearer-токена. X-User-Id и Basic здесь не принимаются.
Если Valkey недоступен, sessions.user_id бросает Unavailable и клиент получает 503:
запрос не продолжается как анонимный.
"""
token = validation.parse_bearer(self.headers.get('Authorization'))
user_id = self.server.sessions.user_id(token) if token else None
if user_id is None:
raise ApiError(401, 'unauthorized', 'Нужен действующий токен: Authorization: Bearer <token>',
challenge=BEARER_CHALLENGE)
self.token = token
self.user_id = user_id
return user_id
def _accessible_chat(self, user_id, raw_chat_id):
chat_id = validation.parse_uuid(raw_chat_id)
if chat_id is None:
raise bad_request('chat_id должен быть UUID')
chat = self.server.repo.get_chat(chat_id, user_id)
if chat is None:
raise not_found()
return chat
def _json_body(self, body):
if self.headers.get_content_type() != 'application/json':
raise bad_request('Content-Type должен быть application/json')
return body
# --- обработчики маршрутов ----------------------------------------------
def _live(self, body, query):
return 200, {'status': 'ok'}
def _ready(self, body, query):
# После SIGTERM реплика сначала перестаёт быть готовой, чтобы балансировщик её исключил.
if not self.server.ready:
raise ApiError(503, 'unavailable', 'Реплика завершает работу')
# Обязательный путь API требует обоих хранилищ: без БД нет данных, без Valkey — сессий.
self.server.repo.ping()
self.server.sessions.ping()
self.server.objects.ping()
return 200, {'status': 'ok'}
def _create_user(self, body, query):
username, display_name, password = validation.parse_create_user(self._json_body(body))
try:
return 201, self.server.repo.create_user(username, display_name, hash_password(password))
except UsernameTaken:
raise ApiError(409, 'conflict', 'Пользователь с таким username уже существует')
def _create_session(self, body, query):
"""Вход: только Authorization: Basic. Ответ 401 одинаковый для любой ошибки входа."""
if body:
raise bad_request('Тело не нужно: логин и пароль передаются в Authorization: Basic')
credentials = validation.parse_basic(self.headers.get('Authorization'))
user = None
if credentials:
username, password = credentials
user, password_hash = self.server.repo.get_credentials(username)
# Для несуществующего username проверка идёт против фиктивного хеша за то же время.
if not verify_password(password_hash, password):
user = None
if user is None:
raise ApiError(401, 'unauthorized', 'Неверный логин или пароль', challenge=BASIC_CHALLENGE)
token, expires_at = self.server.sessions.create(user['id'])
self.user_id = user['id']
return 201, {'token': token, 'token_type': 'Bearer', 'expires_at': format_time(expires_at), 'user': user}
def _delete_session(self, body, query):
self._authenticate()
if not self.server.sessions.revoke(self.token):
# Сессия истекла между проверкой и удалением.
raise ApiError(401, 'unauthorized', 'Сессия уже недействительна', challenge=BEARER_CHALLENGE)
return 204, None
def _current_user(self, body, query):
user = self.server.repo.get_user(self._authenticate())
if user is None:
raise ApiError(401, 'unauthorized', 'Пользователь сессии не найден', challenge=BEARER_CHALLENGE)
return 200, user
def _create_chat(self, body, query):
user_id = self._authenticate()
title, member_ids = validation.parse_create_chat(self._json_body(body))
if user_id not in member_ids:
raise bad_request('member_ids должен включать вызывающего пользователя')
try:
return 201, self.server.repo.create_chat(title, member_ids)
except UnknownMember:
raise bad_request('member_ids содержит неизвестного пользователя')
def _list_chats(self, body, query):
user_id = self._authenticate()
scope = 'chats:' + user_id
limit = validation.parse_limit(query)
after = validation.parse_cursor(query, scope)
items, next_key = self.server.repo.list_chats(user_id, after, limit)
return 200, {'items': items, 'next_cursor': validation.encode_cursor(scope, next_key)}
def _get_chat(self, body, query, chat_id):
return 200, self._accessible_chat(self._authenticate(), chat_id)
def _create_message(self, body, query, chat_id):
# Повтор с тем же ключом снова проходит аутентификацию и проверку доступа.
user_id = self._authenticate()
chat = self._accessible_chat(user_id, chat_id)
key = validation.parse_idempotency_key(self.headers.get('Idempotency-Key'))
text, ids = validation.parse_create_message(self._json_body(body))
try:
message, replayed = self.server.repo.add_message(
chat['id'], user_id, text, key, validation.request_fingerprint(text, ids), self.server.idempotency_ttl, ids)
except IdempotencyConflict:
raise ApiError(409, 'conflict', 'Этот Idempotency-Key уже использован с другим телом запроса')
if replayed:
log.info('event=idempotent_replay request_id=%s message_id=%s', self.request_id, message['id'])
return 201, message
def _list_messages(self, body, query, chat_id):
chat = self._accessible_chat(self._authenticate(), chat_id)
scope = 'messages:' + chat['id']
limit = validation.parse_limit(query)
after = validation.parse_cursor(query, scope)
items, next_key = self.server.repo.list_messages(chat['id'], after, limit)
return 200, {'items': items, 'next_cursor': validation.encode_cursor(scope, next_key)}
def _upload(self, body, query, chat_id):
user_id = self._authenticate()
chat = self._accessible_chat(user_id, chat_id)
filename = validation._single(query, 'filename')
if (not filename or not filename.strip() or len(filename) > 255
or any(c in '/\\' or ord(c) < 32 or 127 <= ord(c) <= 159 for c in filename)):
raise bad_request('filename: безопасное имя из 1–255 символов без путей и управляющих символов')
try:
filename.encode('utf-8')
except UnicodeEncodeError:
raise bad_request('Некорректный filename')
mime = self.headers.get_content_type()
if mime not in ('image/png', 'image/jpeg'):
raise ApiError(415, 'unsupported_media_type', 'Допустимы PNG и JPEG')
lengths = self.headers.get_all('Content-Length', [])
if self.headers.get('Transfer-Encoding') or len(lengths) != 1 or not re.fullmatch(r'[0-9]{1,18}', lengths[0]):
raise bad_request('Нужен один корректный Content-Length')
length = int(lengths[0])
if length > self.server.max_upload:
raise ApiError(413, 'payload_too_large', 'Максимум 10 MiB')
if not self.server.upload_slots.acquire(timeout=8):
raise ApiError(503, 'unavailable', 'Загрузки заняты; повторите позже')
try:
# Ограниченный временный диск контейнера; оригиналы здесь не сохраняются.
with tempfile.TemporaryDirectory(prefix='upload-') as directory:
path = os.path.join(directory, 'original')
digest = hashlib.sha256()
deadline = time.monotonic() + 10
with open(path, 'w+b') as file:
remaining = length
while remaining:
self.connection.settimeout(max(0.1, deadline - time.monotonic()))
chunk = self.rfile.read1(min(remaining, 64 * 1024))
if not chunk or time.monotonic() > deadline:
raise bad_request('Загрузка не завершена в срок')
file.write(chunk)
digest.update(chunk)
remaining -= len(chunk)
file.flush()
try:
result = subprocess.run([sys.executable, '-m', 'messenger.image_check', path,
mime, str(self.server.max_pixels)], timeout=8,
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
except subprocess.TimeoutExpired:
raise ApiError(415, 'unsupported_media_type', 'Изображение не удалось проверить в срок')
if result.returncode == 13:
raise ApiError(413, 'payload_too_large', 'Слишком много пикселей')
if result.returncode:
raise ApiError(415, 'unsupported_media_type', 'Повреждённое изображение или неверный MIME')
aid = uuid.uuid4()
values = dict(id=aid, chat_id=uuid.UUID(chat['id']), owner_id=uuid.UUID(user_id),
object_key='originals/' + aid.hex, filename=filename, content_type=mime,
size_bytes=length, sha256=digest.hexdigest())
saved = self.server.repo.save_attachment(
values, lambda: self.server.objects.put(values['object_key'], file, length, mime))
return 201, saved
except (TimeoutError, ConnectionError):
raise bad_request('Загрузка прервана или превышено время ожидания')
finally:
self.server.upload_slots.release()
def _accessible_attachment(self, raw_id):
user_id = self._authenticate()
aid = validation.parse_uuid(raw_id)
if aid is None:
raise bad_request('attachment_id должен быть UUID')
row = self.server.repo.get_attachment(aid, user_id)
if row is None:
raise not_found()
return row
def _attachment(self, body, query, attachment_id):
return 200, attachment(self._accessible_attachment(attachment_id))
def _content(self, body, query, attachment_id):
row = self._accessible_attachment(attachment_id)
if validation._single(query, 'variant') not in (None, 'original'):
raise not_found()
return 200, Download(self.server.objects.get(row['object_key']), row)
+81
View File
@@ -0,0 +1,81 @@
"""Сессии в Valkey — единственное хранилище сессий.
Ключ: session:<sha256 от токена>, значение: JSON с user_id и сроком. Срок задаётся абсолютным
временем (PXAT), поэтому перезапуск ничего не продлевает. Сохранность при рестарте
обеспечивает AOF с fsync на каждую запись (infra/valkey/valkey.conf).
"""
import hashlib
import json
import secrets
import time
from contextlib import contextmanager
import valkey
from valkey.backoff import NoBackoff
from valkey.retry import Retry
from .errors import Unavailable
from .timeutil import from_micros
@contextmanager
def _valkey_errors():
# Любая ошибка Valkey (нет соединения, таймаут, загрузка AOF после рестарта, нехватка памяти)
# превращается в 503. Запрос не продолжается как анонимный и не считается доверенным.
try:
yield
except valkey.exceptions.ValkeyError as error:
raise Unavailable('valkey') from error
class SessionStore:
def __init__(self, url, ttl_seconds):
self.ttl_seconds = ttl_seconds
self._pool = valkey.BlockingConnectionPool.from_url(
url,
max_connections=20, # не больше 20 соединений на процесс
timeout=1, # ждать свободное соединение не дольше 1 с
socket_connect_timeout=1, # подключение и ответ — не дольше 1 с
socket_timeout=1,
retry=Retry(NoBackoff(), 1), # один повтор: переподключиться после рестарта Valkey
decode_responses=True,
)
self._client = valkey.Valkey(connection_pool=self._pool)
@staticmethod
def _key(token):
# В Valkey хранится только хеш токена: копия базы не даёт готовых токенов.
return 'session:' + hashlib.sha256(token.encode('ascii')).hexdigest()
def create(self, user_id):
"""Новая сессия: (токен, срок действия как datetime)."""
token = secrets.token_urlsafe(32) # 32 случайных байта = 256 бит
expires_ms = int(time.time() * 1000) + self.ttl_seconds * 1000
value = json.dumps({'user_id': user_id, 'expires_at_ms': expires_ms})
with _valkey_errors():
self._client.set(self._key(token), value, pxat=expires_ms)
return token, from_micros(expires_ms * 1000)
def user_id(self, token):
"""user_id владельца действующей сессии или None (неизвестна, отозвана, истекла)."""
with _valkey_errors():
raw = self._client.get(self._key(token))
if raw is None:
return None
session = json.loads(raw)
# Valkey удаляет ключ сам; проверка здесь — страховка на случай расхождения часов.
if session['expires_at_ms'] <= time.time() * 1000:
return None
return session['user_id']
def revoke(self, token):
"""Удаляет сессию; True, если она была."""
with _valkey_errors():
return self._client.delete(self._key(token)) == 1
def ping(self):
with _valkey_errors():
self._client.ping()
def close(self):
self._pool.disconnect()
+18
View File
@@ -0,0 +1,18 @@
"""Время в формате контракта: RFC 3339, UTC, микросекунды, суффикс Z."""
from datetime import datetime, timedelta, timezone
EPOCH = datetime(1970, 1, 1, tzinfo=timezone.utc)
MICROSECOND = timedelta(microseconds=1)
def format_time(value):
return value.astimezone(timezone.utc).strftime('%Y-%m-%dT%H:%M:%S.%fZ')
def to_micros(value):
"""Целое число микросекунд с 1970 года: так время хранится в cursor без потери точности."""
return (value - EPOCH) // MICROSECOND
def from_micros(micros):
return EPOCH + timedelta(microseconds=micros)
+219
View File
@@ -0,0 +1,219 @@
"""Разбор и проверка входных данных по contracts/openapi.json и contracts/README.md."""
import base64
import binascii
import hashlib
import json
import re
from .errors import bad_request
USERNAME = re.compile(r'[a-z0-9_]{3,32}')
UUID = re.compile(r'[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}')
LIMIT = re.compile(r'[0-9]{1,3}')
# Idempotency-Key из контракта: ASCII-символы [A-Za-z0-9._:-], от 1 до 128.
IDEMPOTENCY_KEY = re.compile(r'[A-Za-z0-9._:-]{1,128}')
# token68 из RFC 7235 с разумным ограничением длины.
BEARER_TOKEN = re.compile(r'[A-Za-z0-9\-._~+/]{1,512}=*')
DEFAULT_LIMIT = 50
MAX_LIMIT = 100
MAX_NAME = 100
MAX_MEMBERS = 100
MAX_TEXT = 4000
MIN_PASSWORD = 12
MAX_PASSWORD = 128
def parse_uuid(value):
"""UUID в каноническом виде (нижний регистр) или None."""
if isinstance(value, str) and UUID.fullmatch(value):
return value.lower()
return None
def _load_object(raw, fields):
"""JSON-объект ровно с полями fields: лишние и отсутствующие поля — ошибка."""
try:
data = json.loads(raw.decode('utf-8'))
except (ValueError, RecursionError):
raise bad_request('Тело запроса должно быть корректным JSON в UTF-8')
if not isinstance(data, dict):
raise bad_request('Тело запроса должно быть JSON-объектом')
for field in fields:
if field not in data:
raise bad_request('Отсутствует обязательное поле ' + field)
if len(data) != len(fields):
raise bad_request('В запросе есть лишние поля')
return data
def _string(data, field, max_length, min_length=1):
"""Строка из min_length..max_length code points, не только из пробельных символов."""
value = data[field]
if not isinstance(value, str):
raise bad_request('Поле %s должно быть строкой' % field)
if not value.strip():
raise bad_request('Поле %s не должно быть пустым' % field)
if not min_length <= len(value) <= max_length:
raise bad_request('Поле %s: от %d до %d символов' % (field, min_length, max_length))
# NUL нельзя сохранить в тексте PostgreSQL; одиночный суррогат (\ud800) нельзя вернуть в UTF-8.
if '\x00' in value:
raise bad_request('Поле %s содержит недопустимые символы' % field)
try:
value.encode('utf-8')
except UnicodeEncodeError:
raise bad_request('Поле %s содержит недопустимые символы' % field)
return value
def parse_create_user(raw):
data = _load_object(raw, ('username', 'display_name', 'password'))
username = data['username']
if not isinstance(username, str) or not USERNAME.fullmatch(username):
raise bad_request('username: 3-32 символа из набора a-z, 0-9 и _')
display_name = _string(data, 'display_name', MAX_NAME)
password = _string(data, 'password', MAX_PASSWORD, MIN_PASSWORD)
return username, display_name, password
def parse_create_chat(raw):
data = _load_object(raw, ('title', 'member_ids'))
title = _string(data, 'title', MAX_NAME)
raw_ids = data['member_ids']
if not isinstance(raw_ids, list) or not 1 <= len(raw_ids) <= MAX_MEMBERS:
raise bad_request('member_ids: список из 1-%d UUID' % MAX_MEMBERS)
member_ids = [parse_uuid(item) for item in raw_ids]
if None in member_ids:
raise bad_request('member_ids должен содержать только UUID')
if len(set(member_ids)) != len(member_ids):
raise bad_request('member_ids не должен содержать повторов')
return title, member_ids
def parse_create_message(raw):
try:
data = json.loads(raw.decode('utf-8'))
except (ValueError, RecursionError):
raise bad_request('Тело запроса должно быть корректным JSON в UTF-8')
if not isinstance(data, dict) or 'text' not in data or set(data) - {'text', 'attachment_ids'}:
raise bad_request('Нужен text и необязательный attachment_ids')
text = data['text']
if not isinstance(text, str) or len(text) > MAX_TEXT or '\x00' in text:
raise bad_request('text: строка до 4000 символов')
try:
text.encode('utf-8')
except UnicodeEncodeError:
raise bad_request('Недопустимые символы text')
ids = data.get('attachment_ids', [])
if not isinstance(ids, list) or len(ids) > 10:
raise bad_request('attachment_ids: список до 10 UUID')
ids = [parse_uuid(value) for value in ids]
if None in ids or len(set(ids)) != len(ids):
raise bad_request('attachment_ids: уникальные UUID')
if not text.strip() and not ids:
raise bad_request('Нужен непустой текст или вложение')
return text, ids
def parse_idempotency_key(header):
"""Значение заголовка Idempotency-Key; без него или в неверном формате — 400."""
if header is None:
raise bad_request('Нужен заголовок Idempotency-Key')
if not IDEMPOTENCY_KEY.fullmatch(header):
raise bad_request('Idempotency-Key: от 1 до 128 символов из набора A-Z, a-z, 0-9 и ._:-')
return header
def request_fingerprint(text, attachment_ids=()):
"""sha256 разобранного тела: порядок ключей и пробелы в JSON не влияют на сравнение повторов."""
canonical = json.dumps({'text': text, 'attachment_ids': list(attachment_ids)},
ensure_ascii=False, sort_keys=True, separators=(',', ':'))
return hashlib.sha256(canonical.encode('utf-8')).hexdigest()
def _credentials(header, scheme):
"""Значение после схемы авторизации (схема без учёта регистра) или None."""
if not header:
return None
name, _, value = header.strip().partition(' ')
if name.lower() != scheme:
return None
return value.strip()
def parse_basic(header):
"""(username, password) из Authorization: Basic base64(username:password) или None.
Пароль в UTF-8 и может содержать двоеточие: делим по первому. Всё, что не может быть
правильной парой логин/пароль, возвращает None — дальше это обычный ответ 401.
"""
value = _credentials(header, 'basic')
if not value:
return None
try:
decoded = base64.b64decode(value, validate=True).decode('utf-8')
except (binascii.Error, ValueError):
return None
username, separator, password = decoded.partition(':')
if not separator or not USERNAME.fullmatch(username):
return None
if not MIN_PASSWORD <= len(password) <= MAX_PASSWORD:
return None
return username, password
def parse_bearer(header):
"""Токен из Authorization: Bearer <token> или None."""
value = _credentials(header, 'bearer')
if not value or not BEARER_TOKEN.fullmatch(value):
return None
return value
def _single(query, name):
"""Значение параметра запроса; None, если параметра нет."""
values = query.get(name)
if values is None:
return None
if len(values) != 1:
raise bad_request('Параметр %s указан несколько раз' % name)
return values[0]
def parse_limit(query):
value = _single(query, 'limit')
if value is None:
return DEFAULT_LIMIT
if not LIMIT.fullmatch(value) or not 1 <= int(value) <= MAX_LIMIT:
raise bad_request('limit должен быть целым числом от 1 до %d' % MAX_LIMIT)
return int(value)
def encode_cursor(scope, key):
"""Непрозрачный для клиента cursor: область действия и ключ (created_at, id) последней записи."""
if key is None:
return None
raw = '%s|%d|%s' % (scope, key[0], key[1])
return base64.urlsafe_b64encode(raw.encode('ascii')).decode('ascii').rstrip('=')
def parse_cursor(query, scope):
"""Ключ (created_at в мкс, id), после которого продолжать; None без cursor.
scope привязывает cursor к ресурсу: cursor от другого чата — 400.
"""
value = _single(query, 'cursor')
if value is None:
return None
try:
padded = value + '=' * (-len(value) % 4)
raw = base64.b64decode(padded, altchars=b'-_', validate=True).decode('ascii')
cursor_scope, micros, entry_id = raw.split('|')
if cursor_scope != scope or not micros.isdigit() or parse_uuid(entry_id) != entry_id:
raise ValueError
# Ограничение длины защищает от чисел, которые не влезут в дату PostgreSQL.
if len(micros) > 17:
raise ValueError
return int(micros), entry_id
except ValueError:
raise bad_request('Некорректный cursor')
+144
View File
@@ -0,0 +1,144 @@
"""Небольшой HTTP-клиент для собственных тестов. Только стандартная библиотека, Python 3.9+.
Стенд должен быть уже запущен. Адрес берётся из переменной окружения BASE_URL.
По умолчанию 127.0.0.1, а не localhost: в Windows localhost сначала пробует IPv6
и каждый запрос к IPv4-порту занимает около двух секунд.
"""
import base64
import json
import os
import urllib.error
import urllib.request
import uuid
from datetime import datetime
from urllib.parse import quote
BASE_URL = os.environ.get('BASE_URL', 'http://127.0.0.1:8080').rstrip('/')
TIMEOUT = 10
USER_FIELDS = ('id', 'username', 'display_name', 'created_at')
# Значение по умолчанию для key: новый случайный Idempotency-Key у каждого POST сообщения.
AUTO = object()
class Response:
def __init__(self, status, headers, body):
self.status = status
self.headers = headers
self.body = body
self.json = json.loads(body) if body else None
def request(method, path, user=None, body=None, raw=None, headers=None, base_url=None, key=AUTO):
"""Один запрос. user — словарь с token (Bearer); body — объект для JSON; raw — готовые байты.
key — Idempotency-Key для POST сообщения: по умолчанию новый случайный, None — без заголовка.
"""
all_headers = {'Accept': 'application/json'}
if user is not None:
all_headers['Authorization'] = 'Bearer ' + user['token']
if key is AUTO:
key = uuid.uuid4().hex if method == 'POST' and path.endswith('/messages') else None
if key is not None:
all_headers['Idempotency-Key'] = key
if body is not None:
raw = json.dumps(body, ensure_ascii=False).encode('utf-8')
if raw is not None:
all_headers['Content-Type'] = 'application/json'
all_headers.update(headers or {})
req = urllib.request.Request((base_url or BASE_URL) + path, data=raw, headers=all_headers, method=method)
try:
response = urllib.request.urlopen(req, timeout=TIMEOUT)
except urllib.error.HTTPError as error:
response = error
with response:
result = Response(response.code, response.headers, response.read())
# Общие требования контракта ко всем ответам.
assert result.headers.get('X-Request-Id'), 'no X-Request-Id in response'
assert result.headers.get('X-Instance-Id'), 'no X-Instance-Id in response'
if result.status == 204:
assert not result.body, '204 must not have a body'
return result
assert result.headers.get_content_type() == 'application/json', 'response is not JSON'
if result.status >= 400:
error = result.json['error']
assert set(error) == {'code', 'message', 'request_id'}, 'unexpected error fields'
assert error['message'], 'empty error message'
assert error['request_id'] == result.headers['X-Request-Id'], 'request_id differs from header'
return result
def basic(username, password):
"""Значение заголовка Authorization: Basic base64(username:password) в UTF-8."""
return 'Basic ' + base64.b64encode((username + ':' + password).encode('utf-8')).decode('ascii')
def unique_username(prefix='t'):
return prefix + '_' + uuid.uuid4().hex[:16]
def new_password():
# Кириллица и двоеточие: проверяем UTF-8 и деление Basic по первому двоеточию.
return 'Пароль:' + uuid.uuid4().hex
def register(username=None, password=None, display_name='Тестовый пользователь'):
body = {'username': username or unique_username(), 'display_name': display_name, 'password': password or new_password()}
return request('POST', '/api/v1/users', body=body), body
def login(username, password, base_url=None):
return request('POST', '/api/v1/auth/sessions', headers={'Authorization': basic(username, password)},
base_url=base_url)
def new_user(display_name='Тестовый пользователь', base_url=None):
"""Зарегистрированный пользователь с действующим токеном: поля User + token + password."""
response, body = register(display_name=display_name)
assert response.status == 201, 'user was not created: %d' % response.status
session = login(body['username'], body['password'], base_url=base_url)
assert session.status == 201, 'login failed: %d' % session.status
return dict(response.json, token=session.json['token'], password=body['password'])
def public(user):
"""Только поля схемы User: так пользователь выглядит в ответах API."""
return {field: user[field] for field in USER_FIELDS}
def new_chat(owner, members, title='Тестовый чат'):
body = {'title': title, 'member_ids': [member['id'] for member in members]}
response = request('POST', '/api/v1/chats', user=owner, body=body)
assert response.status == 201, 'chat was not created: %d' % response.status
return response.json
def send(user, chat, text, key=AUTO):
return request('POST', '/api/v1/chats/%s/messages' % chat['id'], user=user, body={'text': text}, key=key)
def instance(response):
"""Какая реплика API ответила."""
return response.headers['X-Instance-Id']
def pages(path, user, limit):
"""Обходит все страницы списка и возвращает их как список списков."""
result = []
cursor = None
while True:
url = '%s?limit=%d' % (path, limit)
if cursor:
url += '&cursor=' + quote(cursor, safe='')
response = request('GET', url, user=user)
assert response.status == 200, 'page was not read: %d' % response.status
result.append(response.json['items'])
cursor = response.json['next_cursor']
if cursor is None:
return result
assert len(result) < 1000, 'pagination does not finish'
def order_key(item):
"""Порядок из контракта: (created_at, id) по возрастанию."""
created_at = datetime.fromisoformat(item['created_at'][:-1] + '+00:00')
return created_at, uuid.UUID(item['id']).int
+6
View File
@@ -0,0 +1,6 @@
# JPEG fixture
`sample.jpg` — JPEG-версия публичного синтетического `tests/fixtures/sample.png`,
созданная стандартным JPEG-кодировщиком Windows System.Drawing. Используется только
для проверки JPEG upload/download и побайтной сохранности оригинала. Тесты не
требуют библиотек изображений: fixture уже сохранён в репозитории.
Binary file not shown.

After

Width:  |  Height:  |  Size: 7.7 KiB

+88
View File
@@ -0,0 +1,88 @@
#!/usr/bin/env python3
"""Проверка защиты от гонок: N клиентов одновременно отправляют сообщения в один чат.
python student-tests/race.py --output evidence/race.json
Каждый клиент — отдельный пользователь и отдельный поток. Все потоки стартуют
одновременно, затем история читается постранично и сравнивается с отправленным.
Код возврата 0 — в истории ровно столько уникальных сообщений, сколько отправлено.
"""
import argparse
import json
import sys
import threading
import time
from collections import Counter
from concurrent.futures import ThreadPoolExecutor
import api
def run_race(clients=10, per_client=10, page_size=7):
users = [api.new_user('Клиент %d' % n) for n in range(clients)]
chat = api.new_chat(users[0], users, title='Проверка гонок')
start = threading.Barrier(clients)
def client(index):
start.wait()
return [api.send(users[index], chat, 'race client=%d message=%d' % (index, n)) for n in range(per_client)]
started = time.monotonic()
with ThreadPoolExecutor(max_workers=clients) as pool:
responses = [response for batch in pool.map(client, range(clients)) for response in batch]
elapsed = time.monotonic() - started
accepted = [response.json for response in responses if response.status == 201]
pages = api.pages('/api/v1/chats/%s/messages' % chat['id'], users[-1], page_size)
history = [message for page in pages for message in page]
per_sender = Counter(message['sender_id'] for message in history)
expected = clients * per_client
summary = {
'base_url': api.BASE_URL,
'clients': clients,
'messages_per_client': per_client,
'sent': len(responses),
'accepted_201': len(accepted),
'history_total': len(history),
'history_unique_ids': len({message['id'] for message in history}),
'history_unique_texts': len({message['text'] for message in history}),
'history_matches_accepted': sorted(m['id'] for m in history) == sorted(m['id'] for m in accepted),
'senders_in_history': len(per_sender),
'min_messages_per_sender': min(per_sender.values(), default=0),
'max_messages_per_sender': max(per_sender.values(), default=0),
'ordered_by_created_at_and_id': history == sorted(history, key=api.order_key),
'pages_read': len(pages),
'page_size': page_size,
'send_elapsed_seconds': round(elapsed, 3),
}
summary['ok'] = (
summary['accepted_201'] == expected
and summary['history_total'] == expected
and summary['history_unique_ids'] == expected
and summary['history_unique_texts'] == expected
and summary['history_matches_accepted']
and summary['senders_in_history'] == clients
and summary['min_messages_per_sender'] == summary['max_messages_per_sender'] == per_client
and summary['ordered_by_created_at_and_id']
)
return summary
def main():
parser = argparse.ArgumentParser(description='Concurrent message race check; creates synthetic users and messages')
parser.add_argument('--clients', type=int, default=10)
parser.add_argument('--per-client', type=int, default=10)
parser.add_argument('--output', default=None, help='Optional JSON file for the summary')
args = parser.parse_args()
summary = run_race(args.clients, args.per_client)
text = json.dumps(summary, indent=2)
if args.output:
with open(args.output, 'w', encoding='utf-8') as file:
file.write(text + '\n')
print(text)
print('PASS' if summary['ok'] else 'FAIL')
return 0 if summary['ok'] else 1
if __name__ == '__main__':
sys.exit(main())
+87
View File
@@ -0,0 +1,87 @@
"""Доступ к чатам: аутентификация (кто ты) отдельно от доступа к конкретному чату (можно ли тебе сюда)."""
import unittest
import uuid
import api
class AuthenticationOrderTest(unittest.TestCase):
def test_authentication_is_checked_before_body_and_resource(self):
# Без токена сервер не сообщает ни об ошибке JSON, ни о наличии чата.
self.assertEqual(api.request('POST', '/api/v1/chats', raw=b'{broken').status, 401)
owner = api.new_user()
chat = api.new_chat(owner, [owner])
path = '/api/v1/chats/%s/messages' % chat['id']
self.assertEqual(api.request('GET', path).status, 401)
self.assertEqual(api.request('POST', path, raw=b'{broken').status, 401)
def test_registration_does_not_need_a_token(self):
response, _ = api.register()
self.assertEqual(response.status, 201)
class ForeignChatTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.alice, cls.bob, cls.eve = api.new_user('Алиса'), api.new_user('Боб'), api.new_user('Ева')
cls.chat = api.new_chat(cls.alice, [cls.alice, cls.bob])
cls.path = '/api/v1/chats/' + cls.chat['id']
assert api.send(cls.alice, cls.chat, 'секрет участников').status == 201
def assert_not_found(self, response):
self.assertEqual(response.status, 404)
self.assertEqual(response.json['error']['code'], 'not_found')
def test_outsider_cannot_get_chat(self):
self.assert_not_found(api.request('GET', self.path, user=self.eve))
def test_outsider_cannot_read_history(self):
self.assert_not_found(api.request('GET', self.path + '/messages', user=self.eve))
def test_outsider_cannot_write(self):
self.assert_not_found(api.send(self.eve, self.chat, 'чужое сообщение'))
# Даже с неверным телом посторонний видит 404, а не подсказку о валидации.
self.assert_not_found(api.request('POST', self.path + '/messages', user=self.eve, body={'text': ''}))
history = [m for page in api.pages(self.path + '/messages', self.alice, 100) for m in page]
self.assertNotIn('чужое сообщение', [m['text'] for m in history])
self.assertNotIn(self.eve['id'], [m['sender_id'] for m in history])
def test_foreign_chat_looks_like_missing_chat(self):
foreign = api.request('GET', self.path, user=self.eve)
missing = api.request('GET', '/api/v1/chats/' + str(uuid.uuid4()), user=self.eve)
self.assert_not_found(missing)
self.assertEqual(foreign.json['error']['code'], missing.json['error']['code'])
self.assertEqual(foreign.json['error']['message'], missing.json['error']['message'])
def test_chat_list_contains_only_own_chats(self):
def chat_ids(user):
return [chat['id'] for page in api.pages('/api/v1/chats', user, 100) for chat in page]
self.assertIn(self.chat['id'], chat_ids(self.alice))
self.assertIn(self.chat['id'], chat_ids(self.bob))
self.assertEqual(chat_ids(self.eve), [])
def test_every_member_can_read_and_write(self):
self.assertEqual(api.request('GET', self.path, user=self.bob).json, self.chat)
sent = api.send(self.bob, self.chat, 'ответ Боба')
self.assertEqual(sent.status, 201)
self.assertEqual(sent.json['sender_id'], self.bob['id'])
def test_x_user_id_does_not_open_a_foreign_chat(self):
# Ева подставляет id Алисы: доступ решает только владелец токена.
response = api.request('GET', self.path, user=self.eve, headers={'X-User-Id': self.alice['id']})
self.assert_not_found(response)
def test_invalid_chat_id_is_400(self):
for suffix in ('', '/messages'):
with self.subTest(suffix=suffix):
response = api.request('GET', '/api/v1/chats/not-a-uuid' + suffix, user=self.alice)
self.assertEqual(response.status, 400)
def test_unknown_route_is_404(self):
self.assert_not_found(api.request('GET', '/api/v1/unknown', user=self.alice))
self.assert_not_found(api.request('DELETE', self.path, user=self.alice))
if __name__ == '__main__':
unittest.main()
+102
View File
@@ -0,0 +1,102 @@
"""Lab4: файлы, ACL, привязка к чату и идемпотентность. Публичный контракт не изменяется."""
import hashlib
from pathlib import Path
import struct
import sys
import unittest
from urllib.parse import quote
import uuid
import zlib
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, ROOT
class AttachmentsTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.c = Client('http://127.0.0.1:8080' if not __import__('os').environ.get('BASE_URL')
else __import__('os').environ['BASE_URL'])
cls.a, cls.b, cls.eve, cls.chat = cls.c.bootstrap()
cls.png = (ROOT / 'tests/fixtures/sample.png').read_bytes()
cls.path = '/api/v1/chats/' + cls.chat['id'] + '/attachments'
def upload(self, raw=None, mime='image/png', filename='photo.png', status=201, actor=None, headers=None):
return self.c.call('POST', self.path + '?filename=' + quote(filename, safe=''), status,
actor=actor or self.a, raw=self.png if raw is None else raw,
headers={'Content-Type': mime, **(headers or {})},
schema='Attachment' if status == 201 else None)
def test_original_and_metadata_and_acl(self):
a = self.upload(filename='фото 👋.png')['json']
self.assertEqual(a['sha256'], hashlib.sha256(self.png).hexdigest())
self.assertEqual(a['size_bytes'], len(self.png))
self.assertEqual((a['status'], a['variants'], a['error_code']), ('ready', [], None))
path = '/api/v1/attachments/' + a['id']
self.assertEqual(self.c.call('GET', path, actor=self.b, schema='Attachment')['json'], a)
result = self.c.call('GET', path + '/content?variant=original', actor=self.b)
self.assertEqual(result['bytes'], self.png)
self.assertEqual(result['headers'].get_content_type(), 'image/png')
for suffix in ('', '/content'):
self.c.call('GET', path + suffix, 404, actor=self.eve)
self.c.call('GET', path + suffix, 401)
self.c.call('GET', path + '/content?variant=thumbnail', 404, actor=self.a)
def test_jpeg_original(self):
jpeg = (ROOT / 'student-tests/fixtures/sample.jpg').read_bytes()
a = self.upload(raw=jpeg, mime='image/jpeg', filename='photo.jpg')['json']
got = self.c.call('GET', '/api/v1/attachments/' + a['id'] + '/content', actor=self.b)
self.assertEqual(got['bytes'], jpeg)
self.assertEqual(got['headers'].get_content_type(), 'image/jpeg')
def test_corrupt_and_wrong_mime(self):
for raw, mime in ((b'not an image', 'image/png'), (self.png[:40], 'image/png'),
(self.png, 'image/jpeg'), (self.png, 'text/plain'), (b'', 'image/png')):
with self.subTest(mime=mime, size=len(raw)):
self.upload(raw=raw, mime=mime, status=415)
def test_filename(self):
for name in ('', ' ', '../x.png', 'a/b.png', 'a\\b.png', 'a\x00.png', 'a\n.png', 'a\x7f.png', 'я' * 256):
with self.subTest(name=repr(name)):
self.upload(filename=name, status=400)
def test_byte_limit_before_body(self):
# Большой Content-Length с одним байтом: сервер отклоняет до чтения/выделения памяти.
self.upload(raw=b'x', status=413, headers={'Content-Length': '10485761'})
def test_pixel_limit_before_decode(self):
ihdr = struct.pack('>IIBBBBB', 10000, 5000, 8, 2, 0, 0, 0)
chunk = b'IHDR' + ihdr
png = (b'\x89PNG\r\n\x1a\n' + struct.pack('>I', len(ihdr)) + chunk
+ struct.pack('>I', zlib.crc32(chunk)) + self.png[33:])
self.upload(raw=png, status=413)
def test_foreign_chat_upload(self):
self.upload(actor=self.eve, status=404)
def test_attachment_only_and_idempotency(self):
aid = self.upload()['json']['id']
key = uuid.uuid4().hex
first = self.c.message(self.b, self.chat, '', key=key, attachments=[aid])['json']
self.assertEqual(first['attachment_ids'], [aid])
self.assertEqual(self.c.message(self.b, self.chat, '', key=key, attachments=[aid])['json'], first)
path = '/api/v1/chats/' + self.chat['id'] + '/messages'
self.c.call('POST', path, 409, actor=self.b, body={'text': 'другое', 'attachment_ids': [aid]},
headers={'Idempotency-Key': key})
key = uuid.uuid4().hex
first = self.c.message(self.a, self.chat, 'text', key=key)['json']
self.assertEqual(self.c.message(self.a, self.chat, 'text', key=key, attachments=[])['json'], first)
def test_unknown_foreign_and_duplicate_ids(self):
aid = self.upload()['json']['id']
other = self.c.call('POST', '/api/v1/chats', 201, actor=self.a,
body={'title': 'другой', 'member_ids': [self.a['id']]}, schema='Chat')['json']
for chat, ids, status in ((other, [aid], 404), (self.chat, [str(uuid.uuid4())], 404),
(self.chat, [aid, aid], 400), (self.chat, [aid] * 11, 400),
(self.chat, ['bad'], 400)):
self.c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', status, actor=self.a,
body={'text': '', 'attachment_ids': ids}, headers={'Idempotency-Key': uuid.uuid4().hex})
if __name__ == '__main__':
unittest.main()
+39
View File
@@ -0,0 +1,39 @@
"""Балансировка: запросы одной сессии обслуживают разные реплики, состояние у них общее."""
import time
import unittest
import api
class BalancingTest(unittest.TestCase):
def test_one_session_is_served_by_several_replicas(self):
user = api.new_user('Балансировка')
responses = [api.request('GET', '/api/v1/users/me', user=user) for _ in range(20)]
self.assertEqual({response.status for response in responses}, {200})
# Сессия общая (Valkey), поэтому любая реплика узнаёт токен без повторного входа.
self.assertGreaterEqual(len({api.instance(response) for response in responses}), 2)
def test_message_written_on_one_replica_is_read_on_another(self):
alice, bob = api.new_user('Алиса'), api.new_user('Боб')
chat = api.new_chat(alice, [alice, bob])
sent = api.send(alice, chat, 'запись на одной реплике')
self.assertEqual(sent.status, 201)
writer = api.instance(sent)
path = '/api/v1/chats/%s/messages' % chat['id']
deadline = time.monotonic() + 5
while time.monotonic() < deadline:
read = api.request('GET', path, user=bob)
if api.instance(read) != writer:
# Подтверждённое сообщение сразу видно через другую реплику.
self.assertEqual(read.json['items'], [sent.json])
return
self.fail('no response from another replica within 5 s')
def test_errors_also_carry_instance_id(self):
for method, path in (('GET', '/api/v1/users/me'), ('GET', '/api/v1/unknown'), ('GET', '/health/live')):
with self.subTest(path=path):
self.assertTrue(api.instance(api.request(method, path)))
if __name__ == '__main__':
unittest.main()
+62
View File
@@ -0,0 +1,62 @@
"""Параллельные запросы не должны терять, дублировать или портить данные."""
import threading
import unittest
from concurrent.futures import ThreadPoolExecutor
import api
from race import run_race
class ConcurrencyTest(unittest.TestCase):
def test_100_messages_from_10_clients(self):
summary = run_race(clients=10, per_client=10)
self.assertEqual(summary['accepted_201'], 100)
self.assertEqual(summary['history_total'], 100)
self.assertEqual(summary['history_unique_ids'], 100)
self.assertEqual(summary['history_unique_texts'], 100)
self.assertTrue(summary['history_matches_accepted'])
self.assertEqual(summary['senders_in_history'], 10)
self.assertEqual((summary['min_messages_per_sender'], summary['max_messages_per_sender']), (10, 10))
self.assertTrue(summary['ordered_by_created_at_and_id'])
def test_same_username_registered_in_parallel_wins_once(self):
# Уникальность username держит индекс PostgreSQL: из одновременных INSERT проходит один,
# остальные получают нарушение уникальности, и API отвечает 409.
attempts = 20
username = api.unique_username()
passwords = ['Гонка-пароль-%02d' % n for n in range(attempts)]
start = threading.Barrier(attempts)
def register(index):
start.wait()
body = {'username': username, 'display_name': 'Гонка %d' % index, 'password': passwords[index]}
return api.request('POST', '/api/v1/users', body=body)
with ThreadPoolExecutor(max_workers=attempts) as pool:
responses = list(pool.map(register, range(attempts)))
statuses = sorted(response.status for response in responses)
self.assertEqual(statuses, [201] + [409] * (attempts - 1))
# Победитель один, и войти можно только с его паролем.
winner = next(index for index, response in enumerate(responses) if response.status == 201)
logins = [api.login(username, password).status for password in passwords]
self.assertEqual(logins, [201 if index == winner else 401 for index in range(attempts)])
def test_chats_created_in_parallel_are_all_listed(self):
user = api.new_user()
count = 30
start = threading.Barrier(count)
def create(index):
start.wait()
return api.new_chat(user, [user], title='Параллельный чат %d' % index)
with ThreadPoolExecutor(max_workers=count) as pool:
created = list(pool.map(create, range(count)))
listed = [chat for page in api.pages('/api/v1/chats', user, 7) for chat in page]
self.assertEqual(len(listed), count)
self.assertEqual({chat['id'] for chat in listed}, {chat['id'] for chat in created})
self.assertEqual(listed, sorted(listed, key=api.order_key))
if __name__ == '__main__':
unittest.main()
+106
View File
@@ -0,0 +1,106 @@
"""Идемпотентность отправки сообщения: Idempotency-Key общий для всех реплик."""
import threading
import unittest
import uuid
from concurrent.futures import ThreadPoolExecutor
import api
class IdempotencyTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.alice, cls.bob = api.new_user('Алиса'), api.new_user('Боб')
cls.chat = api.new_chat(cls.alice, [cls.alice, cls.bob])
cls.path = '/api/v1/chats/%s/messages' % cls.chat['id']
def history(self):
return [m for page in api.pages(self.path, self.alice, 100) for m in page]
def test_replay_returns_the_same_message(self):
key = uuid.uuid4().hex
first = api.send(self.alice, self.chat, 'повтор ' + key, key=key)
second = api.send(self.alice, self.chat, 'повтор ' + key, key=key)
self.assertEqual((first.status, second.status), (201, 201))
self.assertEqual(second.json, first.json)
self.assertEqual([m['text'] for m in self.history()].count('повтор ' + key), 1)
def test_same_key_with_another_body_is_409(self):
key = uuid.uuid4().hex
self.assertEqual(api.send(self.alice, self.chat, 'первое тело', key=key).status, 201)
response = api.send(self.alice, self.chat, 'другое тело', key=key)
self.assertEqual(response.status, 409)
self.assertEqual(response.json['error']['code'], 'conflict')
self.assertNotIn('другое тело', [m['text'] for m in self.history()])
def test_json_formatting_does_not_matter(self):
# Пробелы и запись Unicode в JSON не меняют смысл тела: это тот же повтор.
key = uuid.uuid4().hex
first = api.request('POST', self.path, user=self.alice, raw='{"text":"Привет"}'.encode(), key=key)
second = api.request('POST', self.path, user=self.alice, raw=b'{ "text" : "\\u041f\\u0440\\u0438\\u0432\\u0435\\u0442" }', key=key)
self.assertEqual((first.status, second.status), (201, 201))
self.assertEqual(second.json, first.json)
def test_missing_key_is_400(self):
response = api.send(self.alice, self.chat, 'без ключа', key=None)
self.assertEqual(response.status, 400)
self.assertNotIn('без ключа', [m['text'] for m in self.history()])
def test_invalid_keys_are_400(self):
# Кириллица уходит в заголовок байтами UTF-8, как её отправил бы обычный клиент.
cyrillic = 'кириллица'.encode('utf-8').decode('latin-1')
for key in ('', 'a' * 129, cyrillic, 'with space', 'semi;colon', 'slash/key'):
with self.subTest(key=key):
self.assertEqual(api.send(self.alice, self.chat, 'ключ', key=key).status, 400)
def test_key_format_limits_are_accepted(self):
# Свой чат на каждый запуск: область ключа включает чат, поэтому ключи не пересекаются с прошлыми.
chat = api.new_chat(self.alice, [self.alice], title='Форматы ключей')
for key in ('a' * 128, 'A.b_c:d-1', '0'):
with self.subTest(key=key[:20]):
self.assertEqual(api.send(self.alice, chat, 'формат ' + key, key=key).status, 201)
def test_key_scope_is_user_and_chat(self):
key = uuid.uuid4().hex
other_chat = api.new_chat(self.alice, [self.alice], title='Другой чат')
first = api.send(self.alice, self.chat, 'одинаковый ключ', key=key)
in_other_chat = api.send(self.alice, other_chat, 'одинаковый ключ', key=key)
by_other_user = api.send(self.bob, self.chat, 'одинаковый ключ', key=key)
self.assertEqual({first.status, in_other_chat.status, by_other_user.status}, {201})
self.assertEqual(len({first.json['id'], in_other_chat.json['id'], by_other_user.json['id']}), 3)
def test_failed_validation_is_not_remembered(self):
# Ответ 400 не фиксируется: тот же ключ можно использовать с исправленным телом.
key = uuid.uuid4().hex
self.assertEqual(api.send(self.alice, self.chat, ' ', key=key).status, 400)
self.assertEqual(api.send(self.alice, self.chat, 'исправлено', key=key).status, 201)
def test_replay_checks_the_session_again(self):
user = api.new_user('Выход')
chat = api.new_chat(user, [user])
key = uuid.uuid4().hex
self.assertEqual(api.send(user, chat, 'до выхода', key=key).status, 201)
api.request('DELETE', '/api/v1/auth/sessions/current', user=user)
self.assertEqual(api.send(user, chat, 'до выхода', key=key).status, 401)
def test_parallel_requests_with_one_key_create_one_message(self):
# Одновременные повторы расходятся по разным репликам и всё равно создают одно сообщение.
key = uuid.uuid4().hex
text = 'параллельно ' + key
attempts = 20
start = threading.Barrier(attempts)
def post(_):
start.wait()
return api.send(self.alice, self.chat, text, key=key)
with ThreadPoolExecutor(max_workers=attempts) as pool:
responses = list(pool.map(post, range(attempts)))
self.assertEqual({response.status for response in responses}, {201})
self.assertEqual(len({response.json['id'] for response in responses}), 1)
self.assertGreaterEqual(len({api.instance(response) for response in responses}), 2)
self.assertEqual([m['text'] for m in self.history()].count(text), 1)
if __name__ == '__main__':
unittest.main()
+127
View File
@@ -0,0 +1,127 @@
"""Keyset-пагинация истории сообщений и списка чатов."""
import unittest
from urllib.parse import quote
import api
class MessagePaginationTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.user = api.new_user()
cls.chat = api.new_chat(cls.user, [cls.user])
cls.path = '/api/v1/chats/%s/messages' % cls.chat['id']
cls.sent = [api.send(cls.user, cls.chat, 'сообщение %d' % n).json for n in range(25)]
def get(self, query):
return api.request('GET', self.path + query, user=self.user)
def test_walk_over_several_pages(self):
pages = api.pages(self.path, self.user, 10)
self.assertEqual([len(page) for page in pages], [10, 10, 5])
history = [message for page in pages for message in page]
# Ничего не потеряно, не повторено и не переставлено.
self.assertEqual(history, self.sent)
self.assertEqual(history, sorted(history, key=api.order_key))
self.assertEqual(len({message['id'] for message in history}), 25)
def test_one_message_per_page(self):
pages = api.pages(self.path, self.user, 1)
self.assertEqual(len(pages), 25)
self.assertEqual([page[0] for page in pages], self.sent)
def test_last_full_page_has_no_cursor(self):
# 25 сообщений по 5: на пятой странице следующей записи нет, cursor сразу null.
pages = api.pages(self.path, self.user, 5)
self.assertEqual([len(page) for page in pages], [5, 5, 5, 5, 5])
def test_default_and_maximum_limit(self):
self.assertEqual(len(self.get('').json['items']), 25)
everything = self.get('?limit=100').json
self.assertEqual(everything['items'], self.sent)
self.assertIsNone(everything['next_cursor'])
def test_limit_can_change_between_pages(self):
first = self.get('?limit=3').json
second = self.get('?limit=20&cursor=' + quote(first['next_cursor'], safe='')).json
self.assertEqual(first['items'] + second['items'], self.sent[:23])
self.assertIsNotNone(second['next_cursor'])
def test_invalid_limit_is_400(self):
for limit in ('0', '101', '-1', '1.5', 'abc', '', '1e2', '٣'):
with self.subTest(limit=limit):
response = self.get('?limit=' + quote(limit))
self.assertEqual(response.status, 400)
self.assertEqual(response.json['error']['code'], 'invalid_request')
def test_invalid_cursor_is_400(self):
for cursor in ('garbage', '', '!!!', 'AAAA', quote('курсор')):
with self.subTest(cursor=cursor):
self.assertEqual(self.get('?cursor=' + cursor).status, 400)
def test_cursor_from_another_chat_is_400(self):
other = api.new_chat(self.user, [self.user], title='Другой чат')
for n in range(3):
api.send(self.user, other, 'в другом чате %d' % n)
other_cursor = api.request('GET', '/api/v1/chats/%s/messages?limit=1' % other['id'], user=self.user).json['next_cursor']
self.assertIsNotNone(other_cursor)
self.assertEqual(self.get('?cursor=' + quote(other_cursor, safe='')).status, 400)
# Cursor списка чатов тоже не подходит к истории сообщений.
chats_cursor = api.request('GET', '/api/v1/chats?limit=1', user=self.user).json['next_cursor']
self.assertEqual(self.get('?cursor=' + quote(chats_cursor, safe='')).status, 400)
class DefaultLimitTest(unittest.TestCase):
def test_default_limit_is_50(self):
user = api.new_user()
chat = api.new_chat(user, [user])
path = '/api/v1/chats/%s/messages' % chat['id']
for n in range(55):
api.send(user, chat, 'сообщение %d' % n)
first = api.request('GET', path, user=user).json
self.assertEqual(len(first['items']), 50)
rest = api.request('GET', path + '?cursor=' + quote(first['next_cursor'], safe=''), user=user).json
self.assertEqual(len(rest['items']), 5)
self.assertIsNone(rest['next_cursor'])
class GrowingHistoryTest(unittest.TestCase):
def test_empty_history(self):
user = api.new_user()
chat = api.new_chat(user, [user])
page = api.request('GET', '/api/v1/chats/%s/messages' % chat['id'], user=user).json
self.assertEqual(page, {'items': [], 'next_cursor': None})
def test_messages_sent_during_walk_are_not_lost(self):
alice, bob = api.new_user(), api.new_user()
chat = api.new_chat(alice, [alice, bob])
path = '/api/v1/chats/%s/messages' % chat['id']
before = [api.send(alice, chat, 'до %d' % n).json for n in range(4)]
first = api.request('GET', path + '?limit=2', user=bob).json
# Пока Боб читает, Алиса дописывает; cursor Боба продолжает работать у любого участника.
after = [api.send(alice, chat, 'после %d' % n).json for n in range(3)]
rest = api.request('GET', path + '?limit=100&cursor=' + quote(first['next_cursor'], safe=''), user=alice).json
self.assertEqual(first['items'] + rest['items'], before + after)
class ChatListPaginationTest(unittest.TestCase):
def test_chats_are_paged_in_creation_order(self):
user = api.new_user()
created = [api.new_chat(user, [user], title='Чат %d' % n) for n in range(5)]
pages = api.pages('/api/v1/chats', user, 2)
self.assertEqual([len(page) for page in pages], [2, 2, 1])
chats = [chat for page in pages for chat in page]
self.assertEqual(chats, created)
self.assertEqual(chats, sorted(chats, key=api.order_key))
def test_cursor_of_another_user_is_400(self):
alice, bob = api.new_user(), api.new_user()
for n in range(2):
api.new_chat(alice, [alice, bob], title='Общий %d' % n)
alice_cursor = api.request('GET', '/api/v1/chats?limit=1', user=alice).json['next_cursor']
response = api.request('GET', '/api/v1/chats?limit=1&cursor=' + quote(alice_cursor, safe=''), user=bob)
self.assertEqual(response.status, 400)
if __name__ == '__main__':
unittest.main()
+160
View File
@@ -0,0 +1,160 @@
"""Вход по Basic, Bearer-сессии, выход. X-User-Id из lab1 больше не даёт доступа."""
import base64
import unittest
import uuid
from datetime import datetime, timedelta, timezone
import api
ME = '/api/v1/users/me'
SESSIONS = '/api/v1/auth/sessions'
def b64(raw):
return base64.b64encode(raw).decode('ascii')
class LoginTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
response, cls.registration = api.register(display_name='Вход')
assert response.status == 201
cls.user = response.json
def assert_login_rejected(self, response):
self.assertEqual(response.status, 401)
self.assertEqual(response.json['error']['code'], 'unauthorized')
self.assertEqual(response.headers['WWW-Authenticate'], 'Basic realm="messenger", charset="UTF-8"')
return response.json['error']['message']
def test_successful_login(self):
response = api.login(self.registration['username'], self.registration['password'])
self.assertEqual(response.status, 201)
session = response.json
self.assertEqual(set(session), {'token', 'token_type', 'expires_at', 'user'})
self.assertEqual(session['token_type'], 'Bearer')
self.assertEqual(session['user'], self.user)
# Непрозрачный случайный токен: 256 бит в base64url — 43 символа; это не id и не username.
self.assertGreaterEqual(len(session['token']), 43)
self.assertNotIn(self.user['id'], session['token'])
self.assertNotIn(self.user['username'], session['token'])
expires_at = datetime.fromisoformat(session['expires_at'][:-1] + '+00:00')
self.assertGreater(expires_at, datetime.now(timezone.utc) + timedelta(seconds=60))
me = api.request('GET', ME, headers={'Authorization': 'Bearer ' + session['token']})
self.assertEqual(me.json, self.user)
def test_each_login_gives_a_new_token(self):
first = api.login(self.registration['username'], self.registration['password']).json['token']
second = api.login(self.registration['username'], self.registration['password']).json['token']
self.assertNotEqual(first, second)
for token in (first, second):
self.assertEqual(api.request('GET', ME, headers={'Authorization': 'Bearer ' + token}).status, 200)
def test_registration_never_returns_password(self):
response, _ = api.register()
self.assertEqual(set(response.json), {'id', 'username', 'display_name', 'created_at'})
def test_wrong_password(self):
self.assert_login_rejected(api.login(self.registration['username'], self.registration['password'] + 'x'))
def test_unknown_user_gets_the_same_answer(self):
wrong_password = self.assert_login_rejected(api.login(self.registration['username'], 'Wrong-password-123'))
unknown_user = self.assert_login_rejected(api.login(api.unique_username(), 'Wrong-password-123'))
self.assertEqual(wrong_password, unknown_user)
def test_malformed_basic_header(self):
for value in (
'Basic',
'Basic !!!not-base64!!!',
'Basic ' + b64(b'no-colon-here'),
'Basic ' + b64(b'\xff\xfe:invalid-utf8-password'),
'Basic ' + b64(b'Upper_Case:Valid-password-123'),
'Basic ' + b64(b'short:pw'),
'Digest abc',
'Bearer ' + uuid.uuid4().hex,
):
with self.subTest(value=value):
response = api.request('POST', SESSIONS, headers={'Authorization': value})
self.assert_login_rejected(response)
self.assert_login_rejected(api.request('POST', SESSIONS))
def test_password_with_colons_and_unicode(self):
password = 'Пароль:с:двоеточиями 👋'
response, body = api.register(password=password)
self.assertEqual(response.status, 201)
self.assertEqual(api.login(body['username'], password).status, 201)
self.assert_login_rejected(api.login(body['username'], 'Пароль:с:двоеточиями'))
def test_credentials_in_json_body_are_not_accepted(self):
body = {'username': self.registration['username'], 'password': self.registration['password']}
response = api.request('POST', SESSIONS, body=body)
self.assertIn(response.status, (400, 401))
self.assertNotIn('token', response.json)
class BearerTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.alice = api.new_user('Алиса')
cls.bob = api.new_user('Боб')
def assert_bearer_rejected(self, response):
self.assertEqual(response.status, 401)
self.assertEqual(response.json['error']['code'], 'unauthorized')
self.assertEqual(response.headers['WWW-Authenticate'], 'Bearer realm="messenger"')
def test_protected_endpoints_need_a_token(self):
for method, path in (('GET', ME), ('GET', '/api/v1/chats'), ('POST', '/api/v1/chats'),
('GET', '/api/v1/chats/%s/messages' % uuid.uuid4()), ('DELETE', SESSIONS + '/current')):
with self.subTest(method=method, path=path):
self.assert_bearer_rejected(api.request(method, path))
def test_unknown_or_malformed_token(self):
for value in ('Bearer ' + uuid.uuid4().hex * 2, 'Bearer', 'Bearer a b', 'Bearer ' + 'x' * 600,
'Bearer ' + self.alice['id'], 'Token ' + self.alice['token']):
with self.subTest(value=value[:40]):
self.assert_bearer_rejected(api.request('GET', ME, headers={'Authorization': value}))
def test_basic_is_rejected_on_business_endpoints(self):
value = api.basic(self.alice['username'], self.alice['password'])
self.assert_bearer_rejected(api.request('GET', ME, headers={'Authorization': value}))
def test_x_user_id_is_ignored(self):
self.assert_bearer_rejected(api.request('GET', ME, headers={'X-User-Id': self.alice['id']}))
# Заголовок X-User-Id не меняет владельца сессии.
me = api.request('GET', ME, user=self.alice, headers={'X-User-Id': self.bob['id']})
self.assertEqual(me.json, api.public(self.alice))
def test_token_selects_the_user(self):
self.assertEqual(api.request('GET', ME, user=self.alice).json, api.public(self.alice))
self.assertEqual(api.request('GET', ME, user=self.bob).json, api.public(self.bob))
def test_scheme_name_is_case_insensitive(self):
# RFC 7235: имя схемы авторизации не зависит от регистра.
response = api.request('GET', ME, headers={'Authorization': 'bearer ' + self.alice['token']})
self.assertEqual(response.status, 200)
class LogoutTest(unittest.TestCase):
def test_logout_revokes_only_the_current_token(self):
user = api.new_user('Выход')
other = api.login(user['username'], user['password']).json['token']
response = api.request('DELETE', SESSIONS + '/current', user=user)
self.assertEqual(response.status, 204)
self.assertEqual(response.body, b'')
# Отозванный токен больше не работает, повторный выход — тоже 401.
self.assertEqual(api.request('GET', ME, user=user).status, 401)
self.assertEqual(api.request('DELETE', SESSIONS + '/current', user=user).status, 401)
# Другая сессия того же пользователя продолжает работать.
self.assertEqual(api.request('GET', ME, headers={'Authorization': 'Bearer ' + other}).status, 200)
def test_login_again_after_logout(self):
user = api.new_user('Снова')
api.request('DELETE', SESSIONS + '/current', user=user)
again = api.login(user['username'], user['password'])
self.assertEqual(again.status, 201)
self.assertNotEqual(again.json['token'], user['token'])
if __name__ == '__main__':
unittest.main()
+219
View File
@@ -0,0 +1,219 @@
"""Валидация входных данных: неверный JSON, пустое сообщение, дубликат username, пароль, Unicode."""
import json
import unittest
import uuid
import api
USERS = '/api/v1/users'
PASSWORD = 'Valid-password-123'
def registration(**fields):
"""Корректное тело регистрации; fields заменяют или добавляют поля."""
body = {'username': api.unique_username(), 'display_name': 'Имя', 'password': PASSWORD}
body.update(fields)
return body
class InvalidJsonTest(unittest.TestCase):
def assert_invalid(self, response):
self.assertEqual(response.status, 400)
self.assertEqual(response.json['error']['code'], 'invalid_request')
def test_malformed_json_on_register(self):
self.assert_invalid(api.request('POST', USERS, raw=b'{"username": "broken", '))
def test_malformed_json_on_message(self):
user = api.new_user()
chat = api.new_chat(user, [user])
path = '/api/v1/chats/%s/messages' % chat['id']
for raw in (b'not json', b'{"text": "no closing quote}', b'', b'{"text": }'):
with self.subTest(raw=raw):
self.assert_invalid(api.request('POST', path, user=user, raw=raw))
# Неудачные запросы ничего не записали в историю.
self.assertEqual(api.pages(path, user, 100), [[]])
def test_json_that_is_not_an_object(self):
for raw in (b'[]', b'"text"', b'42', b'null'):
with self.subTest(raw=raw):
self.assert_invalid(api.request('POST', USERS, raw=raw))
def test_invalid_utf8(self):
raw = json.dumps(registration(display_name='PLACEHOLDER')).encode().replace(b'PLACEHOLDER', b'\xff\xfe')
self.assert_invalid(api.request('POST', USERS, raw=raw))
def test_lone_surrogate_is_rejected_not_crashed(self):
# Всё остальное в теле корректно: ошибка именно в одиночном суррогате.
raw = json.dumps(registration(display_name='PLACEHOLDER')).encode().replace(b'PLACEHOLDER', b'\\ud800')
self.assert_invalid(api.request('POST', USERS, raw=raw))
def test_nul_character_is_rejected_not_crashed(self):
# PostgreSQL не хранит символ NUL в text: без проверки это был бы 500.
self.assert_invalid(api.request('POST', USERS, body=registration(display_name='a\x00b')))
def test_extra_fields(self):
self.assert_invalid(api.request('POST', USERS, body=registration(is_admin=True)))
def test_wrong_types(self):
for fields in ({'username': 12345}, {'display_name': ['Имя']}, {'display_name': None}, {'password': 123456789012345}):
with self.subTest(fields=fields):
self.assert_invalid(api.request('POST', USERS, body=registration(**fields)))
def test_wrong_content_type(self):
raw = json.dumps(registration()).encode()
self.assert_invalid(api.request('POST', USERS, raw=raw, headers={'Content-Type': 'text/plain'}))
class UserValidationTest(unittest.TestCase):
def test_duplicate_username_is_409(self):
body = registration(display_name='Первый')
first = api.request('POST', USERS, body=body)
self.assertEqual(first.status, 201)
# Совпадает только username: другие имя и пароль не помогают.
second = api.request('POST', USERS, body=dict(body, display_name='Второй', password='Another-password-456'))
self.assertEqual(second.status, 409)
self.assertEqual(second.json['error']['code'], 'conflict')
# Первый пользователь не изменился: входит со своим паролем и видит своё имя.
session = api.login(body['username'], body['password'])
self.assertEqual(session.json['user'], first.json)
self.assertEqual(api.login(body['username'], 'Another-password-456').status, 401)
def test_bad_usernames(self):
for username in ('ab', 'a' * 33, 'Alice', 'with space', 'дмитрий', 'dash-name', '', 'name\n', 'colon:name'):
with self.subTest(username=username):
self.assertEqual(api.request('POST', USERS, body=registration(username=username)).status, 400)
def test_username_length_limits_are_accepted(self):
for length in (3, 32):
with self.subTest(length=length):
response = api.request('POST', USERS, body=registration(username=uuid.uuid4().hex[:length]))
# Трёхсимвольное имя могло остаться от прошлого запуска: 409 тоже значит «имя допустимо».
self.assertIn(response.status, (201, 409))
def test_bad_display_names(self):
for display_name in ('', ' ', '\t\n', 'я' * 101):
with self.subTest(display_name=display_name):
self.assertEqual(api.request('POST', USERS, body=registration(display_name=display_name)).status, 400)
def test_bad_passwords(self):
for password in ('a' * 11, 'я' * 11, 'a' * 129, ' ' * 12, '\t' * 20, 'pass\x00word-123'):
with self.subTest(password=password[:20]):
self.assertEqual(api.request('POST', USERS, body=registration(password=password)).status, 400)
def test_password_length_limits_are_accepted(self):
# Длина считается в code points: 12 кириллических букв — это 24 байта UTF-8.
for password in ('a' * 12, 'я' * 12, '👋' * 128):
with self.subTest(length=len(password)):
body = registration(password=password)
self.assertEqual(api.request('POST', USERS, body=body).status, 201)
self.assertEqual(api.login(body['username'], password).status, 201)
def test_missing_fields(self):
for field in ('username', 'display_name', 'password'):
with self.subTest(field=field):
body = registration()
del body[field]
self.assertEqual(api.request('POST', USERS, body=body).status, 400)
def test_unicode_display_name_is_kept(self):
# Длина считается в code points: 100 эмодзи — это 400 байт, но имя допустимо.
for display_name in ('Дмитрий 👋', '李雷', '👋' * 100):
with self.subTest(display_name=display_name):
response = api.request('POST', USERS, body=registration(display_name=display_name))
self.assertEqual(response.status, 201)
self.assertEqual(response.json['display_name'], display_name)
class MessageValidationTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.user = api.new_user()
cls.chat = api.new_chat(cls.user, [cls.user])
cls.path = '/api/v1/chats/%s/messages' % cls.chat['id']
def test_empty_message_is_400(self):
for text in ('', ' ', '\n\t \r\n', '  '):
with self.subTest(text=text):
response = api.send(self.user, self.chat, text)
self.assertEqual(response.status, 400)
self.assertEqual(response.json['error']['code'], 'invalid_request')
def test_missing_or_wrong_text(self):
for body in ({}, {'text': None}, {'text': 123}, {'text': ['a']}, {'message': 'a'}):
with self.subTest(body=body):
self.assertEqual(api.request('POST', self.path, user=self.user, body=body).status, 400)
def test_sender_id_in_body_is_rejected(self):
other = api.new_user()
body = {'text': 'подмена отправителя', 'sender_id': other['id']}
self.assertEqual(api.request('POST', self.path, user=self.user, body=body).status, 400)
def test_nul_in_text_is_400(self):
self.assertEqual(api.send(self.user, self.chat, 'до\x00после').status, 400)
def test_text_length_limit(self):
self.assertEqual(api.send(self.user, self.chat, 'я' * 4000).status, 201)
self.assertEqual(api.send(self.user, self.chat, '👋' * 4000).status, 201)
self.assertEqual(api.send(self.user, self.chat, 'я' * 4001).status, 400)
def test_unicode_text_is_kept(self):
text = 'Привет, мир 👋 — 你好\nвторая строка'
response = api.send(self.user, self.chat, text)
self.assertEqual(response.status, 201)
self.assertEqual(response.json['text'], text)
self.assertEqual(response.json['sender_id'], self.user['id'])
self.assertEqual(response.json['chat_id'], self.chat['id'])
def test_oversized_body_is_413(self):
response = api.request('POST', self.path, user=self.user, body={'text': 'a' * 70000})
self.assertEqual(response.status, 413)
self.assertEqual(response.json['error']['code'], 'payload_too_large')
class ChatValidationTest(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.alice = api.new_user()
cls.bob = api.new_user()
def create(self, title, member_ids):
return api.request('POST', '/api/v1/chats', user=self.alice, body={'title': title, 'member_ids': member_ids})
def test_caller_must_be_a_member(self):
self.assertEqual(self.create('Без меня', [self.bob['id']]).status, 400)
def test_duplicate_members(self):
self.assertEqual(self.create('Дубликат', [self.alice['id'], self.bob['id'], self.bob['id']]).status, 400)
# Тот же UUID в другом регистре — тоже дубликат.
self.assertEqual(self.create('Дубликат', [self.alice['id'], self.alice['id'].upper()]).status, 400)
def test_unknown_member_rolls_back_the_whole_chat(self):
# Чат вставляется первым, участник — вторым; ошибка на участнике откатывает и сам чат.
title = 'Откат ' + uuid.uuid4().hex[:8]
response = self.create(title, [self.alice['id'], str(uuid.uuid4())])
self.assertEqual(response.status, 400)
chats = [chat for page in api.pages('/api/v1/chats', self.alice, 100) for chat in page]
self.assertNotIn(title, [chat['title'] for chat in chats])
def test_bad_member_ids(self):
for member_ids in ([], 'not a list', [123], ['not-a-uuid'], None):
with self.subTest(member_ids=member_ids):
self.assertEqual(self.create('Чат', member_ids).status, 400)
def test_bad_titles(self):
for title in ('', ' ', 'я' * 101, 5, 'a\x00b'):
with self.subTest(title=title):
self.assertEqual(self.create(title, [self.alice['id']]).status, 400)
def test_valid_chat_keeps_member_order(self):
response = self.create('Проект по ВНП', [self.bob['id'], self.alice['id']])
self.assertEqual(response.status, 201)
self.assertEqual(response.json['title'], 'Проект по ВНП')
self.assertEqual(response.json['member_ids'], [self.bob['id'], self.alice['id']])
again = api.request('GET', '/api/v1/chats/' + response.json['id'], user=self.bob)
self.assertEqual(again.json, response.json)
if __name__ == '__main__':
unittest.main()