ЛР 4 — БВТ2304 — Черников — на 4 #59
@@ -18,3 +18,23 @@ __pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
# В образ копируются только requirements.txt, migrations/ и src/.
|
||||
**/__pycache__
|
||||
**/*.pyc
|
||||
contracts
|
||||
examples
|
||||
scripts
|
||||
tests
|
||||
student-tests
|
||||
infra
|
||||
*.md
|
||||
Makefile
|
||||
lab.json
|
||||
requirements-dev.txt
|
||||
requirements.in
|
||||
compose*.yaml
|
||||
.gitignore
|
||||
.gitattributes
|
||||
.vscode
|
||||
.idea
|
||||
*.log
|
||||
|
||||
+2
-2
@@ -7,11 +7,11 @@ SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
SESSION_STORE=valkey
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_ENDPOINT=http://s3:8333
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
|
||||
@@ -0,0 +1,87 @@
|
||||
# Шпаргалка для защиты — лабораторная 4
|
||||
|
||||
Рабочая папка — корень clone `mtusi2026lab4`. Нужны Docker Desktop с Compose и Python 3.9+ для публичных тестов. Скрипт эксперимента использует Python 3.9+; для `random.randbytes` нужна версия не ниже 3.9.
|
||||
|
||||
## Подготовка и запуск
|
||||
|
||||
```sh
|
||||
python scripts/init_secrets.py
|
||||
cp .env.example .env # PowerShell: Copy-Item .env.example .env
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
docker compose ps -a
|
||||
```
|
||||
|
||||
API: <http://127.0.0.1:8080/health/ready>. HAProxy: <http://127.0.0.1:8404>.
|
||||
В Windows у Python добавляйте `-X utf8`, чтобы публичные скрипты читали контракт в UTF-8.
|
||||
|
||||
## Публичный сценарий и собственные тесты
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/check_contract.py
|
||||
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
python -X utf8 -m unittest discover -s student-tests -v
|
||||
```
|
||||
|
||||
Smoke создаёт Алису, Боба и постороннего пользователя, загружает PNG, отправляет сообщение с вложением, скачивает оригинал как Боб и сравнивает SHA-256. Посторонний получает 404.
|
||||
|
||||
## Проверки уровня 4
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/lab4_checks.py --only stack private
|
||||
python -X utf8 scripts/lab4_checks.py --only failover
|
||||
python -X utf8 scripts/lab4_checks.py --only outage
|
||||
python -X utf8 scripts/lab4_checks.py --only memory
|
||||
python -X utf8 scripts/lab4_checks.py --only compensation
|
||||
```
|
||||
|
||||
- `private`: прямой анонимный GET S3 возвращает 403; API credentials не могут создать bucket.
|
||||
- `failover`: определяет реплику **по ответу upload**, останавливает её, скачивает через другую, сравнивает байты; возвращает реплику в `finally`.
|
||||
- `outage`: останавливает SeaweedFS, ожидает ограниченный 503, запускает обратно и скачивает тем же токеном.
|
||||
- `memory`: десять одновременных загрузок PNG 1024×1024; выводит время, задержки и `memory.peak` cgroup каждой реплики, включая decoder и tmpfs.
|
||||
- `compensation`: временный DB trigger ломает INSERT после успешного S3 PUT; затем проверяется rollback, запуск dry-run очистки и прерывание загрузки клиентом. Trigger удаляется в `finally`.
|
||||
|
||||
## Перезапуск всего стенда
|
||||
|
||||
Отдельная регрессия замечания к приостановленной PostgreSQL:
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/check_postgres_pause.py --output evidence/postgres-pause.txt
|
||||
```
|
||||
|
||||
Скрипт сам выполняет pause/unpause: проверяет прямой 503 с каждой реплики, живость API, замену закрытых соединений и восстановление чтения/записи. Также отдельно приостанавливает БД во время запроса, COMMIT и ROLLBACK. PostgreSQL возобновляется в `finally`; API не перезапускаются.
|
||||
|
||||
```sh
|
||||
# Windows
|
||||
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
|
||||
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
docker compose up -d --wait
|
||||
|
||||
# Linux / Git Bash: использовать restart.sh и stop-one.sh; в Linux предварительно chmod +x scripts/*.sh
|
||||
```
|
||||
|
||||
Публичный persistence проверяет старый токен, сообщение, метаданные и оригинал после перезапуска API, PostgreSQL, Valkey, S3 и HAProxy.
|
||||
|
||||
## Очистка orphan-объектов
|
||||
|
||||
```sh
|
||||
docker compose --profile tools run --rm cleanup # просмотр, ничего не удаляет
|
||||
docker compose --profile tools run --rm cleanup --apply # только неучтённые объекты старше часа
|
||||
```
|
||||
|
||||
Для регулярной очистки оператор запускает вторую команду раз в час планировщиком ОС. Ключи создаёт сервер; filename не участвует в S3 key. Блокировка в PostgreSQL защищает границу PUT/COMMIT от гонки со сборщиком. Ошибка доступа к БД прерывает очистку.
|
||||
|
||||
## Остановка
|
||||
|
||||
```sh
|
||||
docker compose stop # безопасно, данные сохраняются
|
||||
docker compose down # удалить контейнеры, volumes сохраняются
|
||||
docker compose down -v # намеренно удалить ВСЕ учебные данные lab4
|
||||
```
|
||||
|
||||
## Короткие ответы на вопросы
|
||||
|
||||
- Локальный файл реплики исчезнет вместе с контейнером и недоступен второй реплике. S3 общий и сохраняет данные в отдельном volume.
|
||||
- 201 возвращается после PUT оригинала и COMMIT метаданных. После 201 другая реплика читает те же данные.
|
||||
- Если PUT прошёл, а COMMIT нет, остаётся orphan. Сборщик удаляет его только после grace period и повторной проверки БД под блокировкой.
|
||||
- Случайный ключ не является авторизацией. API проверяет членство в чате перед метаданными, скачиванием и загрузкой.
|
||||
+41
@@ -0,0 +1,41 @@
|
||||
# Базовый образ закреплён и тегом версии, и digest: тег читается человеком,
|
||||
# digest гарантирует те же самые слои при повторной сборке.
|
||||
FROM python:3.14.7-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
|
||||
# PYTHONUNBUFFERED: логи сразу попадают в docker logs, а не ждут в буфере.
|
||||
ENV PYTHONUNBUFFERED=1 \
|
||||
PYTHONDONTWRITEBYTECODE=1 \
|
||||
PIP_DISABLE_PIP_VERSION_CHECK=1 \
|
||||
APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080
|
||||
|
||||
# Непривилегированный пользователь без домашнего каталога и без shell.
|
||||
RUN groupadd --gid 10001 app \
|
||||
&& useradd --uid 10001 --gid app --no-create-home --shell /usr/sbin/nologin app
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
# Сначала только lock-файл: слой с пакетами пересобирается лишь при изменении зависимостей.
|
||||
# --require-hashes: pip ставит ровно те файлы, хеши которых записаны в requirements.txt.
|
||||
# --only-binary: только готовые wheel, без компиляции во время сборки.
|
||||
COPY requirements.txt ./
|
||||
RUN pip install --no-cache-dir --require-hashes --only-binary=:all: --root-user-action=ignore -r requirements.txt
|
||||
|
||||
# Python не компилируется в отдельный бинарник, поэтому сборка одноэтапная.
|
||||
# Файлы принадлежат root: процесс приложения может их читать, но не менять.
|
||||
COPY migrations/ ./migrations/
|
||||
COPY src/ ./
|
||||
|
||||
# Версия сборки попадает в лог старта: по ней видно, какие реплики уже обновлены.
|
||||
ARG APP_VERSION=dev
|
||||
ENV APP_VERSION=${APP_VERSION}
|
||||
|
||||
USER app
|
||||
EXPOSE 8080
|
||||
|
||||
# Во время start-period Docker проверяет каждую секунду: новая реплика быстрее становится healthy.
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=10s --start-interval=1s --retries=3 \
|
||||
CMD ["python", "-m", "messenger.healthcheck"]
|
||||
|
||||
# exec-форма: python — процесс PID 1 и сам получает SIGTERM от docker stop.
|
||||
CMD ["python", "-m", "messenger"]
|
||||
@@ -1,5 +1,5 @@
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= http://localhost:8080
|
||||
BASE_URL ?= http://127.0.0.1:8080
|
||||
CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
@@ -28,3 +28,28 @@ test-persistence:
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
secrets:
|
||||
$(PYTHON) scripts/init_secrets.py
|
||||
|
||||
up: secrets
|
||||
docker compose up -d --build --wait
|
||||
|
||||
student-test:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -v
|
||||
|
||||
checks:
|
||||
$(PYTHON) scripts/lab4_checks.py --base-url "$(BASE_URL)"
|
||||
|
||||
cleanup:
|
||||
docker compose --profile tools run --rm cleanup
|
||||
|
||||
race:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) student-tests/race.py
|
||||
|
||||
verify:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/verify.py
|
||||
|
||||
.PHONY: test-postgres-pause
|
||||
test-postgres-pause:
|
||||
$(PYTHON) scripts/check_postgres_pause.py --base-url "$(BASE_URL)"
|
||||
|
||||
@@ -1,37 +1,188 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Черников Дмитрий, БВТ2304.
|
||||
- Целевая оценка: 4; исследовательский трек 5 не заявлен.
|
||||
- Commit/PR: заполняется после публикации.
|
||||
- Основа — собственная лабораторная 3. При разработке lab4 использовался Codex (OpenAI).
|
||||
- Библиотеки: psycopg 3.3.6, psycopg-pool 3.3.3, Valkey client 6.1.1, argon2-cffi 25.1.0, boto3 1.43.123, Pillow 13.0.0. Транзитивные зависимости и хеши закреплены в `requirements.txt`.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требуются Docker с Compose v2 и Python 3.9+ для тестов. Команды выполняются из корня clone `mtusi2026lab4`. UI не требуется.
|
||||
|
||||
| Компонент | Образ | Хранилище | Доступ |
|
||||
| --- | --- | --- | --- |
|
||||
| API × 2 | Python 3.14.7, собственный `mtusi-messenger:lab4` | постоянных файлов нет | только HAProxy |
|
||||
| HAProxy | 3.4.5-trixie | нет | 127.0.0.1:8080; статистика 127.0.0.1:8404 |
|
||||
| PostgreSQL | 18.6-trixie | `pgdata` | только Compose |
|
||||
| Valkey | 9.0.6-trixie | `valkeydata`, AOF | только Compose |
|
||||
| SeaweedFS | 3.85 | `s3data`: master, volume и индекс filer | только Compose; S3 :8333 |
|
||||
| migrate, bucket | образ приложения | одноразовые операции | портов нет |
|
||||
| cleanup | образ приложения, профиль tools | запуск оператором | портов нет |
|
||||
|
||||
Образы закреплены версиями и digest в Dockerfile/Compose, включая SeaweedFS 3.85 (`sha256:493129…`). Все зависимости поднимаются из этого репозитория.
|
||||
|
||||
```sh
|
||||
python scripts/init_secrets.py
|
||||
cp .env.example .env # PowerShell: Copy-Item .env.example .env
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
docker compose ps -a
|
||||
python -X utf8 scripts/check_contract.py
|
||||
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
python -X utf8 -m unittest discover -s student-tests -v
|
||||
python -X utf8 scripts/lab4_checks.py
|
||||
```
|
||||
|
||||
В Linux можно использовать `python3`. В Windows `-X utf8` нужен для чтения контракта публичными скриптами. Адрес 127.0.0.1 исключает задержки при попытках IPv6. Краткий сценарий защиты — [DEMO.md](DEMO.md).
|
||||
|
||||
`init_secrets.py` создаёт случайные пароли только при отсутствии файлов; значения не печатаются. `secrets/` и `.env` исключены из Git и Docker build context. При сохранённом PostgreSQL volume нужно сохранять исходные секреты.
|
||||
|
||||
`migrate` применяет SQL-миграции до запуска API. `bucket` ожидает S3 и идемпотентно создаёт приватный bucket административным ключом. Повторный `docker compose run --rm bucket` безопасен.
|
||||
|
||||
Остановка: `docker compose stop` либо `docker compose down` сохраняют volumes. **`docker compose down -v` намеренно удаляет все учебные данные lab4.**
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```text
|
||||
Клиент -> HAProxy -> API x2 -> PostgreSQL: пользователи, чаты, сообщения, attachment metadata
|
||||
-> Valkey: долговечные сессии с TTL
|
||||
-> приватный SeaweedFS S3: оригиналы изображений
|
||||
```
|
||||
|
||||
Из lab3 перенесены аутентификация, Argon2id, общие сессии, keyset pagination, транзакционная идемпотентность сообщений, readiness и плавная остановка API. Публичный контракт и публичные тесты сохранены.
|
||||
|
||||
Миграция `0004_attachments.sql` добавляет метаданные, связь сообщения с файлами и `attachment_ids`. Внешние ключи защищают принадлежность вложения чату; API проверяет список до INSERT. `attachment_ids=[]` и отсутствие поля имеют одинаковый fingerprint. Порядок IDs сохраняется; перестановка списка считается другим телом. Подтверждённые сообщения читаются любой репликой из PostgreSQL. Строка чата блокируется на запись, время следующего сообщения строго больше предыдущего.
|
||||
|
||||
Оригинал находится в S3. Ключ `originals/<случайный UUID>` создаёт сервер; filename используется лишь в метаданных. Метаданные и content доступны после проверки Bearer-сессии и членства в чате; постороннему возвращается 404. API не выдаёт object key, внутренний URL или redirect в S3.
|
||||
|
||||
Upload требует один Content-Length, Transfer-Encoding не поддерживается. Размер проверяется до чтения; тело принимается блоками до 64 KiB во временный `/tmp`. На реплику допускается один decoder, ожидание слота ограничено 8 с. Чтение ограничено общим сроком 10 с; процесс Pillow — 8 с. До распаковки проверяется предел 40 миллионов пикселей. Выполняются `verify()` и полное `load()`, тип из содержимого сверяется с MIME. Отдельный процесс освобождает память декодера после завершения.
|
||||
|
||||
У API лимит 512 MiB, `/tmp` — tmpfs 32 MiB. Временный оригинал удаляется после запроса; устойчивый экземпляр хранится в S3. Download читает S3 блоками по 64 KiB.
|
||||
|
||||
У boto3 connect timeout 1 с, read timeout 3 с, одна попытка. Пользовательские ошибки дают 400/413/415, отказ хранилища — 503. Readiness зависит от PostgreSQL, Valkey и S3: все нужны обязательному синхронному пути.
|
||||
|
||||
PostgreSQL: `connect_timeout=3` ограничивает подключение, таймаут пула 3 с — получение соединения. Дополнительно `BoundedConnection.wait()` ограничивает каждое сетевое ожидание psycopg **3 секундами на стороне API**, включая проверку соединения пулом, запрос, COMMIT и ROLLBACK. Серверные statement/lock/idle timeout остаются дополнительной защитой и не заменяют клиентский предел: при `docker pause postgres` таймер внутри БД тоже остановлен. На клиентском таймауте соединение закрывается в том же потоке и отбрасывается пулом; ожидания сетевого CANCEL/ROLLBACK или незавершённых фоновых запросов в API нет. Ошибка преобразуется в обычный JSON 503. После unpause пул создаёт рабочие соединения без перезапуска API.
|
||||
|
||||
## Приватность и конфигурация
|
||||
|
||||
В `secrets/s3_config` две identity, анонимной identity нет. Bootstrap/cleanup имеют административный ключ; API получает только Read, Write, List для `messenger-attachments`. API не может создать bucket или читать другой bucket. В SeaweedFS 3.85 Write допускает также удаление объектов; отдельное ограничение Delete не заявляется. Приложение не предоставляет endpoint удаления.
|
||||
|
||||
S3 и административные порты не опубликованы на хосте. Внутренняя сеть Compose считается доверенной учебной сетью. Прямая проверка анонимного GET выполняется из контейнера API, независимо от недоступности S3 с хоста.
|
||||
|
||||
`S3_ENDPOINT=http://s3:8333`, `S3_REGION=us-east-1`, `S3_BUCKET=messenger-attachments` соответствуют Compose. `.env` настраивает TTL, число реплик и лимиты изображения; параметры хранилищ задаёт Compose. При изменении bucket нужно согласованно изменить scope identity в `init_secrets.py`. `SESSION_STORE=valkey` в примере описательный: реализация использует Valkey напрямую.
|
||||
|
||||
## Согласованность S3 и БД
|
||||
|
||||
Порядок: приём и проверка -> PostgreSQL transaction/advisory lock по object key -> S3 PUT -> INSERT -> COMMIT -> HTTP 201 ready. Сообщение с вложением создаётся отдельной транзакцией. Доступное вложение можно использовать в нескольких сообщениях того же чата.
|
||||
|
||||
Если PUT не удался, метаданные не фиксируются. Если PUT прошёл, а INSERT/COMMIT нет, 201 не возвращается; возможен orphan в S3. При неопределённом COMMIT немедленно удалять объект опасно: транзакция могла зафиксироваться.
|
||||
|
||||
Сборщик перечисляет `originals/`, игнорирует объекты моложе часа, для каждого старого объекта берёт ту же advisory lock, повторно проверяет отсутствие метаданных и лишь затем удаляет. Upload держит lock от PUT до COMMIT; сборщик не удалит объект на этой границе. Повторные запуски безопасны. Отказ БД/S3 прерывает обход. Любые метаданные защищают файл независимо от наличия сообщения.
|
||||
|
||||
```sh
|
||||
docker compose --profile tools run --rm cleanup # dry-run
|
||||
docker compose --profile tools run --rm cleanup --apply # только старые orphan
|
||||
```
|
||||
|
||||
**Действие оператора:** запускать `cleanup --apply` раз в час планировщиком ОС и сохранять summary. Без этого orphan автоматически не исчезают. Grace нельзя уменьшить ниже 3600 с. Обнаружение missing объектов и полноценный reconciler уровня 5 не заявлены.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Результаты в этой таблице не заменяются предположениями. Логи сохраняются в `evidence/`.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Критерий | Команда | Результат |
|
||||
| --- | --- | --- |
|
||||
| Контракт и синтаксис | `python -X utf8 scripts/check_contract.py`; `python -X utf8 -m compileall -q src student-tests scripts` | PASS |
|
||||
| Compose | `docker compose config --quiet` | PASS |
|
||||
| Smoke, checksum, ACL | `python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080` | PASS, `evidence/smoke.txt` |
|
||||
| Предыдущие возможности, негативные файлы | `python -X utf8 -m unittest discover -s student-tests -v` | PASS: 95 тестов, 32,356 с; `evidence/tests.txt` |
|
||||
| Bootstrap, порты, private bucket | `python -X utf8 scripts/lab4_checks.py --only stack private` | PASS: повтор bootstrap; анонимный GET 403, создание bucket ключом API 403; `evidence/lab4-checks.txt` |
|
||||
| Остановка загрузившей реплики | `python -X utf8 scripts/lab4_checks.py --only failover` | PASS: другой X-Instance-Id, байты совпали; `evidence/lab4-checks.txt` |
|
||||
| Restart всех хранилищ | `python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080` | PASS: прежние токен, сообщение, metadata и bytes сохранены; `evidence/persistence.txt` |
|
||||
| Отказ S3 | `python -X utf8 scripts/lab4_checks.py --only outage` | PASS: 503, после восстановления тот же токен и оригинал; `evidence/lab4-checks.txt` |
|
||||
| Прерывание upload, отказ INSERT после PUT | `python -X utf8 scripts/lab4_checks.py --only compensation` | PASS: метаданные не зафиксированы, свежие объекты не удалены; `evidence/lab4-checks.txt` |
|
||||
| 10 одновременных загрузок и RAM | `python -X utf8 scripts/lab4_checks.py --only memory` | PASS: 10/10, 2 реплики, checksum всех файлов совпал; `evidence/lab4-checks.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Гипотеза: потоковый приём и один decoder на реплику ограничивают RAM при десяти параллельных запросах. Десять потоков стартуют через barrier и загружают реальный PNG 1024×1024 с несжимаемыми RGB-пикселями (~3 MiB). Затем каждый оригинал скачивается и сверяется по SHA-256.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Скрипт выводит размер, все задержки, successful RPS, число реплик, memory.current до нагрузки и kernel memory.peak после. Пик включает decoder и tmpfs, относится к жизни контейнера и может учитывать предыдущие запросы; для отдельного эксперимента сначала перезапустите API.
|
||||
|
||||
Фактический прогон 04.11.2026: Windows, Docker Desktop engine 29.8.1, Linux containers, Docker VM 22 CPU / 16 464 138 240 байт RAM. У API по 0,5 CPU и 512 MiB. Перед экспериментом выполнены функциональные проверки; отдельного прогрева и повторов нет. Размер PNG — 3 147 780 байт, 1024×1024.
|
||||
|
||||
| Метрика | Результат |
|
||||
| --- | --- |
|
||||
| Одновременные запросы / успешные / ошибки | 10 / 10 / 0 |
|
||||
| Длительность / successful RPS | 6,880 с / 1,453 |
|
||||
| p50 / p95 / p99 (nearest rank, n=10) | 3,682 / 6,876 / 6,876 с |
|
||||
| Реплика 1: RAM до / lifetime peak | 289 738 752 / 330 678 272 байт (315,4 MiB peak) |
|
||||
| Реплика 2: RAM до / lifetime peak | 91 824 128 / 130 723 840 байт (124,7 MiB peak) |
|
||||
| Проверка оригиналов | все 10 скачаны, SHA-256 совпал |
|
||||
|
||||
Высокая исходная память первой реплики включает предыдущие тесты; этот прогон доказывает успешную обработку десяти загрузок в заданном лимите, но не точную добавочную стоимость одного upload. Один короткий прогон не является production benchmark и не доказывает throughput для 40M pixels. Фактическая загрузка CPU не измерялась, заданы только лимиты.
|
||||
|
||||
| Воздействие | Наблюдение |
|
||||
| --- | --- |
|
||||
| Остановка реплики, ответившей на upload | другая реплика отдала исходные bytes; SHA-256 `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75` |
|
||||
| Остановка S3 | ожидаемый 503; команда stop и проверка суммарно 4,699 с; после start исходный токен и файл сохранены |
|
||||
| Ошибка INSERT после PUT, временный DB trigger | 500 вместо 201; число метаданных не выросло; orphan моложе часа оставлен grace period |
|
||||
| Закрытие соединения до конца upload | метаданные не созданы |
|
||||
| Restart API, PostgreSQL, Valkey, S3 и HAProxy | публичный persistence PASS: подтверждённые данные, ещё действующая сессия и оригинал сохранены |
|
||||
|
||||
Dry-run сборщика просмотрел 19 объектов и оставил все 19 как свежие; удалено 0. Реальное удаление объекта старше часа в этом коротком прогоне не проверялось. Лог — `evidence/lab4-checks.txt`. Проверка синтетического INSERT временно создаёт trigger только для `lab4-force-rollback.png` и удаляет его в `finally`.
|
||||
|
||||
## Исправление по ревью: приостановленная PostgreSQL
|
||||
|
||||
Замечание к `db.py`: server-side таймеры не ограничивали прямой `/health/ready`, если процесс PostgreSQL приостановлен. На исходном образе сценарий воспроизведён: во втором цикле pause прямой запрос не завершился за клиентские 8 с (`evidence/postgres-pause-before.txt`).
|
||||
|
||||
Команда повторения после сборки исправленного API:
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/check_postgres_pause.py --output evidence/postgres-pause.txt
|
||||
# либо make test-postgres-pause
|
||||
```
|
||||
|
||||
Тест выполняет HTTP изнутри каждой API-реплики на `127.0.0.1:8080`, минуя HAProxy; внутренние порты на хост не публикуются. Два цикла pause/unpause, по 12 одновременных запросов на каждую из двух реплик: число запросов превышает размер пула 10. БД всегда возобновляется в `finally`. После каждого unpause теми же токенами создаётся и читается сообщение, без перезапуска API.
|
||||
|
||||
Фактический прогон 07.11.2026 (`evidence/postgres-pause.txt`):
|
||||
|
||||
| Проверка | Результат |
|
||||
| --- | --- |
|
||||
| 48 прямых GET /health/ready при paused PostgreSQL | все 503; 3,004–3,085 с, корректные error.code и request_id |
|
||||
| GET /health/live во время pause | 200; 0,004–0,077 с |
|
||||
| Возврат готовности после unpause, 2 цикла | 0,681 и 0,886 с; прежняя сессия, запись и чтение работают |
|
||||
| Pause после получения соединения: запрос | таймаут 3,001 с; соединение закрыто |
|
||||
| Pause перед COMMIT | таймаут 3,001 с; соединение закрыто |
|
||||
| Pause перед ROLLBACK | таймаут 3,002 с; соединение закрыто, исходная ошибка сохранена |
|
||||
| Пул размером 1 после каждого из трёх таймаутов | SELECT после unpause успешен в том же пуле; requests_waiting=0 |
|
||||
|
||||
Три секунды — предел одного ожидания драйвера; ожидание очереди пула имеет собственный предел. Таблица содержит измеренное время HTTP именно этого прогона, а не обещание неизменной задержки на любом оборудовании. Таймаут COMMIT означает неопределённый результат операции, а не доказанный rollback; безопасный повтор отправки сообщения использует тот же Idempotency-Key.
|
||||
|
||||
Дополнительная проверка обычного API после исправления:
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/verify.py --only offline smoke tests --output-prefix postgres-timeout-
|
||||
```
|
||||
|
||||
Логи: `evidence/postgres-timeout-offline.txt`, `evidence/postgres-timeout-smoke.txt`, `evidence/postgres-timeout-tests.txt`.
|
||||
|
||||
Повторный прогон после исправления: offline PASS, публичный smoke PASS, все 95 собственных тестов PASS за 30,857 с.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Один хост, по одному PostgreSQL, Valkey, S3, HAProxy: отказ узла/диска не решён.
|
||||
- HTTP используется для локальных синтетических данных. Для удалённого доступа нужен TLS.
|
||||
- При перегрузке upload возможен 503. Upload не идемпотентен; повтор после неопределённого ответа может создать ещё один файл.
|
||||
- Плавная остановка lab3 сохранена, но долгий upload может не уложиться в 10 с остановки контейнера. До 201 сохранение не гарантируется; orphan обрабатывает сборщик.
|
||||
- Неиспользованные, но учтённые вложения не удаляются. Полного lifecycle и исследования уровня 5 нет.
|
||||
|
||||
## Источники
|
||||
|
||||
- Задание, контракт и публичные тесты этого репозитория.
|
||||
- [Pillow Image: verify, load, MAX_IMAGE_PIXELS](https://pillow.readthedocs.io/en/stable/reference/Image.html).
|
||||
- [Boto3 put_object](https://docs.aws.amazon.com/boto3/latest/reference/services/s3/client/put_object.html).
|
||||
- [SeaweedFS S3 credentials](https://github.com/seaweedfs/seaweedfs/wiki/S3-Credentials).
|
||||
- [Compose services](https://docs.docker.com/reference/compose-file/services/).
|
||||
- [psycopg 3.3.6: Connection.wait(timeout) и закрытие соединения](https://github.com/psycopg/psycopg/blob/3.3.6/psycopg/psycopg/connection.py).
|
||||
|
||||
+202
@@ -0,0 +1,202 @@
|
||||
# Стенд lab4: HAProxy -> API x2 -> общие PostgreSQL, Valkey и приватный S3.
|
||||
# Перед первым запуском: python scripts/init_secrets.py
|
||||
# Запуск: docker compose up -d --build --wait (подробно — REPORT.md, раздел «Запуск из чистого clone»).
|
||||
name: mtusi-lab4
|
||||
|
||||
x-app: &app
|
||||
build:
|
||||
context: .
|
||||
args:
|
||||
APP_VERSION: ${APP_VERSION:-lab4}
|
||||
image: mtusi-messenger:lab4
|
||||
# Имя остановленного контейнера встроенный DNS Docker пересылает внешнему серверу и ждёт ответа
|
||||
# около 4 с (замерено в lab2). Ограничиваем ожидание DNS одной секундой.
|
||||
dns_opt:
|
||||
- timeout:1
|
||||
- attempts:1
|
||||
|
||||
x-api-environment: &api-environment
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: "8080"
|
||||
APP_ENV: ${APP_ENV:-lab}
|
||||
APP_LOG_LEVEL: ${APP_LOG_LEVEL:-INFO}
|
||||
APP_SHUTDOWN_TIMEOUT: ${APP_SHUTDOWN_TIMEOUT:-8}
|
||||
APP_DRAIN_DELAY: ${APP_DRAIN_DELAY:-3}
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
DB_POOL_SIZE: ${DB_POOL_SIZE:-10}
|
||||
# Пароли передаются файлами секретов, а не переменными окружения.
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_REGION: us-east-1
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
|
||||
services:
|
||||
# Единственная публичная точка входа. Проверяет /health/ready каждой реплики каждую секунду.
|
||||
lb:
|
||||
image: haproxy:3.4.5-trixie@sha256:76928c0d6b39bdd5f1c15d519cf48c47a6aa18c1dc552f7af1c146d2aa003c14
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
ports:
|
||||
- "127.0.0.1:${APP_PUBLISHED_PORT:-8080}:8080"
|
||||
# Страница состояния HAProxy (UP/DOWN реплик), только для этой машины.
|
||||
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 128M}
|
||||
restart: unless-stopped
|
||||
|
||||
# Реплики API: без container_name и без опубликованных портов, доступ только через lb.
|
||||
api:
|
||||
<<: *app
|
||||
environment: *api-environment
|
||||
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key]
|
||||
tmpfs:
|
||||
- /tmp:size=32M,mode=1777
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 512M}
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
valkey:
|
||||
condition: service_healthy
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
bucket:
|
||||
condition: service_completed_successfully
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
|
||||
# Одноразовый сервис: применяет миграции один раз до старта реплик и завершается.
|
||||
migrate:
|
||||
<<: *app
|
||||
command: ["python", "-m", "messenger.migrate"]
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets: [database_url]
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 128M}
|
||||
restart: "no"
|
||||
|
||||
# S3 gateway, filer, master и volume в одном учебном контейнере; все данные в volume.
|
||||
# Ни S3, ни административные HTTP-порты на хост не публикуются.
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:3.85@sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a
|
||||
command: ["server", "-ip=s3", "-dir=/data", "-volume.max=5",
|
||||
"-filer", "-filer.port=8888", "-s3", "-s3.port=8333", "-s3.config=/run/secrets/s3_config"]
|
||||
secrets: [s3_config]
|
||||
volumes:
|
||||
- s3data:/data
|
||||
- ./infra/seaweedfs/filer.toml:/etc/seaweedfs/filer.toml:ro
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "1.00", memory: 512M}
|
||||
restart: unless-stopped
|
||||
|
||||
bucket:
|
||||
<<: *app
|
||||
command: ["python", "-m", "messenger.bucket"]
|
||||
environment:
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
|
||||
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
|
||||
secrets: [s3_admin_access_key_id, s3_admin_secret_access_key]
|
||||
depends_on: [s3]
|
||||
restart: "no"
|
||||
|
||||
# Только явный запуск оператором, без административного ключа у API.
|
||||
cleanup:
|
||||
<<: *app
|
||||
profiles: [tools]
|
||||
entrypoint: ["python", "-m", "messenger.cleanup_objects"]
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
|
||||
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
|
||||
secrets: [database_url, s3_admin_access_key_id, s3_admin_secret_access_key]
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
bucket: {condition: service_completed_successfully}
|
||||
restart: "no"
|
||||
|
||||
postgres:
|
||||
image: postgres:18.6-trixie@sha256:74935e72241653ca55e0414067e6d8763aceb8a810eb51b452253ec3dcfc4336
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes:
|
||||
# С PostgreSQL 18 образ хранит данные в /var/lib/postgresql/18/docker: volume монтируется на уровень выше.
|
||||
- pgdata:/var/lib/postgresql
|
||||
healthcheck:
|
||||
test: ["CMD", "pg_isready", "--username=messenger", "--dbname=messenger"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "1.00", memory: 512M}
|
||||
restart: unless-stopped
|
||||
|
||||
valkey:
|
||||
image: valkey/valkey:9.0.6-trixie@sha256:63346cb24a61221e76bdf41acce99b3968a9fa83d8122144deab45394b27b4f2
|
||||
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
|
||||
secrets: [valkey_auth]
|
||||
volumes:
|
||||
- valkeydata:/data
|
||||
- ./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro
|
||||
healthcheck:
|
||||
# Пароль берётся из того же файла секрета, что подключает valkey.conf.
|
||||
test: ["CMD-SHELL", "valkey-cli --no-auth-warning -a \"$$(sed -n 's/^requirepass //p' /run/secrets/valkey_auth)\" ping | grep -q PONG"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 5s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 256M}
|
||||
restart: unless-stopped
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
valkeydata:
|
||||
s3data:
|
||||
|
||||
# Файлы создаёт scripts/init_secrets.py; каталог secrets/ в .gitignore.
|
||||
# Каждому сервису выдаются только нужные ему секреты; lb не получает ни одного.
|
||||
secrets:
|
||||
postgres_password:
|
||||
file: ./secrets/postgres_password
|
||||
database_url:
|
||||
file: ./secrets/database_url
|
||||
valkey_auth:
|
||||
file: ./secrets/valkey_auth
|
||||
cache_url:
|
||||
file: ./secrets/cache_url
|
||||
s3_config:
|
||||
file: ./secrets/s3_config
|
||||
s3_access_key_id:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
s3_admin_access_key_id:
|
||||
file: ./secrets/s3_admin_access_key_id
|
||||
s3_admin_secret_access_key:
|
||||
file: ./secrets/s3_admin_secret_access_key
|
||||
@@ -1,5 +1,24 @@
|
||||
# Доказательства
|
||||
|
||||
Реальный прогон 04.11.2026, локальный Docker Desktop. Команда воспроизведения:
|
||||
`python -X utf8 scripts/verify.py` (предварительно `docker compose up -d --build --wait`).
|
||||
|
||||
- `offline.txt`: проверка структуры, ссылок контракта и синтаксиса.
|
||||
- `smoke.txt`: публичный накопительный smoke lab4.
|
||||
- `tests.txt`: 95 собственных тестов, включая перенесённые из lab3.
|
||||
- `lab4-checks.txt`: bootstrap, приватность bucket, failover загрузившей реплики,
|
||||
отказ S3, 10 параллельных upload с kernel memory.peak, ошибка БД после PUT, прерывание upload.
|
||||
- `persistence.txt`: публичная проверка перезапуска API, PostgreSQL, Valkey, S3 и HAProxy с сохранением volumes.
|
||||
- `stack.json`: фактические времена старта контейнеров после restart, версии, ресурсы, volumes и порты; окружение и значения secrets исключены.
|
||||
|
||||
Регрессия ревью 07.11.2026:
|
||||
|
||||
- `postgres-pause-before.txt`: воспроизведение зависания старого API до исправления, клиентский timeout 8 с.
|
||||
- `postgres-pause.txt`: после исправления — 48 прямых 503 за ~3 с, liveness 200, два восстановления без рестарта и закрытие/замена соединений при таймаутах запроса, COMMIT, ROLLBACK.
|
||||
- `postgres-timeout-offline.txt`, `postgres-timeout-smoke.txt`, `postgres-timeout-tests.txt`: обычные проверки после изменения драйвера.
|
||||
|
||||
Методика и пределы выводов — в `REPORT.md`. Идентификаторы объектов и SHA-256 относятся только к синтетическим данным; tokens и credentials не сохраняются.
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
@@ -0,0 +1,9 @@
|
||||
PASS stack: internal ports, 2 replicas, repeated bucket bootstrap␍
|
||||
PASS private: anonymous object GET 403; API cannot create buckets␍
|
||||
PASS upload replica stopped -> another replica download; SHA256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75␍
|
||||
PASS S3 unavailable -> 503; elapsed_s=4.699␍
|
||||
PASS same token and original after S3 recovery␍
|
||||
{"concurrent": 10, "successful": 10, "bytes_per_file": 3147780, "dimensions": [1024, 1024], "seconds": 6.88, "successful_rps": 1.453, "latency_seconds": [1.362, 1.398, 2.486, 2.501, 3.682, 3.716, 4.713, 5.773, 6.794, 6.876], "replicas": 2, "memory_before_bytes": [289738752, 91824128], "memory_peak_bytes": [330678272, 130723840], "peak_scope": "container lifetime; cgroup includes decoder and tmpfs"}␍
|
||||
PASS injected DB failure after S3 PUT: metadata rolled back, no 201; fresh orphan protected by grace␍
|
||||
{"scanned": 19, "fresh": 19, "referenced": 0, "orphan": 0, "deleted": 0, "apply": false, "seconds": 0.047}␍
|
||||
PASS interrupted upload: no attachment committed␍
|
||||
@@ -0,0 +1 @@
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.␍
|
||||
@@ -0,0 +1,2 @@
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.␍
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.␍
|
||||
@@ -0,0 +1,29 @@
|
||||
{"cycle": 1, "api": 1, "status": 503, "requests": 12, "seconds": [3.07, 3.061, 3.061, 3.058, 3.059, 3.012, 3.012, 3.013, 3.014, 3.012, 3.01, 3.011], "live_seconds": 0.01}
|
||||
{"cycle": 1, "api": 2, "status": 503, "requests": 12, "seconds": [3.092, 3.021, 3.023, 3.019, 3.076, 3.006, 3.07, 3.071, 3.072, 3.007, 3.006, 3.004], "live_seconds": 0.003}
|
||||
{"cycle": 1, "recovered_seconds": 0.677, "existing_session_and_write": "PASS"}
|
||||
FAIL: docker compose exec --index 1: ~~~~~^^
|
||||
File "/usr/local/lib/python3.14/concurrent/futures/_base.py", line 454, in result
|
||||
return self.__get_result()
|
||||
~~~~~~~~~~~~~~~~~^^
|
||||
File "/usr/local/lib/python3.14/concurrent/futures/_base.py", line 396, in __get_result
|
||||
raise self._exception
|
||||
File "/usr/local/lib/python3.14/concurrent/futures/thread.py", line 86, in run
|
||||
result = ctx.run(self.task)
|
||||
File "/usr/local/lib/python3.14/concurrent/futures/thread.py", line 73, in run
|
||||
return fn(*args, **kwargs)
|
||||
File "<string>", line 11, in request
|
||||
response = c.getresponse()
|
||||
File "/usr/local/lib/python3.14/http/client.py", line 1478, in getresponse
|
||||
response.begin()
|
||||
~~~~~~~~~~~~~~^^
|
||||
File "/usr/local/lib/python3.14/http/client.py", line 343, in begin
|
||||
version, status, reason = self._read_status()
|
||||
~~~~~~~~~~~~~~~~~^^
|
||||
File "/usr/local/lib/python3.14/http/client.py", line 304, in _read_status
|
||||
line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
|
||||
~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^
|
||||
File "/usr/local/lib/python3.14/socket.py", line 729, in readinto
|
||||
return self._sock.recv_into(b)
|
||||
~~~~~~~~~~~~~~~~~~~~^^^
|
||||
TimeoutError: timed out
|
||||
|
||||
@@ -0,0 +1,10 @@
|
||||
{"cycle": 1, "api": 1, "status": 503, "requests": 12, "seconds": [3.065, 3.068, 3.066, 3.065, 3.004, 3.006, 3.005, 3.009, 3.008, 3.008, 3.008, 3.007], "live_seconds": 0.006}
|
||||
{"cycle": 1, "api": 2, "status": 503, "requests": 12, "seconds": [3.067, 3.013, 3.004, 3.005, 3.009, 3.006, 3.007, 3.008, 3.007, 3.007, 3.006, 3.007], "live_seconds": 0.006}
|
||||
{"cycle": 1, "recovered_seconds": 0.681, "existing_session_and_write": "PASS"}
|
||||
{"cycle": 2, "api": 1, "status": 503, "requests": 12, "seconds": [3.071, 3.018, 3.006, 3.062, 3.006, 3.006, 3.007, 3.007, 3.004, 3.004, 3.005, 3.006], "live_seconds": 0.004}
|
||||
{"cycle": 2, "api": 2, "status": 503, "requests": 12, "seconds": [3.022, 3.085, 3.015, 3.081, 3.015, 3.081, 3.007, 3.079, 3.075, 3.075, 3.076, 3.075], "live_seconds": 0.077}
|
||||
{"cycle": 2, "recovered_seconds": 0.886, "existing_session_and_write": "PASS"}
|
||||
{"phase": "query", "timeout_seconds": 3.001, "connection_closed": true, "pool_max_size": 1, "recovered_seconds": 0.002}
|
||||
{"phase": "commit", "timeout_seconds": 3.001, "connection_closed": true, "pool_max_size": 1, "recovered_seconds": 0.002}
|
||||
{"phase": "rollback", "timeout_seconds": 3.002, "connection_closed": true, "pool_max_size": 1, "recovered_seconds": 0.002}
|
||||
PASS: paused PostgreSQL returns bounded direct 503; query/commit/rollback discard connections; same pools recover.
|
||||
@@ -0,0 +1 @@
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.␍
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.␍
|
||||
@@ -0,0 +1,100 @@
|
||||
test_authentication_is_checked_before_body_and_resource (test_access.AuthenticationOrderTest.test_authentication_is_checked_before_body_and_resource) ... ok␍
|
||||
test_registration_does_not_need_a_token (test_access.AuthenticationOrderTest.test_registration_does_not_need_a_token) ... ok␍
|
||||
test_chat_list_contains_only_own_chats (test_access.ForeignChatTest.test_chat_list_contains_only_own_chats) ... ok␍
|
||||
test_every_member_can_read_and_write (test_access.ForeignChatTest.test_every_member_can_read_and_write) ... ok␍
|
||||
test_foreign_chat_looks_like_missing_chat (test_access.ForeignChatTest.test_foreign_chat_looks_like_missing_chat) ... ok␍
|
||||
test_invalid_chat_id_is_400 (test_access.ForeignChatTest.test_invalid_chat_id_is_400) ... ok␍
|
||||
test_outsider_cannot_get_chat (test_access.ForeignChatTest.test_outsider_cannot_get_chat) ... ok␍
|
||||
test_outsider_cannot_read_history (test_access.ForeignChatTest.test_outsider_cannot_read_history) ... ok␍
|
||||
test_outsider_cannot_write (test_access.ForeignChatTest.test_outsider_cannot_write) ... ok␍
|
||||
test_unknown_route_is_404 (test_access.ForeignChatTest.test_unknown_route_is_404) ... ok␍
|
||||
test_x_user_id_does_not_open_a_foreign_chat (test_access.ForeignChatTest.test_x_user_id_does_not_open_a_foreign_chat) ... ok␍
|
||||
test_attachment_only_and_idempotency (test_attachments.AttachmentsTest.test_attachment_only_and_idempotency) ... ok␍
|
||||
test_byte_limit_before_body (test_attachments.AttachmentsTest.test_byte_limit_before_body) ... ok␍
|
||||
test_corrupt_and_wrong_mime (test_attachments.AttachmentsTest.test_corrupt_and_wrong_mime) ... ok␍
|
||||
test_filename (test_attachments.AttachmentsTest.test_filename) ... ok␍
|
||||
test_foreign_chat_upload (test_attachments.AttachmentsTest.test_foreign_chat_upload) ... ok␍
|
||||
test_jpeg_original (test_attachments.AttachmentsTest.test_jpeg_original) ... ok␍
|
||||
test_original_and_metadata_and_acl (test_attachments.AttachmentsTest.test_original_and_metadata_and_acl) ... ok␍
|
||||
test_pixel_limit_before_decode (test_attachments.AttachmentsTest.test_pixel_limit_before_decode) ... ok␍
|
||||
test_unknown_foreign_and_duplicate_ids (test_attachments.AttachmentsTest.test_unknown_foreign_and_duplicate_ids) ... ok␍
|
||||
test_errors_also_carry_instance_id (test_balancing.BalancingTest.test_errors_also_carry_instance_id) ... ok␍
|
||||
test_message_written_on_one_replica_is_read_on_another (test_balancing.BalancingTest.test_message_written_on_one_replica_is_read_on_another) ... ok␍
|
||||
test_one_session_is_served_by_several_replicas (test_balancing.BalancingTest.test_one_session_is_served_by_several_replicas) ... ok␍
|
||||
test_100_messages_from_10_clients (test_concurrency.ConcurrencyTest.test_100_messages_from_10_clients) ... ok␍
|
||||
test_chats_created_in_parallel_are_all_listed (test_concurrency.ConcurrencyTest.test_chats_created_in_parallel_are_all_listed) ... ok␍
|
||||
test_same_username_registered_in_parallel_wins_once (test_concurrency.ConcurrencyTest.test_same_username_registered_in_parallel_wins_once) ... ok␍
|
||||
test_failed_validation_is_not_remembered (test_idempotency.IdempotencyTest.test_failed_validation_is_not_remembered) ... ok␍
|
||||
test_invalid_keys_are_400 (test_idempotency.IdempotencyTest.test_invalid_keys_are_400) ... ok␍
|
||||
test_json_formatting_does_not_matter (test_idempotency.IdempotencyTest.test_json_formatting_does_not_matter) ... ok␍
|
||||
test_key_format_limits_are_accepted (test_idempotency.IdempotencyTest.test_key_format_limits_are_accepted) ... ok␍
|
||||
test_key_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_key_scope_is_user_and_chat) ... ok␍
|
||||
test_missing_key_is_400 (test_idempotency.IdempotencyTest.test_missing_key_is_400) ... ok␍
|
||||
test_parallel_requests_with_one_key_create_one_message (test_idempotency.IdempotencyTest.test_parallel_requests_with_one_key_create_one_message) ... ok␍
|
||||
test_replay_checks_the_session_again (test_idempotency.IdempotencyTest.test_replay_checks_the_session_again) ... ok␍
|
||||
test_replay_returns_the_same_message (test_idempotency.IdempotencyTest.test_replay_returns_the_same_message) ... ok␍
|
||||
test_same_key_with_another_body_is_409 (test_idempotency.IdempotencyTest.test_same_key_with_another_body_is_409) ... ok␍
|
||||
test_chats_are_paged_in_creation_order (test_pagination.ChatListPaginationTest.test_chats_are_paged_in_creation_order) ... ok␍
|
||||
test_cursor_of_another_user_is_400 (test_pagination.ChatListPaginationTest.test_cursor_of_another_user_is_400) ... ok␍
|
||||
test_default_limit_is_50 (test_pagination.DefaultLimitTest.test_default_limit_is_50) ... ok␍
|
||||
test_empty_history (test_pagination.GrowingHistoryTest.test_empty_history) ... ok␍
|
||||
test_messages_sent_during_walk_are_not_lost (test_pagination.GrowingHistoryTest.test_messages_sent_during_walk_are_not_lost) ... ok␍
|
||||
test_cursor_from_another_chat_is_400 (test_pagination.MessagePaginationTest.test_cursor_from_another_chat_is_400) ... ok␍
|
||||
test_default_and_maximum_limit (test_pagination.MessagePaginationTest.test_default_and_maximum_limit) ... ok␍
|
||||
test_invalid_cursor_is_400 (test_pagination.MessagePaginationTest.test_invalid_cursor_is_400) ... ok␍
|
||||
test_invalid_limit_is_400 (test_pagination.MessagePaginationTest.test_invalid_limit_is_400) ... ok␍
|
||||
test_last_full_page_has_no_cursor (test_pagination.MessagePaginationTest.test_last_full_page_has_no_cursor) ... ok␍
|
||||
test_limit_can_change_between_pages (test_pagination.MessagePaginationTest.test_limit_can_change_between_pages) ... ok␍
|
||||
test_one_message_per_page (test_pagination.MessagePaginationTest.test_one_message_per_page) ... ok␍
|
||||
test_walk_over_several_pages (test_pagination.MessagePaginationTest.test_walk_over_several_pages) ... ok␍
|
||||
test_basic_is_rejected_on_business_endpoints (test_sessions.BearerTest.test_basic_is_rejected_on_business_endpoints) ... ok␍
|
||||
test_protected_endpoints_need_a_token (test_sessions.BearerTest.test_protected_endpoints_need_a_token) ... ok␍
|
||||
test_scheme_name_is_case_insensitive (test_sessions.BearerTest.test_scheme_name_is_case_insensitive) ... ok␍
|
||||
test_token_selects_the_user (test_sessions.BearerTest.test_token_selects_the_user) ... ok␍
|
||||
test_unknown_or_malformed_token (test_sessions.BearerTest.test_unknown_or_malformed_token) ... ok␍
|
||||
test_x_user_id_is_ignored (test_sessions.BearerTest.test_x_user_id_is_ignored) ... ok␍
|
||||
test_credentials_in_json_body_are_not_accepted (test_sessions.LoginTest.test_credentials_in_json_body_are_not_accepted) ... ok␍
|
||||
test_each_login_gives_a_new_token (test_sessions.LoginTest.test_each_login_gives_a_new_token) ... ok␍
|
||||
test_malformed_basic_header (test_sessions.LoginTest.test_malformed_basic_header) ... ok␍
|
||||
test_password_with_colons_and_unicode (test_sessions.LoginTest.test_password_with_colons_and_unicode) ... ok␍
|
||||
test_registration_never_returns_password (test_sessions.LoginTest.test_registration_never_returns_password) ... ok␍
|
||||
test_successful_login (test_sessions.LoginTest.test_successful_login) ... ok␍
|
||||
test_unknown_user_gets_the_same_answer (test_sessions.LoginTest.test_unknown_user_gets_the_same_answer) ... ok␍
|
||||
test_wrong_password (test_sessions.LoginTest.test_wrong_password) ... ok␍
|
||||
test_login_again_after_logout (test_sessions.LogoutTest.test_login_again_after_logout) ... ok␍
|
||||
test_logout_revokes_only_the_current_token (test_sessions.LogoutTest.test_logout_revokes_only_the_current_token) ... ok␍
|
||||
test_bad_member_ids (test_validation.ChatValidationTest.test_bad_member_ids) ... ok␍
|
||||
test_bad_titles (test_validation.ChatValidationTest.test_bad_titles) ... ok␍
|
||||
test_caller_must_be_a_member (test_validation.ChatValidationTest.test_caller_must_be_a_member) ... ok␍
|
||||
test_duplicate_members (test_validation.ChatValidationTest.test_duplicate_members) ... ok␍
|
||||
test_unknown_member_rolls_back_the_whole_chat (test_validation.ChatValidationTest.test_unknown_member_rolls_back_the_whole_chat) ... ok␍
|
||||
test_valid_chat_keeps_member_order (test_validation.ChatValidationTest.test_valid_chat_keeps_member_order) ... ok␍
|
||||
test_extra_fields (test_validation.InvalidJsonTest.test_extra_fields) ... ok␍
|
||||
test_invalid_utf8 (test_validation.InvalidJsonTest.test_invalid_utf8) ... ok␍
|
||||
test_json_that_is_not_an_object (test_validation.InvalidJsonTest.test_json_that_is_not_an_object) ... ok␍
|
||||
test_lone_surrogate_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_lone_surrogate_is_rejected_not_crashed) ... ok␍
|
||||
test_malformed_json_on_message (test_validation.InvalidJsonTest.test_malformed_json_on_message) ... ok␍
|
||||
test_malformed_json_on_register (test_validation.InvalidJsonTest.test_malformed_json_on_register) ... ok␍
|
||||
test_nul_character_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_nul_character_is_rejected_not_crashed) ... ok␍
|
||||
test_wrong_content_type (test_validation.InvalidJsonTest.test_wrong_content_type) ... ok␍
|
||||
test_wrong_types (test_validation.InvalidJsonTest.test_wrong_types) ... ok␍
|
||||
test_empty_message_is_400 (test_validation.MessageValidationTest.test_empty_message_is_400) ... ok␍
|
||||
test_missing_or_wrong_text (test_validation.MessageValidationTest.test_missing_or_wrong_text) ... ok␍
|
||||
test_nul_in_text_is_400 (test_validation.MessageValidationTest.test_nul_in_text_is_400) ... ok␍
|
||||
test_oversized_body_is_413 (test_validation.MessageValidationTest.test_oversized_body_is_413) ... ok␍
|
||||
test_sender_id_in_body_is_rejected (test_validation.MessageValidationTest.test_sender_id_in_body_is_rejected) ... ok␍
|
||||
test_text_length_limit (test_validation.MessageValidationTest.test_text_length_limit) ... ok␍
|
||||
test_unicode_text_is_kept (test_validation.MessageValidationTest.test_unicode_text_is_kept) ... ok␍
|
||||
test_bad_display_names (test_validation.UserValidationTest.test_bad_display_names) ... ok␍
|
||||
test_bad_passwords (test_validation.UserValidationTest.test_bad_passwords) ... ok␍
|
||||
test_bad_usernames (test_validation.UserValidationTest.test_bad_usernames) ... ok␍
|
||||
test_duplicate_username_is_409 (test_validation.UserValidationTest.test_duplicate_username_is_409) ... ok␍
|
||||
test_missing_fields (test_validation.UserValidationTest.test_missing_fields) ... ok␍
|
||||
test_password_length_limits_are_accepted (test_validation.UserValidationTest.test_password_length_limits_are_accepted) ... ok␍
|
||||
test_unicode_display_name_is_kept (test_validation.UserValidationTest.test_unicode_display_name_is_kept) ... ok␍
|
||||
test_username_length_limits_are_accepted (test_validation.UserValidationTest.test_username_length_limits_are_accepted) ... ok␍
|
||||
␍
|
||||
----------------------------------------------------------------------␍
|
||||
Ran 95 tests in 30.857s␍
|
||||
␍
|
||||
OK␍
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.␍
|
||||
@@ -0,0 +1,138 @@
|
||||
{
|
||||
"captured_at": "2026-11-04T19:26:14.180356+00:00",
|
||||
"containers": [
|
||||
{
|
||||
"name": "mtusi-lab4-api-1",
|
||||
"image": "mtusi-messenger:lab4",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-04T19:24:19.538407817Z",
|
||||
"health": "healthy",
|
||||
"memory_limit_bytes": 536870912,
|
||||
"cpu_limit_nanos": 500000000,
|
||||
"volumes": [],
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-api-2",
|
||||
"image": "mtusi-messenger:lab4",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-04T19:24:19.285225452Z",
|
||||
"health": "healthy",
|
||||
"memory_limit_bytes": 536870912,
|
||||
"cpu_limit_nanos": 500000000,
|
||||
"volumes": [],
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-bucket-1",
|
||||
"image": "mtusi-messenger:lab4",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-04T19:23:55.307758218Z",
|
||||
"health": "unhealthy",
|
||||
"memory_limit_bytes": 0,
|
||||
"cpu_limit_nanos": 0,
|
||||
"volumes": [],
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-lb-1",
|
||||
"image": "haproxy:3.4.5-trixie@sha256:76928c0d6b39bdd5f1c15d519cf48c47a6aa18c1dc552f7af1c146d2aa003c14",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-04T19:24:22.963206783Z",
|
||||
"health": null,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"cpu_limit_nanos": 500000000,
|
||||
"volumes": [],
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8080"
|
||||
}
|
||||
],
|
||||
"8404/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8404"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-migrate-1",
|
||||
"image": "mtusi-messenger:lab4",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-04T19:23:57.342273869Z",
|
||||
"health": "unhealthy",
|
||||
"memory_limit_bytes": 134217728,
|
||||
"cpu_limit_nanos": 500000000,
|
||||
"volumes": [],
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-postgres-1",
|
||||
"image": "postgres:18.6-trixie@sha256:74935e72241653ca55e0414067e6d8763aceb8a810eb51b452253ec3dcfc4336",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-04T19:23:51.808538597Z",
|
||||
"health": "healthy",
|
||||
"memory_limit_bytes": 536870912,
|
||||
"cpu_limit_nanos": 1000000000,
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_pgdata",
|
||||
"destination": "/var/lib/postgresql"
|
||||
}
|
||||
],
|
||||
"published_ports": {
|
||||
"5432/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-s3-1",
|
||||
"image": "chrislusf/seaweedfs:3.85@sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-04T19:23:54.740732946Z",
|
||||
"health": null,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"cpu_limit_nanos": 1000000000,
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_s3data",
|
||||
"destination": "/data"
|
||||
}
|
||||
],
|
||||
"published_ports": {
|
||||
"18080/tcp": null,
|
||||
"18888/tcp": null,
|
||||
"19333/tcp": null,
|
||||
"7333/tcp": null,
|
||||
"8080/tcp": null,
|
||||
"8333/tcp": null,
|
||||
"8888/tcp": null,
|
||||
"9333/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "mtusi-lab4-valkey-1",
|
||||
"image": "valkey/valkey:9.0.6-trixie@sha256:63346cb24a61221e76bdf41acce99b3968a9fa83d8122144deab45394b27b4f2",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-04T19:23:51.712862469Z",
|
||||
"health": "healthy",
|
||||
"memory_limit_bytes": 268435456,
|
||||
"cpu_limit_nanos": 500000000,
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_valkeydata",
|
||||
"destination": "/data"
|
||||
}
|
||||
],
|
||||
"published_ports": {
|
||||
"6379/tcp": null
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,100 @@
|
||||
test_authentication_is_checked_before_body_and_resource (test_access.AuthenticationOrderTest.test_authentication_is_checked_before_body_and_resource) ... ok␍
|
||||
test_registration_does_not_need_a_token (test_access.AuthenticationOrderTest.test_registration_does_not_need_a_token) ... ok␍
|
||||
test_chat_list_contains_only_own_chats (test_access.ForeignChatTest.test_chat_list_contains_only_own_chats) ... ok␍
|
||||
test_every_member_can_read_and_write (test_access.ForeignChatTest.test_every_member_can_read_and_write) ... ok␍
|
||||
test_foreign_chat_looks_like_missing_chat (test_access.ForeignChatTest.test_foreign_chat_looks_like_missing_chat) ... ok␍
|
||||
test_invalid_chat_id_is_400 (test_access.ForeignChatTest.test_invalid_chat_id_is_400) ... ok␍
|
||||
test_outsider_cannot_get_chat (test_access.ForeignChatTest.test_outsider_cannot_get_chat) ... ok␍
|
||||
test_outsider_cannot_read_history (test_access.ForeignChatTest.test_outsider_cannot_read_history) ... ok␍
|
||||
test_outsider_cannot_write (test_access.ForeignChatTest.test_outsider_cannot_write) ... ok␍
|
||||
test_unknown_route_is_404 (test_access.ForeignChatTest.test_unknown_route_is_404) ... ok␍
|
||||
test_x_user_id_does_not_open_a_foreign_chat (test_access.ForeignChatTest.test_x_user_id_does_not_open_a_foreign_chat) ... ok␍
|
||||
test_attachment_only_and_idempotency (test_attachments.AttachmentsTest.test_attachment_only_and_idempotency) ... ok␍
|
||||
test_byte_limit_before_body (test_attachments.AttachmentsTest.test_byte_limit_before_body) ... ok␍
|
||||
test_corrupt_and_wrong_mime (test_attachments.AttachmentsTest.test_corrupt_and_wrong_mime) ... ok␍
|
||||
test_filename (test_attachments.AttachmentsTest.test_filename) ... ok␍
|
||||
test_foreign_chat_upload (test_attachments.AttachmentsTest.test_foreign_chat_upload) ... ok␍
|
||||
test_jpeg_original (test_attachments.AttachmentsTest.test_jpeg_original) ... ok␍
|
||||
test_original_and_metadata_and_acl (test_attachments.AttachmentsTest.test_original_and_metadata_and_acl) ... ok␍
|
||||
test_pixel_limit_before_decode (test_attachments.AttachmentsTest.test_pixel_limit_before_decode) ... ok␍
|
||||
test_unknown_foreign_and_duplicate_ids (test_attachments.AttachmentsTest.test_unknown_foreign_and_duplicate_ids) ... ok␍
|
||||
test_errors_also_carry_instance_id (test_balancing.BalancingTest.test_errors_also_carry_instance_id) ... ok␍
|
||||
test_message_written_on_one_replica_is_read_on_another (test_balancing.BalancingTest.test_message_written_on_one_replica_is_read_on_another) ... ok␍
|
||||
test_one_session_is_served_by_several_replicas (test_balancing.BalancingTest.test_one_session_is_served_by_several_replicas) ... ok␍
|
||||
test_100_messages_from_10_clients (test_concurrency.ConcurrencyTest.test_100_messages_from_10_clients) ... ok␍
|
||||
test_chats_created_in_parallel_are_all_listed (test_concurrency.ConcurrencyTest.test_chats_created_in_parallel_are_all_listed) ... ok␍
|
||||
test_same_username_registered_in_parallel_wins_once (test_concurrency.ConcurrencyTest.test_same_username_registered_in_parallel_wins_once) ... ok␍
|
||||
test_failed_validation_is_not_remembered (test_idempotency.IdempotencyTest.test_failed_validation_is_not_remembered) ... ok␍
|
||||
test_invalid_keys_are_400 (test_idempotency.IdempotencyTest.test_invalid_keys_are_400) ... ok␍
|
||||
test_json_formatting_does_not_matter (test_idempotency.IdempotencyTest.test_json_formatting_does_not_matter) ... ok␍
|
||||
test_key_format_limits_are_accepted (test_idempotency.IdempotencyTest.test_key_format_limits_are_accepted) ... ok␍
|
||||
test_key_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_key_scope_is_user_and_chat) ... ok␍
|
||||
test_missing_key_is_400 (test_idempotency.IdempotencyTest.test_missing_key_is_400) ... ok␍
|
||||
test_parallel_requests_with_one_key_create_one_message (test_idempotency.IdempotencyTest.test_parallel_requests_with_one_key_create_one_message) ... ok␍
|
||||
test_replay_checks_the_session_again (test_idempotency.IdempotencyTest.test_replay_checks_the_session_again) ... ok␍
|
||||
test_replay_returns_the_same_message (test_idempotency.IdempotencyTest.test_replay_returns_the_same_message) ... ok␍
|
||||
test_same_key_with_another_body_is_409 (test_idempotency.IdempotencyTest.test_same_key_with_another_body_is_409) ... ok␍
|
||||
test_chats_are_paged_in_creation_order (test_pagination.ChatListPaginationTest.test_chats_are_paged_in_creation_order) ... ok␍
|
||||
test_cursor_of_another_user_is_400 (test_pagination.ChatListPaginationTest.test_cursor_of_another_user_is_400) ... ok␍
|
||||
test_default_limit_is_50 (test_pagination.DefaultLimitTest.test_default_limit_is_50) ... ok␍
|
||||
test_empty_history (test_pagination.GrowingHistoryTest.test_empty_history) ... ok␍
|
||||
test_messages_sent_during_walk_are_not_lost (test_pagination.GrowingHistoryTest.test_messages_sent_during_walk_are_not_lost) ... ok␍
|
||||
test_cursor_from_another_chat_is_400 (test_pagination.MessagePaginationTest.test_cursor_from_another_chat_is_400) ... ok␍
|
||||
test_default_and_maximum_limit (test_pagination.MessagePaginationTest.test_default_and_maximum_limit) ... ok␍
|
||||
test_invalid_cursor_is_400 (test_pagination.MessagePaginationTest.test_invalid_cursor_is_400) ... ok␍
|
||||
test_invalid_limit_is_400 (test_pagination.MessagePaginationTest.test_invalid_limit_is_400) ... ok␍
|
||||
test_last_full_page_has_no_cursor (test_pagination.MessagePaginationTest.test_last_full_page_has_no_cursor) ... ok␍
|
||||
test_limit_can_change_between_pages (test_pagination.MessagePaginationTest.test_limit_can_change_between_pages) ... ok␍
|
||||
test_one_message_per_page (test_pagination.MessagePaginationTest.test_one_message_per_page) ... ok␍
|
||||
test_walk_over_several_pages (test_pagination.MessagePaginationTest.test_walk_over_several_pages) ... ok␍
|
||||
test_basic_is_rejected_on_business_endpoints (test_sessions.BearerTest.test_basic_is_rejected_on_business_endpoints) ... ok␍
|
||||
test_protected_endpoints_need_a_token (test_sessions.BearerTest.test_protected_endpoints_need_a_token) ... ok␍
|
||||
test_scheme_name_is_case_insensitive (test_sessions.BearerTest.test_scheme_name_is_case_insensitive) ... ok␍
|
||||
test_token_selects_the_user (test_sessions.BearerTest.test_token_selects_the_user) ... ok␍
|
||||
test_unknown_or_malformed_token (test_sessions.BearerTest.test_unknown_or_malformed_token) ... ok␍
|
||||
test_x_user_id_is_ignored (test_sessions.BearerTest.test_x_user_id_is_ignored) ... ok␍
|
||||
test_credentials_in_json_body_are_not_accepted (test_sessions.LoginTest.test_credentials_in_json_body_are_not_accepted) ... ok␍
|
||||
test_each_login_gives_a_new_token (test_sessions.LoginTest.test_each_login_gives_a_new_token) ... ok␍
|
||||
test_malformed_basic_header (test_sessions.LoginTest.test_malformed_basic_header) ... ok␍
|
||||
test_password_with_colons_and_unicode (test_sessions.LoginTest.test_password_with_colons_and_unicode) ... ok␍
|
||||
test_registration_never_returns_password (test_sessions.LoginTest.test_registration_never_returns_password) ... ok␍
|
||||
test_successful_login (test_sessions.LoginTest.test_successful_login) ... ok␍
|
||||
test_unknown_user_gets_the_same_answer (test_sessions.LoginTest.test_unknown_user_gets_the_same_answer) ... ok␍
|
||||
test_wrong_password (test_sessions.LoginTest.test_wrong_password) ... ok␍
|
||||
test_login_again_after_logout (test_sessions.LogoutTest.test_login_again_after_logout) ... ok␍
|
||||
test_logout_revokes_only_the_current_token (test_sessions.LogoutTest.test_logout_revokes_only_the_current_token) ... ok␍
|
||||
test_bad_member_ids (test_validation.ChatValidationTest.test_bad_member_ids) ... ok␍
|
||||
test_bad_titles (test_validation.ChatValidationTest.test_bad_titles) ... ok␍
|
||||
test_caller_must_be_a_member (test_validation.ChatValidationTest.test_caller_must_be_a_member) ... ok␍
|
||||
test_duplicate_members (test_validation.ChatValidationTest.test_duplicate_members) ... ok␍
|
||||
test_unknown_member_rolls_back_the_whole_chat (test_validation.ChatValidationTest.test_unknown_member_rolls_back_the_whole_chat) ... ok␍
|
||||
test_valid_chat_keeps_member_order (test_validation.ChatValidationTest.test_valid_chat_keeps_member_order) ... ok␍
|
||||
test_extra_fields (test_validation.InvalidJsonTest.test_extra_fields) ... ok␍
|
||||
test_invalid_utf8 (test_validation.InvalidJsonTest.test_invalid_utf8) ... ok␍
|
||||
test_json_that_is_not_an_object (test_validation.InvalidJsonTest.test_json_that_is_not_an_object) ... ok␍
|
||||
test_lone_surrogate_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_lone_surrogate_is_rejected_not_crashed) ... ok␍
|
||||
test_malformed_json_on_message (test_validation.InvalidJsonTest.test_malformed_json_on_message) ... ok␍
|
||||
test_malformed_json_on_register (test_validation.InvalidJsonTest.test_malformed_json_on_register) ... ok␍
|
||||
test_nul_character_is_rejected_not_crashed (test_validation.InvalidJsonTest.test_nul_character_is_rejected_not_crashed) ... ok␍
|
||||
test_wrong_content_type (test_validation.InvalidJsonTest.test_wrong_content_type) ... ok␍
|
||||
test_wrong_types (test_validation.InvalidJsonTest.test_wrong_types) ... ok␍
|
||||
test_empty_message_is_400 (test_validation.MessageValidationTest.test_empty_message_is_400) ... ok␍
|
||||
test_missing_or_wrong_text (test_validation.MessageValidationTest.test_missing_or_wrong_text) ... ok␍
|
||||
test_nul_in_text_is_400 (test_validation.MessageValidationTest.test_nul_in_text_is_400) ... ok␍
|
||||
test_oversized_body_is_413 (test_validation.MessageValidationTest.test_oversized_body_is_413) ... ok␍
|
||||
test_sender_id_in_body_is_rejected (test_validation.MessageValidationTest.test_sender_id_in_body_is_rejected) ... ok␍
|
||||
test_text_length_limit (test_validation.MessageValidationTest.test_text_length_limit) ... ok␍
|
||||
test_unicode_text_is_kept (test_validation.MessageValidationTest.test_unicode_text_is_kept) ... ok␍
|
||||
test_bad_display_names (test_validation.UserValidationTest.test_bad_display_names) ... ok␍
|
||||
test_bad_passwords (test_validation.UserValidationTest.test_bad_passwords) ... ok␍
|
||||
test_bad_usernames (test_validation.UserValidationTest.test_bad_usernames) ... ok␍
|
||||
test_duplicate_username_is_409 (test_validation.UserValidationTest.test_duplicate_username_is_409) ... ok␍
|
||||
test_missing_fields (test_validation.UserValidationTest.test_missing_fields) ... ok␍
|
||||
test_password_length_limits_are_accepted (test_validation.UserValidationTest.test_password_length_limits_are_accepted) ... ok␍
|
||||
test_unicode_display_name_is_kept (test_validation.UserValidationTest.test_unicode_display_name_is_kept) ... ok␍
|
||||
test_username_length_limits_are_accepted (test_validation.UserValidationTest.test_username_length_limits_are_accepted) ... ok␍
|
||||
␍
|
||||
----------------------------------------------------------------------␍
|
||||
Ran 95 tests in 32.356s␍
|
||||
␍
|
||||
OK␍
|
||||
@@ -1,5 +1,16 @@
|
||||
# Инфраструктура студента
|
||||
|
||||
Реализованный стенд — `compose.yaml` в корне:
|
||||
|
||||
- `haproxy/haproxy.cfg`: round-robin, активная readiness-проверка, внутренние API без опубликованных портов.
|
||||
- `valkey/valkey.conf`: пароль из Compose secret и AOF для долговечных сессий.
|
||||
- `seaweedfs/filer.toml`: индекс filer в `/data/filerldb2`, общий persistent volume `s3data`.
|
||||
- SeaweedFS 3.85 закреплён digest; S3 credentials создаёт `scripts/init_secrets.py` в игнорируемом `secrets/s3_config`.
|
||||
- Одноразовый `bucket` создаёт приватный bucket до старта API; одноразовый `migrate` применяет SQL.
|
||||
- Операторский профиль `tools` содержит сборщик orphan-объектов; по умолчанию dry-run.
|
||||
|
||||
Фактический запуск, роли, права и результаты описаны в `REPORT.md`; сценарий защиты — в `DEMO.md`.
|
||||
|
||||
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
|
||||
|
||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
||||
|
||||
@@ -0,0 +1,72 @@
|
||||
# HAProxy для lab3: единая точка входа, round-robin между репликами API.
|
||||
# Реплики находятся через DNS Docker и исключаются по активной проверке /health/ready.
|
||||
|
||||
global
|
||||
log stdout format raw local0 info
|
||||
maxconn 4096
|
||||
|
||||
# Встроенный DNS Docker: имя сервиса api возвращает адреса всех запущенных реплик.
|
||||
# Список перечитывается каждую секунду, поэтому новые и удалённые реплики видны сразу.
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
hold other 1s
|
||||
hold refused 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
accepted_payload_size 8192
|
||||
|
||||
defaults
|
||||
mode http
|
||||
log global
|
||||
option httplog
|
||||
option dontlognull
|
||||
# Соединение к реплике закрывается после каждого ответа: запрос не уйдёт по старому
|
||||
# соединению в реплику, которая уже закрывает приём.
|
||||
option http-server-close
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 15s
|
||||
timeout http-request 10s
|
||||
timeout http-keep-alive 10s
|
||||
timeout check 1s
|
||||
# Повтор только если соединение с репликой не установилось: запрос до неё не дошёл,
|
||||
# поэтому повтор на другой реплике безопасен даже для POST.
|
||||
retries 2
|
||||
retry-on conn-failure
|
||||
option redispatch 1
|
||||
# Ошибки самого балансировщика — в формате ошибок контракта (без X-Instance-Id: его ставит только API).
|
||||
unique-id-format %[uuid()]
|
||||
http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica failed to respond","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||||
http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No API replica is available","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||||
http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica did not answer in time","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend api
|
||||
|
||||
backend api
|
||||
balance roundrobin
|
||||
# Реплика готова, только пока /health/ready отвечает 200. После SIGTERM реплика сама
|
||||
# начинает отвечать 503 и ещё 3 с обслуживает запросы (APP_DRAIN_DELAY).
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready
|
||||
http-check expect status 200
|
||||
# inter 1s: проверка раз в секунду; после первой неудачи — раз в 0,5 с (fastinter);
|
||||
# fall 2: реплика исключается после двух неудач подряд, то есть примерно за 1,5–2,5 с.
|
||||
# rise 2: возвращается после двух успешных проверок.
|
||||
default-server check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
|
||||
server-template api 1-8 api:8080
|
||||
|
||||
# Страница состояния: какие реплики UP/DOWN. Опубликована только на 127.0.0.1.
|
||||
frontend stats
|
||||
bind :8404
|
||||
stats enable
|
||||
stats uri /
|
||||
stats refresh 2s
|
||||
# Показывать адреса реплик: по ним видно, какой контейнер в каком состоянии.
|
||||
stats show-legends
|
||||
@@ -0,0 +1,4 @@
|
||||
# Индекс файлов S3 тоже должен пережить пересоздание контейнера.
|
||||
[leveldb2]
|
||||
enabled = true
|
||||
dir = "/data/filerldb2"
|
||||
@@ -0,0 +1,23 @@
|
||||
# Valkey для сессий lab2. Это единственное хранилище сессий, поэтому включена persistence.
|
||||
|
||||
# Пароль (строка requirepass ...) лежит в файле секрета, который создаёт scripts/init_secrets.py.
|
||||
include /run/secrets/valkey_auth
|
||||
|
||||
bind 0.0.0.0
|
||||
port 6379
|
||||
protected-mode yes
|
||||
dir /data
|
||||
|
||||
# AOF: каждая запись попадает в журнал на диске, и после рестарта Valkey восстанавливает его.
|
||||
# fsync на каждую запись: сессия подтверждается клиенту только после записи на диск.
|
||||
# Записей мало (только вход и выход), поэтому цена fsync незаметна.
|
||||
appendonly yes
|
||||
appendfsync always
|
||||
|
||||
# RDB-снимки не нужны: всё восстанавливается из AOF.
|
||||
save ""
|
||||
|
||||
# Сессии нельзя вытеснять молча: при нехватке памяти новая запись получит ошибку,
|
||||
# и API ответит 503, а уже выданные сессии останутся.
|
||||
maxmemory 128mb
|
||||
maxmemory-policy noeviction
|
||||
@@ -0,0 +1,46 @@
|
||||
-- Схема мессенджера: пользователи, чаты, участники, сообщения.
|
||||
-- Ограничения повторяют правила контракта, чтобы база не приняла неверные данные,
|
||||
-- даже если ошибка будет в коде приложения.
|
||||
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY,
|
||||
username text NOT NULL,
|
||||
display_name text NOT NULL,
|
||||
password_hash text NOT NULL, -- Argon2id, сам пароль не хранится
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT users_username_key UNIQUE (username),
|
||||
CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
CONSTRAINT users_display_name_length CHECK (char_length(display_name) BETWEEN 1 AND 100)
|
||||
);
|
||||
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT chats_title_length CHECK (char_length(title) BETWEEN 1 AND 100)
|
||||
);
|
||||
|
||||
-- Участники задаются при создании чата и потом не меняются.
|
||||
-- position хранит порядок member_ids из запроса на создание.
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
user_id uuid NOT NULL REFERENCES users (id),
|
||||
position smallint NOT NULL,
|
||||
PRIMARY KEY (chat_id, user_id),
|
||||
CONSTRAINT chat_members_position_key UNIQUE (chat_id, position)
|
||||
);
|
||||
|
||||
-- Список чатов пользователя ищется по user_id.
|
||||
CREATE INDEX chat_members_user_id_idx ON chat_members (user_id);
|
||||
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL,
|
||||
sender_id uuid NOT NULL,
|
||||
text text NOT NULL,
|
||||
created_at timestamptz NOT NULL,
|
||||
CONSTRAINT messages_text_length CHECK (char_length(text) BETWEEN 1 AND 4000),
|
||||
-- Отправитель обязан состоять в чате: это проверяет и база, а не только код.
|
||||
CONSTRAINT messages_sender_is_member FOREIGN KEY (chat_id, sender_id)
|
||||
REFERENCES chat_members (chat_id, user_id)
|
||||
);
|
||||
@@ -0,0 +1,8 @@
|
||||
-- Индекс для чтения истории чата. Приложение выполняет запрос
|
||||
-- SELECT ... FROM messages
|
||||
-- WHERE chat_id = $1 AND (created_at, id) > ($2, $3)
|
||||
-- ORDER BY created_at, id LIMIT $4
|
||||
-- Колонки индекса идут в том же порядке, поэтому страница читается диапазоном индекса
|
||||
-- без сортировки и без просмотра всей истории чата. План на 10 000+ сообщениях —
|
||||
-- в evidence/explain.txt (scripts/explain_history.py).
|
||||
CREATE INDEX messages_chat_history_idx ON messages (chat_id, created_at, id);
|
||||
@@ -0,0 +1,20 @@
|
||||
-- Идемпотентность отправки сообщения (с lab3).
|
||||
-- Область ключа: пользователь + метод + путь чата + значение Idempotency-Key.
|
||||
-- Строка ключа и сообщение создаются в одной транзакции: повтор запроса с тем же ключом
|
||||
-- либо находит готовый результат, либо (если первая попытка не зафиксирована) создаёт его заново,
|
||||
-- но никогда не создаёт второе сообщение.
|
||||
-- Миграция только добавляет таблицу: версия API из lab2 продолжает работать с этой схемой.
|
||||
CREATE TABLE idempotency_keys (
|
||||
user_id uuid NOT NULL REFERENCES users (id),
|
||||
method text NOT NULL,
|
||||
path text NOT NULL,
|
||||
key text NOT NULL,
|
||||
request_hash text NOT NULL, -- sha256 разобранного тела: другое тело с тем же ключом — 409
|
||||
message_id uuid NOT NULL REFERENCES messages (id),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
PRIMARY KEY (user_id, method, path, key),
|
||||
CONSTRAINT idempotency_keys_key_format CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$')
|
||||
);
|
||||
|
||||
-- Удаление ключей старше срока хранения (IDEMPOTENCY_TTL_SECONDS, не меньше 24 часов).
|
||||
CREATE INDEX idempotency_keys_created_at_idx ON idempotency_keys (created_at);
|
||||
@@ -0,0 +1,27 @@
|
||||
-- Байты только в S3; ключ не зависит от filename и не отдаётся клиенту.
|
||||
CREATE TABLE attachments (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL,
|
||||
owner_id uuid NOT NULL,
|
||||
object_key text NOT NULL UNIQUE,
|
||||
filename text NOT NULL CHECK (char_length(filename) BETWEEN 1 AND 255),
|
||||
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
|
||||
size_bytes integer NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
|
||||
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
FOREIGN KEY (chat_id, owner_id) REFERENCES chat_members (chat_id, user_id),
|
||||
UNIQUE (id, chat_id)
|
||||
);
|
||||
CREATE INDEX attachments_chat_idx ON attachments (chat_id);
|
||||
ALTER TABLE messages DROP CONSTRAINT messages_text_length;
|
||||
ALTER TABLE messages ADD CONSTRAINT messages_text_length CHECK (char_length(text) BETWEEN 0 AND 4000);
|
||||
-- Массив хранит порядок attachment_ids и возвращается вместе с сообщением/повтором.
|
||||
ALTER TABLE messages ADD COLUMN attachment_ids uuid[] NOT NULL DEFAULT '{}';
|
||||
CREATE TABLE message_attachments (
|
||||
message_id uuid NOT NULL REFERENCES messages (id),
|
||||
attachment_id uuid NOT NULL,
|
||||
chat_id uuid NOT NULL,
|
||||
PRIMARY KEY (message_id, attachment_id),
|
||||
FOREIGN KEY (attachment_id, chat_id) REFERENCES attachments (id, chat_id)
|
||||
);
|
||||
@@ -0,0 +1,8 @@
|
||||
# Прямые зависимости API. Точные версии всех пакетов с хешами — в requirements.txt,
|
||||
# он генерируется из этого файла командой из REPORT.md («Обновление зависимостей»).
|
||||
psycopg[binary]==3.3.6
|
||||
psycopg-pool==3.3.3
|
||||
valkey==6.1.1
|
||||
argon2-cffi==25.1.0
|
||||
boto3==1.43.123
|
||||
Pillow==13.0.0
|
||||
@@ -0,0 +1,360 @@
|
||||
# This file was autogenerated by uv via the following command:
|
||||
# uv pip compile requirements.in --generate-hashes --output-file requirements.txt --python C:\Users\Dima Chernikov\AppData\Local\Programs\Python\Python314\python.exe
|
||||
argon2-cffi==25.1.0 \
|
||||
--hash=sha256:694ae5cc8a42f4c4e2bf2ca0e64e51e23a040c6a517a85074683d3959e1346c1 \
|
||||
--hash=sha256:fdc8b074db390fccb6eb4a3604ae7231f219aa669a2652e0f20e16ba513d5741
|
||||
# via -r requirements.in
|
||||
argon2-cffi-bindings==26.1.0 \
|
||||
--hash=sha256:061a6919145bbf282ebf1f9c59d3135d4833c25313c8595c0d68cf7712ddfce2 \
|
||||
--hash=sha256:0cc40f7b4050bb93eb67de95d2d759322fc7ce4930b9d645581ecf4913ec651e \
|
||||
--hash=sha256:151dfaad9de753f4af2a7854e707e4784f2acc434340ade64239c5b104b2d605 \
|
||||
--hash=sha256:19423e5d7ac1cc354baab59eaabf18db2ec04ef6593b5abe5a34f323c4a8f87a \
|
||||
--hash=sha256:19b562b1de4b9052ef1214a2821c44b6e6f22945daa102c32ae4eff929d8b6d8 \
|
||||
--hash=sha256:1a0a29ed86960e44eaace7e081bdfab4f08b012fd96ec8edba71e2ad020939e4 \
|
||||
--hash=sha256:1af817e84578ef8b7295ad17de0f9896e4c8520dbf2233c7aa5aa3d487256fc4 \
|
||||
--hash=sha256:1b0bcac4d490a237e18cf91f57352920c29f77f2fa39efd0813fb81298bf17ba \
|
||||
--hash=sha256:1d98e33bd8bd67d7206c124e200bf2229c4cfa8c9c19f7b44a897f0fc71837eb \
|
||||
--hash=sha256:21ca0396fe5ec995dd54431c32698189666f9224810acfa752e50d2bd94d9df2 \
|
||||
--hash=sha256:224865cbbcb7a2bd1356741dff12b0134df726b6d44bb7b500df8e303cbd9e81 \
|
||||
--hash=sha256:242bb0cda2ae3650764fc194593d9ea45fc9e72729acd89778c7cfe184cec2a5 \
|
||||
--hash=sha256:27f1821903e2ceadcb88ec2b45ef190897b7682449c772f4d9b53e42c520cf29 \
|
||||
--hash=sha256:28524438cd3e723f25412f63d4fd516ff5bae9ae5aa56acbe2a1404398a0cf31 \
|
||||
--hash=sha256:2b741888c93147444fdfc851abd81cc207f37f7f7da42062a00deb3888e57da8 \
|
||||
--hash=sha256:2c36ff87b5dfaa477d0bd51e9d7f6abdae7c8955d2983c97419085d842154b3e \
|
||||
--hash=sha256:34b7d9c24a4165a2c61cc8ae11d44d48c9ce2830fb536cb7914e11fdd9962728 \
|
||||
--hash=sha256:49d525938467d52c923a890153c99087c9d5a937d1f6b585dbdba34ec82e397a \
|
||||
--hash=sha256:4f84cdd868978d7b7350a566c254042d44216d9e37f241f3a6d3b1dfebeede35 \
|
||||
--hash=sha256:62ff20cd130c956c7c9144d5fe35228f98b51c579b2439e988b27ef93e16c02a \
|
||||
--hash=sha256:63505c71542a44b68b1e38060450fb006404170da375feb31af153e7f9c6205d \
|
||||
--hash=sha256:6376d4b3aca039375ca8bf92f770da0ec424a1ce3a37077a8d3c557411aa56ca \
|
||||
--hash=sha256:6a4e68eed961a8de6928d1c17ff3dc2a547e0e923c17f8f1cd79fb7bc9502f98 \
|
||||
--hash=sha256:6ab674f668d5962a3a4136ae0812519b0f1586874263723a32181d60d64137e1 \
|
||||
--hash=sha256:7014ab7e6f5d8511af92544667a0346ea6dfc314ea9a7cad1dba9fdb5c9a6e33 \
|
||||
--hash=sha256:76ae29acace5d33355344612844d588e19deaaba4639d8bb01601e4b1418ef36 \
|
||||
--hash=sha256:78de2d65e0b9ea7ce9d1b1c3e87297b2d7305a02c266ee2a2d6910daddd7ee69 \
|
||||
--hash=sha256:9bacedc04b0402837586a17f0919e3dfdd95291f441f1f56bd80ec274c2840a1 \
|
||||
--hash=sha256:a86c069c91a747a2c4e5c51473590aeb48172fff9b2130d23729a42d98665ecb \
|
||||
--hash=sha256:ac82fc756a446b6ccd7139ce70efa9d8bbe541e7ad579a12dcb52764b7175c5f \
|
||||
--hash=sha256:af11ac37a7c53dc16cb7950a6190851b0870fe218b6c60c0bb7ac355234e3083 \
|
||||
--hash=sha256:b70225b5fd1e0d2ef4f7fd30d24658454535f0924dff0caca5dc08efbbbadfbb \
|
||||
--hash=sha256:c49e853a3bef9dd10329f31f702e7fa9b5c58229ff9c2ff6d069efaf09177c08 \
|
||||
--hash=sha256:ccaf0a46cbb380f1fd102a874e32aa629fd3cb0c0e94f4943fa1f6d5edc5dac6 \
|
||||
--hash=sha256:d157ddfab1e8b21f2f1dedda9c09645d98b5ed0b667b0626be600a345d426440 \
|
||||
--hash=sha256:d88e5f7e60f28ae0b0cc6b2f16c43e87cd642a196a86f85e0d8bb6fe016fc16d \
|
||||
--hash=sha256:db0fcd827ca61622a01b220aadfbece01939acf53888f2cb98cd93e9b1e2c97e \
|
||||
--hash=sha256:df612391feca41c44d20118f3b88d1b86419465cd1f5496859f715ca60ec2210 \
|
||||
--hash=sha256:f0c3103fcff20183e593459cfea6e012281c0e76ae3ed8b5565ad1b92eac3990 \
|
||||
--hash=sha256:f9c4420a7a864fe1b86ce35befc95b8e39fb852493b81cf798671ddc265de638 \
|
||||
--hash=sha256:ffff613aaa9ce6236766e2fc6dc560bb5abde7a2e2416e3db1f9ae395a2b4dd4
|
||||
# via argon2-cffi
|
||||
boto3==1.43.123 \
|
||||
--hash=sha256:055fabb990c5d2f31fce4ca569255bd640cdd11a3ca68c9ecad35f4f8a5b83b5 \
|
||||
--hash=sha256:d18d66e1e13faa0c25d0b1b8c5ce946e29fb5fc0b6456b655a93a678ff4cc313
|
||||
# via -r requirements.in
|
||||
botocore==1.43.123 \
|
||||
--hash=sha256:80948cb9b1cdf1a1a25809089a42e3a1bc4af0258d198222db6e97dcc660dd0c \
|
||||
--hash=sha256:e30580f9c1282c321529238ff8ff75066096a2adbd0a293c8ae592c21d1733a3
|
||||
# via
|
||||
# boto3
|
||||
# s3transfer
|
||||
cffi==2.1.1 \
|
||||
--hash=sha256:046bfc24911b37851ee1b51aab8bffe713d89c68c6a057b09484ce9fd5f69b4e \
|
||||
--hash=sha256:06c72bb76605a4b0cd0aad6930b69d4baf7dd5d806cfc409b824191099700e66 \
|
||||
--hash=sha256:0beceaabe56af686895136a2de78db54ecd8e4046b236b8fd6d6cb61389e9bf2 \
|
||||
--hash=sha256:154852545011f779917b11c78db2358d095da62a9a172b78ad0a583ee5adc0d0 \
|
||||
--hash=sha256:194cffa889098ced9976c3fc6340305e43f6303657d298da55366907c05c22d6 \
|
||||
--hash=sha256:19ee6127ee34de7d83ce3d371ebc5ed91addbdcc39f9ab15ce4eb35a4e534971 \
|
||||
--hash=sha256:1a18a57b58cfb21fc28d72e876acf10eaed67a1ed96226f92af4df681d571c4c \
|
||||
--hash=sha256:1aa5645c30469b09530c4ebca77ebf8f17618293c58f8549cb1a543a50236e7d \
|
||||
--hash=sha256:1dea0e4d7d4f11f619fe8c1d76caf49e24405b4b5743c0e3be16a500ecd930c9 \
|
||||
--hash=sha256:208f941bb9d18e768138677f0a6d2ce01f590df56043dda1df1535ac57c88517 \
|
||||
--hash=sha256:210019b6c7cf07f081b4c54635c8cf744377001350e29cc0f81c4377b4797735 \
|
||||
--hash=sha256:246fa40ce8645a614ff682e0b70f37134e460eaf93a775e0cbe3cca585a67a80 \
|
||||
--hash=sha256:25792eac27877609e7bb06d42ff88278a6624fff2ba9bbb523c09616b117e80f \
|
||||
--hash=sha256:27350daa11d4f10c540e6e89dada4c54feb7256ad03e9a4dc075ebad7ba360d1 \
|
||||
--hash=sha256:28907ab9bfb6aa13184cfc17c6b8e1023c5ab6fd7076d8c20a35e59fe04f8f29 \
|
||||
--hash=sha256:2ae64be792b8966f2c69538199728b290e34726562896df1e5dc8ffd8d8188e8 \
|
||||
--hash=sha256:31348097ff5bbe827ccc41795d4dd099d9f0625e7def00ee653c137a490c2a6c \
|
||||
--hash=sha256:3143d81e29e1e20a9ce10901ec369012947876596f75a222235965f2b7ae832e \
|
||||
--hash=sha256:3222ba5d678f80a030e6afbcc33dc1ae5cb45facabb61cee2c7016b8432fde48 \
|
||||
--hash=sha256:3311ed60d36f83378794e1009ac6258bafbf81f7888b4caa7b35a521e3f95813 \
|
||||
--hash=sha256:334644fbac4eff73d985a17a91226df55d0f394160c4cfb880e084c8f7161cac \
|
||||
--hash=sha256:34e261f78cb6ceaaa36f42f2613f4380d94d9c759a9c73c769ee6e0247364632 \
|
||||
--hash=sha256:363e05fa78e15116c3c32c210ee36884fd6b9afa6d440e47112c3bd511d64cb6 \
|
||||
--hash=sha256:398aff33cee2767e3e781d2554c54bd0dff386bb437581e0d8011fde1a942ec1 \
|
||||
--hash=sha256:3d22a20b1fb1632cc72c22f95f7b0d2961c3e1c235f245ba4c606c4771035659 \
|
||||
--hash=sha256:42a494cee34437f05546455144f2b5d9ac09b1face62bcfce597d2e521066688 \
|
||||
--hash=sha256:42e2f76b9455f5a9a844f770bf3e200ed3da0e15f5df3db9c31fe80b04b3d004 \
|
||||
--hash=sha256:42f6930c31dc7f50732c9ae793c2786c7b6b044195967bbdde40bb9be81c4cc0 \
|
||||
--hash=sha256:456a61fa52d579ebf9df2e9552ead5129855dbaff6c1e5a9b1bc408809bdc062 \
|
||||
--hash=sha256:471cee653ae88de62096552e6d24ccb4a5adb8c8c9f10b5054d0122c15bf2779 \
|
||||
--hash=sha256:49cbc70e6542d4ccccb936558d1064a8012541e78f821f955cff24e357776c94 \
|
||||
--hash=sha256:4a7c934f7360e8cd64fe9efadcbd10c7c6364f531e432b9a4bf5ccbc9e0e8b50 \
|
||||
--hash=sha256:4be96343e422f2dfcd12ab5c9f5aebe03f82f737c6bffeca6830b3875cb44aab \
|
||||
--hash=sha256:4f42141fc14250de6dde5ee7ea4432be017252d91f19c5ad043c084cea629cac \
|
||||
--hash=sha256:507a24c282e0f42f8ed737cf048572cbf580468da5555764a8331735e9c736b6 \
|
||||
--hash=sha256:51b31d1c98274844cfd7838ce00bfc27c7423a4dc00fc0772fc3331c2cc90676 \
|
||||
--hash=sha256:58acb8ab8e295e6c5ea12f888cbb13cf21511ef2a3303a23f4325c29d17fe5c1 \
|
||||
--hash=sha256:5a59cc1c4442bc3d5c703bf720b51138d0bfc173618807c9ee2490a7541dd3d9 \
|
||||
--hash=sha256:5bb4e7ea95dcd6a014a6fef62e62467d67d8e582326443f3d68e71d6320a9fcf \
|
||||
--hash=sha256:5c58fe613dc5e5336357eff555824a314d8e43282600435c8d1cb6a7a2fedd13 \
|
||||
--hash=sha256:5e7cecbaadb83884793e05828cee59b210b24583b9c7425d0ba6a754fe22eb4e \
|
||||
--hash=sha256:616f097f2fe415bc92a247f02e11f634e1f9e9a83d327e3c915c15089c87869e \
|
||||
--hash=sha256:63bbfd5ded17c4840ac07cd8f1c21ba9d9708141f840b324f422f41b207e3973 \
|
||||
--hash=sha256:64faea20f4e2613363a1a9b9c7dd73058f3ecd00133a511e72ad7c511658f527 \
|
||||
--hash=sha256:661c298b4821edebead0c91edd2b00374d67ad7c5a1f7a91d4442633b79d6a72 \
|
||||
--hash=sha256:68e62fe11f30d5ca8289242866f0a5291402d8529ca2178ab8afc5c9694ae890 \
|
||||
--hash=sha256:6a8dddef476fab96d066d578fc88526767b836ab5ab21754e1d5bf3879c31c7c \
|
||||
--hash=sha256:6e192623c49c94421616a5778fba35cf0d5a8d000650c1967ef4448ee5cdd990 \
|
||||
--hash=sha256:7225e4514edb64eb6740324353e0da0711954fd8d7da4576755b1c6e09b697cd \
|
||||
--hash=sha256:75f80557d1389eddbd0de2681f6a390a0c5338c31ddaa821381c203fc3fd50d9 \
|
||||
--hash=sha256:770de9db11e84213beec501cfcaa013b019820ca881e03344dea5844f7876d94 \
|
||||
--hash=sha256:7750c6449dff7864bb9bb27ddfb0267756189201a3afc911d82b3caacd70dfc3 \
|
||||
--hash=sha256:7bde5e4cc5c10140859842b9d383af292b22639a4dffb725314baf45968cef80 \
|
||||
--hash=sha256:7ce713ace7c0e4520535b42b77eaa742c16dab813978064913e5a3cf82973b41 \
|
||||
--hash=sha256:7da0c5eff80f0197f3b3d1232ec5a682a9325f4ae9016a78f5f5ca35f9ced1f5 \
|
||||
--hash=sha256:7dbb61fe3a7699468030f71bbe5f8a0e326a151daa91beb11a6fc1f980c55e1c \
|
||||
--hash=sha256:811bd1e21d32de12efca32393a0ab3f5133b54fce9bd44b8bd77ab07da14bf6a \
|
||||
--hash=sha256:8ef53b2de9bcb9197d31854256575d59dbac0cba72ac627bb291ef5eceb74be4 \
|
||||
--hash=sha256:937c0052c05a31ca1daf18de3158eed4dbfcb9cc107adbea227728d647be701e \
|
||||
--hash=sha256:9d2055050ea716bd38b7f7f1579c275386646b4894c155a3e2f3cd62ed41b7c6 \
|
||||
--hash=sha256:9f8d177621de5cb38ee3e731eda45d421db093ec0739f46a5594babda7987a98 \
|
||||
--hash=sha256:a2d7755bef5a12ed488f4ef1f1b69ee9191d7396083b755a5d2295f6edb4768b \
|
||||
--hash=sha256:a48d62ab9d6f4f98c983223a547af44be6ca3691074c31cecced6facd3ba2dc1 \
|
||||
--hash=sha256:a4f00aa42f75d6e4595e8866e748cc1705adc0cddfeb2ca86d0d03993d63ba03 \
|
||||
--hash=sha256:a6e721d4b0e45d5b65e87534470e67b18dcd092c83f68fba09f152b9cbc061af \
|
||||
--hash=sha256:a730a083190634c65cca36ba5f489531576ebd79bcd5c8e172130f6453127231 \
|
||||
--hash=sha256:a931079504ecc49efed7744c476a5c343a92fabf66dec2db95edb1b2fdc770e2 \
|
||||
--hash=sha256:aa9511c62d14da7aacc9b4bf51f3f697a621e83b2d6919008243c3aad168eea3 \
|
||||
--hash=sha256:ab36d55f9ed2d067327667c2fea18dda018eb628dd6347aa01dda6cf1f5d3836 \
|
||||
--hash=sha256:ad2c86c495b899d862ea0f4b42891b8713a3bd45dd4105c7fd51c2a72f39f3a5 \
|
||||
--hash=sha256:aeae0e330c9f6acd681f647d46cefd30c29f93e3392882e792e82080c9691399 \
|
||||
--hash=sha256:b0431303acaea1089ad4b3e9ce4e6518193def1118d4073ca848635ee4ea2e96 \
|
||||
--hash=sha256:b5bdfd1c873d4e093aabc0ca84c4ca6dbc4f752afb5c86f146d9742580c9da2e \
|
||||
--hash=sha256:baed1e86cc735622097354b9d1281406caf42ff42a886d29faa8e8d1630333be \
|
||||
--hash=sha256:c1453022f490d2459a11819d83ad1d586e9ff65a12ac3e705ffebd46d3685dcf \
|
||||
--hash=sha256:c26608d2222fb1e94487e4a387d85f13eb55d5ed725cb25a0c589ac4ee60e7bc \
|
||||
--hash=sha256:c7659f22557c5a0bc4855cd635f55edec690cc008a40768527762cb9fb263455 \
|
||||
--hash=sha256:c8c69575568085ba0b1b10c0249d779a214aea6f6522e949a0fc9fb0fcb449d0 \
|
||||
--hash=sha256:c8d2c9fd1f2d16f780d15127abb050d13d1a76c03a4bd87d7e4980e45e511e12 \
|
||||
--hash=sha256:ca82be1a1d406ecfe1d25dc16cb33488e5a16bf4438c9fb590484ea29d92478b \
|
||||
--hash=sha256:cc572dace3f60ef98d7b12ff411d20f5362feb31a0439eab0085bbfd349982d7 \
|
||||
--hash=sha256:d18e5ac0f2f03f4f518d3e23db0f0cad7faa1da8620e9c09461d443bbf6e6692 \
|
||||
--hash=sha256:d28630f5854ab07ab1fd4aba756de52326c82e6be15d414b12793f1975048b54 \
|
||||
--hash=sha256:d9c275eaacd24aa73f94ffd6de08fc3f932424d8b6c376f4bed7cde376fe7bc3 \
|
||||
--hash=sha256:da0e573f9f97159390c89d9f1a9e41908b66d408cc5b58d08cf3847d844c531b \
|
||||
--hash=sha256:dd31f52ea1086513bb9df30f8fcee9b8918323ae067a3d5b78bc826a000712be \
|
||||
--hash=sha256:dddad92b554513a31f272570678ba307fb9f618f05e3d4a5eacafff9eae03e1d \
|
||||
--hash=sha256:df423d40ee8654634421812bc3b196da3f9bd7d32929da813f8394c4348a5358 \
|
||||
--hash=sha256:df913725b79db7bcf03448f36b7bf8815363417d5b58deecf9305e3e30f0f21a \
|
||||
--hash=sha256:e0bcb7e0f677f543555d2adff3bf19c05f66cdb4796e5ff602442ab2fe3c4ef7 \
|
||||
--hash=sha256:e2d65b31f36619cda3999b78b2aa9632e76b78448e7a56fc4240824200e7c4fc \
|
||||
--hash=sha256:e6e8cff14d6fb0be70a09c0bdc58096f501952d04624ebf867e0e56da2df8960 \
|
||||
--hash=sha256:f16c709686a78c727bbbf059f92b0bf41c6fc60deec706d2dc19f529175a6125 \
|
||||
--hash=sha256:f24fb43132a4c6b4cb4eb029492919b2db645be6808d738f244fd146c03c32cb \
|
||||
--hash=sha256:f53e442b08449d42821fa4a4fba000095af9f62742a500f978a9f557ec44339a \
|
||||
--hash=sha256:f5cfbc5fe74540d335175b656c725d74d90e3730c626d92575eea35029d9afaa \
|
||||
--hash=sha256:f81b3b8f3d4e343550fa4baa0e479bba9f2d29ce9c2e9b51d1ce1718d7442fcf \
|
||||
--hash=sha256:f8ec5e643a9a937f64e1999eb9f75d072263751912dc5cd06d3c85f8f44be7c3 \
|
||||
--hash=sha256:fb92203a88b3d3053034db775110081c49d28be6551923805e039924093761e4 \
|
||||
--hash=sha256:fcd22650c908d7b7da162bbfaab594a1227a15d1643a98c68b122ac642fa2264
|
||||
# via argon2-cffi-bindings
|
||||
jmespath==1.1.0 \
|
||||
--hash=sha256:472c87d80f36026ae83c6ddd0f1d05d4e510134ed462851fd5f754c8c3cbb88d \
|
||||
--hash=sha256:a5663118de4908c91729bea0acadca56526eb2698e83de10cd116ae0f4e97c64
|
||||
# via
|
||||
# boto3
|
||||
# botocore
|
||||
pillow==13.0.0 \
|
||||
--hash=sha256:02464da86f561f410e13b061ec37c3068a9cb557a095494157742d07b3c24a27 \
|
||||
--hash=sha256:04a63720f79e22fd54d897c233a68314c50ca0603360f54ce2bd5db8f0f43782 \
|
||||
--hash=sha256:05cd2cd39055d0b9650060e4513ef4a9a0aea870083950bd046a0d6490f93a22 \
|
||||
--hash=sha256:06903aac074d00c988e77a1fc435286dc498506d4ca8d6f69df9babddf4ecc15 \
|
||||
--hash=sha256:08b826a9bf1265c76de04a42061d61ea6b109418b7826f28ff1ecdfaa26c5502 \
|
||||
--hash=sha256:0d1a9cf7bc6917538b20f8d06b9ab2147e542f68849e96fc58eb66bdf6acc692 \
|
||||
--hash=sha256:10b5019883c98f1dd819ca48ffc6f33a91cee04948fe637c605f4345c7cafd6f \
|
||||
--hash=sha256:12b0fa15879fe5a9d9eebe66e4e2d74128a773b1a4448010c9c714f45e04b9d8 \
|
||||
--hash=sha256:12fbb851cf323cc19aac3eea1df5ad17b57e91e9fe3cfd06100dba7bb8208c13 \
|
||||
--hash=sha256:149a1c323ba366f90b48e6f1a6db6582eb50512df374588de56fc909abc0f0f3 \
|
||||
--hash=sha256:19b66ca0a4d25cc0200b381ce824c7ea090db61427315e73cfb05dbf1b35c369 \
|
||||
--hash=sha256:1c774b9c0ba0d0b356f71530677b39028878a2cae5a93e0a13779cfd17120f88 \
|
||||
--hash=sha256:20722cd5375533ad754053363a80b8fb30c79d37930a6f7228030e237ce3bd5d \
|
||||
--hash=sha256:20822140c9a2ba9c5e42df342b0a892ab2e102fc0e3db967a133bb9ce3f898bb \
|
||||
--hash=sha256:21c32061a5512dc13f87cc7303e120e4d77c2f70df89a35af0e3ce246e5ac57f \
|
||||
--hash=sha256:2310e2adfc13c6d457d7d0f2ffdd5c56a74a317650cf765887df8d515a647ac0 \
|
||||
--hash=sha256:23edf4ec4b6f4f240e8df6e4985e9ee2ced86474632433e55fb1e2548744bf40 \
|
||||
--hash=sha256:2d50500a4a3bc6469adcdb319cf05d688b08ca3bf0f22a05339f3b25b433a599 \
|
||||
--hash=sha256:2e31c4e68cffd7b1f116127626813b82fcba19edf6b940a7b0c266d6484d0055 \
|
||||
--hash=sha256:34fb3db1149c879343861831728c243c432d4a5afc8f1878ca7612ef8de2a033 \
|
||||
--hash=sha256:37290fbef0c73e2d51d594eb78fded7dc7170d1c3ad0a890269e6fd8c8c4e061 \
|
||||
--hash=sha256:405be6058e206a86fedce2f715ecc2343f94072d7925251632dffa2c05f70dca \
|
||||
--hash=sha256:40a266371ece581e5de13b6635ef78d7487824af80561b6ca27694a88c19bc0f \
|
||||
--hash=sha256:42d63be3af4f9b951b199b0a9d23365d37ab14687e6d77b74940432c8515c4ca \
|
||||
--hash=sha256:44629d4498c9cb6b2051806155f22141df0d8a929c56134b166655232dfb2f8c \
|
||||
--hash=sha256:49c12af515073e9bf511e4ef736743bf70d531a643668722279314b937742ba4 \
|
||||
--hash=sha256:4a25756244bdcce3b50580baadf320fa48297f0eeb8e114ba64139a40d4d0fc8 \
|
||||
--hash=sha256:4bd024d567eca931b668978d672dba914d4b8e2628e2c3073a2ad178de8a2620 \
|
||||
--hash=sha256:4f8db54177035a2b5f717f94475b74907e12a96dc74f6d487f3966b0a4694071 \
|
||||
--hash=sha256:51ebb529fc5e8abdd55302f6c3f8943037348ec2384329a3e55677f69ae2fdfc \
|
||||
--hash=sha256:567f20f1c75897d7663830da6ea8af719e03d712b1d9ee7f813319f9ece42e5a \
|
||||
--hash=sha256:5933fcea5a5ba64c686f55c886a115cbfd92f2900460784a1e79909fdbafd7b6 \
|
||||
--hash=sha256:5bdb38ba220b61b4ec31dd1046dea6b016d3c6850a23f43ed8b58332b2fc668e \
|
||||
--hash=sha256:5f56499c1a74d2b862beb0c33b8016f99d095858455df9d21583bbbc1c15b582 \
|
||||
--hash=sha256:67871a13cf47275201553b536c025da777f997fa562a19eb798af4ad4b97c18f \
|
||||
--hash=sha256:67c8d44ad89fa7eb88de5d6ef6199b1e03dd24974f85a67639fc8badb801fe79 \
|
||||
--hash=sha256:6a0920cb55df5a4d3f6862964908078c0bd59332bdd1bcd20d14e8c70ef27cc5 \
|
||||
--hash=sha256:6bce6a29c3898191f4c9998e4d4e8f69790caeabde46e54da4bc235ce5bde683 \
|
||||
--hash=sha256:6f38f3f885a09cafc93fd667b1173a92f379e43785d635e7983c893f0da319fb \
|
||||
--hash=sha256:73ee25cf8cf8b75d5a5aeed7cb6588f5e5dbfbb0fde51707b630bbb23897645c \
|
||||
--hash=sha256:7b999816b5850a35ada08443e6e03945f1f6488144a83afe2d37b240a552aafa \
|
||||
--hash=sha256:7c88c10dd432f3b39ccdafc9ed81d0c21b8fd634502574da76d1bfa4fe2c76d0 \
|
||||
--hash=sha256:7d5e097eabd5d4915c27ac9f6e9325bb1e01a7c94d7348b5c4451d3fc30e8521 \
|
||||
--hash=sha256:7e91e97a929232cdb828889ee6ad0e48d7f40f4ec38818f4e4a8968b2b1af22e \
|
||||
--hash=sha256:7f6299e494e46253d40c34653cac369412f44ca53b5f85d848d3f95b1ed0546c \
|
||||
--hash=sha256:816752a5ef76a80484c8c441c85593b7ea9304f6231fc5776ad1fbff7e773058 \
|
||||
--hash=sha256:83b37abd87b590acd8f47ca8a61f70893322b11834d36e07c2298dacad4d14d2 \
|
||||
--hash=sha256:8619685cad8efc4c38c66d3b36aad854523297c43d748b3b6f0cc03c90ba3463 \
|
||||
--hash=sha256:8bf295fe459343bc6093c8e5e0df60bfa189e0fcb775a22e2c2488fdeccc6c0d \
|
||||
--hash=sha256:8e459b613cf31f8980f584387b4fe47bf08e076e288d61aa8eba1f7fd4ddbb81 \
|
||||
--hash=sha256:8f36aa77f74b14a2103622b196402c71330e4e7cf4122ee45c854e9a01e0eecf \
|
||||
--hash=sha256:93ff9c9c3663ce23aaa5d0b6b6abac55359e2a0c06c7e30f3771829af816be63 \
|
||||
--hash=sha256:9a635068d9793c7f0d929f39f18b58f1bd86c236e8e7b64167b86af9232ebca0 \
|
||||
--hash=sha256:9dda0788a9932776a75d8bcc020076edc308ce2508b51f6739a45e3158b3fc42 \
|
||||
--hash=sha256:a192360d512305fe92d3053e4f7627bbad1f7708f1f4ad38cccd9336acabe9ad \
|
||||
--hash=sha256:a2a14cd73d5e6c927f644b0110ee81f59c4ef506259ec9183904747f2caacc81 \
|
||||
--hash=sha256:a625df9a2a5597fa5e5266e01aefc82604bb85d291e3547981e863560d75da6c \
|
||||
--hash=sha256:a6aaa7871aebca081eb5c45f83e845bbd9712ae99fa9286dbfdcee835e63f4b4 \
|
||||
--hash=sha256:aa694c49787040943570d61c9b8fc01271bd2a2cfdd55f0d896f8aecdce1a981 \
|
||||
--hash=sha256:adb3c2124c68e480f4632d06cb7caa3b48a51678475f483b4edb1c6dee29ea43 \
|
||||
--hash=sha256:b84be41387fc00db28c13c02e30d42b02d8d8f6a4a741a1aee6012ca7f1f6039 \
|
||||
--hash=sha256:bf97ba1b5542050e9b0c74e632323b6d8136cc99d64e193abebee22fe6013c76 \
|
||||
--hash=sha256:c3bc8ee0271387e0b1e3ad0ff893645990a656e79bf9c42f4f734a3642b11d51 \
|
||||
--hash=sha256:c50c80e3591e5cf9a8dfa6007d4f10732f02e32263850999286e56ccd650cfb2 \
|
||||
--hash=sha256:c6fd031333dedcad7ce3e03d244093f43504f209e86925ebdb2b868fa4037630 \
|
||||
--hash=sha256:c87a04e7f152ee4db5dbe15f0bfa3fe628a1aeedbe66b81c43b87f52c813f9ac \
|
||||
--hash=sha256:cdcd1ba258178f7356d74170c9a81ba4eab6a5d55748bc402a5a2a6fe6be3510 \
|
||||
--hash=sha256:d4737f50d23ddd11d6685faacbb9252887dde0bc7997127757247983d74399d6 \
|
||||
--hash=sha256:d7710eb676e9bb68965cb045be0d333b4c0d7f9dfbaa7fbf121385b1588683d3 \
|
||||
--hash=sha256:d9b0a2bee3f3e03e9f29057aedb807dbf1e1d96ee1b9d0f422d9db6c8583271d \
|
||||
--hash=sha256:e65dd6e75de67b2362a4fa3e16aa627595f65054dc4ec73d64680c84d592fa61 \
|
||||
--hash=sha256:e892354a424b1e82a78ba16785822bdd40de06f19446a3d4a28047df1a4f8932 \
|
||||
--hash=sha256:e8ca8f69b7c77fa96dad99f8638c1fc4f1c0bed4acaa1baf7a3c31bdb80a0ab1 \
|
||||
--hash=sha256:e91c2b1cbeae768c98752e67e717e283d68dae45717b41f2d91eaee648e37b7d \
|
||||
--hash=sha256:e98b4f91f99b24b1da72e10621ba181f7281922384a7403094debb4199de6c00 \
|
||||
--hash=sha256:ef5fe6b7db3f501c56000ba8fe7c7e1a35ca1d45824fbeb95a67daa85cff4dbe \
|
||||
--hash=sha256:f11a3c1358bb3c68012a7b1f41b223c3db9f7bfde90b481df028cfe1c3363313 \
|
||||
--hash=sha256:f391dc92a015c478745192fe4f2e120c2af2aba18d9fe0616341cbf537599806 \
|
||||
--hash=sha256:f7cbb7a64e7ec664775195e4f81923bc8a93d9451b963f844e59118f63147a7a \
|
||||
--hash=sha256:f9bd7d260d986f3553518c5d723544346fa48031f8aef3265d786aeb59845bc0 \
|
||||
--hash=sha256:fc481f742ccda20e9ed760b8f978dff50f2a4e9bc253ac167fb0a05b0783ef52 \
|
||||
--hash=sha256:ff3fe9eb621fbb9db4c4be33ab946f6bac5f98ab50ca8d3260503653656c961b \
|
||||
--hash=sha256:ffea6b2986a797c84b6d1d27d4f43e0b83c73fc16281a930891cd237cf0d08fe
|
||||
# via -r requirements.in
|
||||
psycopg==3.3.6 \
|
||||
--hash=sha256:a1db9f7148b06a28606767efaca51fa6f9398c5c0a3810519be69d7000bdb631 \
|
||||
--hash=sha256:c081f2250df751a943036e42db6df4571c66cd0aabe8291a7a506512b12007d2
|
||||
# via -r requirements.in
|
||||
psycopg-binary==3.3.6 \
|
||||
--hash=sha256:05a83ac9fd52b9bca7cb5ab04b3691163170bd16f53defa27216ea3aa07ee781 \
|
||||
--hash=sha256:0a52991594ac4db888c7d39bccef331797e30cb31a95cae02cf2607f83a42dc2 \
|
||||
--hash=sha256:0bf08b749cc144f33b44a91b78e3f71c60eb07963746a0df5a100b36ce3d7475 \
|
||||
--hash=sha256:0ebfad5d131de9f892ae9e70cc7616207768b6714b66a52d4612b8ceaf78b372 \
|
||||
--hash=sha256:1679a1cb93fbe5a6d1fd58d82cbddcc6fcb8c61446ba7cae6eb2a7b19bc585de \
|
||||
--hash=sha256:198a48e68cc99ccac03ba95ac857e73aa66f3bf6be77019fafb0832a05f7ad03 \
|
||||
--hash=sha256:1fbd30e537dab22cafdf080608f10148fe2a5f3a61294ddb5113caac8a623840 \
|
||||
--hash=sha256:289aadd6a00e151203c081f708348ec89f1e483c9b510ef4ac3981f847f01f79 \
|
||||
--hash=sha256:2f122603f36050937982abf9668d8bc4769a79f7c93a65013b1c49f1cab7b56b \
|
||||
--hash=sha256:303732e798fe6729f8e12021b9c96107df8e95ecec4dd487c67b98ec2a59435e \
|
||||
--hash=sha256:31cd942c23f613276b81a6e6598cefa12960058b0f46e1e874b540c793f6aca5 \
|
||||
--hash=sha256:366db6e97e66b37211475f20c4c1324a2dc0dd825e46d4e87f9d599304d276f9 \
|
||||
--hash=sha256:373704aea331d3f3e3402c125a1543f5875e2986ebb54f97d1647942161f803f \
|
||||
--hash=sha256:37d40450659401600e6d043ff586c89a71a69f33cbb8bcdba6cdb2569beecdbe \
|
||||
--hash=sha256:37e517c146b185f9c0c6e8d0a0ebbdeeeb67896af28466e032bc810d0c7dc7a7 \
|
||||
--hash=sha256:3af90f92769d8cc10f94515ee7a0aef36ea85ca733a0ce22858f6e0953f41138 \
|
||||
--hash=sha256:3c9e663b2e800e3218994cf948c11bcc2844e6491b34aa80d089baf6531827bf \
|
||||
--hash=sha256:3f84dab25e0385692ee13274c68678377e0b1a70ab9d14e56264cbf61f60c62d \
|
||||
--hash=sha256:4690cf67738f0e0e49a32aeec99bf0e4595cc2b4f1af984a4345394b1dcff91a \
|
||||
--hash=sha256:566dd827f17728efdf7d88a5b066f815170f6fdad13967ae952842d90e6aaa9f \
|
||||
--hash=sha256:5927b7ba63153cd8e9862987290a2b783a5c590daf2a4ef981700cc3569166d4 \
|
||||
--hash=sha256:5ad8f35e67cc16d1fad1fa8c88972dc9b3a3141ea67897399904edab96a301b6 \
|
||||
--hash=sha256:5ea8beeb5541780b4b50b462eeacbc4f594ce3b911dc20c81c75f267876f71d2 \
|
||||
--hash=sha256:5f598f19fa9a91540b5cee17932ffd227b7b53a481605bcc4573c0eafa647300 \
|
||||
--hash=sha256:612382ac3ed13651c7fa44b5fee9fbf7baaa2ddbc6f500391672682c5f1df9e0 \
|
||||
--hash=sha256:6ff05561e4a067d35507dc5c90f1deb2ec1c9703ac5cccc1bc26e08a197f9c5a \
|
||||
--hash=sha256:7308c93cf0b19bbaf8e6ff0a6ad50d3c442385739245fe15a8d593bf841734a6 \
|
||||
--hash=sha256:79a2a1c3449f6c3409427078ed1cec10de79f3023cb5f2504f0597d350ad46c7 \
|
||||
--hash=sha256:7beb3e41c9a1e509f3ed85263386588cbe3e975aa67be21f79f44fd35ffaeefc \
|
||||
--hash=sha256:86147cb5d140341c3363fb5bacce31f8d5543902a46699d3c536b101bbceaf9e \
|
||||
--hash=sha256:889e42acec10450185e0cdfb396f375e2c1a8d7737c114830a7fde4654f59e30 \
|
||||
--hash=sha256:910ace140e3e7b7596898d083f37a8fe90c5c40684252ad4e682364b2cd3deba \
|
||||
--hash=sha256:955e3dd94da361e052d2e49acf591017158dc8f8ed2c8a42c2e3943403c39dc2 \
|
||||
--hash=sha256:9892188bb15e5803beb51afe8a25add6b56be391a53058e8bca03b74e1e6bf22 \
|
||||
--hash=sha256:98c02090d88f2ebc0ec1e8da538f77d225ce0fffecf372aa39262e62a1b054ef \
|
||||
--hash=sha256:9b2f11794e017ce340934e35de46181c46ef71ec75ea3d85dd75cd836761c01e \
|
||||
--hash=sha256:a2e44a342d2aee40508e28a563d8961c39d9bbd8cae36d8578f0a3c6658aab0f \
|
||||
--hash=sha256:a4ee3bdd5468a725f2a4d9aab8a74b6d0279f768c8b5d3aeb102c5307ff3d59c \
|
||||
--hash=sha256:a5165300324efd5a772c48a88ab3a928513ab3979fca76553e62ee815f7b2b9c \
|
||||
--hash=sha256:a9348c5b43a3bb5ef8c2e89d5237c9c87eeafb01d338c84a7aebbc5cd0313299 \
|
||||
--hash=sha256:aa73160077345ec21b3f51e8e24b3de2e99586217e497629326eb9b2ea88c52e \
|
||||
--hash=sha256:ad1c785e784cfd87e8436c6b7702f2d321fc39601bbaf29bc63a41a867091638 \
|
||||
--hash=sha256:b3f75dee0f9afafabe4edc52c4842f1e1878ed2069bd05b22d6fe961e97e4dba \
|
||||
--hash=sha256:b599defe9190b17e9907c8b4d114c181e702c87efcd1b8a0ad40971cdcc4634a \
|
||||
--hash=sha256:b82491019b884d62318b5f30706c3d7e6d4e5a6cb7eabcb3edc0c1b0fdaceae9 \
|
||||
--hash=sha256:b8ece331509f7a975b90501f41e83ad905e4141753fedf3f2711b2bc70a8efbc \
|
||||
--hash=sha256:b979a42815410432420275412633960807178b1ce26591a16ce06e78a5bd4bb2 \
|
||||
--hash=sha256:be4f9b3c9338ac5dd217c5847e21521b396c8117f78dc420d495a5c49bbef874 \
|
||||
--hash=sha256:bf8c8481d026b85dd70c5fa7dde85b2333aed0b32a2602bcd38a900cbd78a49c \
|
||||
--hash=sha256:c61617eaae0112ca154da87ffb99b73af2c74067acac28dfb9a4455b019dff2e \
|
||||
--hash=sha256:c6d19cb4999d03231e8730a5f66c8f5068bc3b532677eb39dab0f600bff3e312 \
|
||||
--hash=sha256:c7753871eb57e6a5f4646f6168590c6653073dea5e9e720b201c8875332df4c8 \
|
||||
--hash=sha256:c7f92daa0d2a1c76f07264abddf8cbabd30152a2f09c3270e50f0c7efdf5dcac \
|
||||
--hash=sha256:cbd5f73073ed19c378d4c35499db1e3e703a5b1a324e521204065967bfaa7a18 \
|
||||
--hash=sha256:cec5ea900390897d0b46130f60bc2883bf19c314f9044235217c8be88b0ef269 \
|
||||
--hash=sha256:d636338c8f21b0df2f84657b00bc34f9313f826ef93f1155bc743607e4a0c5eb \
|
||||
--hash=sha256:dc75da5a20951049f7b773145f998f69d181adad9c58a0ff36e0cf1d73c10e10 \
|
||||
--hash=sha256:e23a66a763fbe83fcc210bc77c27e5a5ea380ebf091c06f34d8561b695e5a40f \
|
||||
--hash=sha256:e8cbb54454dbf1bbf2ff08dd7693e8d94ac94b1a20f70f4b3b813d52ecb5cbc1 \
|
||||
--hash=sha256:ee2c4728c691245e24501fcd7a97b5b381236b9985bc445bba88cdce7d1b5784 \
|
||||
--hash=sha256:f0535693ce476a722b718b002d5d2c27d47e71ca945276ac194409c98e74c492 \
|
||||
--hash=sha256:f19cc87343eaa55255e76b31259a570072ac95d6ae82c92dd34b97691f5e49dc \
|
||||
--hash=sha256:f21d057f3e5f5491067e5b292498073b73847d48799b099803fef100775fcc52 \
|
||||
--hash=sha256:f87dbdc42e78ee0f7ea180c03f8c78e80a949e373066629bd90fefff10552dff \
|
||||
--hash=sha256:fa34eb47969297471db7b7f193622c7e3ee839ec05abd05f1fe104d5b1b1dcf4 \
|
||||
--hash=sha256:fdccb3a0e184b03e9baa673b15a809cf36c339c85dbda0ebc25a698846dfbee8
|
||||
# via psycopg
|
||||
psycopg-pool==3.3.3 \
|
||||
--hash=sha256:9b9cd6a4fcec47a410f7e82d408540e7f77b478509e91b44c1a5457a13e5ff37 \
|
||||
--hash=sha256:df87b5d9d0ad7db37f6cdad4fa8ce113d250f5997f6db38e9a99192fb67f9e1d
|
||||
# via -r requirements.in
|
||||
pycparser==3.0 \
|
||||
--hash=sha256:600f49d217304a5902ac3c37e1281c9fe94e4d0489de643a9504c5cdfdfc6b29 \
|
||||
--hash=sha256:b727414169a36b7d524c1c3e31839a521725078d7b2ff038656844266160a992
|
||||
# via cffi
|
||||
python-dateutil==2.9.0.post0 \
|
||||
--hash=sha256:37dd54208da7e1cd875388217d5e00ebd4179249f90fb72437e91a35459a0ad3 \
|
||||
--hash=sha256:a8b2bc7bffae282281c8140a97d3aa9c14da0b136dfe83f850eea9a5f7470427
|
||||
# via botocore
|
||||
s3transfer==0.19.3 \
|
||||
--hash=sha256:24eb7535804306355e31c952a90022bf5b2f9d760f9a11062c7493a217c08553 \
|
||||
--hash=sha256:8326acc3d056d7f7b8a37110c7d2aea41f67e83f6ae79cd3b5fbcca34c726406
|
||||
# via boto3
|
||||
six==1.17.0 \
|
||||
--hash=sha256:4721f391ed90541fddacab5acf947aa0d3dc7d27b2e1e8eda2be8970586c3274 \
|
||||
--hash=sha256:ff70335d468e7eb6ec65b95b99d3a2836546063f63acc5171de367e834932a81
|
||||
# via python-dateutil
|
||||
typing-extensions==4.16.0 \
|
||||
--hash=sha256:481caa481374e813c1b176ada14e97f1f67a4539ce9cfeb3f350d78d6370c2e8 \
|
||||
--hash=sha256:dc983d19a509c94dba722ee6abd33940f7c05a89e243c47e907eb4db6f1a43e5
|
||||
# via psycopg-pool
|
||||
tzdata==2026.6 \
|
||||
--hash=sha256:0a10eec6e13ef16b627fabed9a5f2ba61a62b1c67f327305f4e7e412a70b4aec \
|
||||
--hash=sha256:85d2cd9c09f81f0bb29db27759fc83af4f1e620efb814f8c5bf8b4cc4feece6d
|
||||
# via psycopg
|
||||
urllib3==2.8.0 \
|
||||
--hash=sha256:0cf3cae568d36aa9576b28dfb35f11328f1cb974ca7647d9475ebb86c75ac6e3 \
|
||||
--hash=sha256:63bf2ead4c879426ebf22ef2a781eeb4aa3b4ae798a0435506f8687fd5bb9b63
|
||||
# via botocore
|
||||
valkey==6.1.1 \
|
||||
--hash=sha256:5880792990c6c2b5eb604a5ed5f98f300880b6dd92d123819b66ed54bb259731 \
|
||||
--hash=sha256:e2691541c6e1503b53c714ad9a35551ac9b7c0bbac93865f063dbc859a46de92
|
||||
# via -r requirements.in
|
||||
@@ -0,0 +1,208 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Regression: pause PostgreSQL, direct API 503, discard connection and recover.
|
||||
|
||||
No published replica ports: direct HTTP is sent from inside each API container.
|
||||
PostgreSQL is always unpaused in finally. Uses existing local synthetic stand.
|
||||
"""
|
||||
import argparse
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import json
|
||||
from pathlib import Path
|
||||
import queue
|
||||
import subprocess
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / 'tests'))
|
||||
from client import Client, Failure, check
|
||||
|
||||
LOG = []
|
||||
|
||||
|
||||
def record(value):
|
||||
text = value if isinstance(value, str) else json.dumps(value, ensure_ascii=False)
|
||||
LOG.append(text)
|
||||
print(text, flush=True)
|
||||
|
||||
|
||||
def compose(*args, timeout=40):
|
||||
proc = subprocess.run(['docker', 'compose', *args], cwd=ROOT, capture_output=True,
|
||||
text=True, encoding='utf-8', errors='replace', timeout=timeout)
|
||||
if proc.returncode:
|
||||
raise RuntimeError('docker compose ' + ' '.join(args[:3]) + ': ' + proc.stderr[-1200:])
|
||||
return proc.stdout.strip()
|
||||
|
||||
|
||||
PROBE = r'''
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import http.client, json, sys, time
|
||||
|
||||
expected, count = map(int, sys.argv[1:])
|
||||
def request(path, status):
|
||||
c = http.client.HTTPConnection('127.0.0.1', 8080, timeout=8)
|
||||
start = time.monotonic()
|
||||
try:
|
||||
c.request('GET', path)
|
||||
response = c.getresponse()
|
||||
body = json.loads(response.read())
|
||||
assert response.status == status, (response.status, body)
|
||||
assert response.getheader('X-Request-Id')
|
||||
assert response.getheader('X-Instance-Id')
|
||||
if status == 503:
|
||||
assert body['error']['code'] == 'unavailable'
|
||||
assert body['error']['request_id'] == response.getheader('X-Request-Id')
|
||||
return round(time.monotonic() - start, 3)
|
||||
finally:
|
||||
c.close()
|
||||
|
||||
with ThreadPoolExecutor(max_workers=count) as executor:
|
||||
futures = [executor.submit(request, '/health/ready', expected) for _ in range(count)]
|
||||
live = request('/health/live', 200)
|
||||
elapsed = [future.result() for future in futures]
|
||||
print(json.dumps(dict(status=expected, requests=count, seconds=elapsed, live_seconds=live)))
|
||||
'''
|
||||
|
||||
|
||||
WORKER = r'''
|
||||
import json, sys, time
|
||||
from messenger.config import read_secret
|
||||
from messenger.db import create_pool, Repository
|
||||
from messenger.errors import Unavailable
|
||||
|
||||
class SyntheticRollback(Exception): pass
|
||||
pool = create_pool(read_secret('DATABASE_URL'), 1)
|
||||
pool.open(wait=True, timeout=10)
|
||||
repo = Repository(pool)
|
||||
phase = sys.argv[1]
|
||||
try:
|
||||
try:
|
||||
with repo._transaction() as conn:
|
||||
conn.execute('SELECT 1')
|
||||
print('ARMED', flush=True)
|
||||
assert sys.stdin.readline().strip() == 'go'
|
||||
started = time.monotonic()
|
||||
if phase == 'query':
|
||||
conn.execute('SELECT 1')
|
||||
elif phase == 'rollback':
|
||||
raise SyntheticRollback()
|
||||
# commit: leave the block while PostgreSQL is paused.
|
||||
except (Unavailable, SyntheticRollback) as error:
|
||||
elapsed = time.monotonic() - started
|
||||
assert conn.closed, 'timed-out connection was returned open'
|
||||
assert elapsed < 8, elapsed
|
||||
expected = SyntheticRollback if phase == 'rollback' else Unavailable
|
||||
assert isinstance(error, expected), type(error)
|
||||
print('TIMED_OUT', flush=True)
|
||||
else:
|
||||
raise AssertionError('operation unexpectedly succeeded while PostgreSQL paused')
|
||||
assert sys.stdin.readline().strip() == 'resume'
|
||||
recovery = time.monotonic()
|
||||
while True:
|
||||
try:
|
||||
repo.ping()
|
||||
break
|
||||
except Unavailable:
|
||||
if time.monotonic() - recovery >= 15:
|
||||
raise
|
||||
time.sleep(0.1)
|
||||
assert pool.get_stats().get('requests_waiting', 0) == 0
|
||||
print(json.dumps(dict(phase=phase, timeout_seconds=round(elapsed, 3),
|
||||
connection_closed=conn.closed, pool_max_size=1,
|
||||
recovered_seconds=round(time.monotonic()-recovery, 3))), flush=True)
|
||||
finally:
|
||||
pool.close(timeout=1)
|
||||
'''
|
||||
|
||||
|
||||
def line(proc, timeout=15):
|
||||
result = queue.Queue()
|
||||
threading.Thread(target=lambda: result.put(proc.stdout.readline()), daemon=True).start()
|
||||
try:
|
||||
return result.get(timeout=timeout).strip()
|
||||
except queue.Empty:
|
||||
raise AssertionError('database test worker did not finish in time') from None
|
||||
|
||||
|
||||
def ready(c):
|
||||
start = time.monotonic()
|
||||
while time.monotonic() - start < 30:
|
||||
try:
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
return round(time.monotonic() - start, 3)
|
||||
except Failure:
|
||||
time.sleep(0.2)
|
||||
raise AssertionError('API did not recover after PostgreSQL unpause')
|
||||
|
||||
|
||||
def readiness(c, ids):
|
||||
a, b, eve, chat = c.bootstrap()
|
||||
for index in range(len(ids)):
|
||||
compose('exec', '--index', str(index + 1), '-T', 'api', 'python', '-c', PROBE, '200', '1')
|
||||
for cycle in range(2):
|
||||
try:
|
||||
compose('pause', 'postgres')
|
||||
with ThreadPoolExecutor(max_workers=len(ids)) as executor:
|
||||
futures = [executor.submit(compose, 'exec', '--index', str(index + 1), '-T', 'api',
|
||||
'python', '-c', PROBE, '503', '12') for index in range(len(ids))]
|
||||
for index, future in enumerate(futures):
|
||||
record(dict(cycle=cycle + 1, api=index + 1, **json.loads(future.result())))
|
||||
finally:
|
||||
compose('unpause', 'postgres')
|
||||
elapsed = ready(c)
|
||||
# Same token and a real DB write/read after recovery, no API restart.
|
||||
message = c.message(a, chat, 'PostgreSQL pause regression ' + str(cycle))['json']
|
||||
page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages', actor=b, schema='MessagePage')['json']
|
||||
check(message in page['items'], 'confirmed write not visible after unpause')
|
||||
record(dict(cycle=cycle + 1, recovered_seconds=elapsed, existing_session_and_write='PASS'))
|
||||
|
||||
|
||||
def operation(phase):
|
||||
proc = subprocess.Popen(['docker', 'compose', 'exec', '-T', 'api', 'python', '-u', '-c', WORKER, phase],
|
||||
cwd=ROOT, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE,
|
||||
text=True, encoding='utf-8', errors='replace')
|
||||
try:
|
||||
check(line(proc) == 'ARMED', 'worker could not open a transaction')
|
||||
try:
|
||||
compose('pause', 'postgres')
|
||||
proc.stdin.write('go\n')
|
||||
proc.stdin.flush()
|
||||
check(line(proc) == 'TIMED_OUT', 'operation did not time out and close connection: ' + phase)
|
||||
finally:
|
||||
compose('unpause', 'postgres')
|
||||
out, err = proc.communicate('resume\n', timeout=25)
|
||||
check(proc.returncode == 0, 'worker failed: ' + err[-1200:])
|
||||
record(json.loads(out))
|
||||
finally:
|
||||
if proc.poll() is None:
|
||||
proc.kill()
|
||||
proc.communicate(timeout=5)
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--base-url', default='http://127.0.0.1:8080')
|
||||
parser.add_argument('--output', type=Path)
|
||||
args = parser.parse_args()
|
||||
try:
|
||||
c = Client(args.base_url, timeout=8)
|
||||
ready(c)
|
||||
ids = compose('ps', '-q', 'api').splitlines()
|
||||
check(len(ids) >= 2, 'start at least two API replicas')
|
||||
readiness(c, ids)
|
||||
for phase in ('query', 'commit', 'rollback'):
|
||||
operation(phase)
|
||||
ready(c)
|
||||
record('PASS: paused PostgreSQL returns bounded direct 503; query/commit/rollback discard connections; same pools recover.')
|
||||
return 0
|
||||
except Exception as error:
|
||||
record('FAIL: ' + str(error))
|
||||
return 1
|
||||
finally:
|
||||
if args.output:
|
||||
args.output.write_text('\n'.join(LOG) + '\n', encoding='utf-8')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,139 @@
|
||||
#!/usr/bin/env python3
|
||||
"""EXPLAIN (ANALYZE, BUFFERS) of the history page query on 10 000+ messages.
|
||||
|
||||
python scripts/explain_history.py --output evidence/explain.txt
|
||||
|
||||
The stand must be running. The script registers two synthetic users through the API,
|
||||
creates a target chat and a noise chat, bulk-inserts messages with SQL, runs ANALYZE and
|
||||
prints the plans of the same query the API runs (src/messenger/db.py, list_messages):
|
||||
first page, a page in the middle, the last page, the generic plan of the parameterized
|
||||
query, and for comparison the middle page without the index (DROP INDEX inside a
|
||||
transaction that is rolled back, so the database is left unchanged).
|
||||
Standard library only.
|
||||
"""
|
||||
import argparse
|
||||
import base64
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
import uuid
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
BASE = 'http://127.0.0.1:8080'
|
||||
PSQL = ['docker', 'compose', 'exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger',
|
||||
'-X', '-v', 'ON_ERROR_STOP=1']
|
||||
PAGE = 51 # limit 50 + 1 row to learn whether the next page exists, as the API does
|
||||
|
||||
lines = []
|
||||
|
||||
|
||||
def out(text=''):
|
||||
lines.append(text)
|
||||
print(text, flush=True)
|
||||
|
||||
|
||||
def psql(sql, echo=True):
|
||||
"""Run SQL in one psql session; with echo the transcript shows every statement before its result."""
|
||||
args = PSQL + (['--echo-all'] if echo else ['-At']) + ['-f', '-']
|
||||
done = subprocess.run(args, cwd=str(ROOT), input=sql.encode('utf-8'), stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
|
||||
text = done.stdout.decode('utf-8', 'replace').strip()
|
||||
if done.returncode != 0:
|
||||
out(text)
|
||||
raise SystemExit('psql failed')
|
||||
return text
|
||||
|
||||
|
||||
def api(method, path, body=None, headers=None):
|
||||
headers = dict(headers or {})
|
||||
data = None
|
||||
if body is not None:
|
||||
data = json.dumps(body).encode('utf-8')
|
||||
headers['Content-Type'] = 'application/json'
|
||||
request = urllib.request.Request(BASE + path, data=data, headers=headers, method=method)
|
||||
with urllib.request.urlopen(request, timeout=10) as response:
|
||||
return json.loads(response.read())
|
||||
|
||||
|
||||
def user(label):
|
||||
username = label + '_' + uuid.uuid4().hex[:10]
|
||||
password = 'Explain-' + uuid.uuid4().hex
|
||||
created = api('POST', '/api/v1/users', {'username': username, 'display_name': label, 'password': password})
|
||||
credential = base64.b64encode((username + ':' + password).encode()).decode()
|
||||
session = api('POST', '/api/v1/auth/sessions', headers={'Authorization': 'Basic ' + credential})
|
||||
return created['id'], session['token']
|
||||
|
||||
|
||||
def page_sql(chat_id, after=None):
|
||||
"""The same SQL text as Repository.list_messages, with literal values."""
|
||||
sql = "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = '%s' " % chat_id
|
||||
if after:
|
||||
sql += "AND (created_at, id) > ('%s', '%s') " % after
|
||||
return sql + 'ORDER BY created_at, id LIMIT %d' % PAGE
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description='EXPLAIN of the history query; inserts synthetic messages')
|
||||
parser.add_argument('--messages', type=int, default=10000, help='messages in the target chat (>= 10000)')
|
||||
parser.add_argument('--noise', type=int, default=20000, help='messages in another chat')
|
||||
parser.add_argument('--output', default=None)
|
||||
args = parser.parse_args()
|
||||
sys.stdout.reconfigure(errors='replace')
|
||||
|
||||
out('# %s UTC, %s' % (time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime()), psql('SELECT version()', echo=False)))
|
||||
alice, alice_token = user('explain_a')
|
||||
bob, _ = user('explain_b')
|
||||
target = api('POST', '/api/v1/chats', {'title': 'EXPLAIN target', 'member_ids': [alice, bob]},
|
||||
{'Authorization': 'Bearer ' + alice_token})['id']
|
||||
noise = api('POST', '/api/v1/chats', {'title': 'EXPLAIN noise', 'member_ids': [alice]},
|
||||
{'Authorization': 'Bearer ' + alice_token})['id']
|
||||
out('# target chat %s: %d messages; noise chat %s: %d messages' % (target, args.messages, noise, args.noise))
|
||||
|
||||
started = time.monotonic()
|
||||
psql('''
|
||||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||||
SELECT gen_random_uuid(), '%(target)s', CASE WHEN i %% 2 = 0 THEN '%(alice)s'::uuid ELSE '%(bob)s'::uuid END,
|
||||
'seed message ' || i, clock_timestamp() + i * interval '1 millisecond'
|
||||
FROM generate_series(1, %(messages)d) AS i;
|
||||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||||
SELECT gen_random_uuid(), '%(noise)s', '%(alice)s', 'noise message ' || i, clock_timestamp() + i * interval '1 millisecond'
|
||||
FROM generate_series(1, %(noise_count)d) AS i;
|
||||
ANALYZE messages;
|
||||
''' % {'target': target, 'noise': noise, 'alice': alice, 'bob': bob, 'messages': args.messages, 'noise_count': args.noise},
|
||||
echo=False)
|
||||
out('# inserted and analyzed in %.1f s' % (time.monotonic() - started))
|
||||
out(psql("SELECT 'messages total: ' || count(*) || ', in target chat: ' || count(*) FILTER (WHERE chat_id = '%s') FROM messages" % target, echo=False))
|
||||
|
||||
def key_at(position):
|
||||
row = psql("SELECT created_at || '|' || id FROM messages WHERE chat_id = '%s' ORDER BY created_at, id OFFSET %d LIMIT 1"
|
||||
% (target, position - 1), echo=False)
|
||||
return tuple(row.split('|'))
|
||||
|
||||
middle, last = key_at(args.messages // 2), key_at(args.messages - 20)
|
||||
explain = 'EXPLAIN (ANALYZE, BUFFERS, COSTS OFF) '
|
||||
out()
|
||||
out('== 1. First page, middle page and last page: index range scan, no sort ==')
|
||||
out(psql('\n'.join(explain + page_sql(target, after) + ';' for after in (None, middle, last))))
|
||||
out()
|
||||
out('== 2. Generic plan of the parameterized query (how a prepared statement with $1..$4 runs) ==')
|
||||
out(psql('''SET plan_cache_mode = force_generic_plan;
|
||||
PREPARE history_page(uuid, timestamptz, uuid, int) AS
|
||||
SELECT id, chat_id, sender_id, text, created_at FROM messages
|
||||
WHERE chat_id = $1 AND (created_at, id) > ($2, $3) ORDER BY created_at, id LIMIT $4;
|
||||
%sEXECUTE history_page('%s', '%s', '%s', %d);''' % (explain, target, middle[0], middle[1], PAGE)))
|
||||
out()
|
||||
out('== 3. For comparison: the same middle page without the index (rolled back) ==')
|
||||
out(psql('''BEGIN;
|
||||
DROP INDEX messages_chat_history_idx;
|
||||
%s%s;
|
||||
ROLLBACK;''' % (explain, page_sql(target, middle))))
|
||||
out(psql("SELECT 'index still exists: ' || (to_regclass('messages_chat_history_idx') IS NOT NULL)", echo=False))
|
||||
if args.output:
|
||||
Path(args.output).parent.mkdir(parents=True, exist_ok=True)
|
||||
Path(args.output).write_text('\n'.join(lines) + '\n', encoding='utf-8')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,62 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Create local secret files for the compose stand.
|
||||
|
||||
python scripts/init_secrets.py
|
||||
|
||||
Passwords are random and synthetic; they are created only if missing and never printed.
|
||||
The URL/config files are always rebuilt from the password files, so the pair stays consistent.
|
||||
secrets/ is listed in .gitignore and .dockerignore.
|
||||
|
||||
PostgreSQL applies its password only when the data volume is created. If secrets/ is
|
||||
deleted while the pgdata volume is kept, restore the old files or recreate the volume
|
||||
(docker compose down -v deletes ALL lab data).
|
||||
"""
|
||||
from pathlib import Path
|
||||
import json
|
||||
import secrets
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
DIR = ROOT / 'secrets'
|
||||
|
||||
|
||||
def write(name, content):
|
||||
path = DIR / name
|
||||
path.write_text(content, encoding='utf-8', newline='\n')
|
||||
# Readable for the non-root users inside containers (files are bind-mounted as is).
|
||||
path.chmod(0o644)
|
||||
|
||||
|
||||
def password(name):
|
||||
path = DIR / name
|
||||
if path.is_file() and path.read_text(encoding='utf-8').strip():
|
||||
print('keep secrets/' + name)
|
||||
return path.read_text(encoding='utf-8').strip()
|
||||
value = secrets.token_hex(24) # hex: safe inside URLs without escaping
|
||||
write(name, value + '\n')
|
||||
print('created secrets/' + name)
|
||||
return value
|
||||
|
||||
|
||||
def main():
|
||||
DIR.mkdir(exist_ok=True)
|
||||
postgres = password('postgres_password')
|
||||
valkey = password('valkey_password')
|
||||
write('database_url', 'postgresql://messenger:%s@postgres:5432/messenger\n' % postgres)
|
||||
write('valkey_auth', 'requirepass %s\n' % valkey)
|
||||
write('cache_url', 'valkey://:%s@valkey:6379/0\n' % valkey)
|
||||
admin_key = password('s3_admin_access_key_id')
|
||||
admin_secret = password('s3_admin_secret_access_key')
|
||||
api_key = password('s3_access_key_id')
|
||||
api_secret = password('s3_secret_access_key')
|
||||
identities = [
|
||||
dict(name='bootstrap', credentials=[dict(accessKey=admin_key, secretKey=admin_secret)],
|
||||
actions=['Admin', 'Read', 'Write', 'List', 'Tagging']),
|
||||
dict(name='messenger-api', credentials=[dict(accessKey=api_key, secretKey=api_secret)],
|
||||
actions=['Read:messenger-attachments', 'Write:messenger-attachments', 'List:messenger-attachments'])]
|
||||
# Нет anonymous identity: ни объект, ни список bucket не доступны анонимно.
|
||||
write('s3_config', json.dumps(dict(identities=identities)) + '\n')
|
||||
print('written secrets/database_url, secrets/valkey_auth, secrets/cache_url')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,211 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Повторяемые интеграционные проверки lab4. Запуск на локальном синтетическом стенде.
|
||||
|
||||
Ничего не удаляет из volumes. Отказы восстанавливаются в finally; токены не печатаются.
|
||||
"""
|
||||
import argparse
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import random
|
||||
import socket
|
||||
import struct
|
||||
import subprocess
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
from urllib.parse import urlsplit
|
||||
import zlib
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / 'tests'))
|
||||
from client import Client, Failure, check
|
||||
|
||||
|
||||
def command(*args):
|
||||
result = subprocess.run(list(args), cwd=ROOT, capture_output=True, text=True, encoding='utf-8', errors='replace')
|
||||
if result.returncode:
|
||||
raise RuntimeError('Command failed: ' + ' '.join(args[:4]) + '\n' + result.stderr[-1500:])
|
||||
return result.stdout.strip()
|
||||
|
||||
|
||||
def compose(*args):
|
||||
return command('docker', 'compose', *args)
|
||||
|
||||
|
||||
def sql(query):
|
||||
return compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-Atc', query)
|
||||
|
||||
|
||||
def ready(c):
|
||||
deadline = time.monotonic() + 60
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
c.call('GET', '/health/ready', schema='Health')
|
||||
return
|
||||
except Failure:
|
||||
time.sleep(0.5)
|
||||
raise AssertionError('API did not become ready')
|
||||
|
||||
|
||||
def stack(c):
|
||||
config = json.loads(compose('config', '--format', 'json'))
|
||||
for name in ('api', 'postgres', 'valkey', 's3'):
|
||||
check(not config['services'][name].get('ports'), name + ': internal ports must not be published')
|
||||
check(config['services']['api']['deploy']['replicas'] >= 2, 'two replicas required')
|
||||
compose('run', '--rm', '--no-deps', 'bucket')
|
||||
print('PASS stack: internal ports, 2 replicas, repeated bucket bootstrap')
|
||||
|
||||
|
||||
def private(c):
|
||||
a, b, eve, chat = c.bootstrap()
|
||||
att, data = c.attachment(a, chat)
|
||||
# Ключ доступен только оператору через БД, через публичный API его нет.
|
||||
key = sql("SELECT object_key FROM attachments WHERE id='%s'" % att['id'])
|
||||
code = """import urllib.request, urllib.error
|
||||
from messenger.objects import ObjectStore
|
||||
from botocore.exceptions import ClientError
|
||||
s=ObjectStore()
|
||||
try:
|
||||
urllib.request.urlopen('http://s3:8333/'+s.bucket+'/'+%r)
|
||||
raise AssertionError('anonymous GET allowed')
|
||||
except urllib.error.HTTPError as e:
|
||||
assert e.code==403, e.code
|
||||
try:
|
||||
s.client.create_bucket(Bucket='lab4-forbidden-bucket')
|
||||
raise AssertionError('API has admin rights')
|
||||
except ClientError as e:
|
||||
assert e.response['ResponseMetadata']['HTTPStatusCode']==403
|
||||
print('PASS private: anonymous object GET 403; API cannot create buckets')
|
||||
""" % key
|
||||
print(compose('exec', '-T', 'api', 'python', '-c', code))
|
||||
|
||||
|
||||
def failover(c):
|
||||
a, b, eve, chat = c.bootstrap()
|
||||
data = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
result = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=failover.png', 201,
|
||||
actor=a, raw=data, headers={'Content-Type': 'image/png'}, schema='Attachment')
|
||||
target = result['headers']['X-Instance-Id']
|
||||
ids = compose('ps', '-q', 'api').splitlines()
|
||||
check(any(i.startswith(target) for i in ids), 'upload instance must be a replica of this stack')
|
||||
try:
|
||||
command('docker', 'stop', target)
|
||||
ready(c)
|
||||
download = c.call('GET', '/api/v1/attachments/' + result['json']['id'] + '/content', actor=b)
|
||||
check(download['headers']['X-Instance-Id'] != target, 'download used stopped replica')
|
||||
check(download['bytes'] == data, 'failover changed bytes')
|
||||
print('PASS upload replica stopped -> another replica download; SHA256=' + hashlib.sha256(data).hexdigest())
|
||||
finally:
|
||||
command('docker', 'start', target)
|
||||
compose('up', '-d', '--wait')
|
||||
|
||||
|
||||
def outage(c):
|
||||
a, b, eve, chat = c.bootstrap()
|
||||
att, content = c.attachment(a, chat)
|
||||
start = time.monotonic()
|
||||
try:
|
||||
compose('stop', 's3')
|
||||
# После остановки dependency LB тоже исключает реплики. Проверяем обычным HTTP:
|
||||
# созданный LB ответ вправе не иметь X-Instance-Id.
|
||||
import urllib.request
|
||||
import urllib.error
|
||||
req = urllib.request.Request(c.base + '/api/v1/attachments/' + att['id'] + '/content',
|
||||
headers={'Authorization': 'Bearer ' + b['token']})
|
||||
try:
|
||||
urllib.request.urlopen(req, timeout=6)
|
||||
raise AssertionError('S3 down but content succeeded')
|
||||
except urllib.error.HTTPError as e:
|
||||
check(e.code == 503, 'S3 down must return 503')
|
||||
payload = json.loads(e.read())
|
||||
check(payload['error']['code'] == 'unavailable', 'invalid outage error')
|
||||
print('PASS S3 unavailable -> 503; elapsed_s=' + str(round(time.monotonic()-start, 3)))
|
||||
finally:
|
||||
compose('start', 's3')
|
||||
ready(c)
|
||||
check(c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=b)['bytes'] == content,
|
||||
'S3 outage lost object')
|
||||
print('PASS same token and original after S3 recovery')
|
||||
|
||||
|
||||
def png_noise():
|
||||
# 3 MiB несжимаемых пикселей, реальный PNG. Случайность фиксирована.
|
||||
rng = random.Random(42)
|
||||
raw = b''.join(b'\0' + rng.randbytes(1024 * 3) for _ in range(1024))
|
||||
def chunk(kind, data):
|
||||
return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data))
|
||||
return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', struct.pack('>IIBBBBB', 1024, 1024, 8, 2, 0, 0, 0))
|
||||
+ chunk(b'IDAT', zlib.compress(raw)) + chunk(b'IEND', b''))
|
||||
|
||||
|
||||
def memory(c):
|
||||
a, b, eve, chat = c.bootstrap()
|
||||
data = png_noise()
|
||||
ids = compose('ps', '-q', 'api').splitlines()
|
||||
# Kernel memory.peak учитывает дочерний decoder и tmpfs; sampling не пропустит пик.
|
||||
before = [int(command('docker', 'exec', i, 'cat', '/sys/fs/cgroup/memory.current')) for i in ids]
|
||||
barrier = threading.Barrier(10)
|
||||
def upload(_):
|
||||
barrier.wait()
|
||||
start = time.monotonic()
|
||||
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=memory.png', 201,
|
||||
actor=a, raw=data, headers={'Content-Type': 'image/png'}, schema='Attachment')
|
||||
return round(time.monotonic() - start, 3), r['headers']['X-Instance-Id'], r['json']
|
||||
start = time.monotonic()
|
||||
with ThreadPoolExecutor(max_workers=10) as pool:
|
||||
results = list(pool.map(upload, range(10)))
|
||||
elapsed = time.monotonic() - start
|
||||
peak = [int(command('docker', 'exec', i, 'cat', '/sys/fs/cgroup/memory.peak')) for i in ids]
|
||||
for _, _, att in results:
|
||||
got = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=b)
|
||||
check(hashlib.sha256(got['bytes']).hexdigest() == att['sha256'], 'concurrent checksum mismatch')
|
||||
print(json.dumps(dict(concurrent=10, successful=10, bytes_per_file=len(data), dimensions=[1024, 1024],
|
||||
seconds=round(elapsed, 3), successful_rps=round(10/elapsed, 3),
|
||||
latency_seconds=sorted(r[0] for r in results),
|
||||
replicas=len(set(r[1] for r in results)), memory_before_bytes=before,
|
||||
memory_peak_bytes=peak, peak_scope='container lifetime; cgroup includes decoder and tmpfs')))
|
||||
|
||||
|
||||
def compensation(c):
|
||||
a, b, eve, chat = c.bootstrap()
|
||||
before = int(sql('SELECT count(*) FROM attachments'))
|
||||
sql("""CREATE OR REPLACE FUNCTION lab4_force_failure() RETURNS trigger LANGUAGE plpgsql AS $$
|
||||
BEGIN IF NEW.filename='lab4-force-rollback.png' THEN RAISE EXCEPTION 'synthetic lab4 failure'; END IF;
|
||||
RETURN NEW; END $$;
|
||||
CREATE TRIGGER lab4_force_failure BEFORE INSERT ON attachments FOR EACH ROW EXECUTE FUNCTION lab4_force_failure();""")
|
||||
try:
|
||||
c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=lab4-force-rollback.png', 500,
|
||||
actor=a, raw=(ROOT / 'tests/fixtures/sample.png').read_bytes(), headers={'Content-Type': 'image/png'})
|
||||
check(int(sql('SELECT count(*) FROM attachments')) == before, 'failed transaction left metadata')
|
||||
finally:
|
||||
sql('DROP TRIGGER IF EXISTS lab4_force_failure ON attachments; DROP FUNCTION IF EXISTS lab4_force_failure()')
|
||||
print('PASS injected DB failure after S3 PUT: metadata rolled back, no 201; fresh orphan protected by grace')
|
||||
print(compose('--profile', 'tools', 'run', '--rm', '--no-deps', 'cleanup'))
|
||||
# Обрыв клиента до завершения тела: INSERT/PUT ещё не выполнялись.
|
||||
address = urlsplit(c.base)
|
||||
with socket.create_connection((address.hostname, address.port or 80), timeout=5) as sock:
|
||||
body = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
headers = ('POST /api/v1/chats/%s/attachments?filename=interrupted.png HTTP/1.1\r\n'
|
||||
'Host: local\r\nAuthorization: Bearer %s\r\nContent-Type: image/png\r\n'
|
||||
'Content-Length: %d\r\n\r\n') % (chat['id'], a['token'], len(body))
|
||||
sock.sendall(headers.encode() + body[:len(body)//2])
|
||||
time.sleep(1)
|
||||
check(int(sql('SELECT count(*) FROM attachments')) == before, 'interrupted upload committed metadata')
|
||||
print('PASS interrupted upload: no attachment committed')
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--base-url', default=os.environ.get('BASE_URL', 'http://127.0.0.1:8080'))
|
||||
parser.add_argument('--only', nargs='+', choices=['stack', 'private', 'failover', 'outage', 'memory', 'compensation'])
|
||||
args = parser.parse_args()
|
||||
c = Client(args.base_url, timeout=30)
|
||||
for name in args.only or ['stack', 'private', 'failover', 'outage', 'memory', 'compensation']:
|
||||
globals()[name](c)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,10 @@
|
||||
@echo off
|
||||
rem Windows twin of scripts/restart.sh: tests/resilience.py starts the hook directly,
|
||||
rem and Windows cannot execute a .sh file. Same actions, volumes are kept.
|
||||
setlocal
|
||||
cd /d "%~dp0.."
|
||||
docker compose stop api || exit /b 1
|
||||
docker compose restart postgres valkey s3 || exit /b 1
|
||||
docker compose start api || exit /b 1
|
||||
docker compose restart lb || exit /b 1
|
||||
exit /b 0
|
||||
@@ -0,0 +1,11 @@
|
||||
#!/bin/sh
|
||||
# Hook for: make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
# Restarts the whole stand: all API replicas, PostgreSQL, Valkey and the load balancer,
|
||||
# keeping the named volumes: no "down -v", no FLUSHALL, no re-seed.
|
||||
# The test itself waits for API readiness through the load balancer afterwards.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop api
|
||||
docker compose restart postgres valkey s3
|
||||
docker compose start api
|
||||
docker compose restart lb
|
||||
@@ -0,0 +1,35 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Sanitized runtime snapshot: real processes, start times, limits and volumes; no environment/secrets."""
|
||||
import datetime as dt
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def command(*args):
|
||||
return subprocess.check_output(list(args), cwd=ROOT, text=True, encoding='utf-8')
|
||||
|
||||
|
||||
def main():
|
||||
ids = command('docker', 'compose', 'ps', '-a', '-q').split()
|
||||
containers = json.loads(command('docker', 'inspect', *ids))
|
||||
result = {'captured_at': dt.datetime.now(dt.timezone.utc).isoformat(), 'containers': []}
|
||||
for item in containers:
|
||||
# Only these selected fields are persisted; Config.Env is deliberately excluded.
|
||||
result['containers'].append(dict(
|
||||
name=item['Name'].lstrip('/'), image=item['Config']['Image'],
|
||||
status=item['State']['Status'], started_at=item['State']['StartedAt'],
|
||||
health=item['State'].get('Health', {}).get('Status'),
|
||||
memory_limit_bytes=item['HostConfig']['Memory'], cpu_limit_nanos=item['HostConfig']['NanoCpus'],
|
||||
volumes=[dict(name=m.get('Name'), destination=m['Destination'])
|
||||
for m in item['Mounts'] if m['Type'] == 'volume'],
|
||||
published_ports=item['NetworkSettings']['Ports']))
|
||||
text = json.dumps(result, indent=2)
|
||||
(ROOT / 'evidence/stack.json').write_text(text + '\n', encoding='utf-8')
|
||||
print('Saved evidence/stack.json (process start times, versions, limits, volumes and ports)')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,19 @@
|
||||
@echo off
|
||||
rem Windows twin of scripts/stop-one.sh: tests/resilience.py starts the hook directly,
|
||||
rem and Windows cannot execute a .sh file. Stops ONE api replica by X-Instance-Id (container ID).
|
||||
setlocal
|
||||
if "%TARGET_INSTANCE_ID%"=="" (
|
||||
echo TARGET_INSTANCE_ID is not set 1>&2
|
||||
exit /b 2
|
||||
)
|
||||
cd /d "%~dp0.."
|
||||
set PROJECT=%COMPOSE_PROJECT_NAME%
|
||||
if "%PROJECT%"=="" set PROJECT=mtusi-lab4
|
||||
set ID=
|
||||
for /f %%i in ('docker ps -q --filter "id=%TARGET_INSTANCE_ID%" --filter "label=com.docker.compose.project=%PROJECT%" --filter "label=com.docker.compose.service=api"') do set ID=%%i
|
||||
if "%ID%"=="" (
|
||||
echo TARGET_INSTANCE_ID is not a running api replica of %PROJECT% 1>&2
|
||||
exit /b 1
|
||||
)
|
||||
docker stop %ID% >nul || exit /b 1
|
||||
exit /b 0
|
||||
@@ -0,0 +1,19 @@
|
||||
#!/bin/sh
|
||||
# Hook for: make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
# Stops exactly ONE API replica and leaves it stopped. TARGET_INSTANCE_ID is the X-Instance-Id
|
||||
# of the replica, which is its container hostname = short container ID. The hook checks that
|
||||
# the ID belongs to a running "api" container of this compose project before stopping it.
|
||||
# docker stop sends SIGTERM: the replica reports not ready, HAProxy removes it, then it exits.
|
||||
# Restore afterwards: docker compose up -d (or docker start <id>)
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
cd "$(dirname "$0")/.."
|
||||
project="${COMPOSE_PROJECT_NAME:-mtusi-lab4}"
|
||||
id=$(docker ps -q --filter "id=$TARGET_INSTANCE_ID" \
|
||||
--filter "label=com.docker.compose.project=$project" \
|
||||
--filter "label=com.docker.compose.service=api")
|
||||
if [ -z "$id" ]; then
|
||||
echo "TARGET_INSTANCE_ID is not a running api replica of $project" >&2
|
||||
exit 1
|
||||
fi
|
||||
docker stop "$id" >/dev/null
|
||||
@@ -0,0 +1,43 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Run acceptance checks and save real UTF-8 evidence. Requires an already running stand."""
|
||||
import argparse
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def main():
|
||||
url = os.environ.get('BASE_URL', 'http://127.0.0.1:8080')
|
||||
hook = 'scripts/restart.cmd' if os.name == 'nt' else 'scripts/restart.sh'
|
||||
checks = [
|
||||
('offline.txt', ['scripts/check_contract.py']),
|
||||
('smoke.txt', ['tests/smoke.py', '--base-url', url]),
|
||||
('tests.txt', ['-m', 'unittest', 'discover', '-s', 'student-tests', '-v']),
|
||||
('lab4-checks.txt', ['scripts/lab4_checks.py', '--base-url', url]),
|
||||
('postgres-pause.txt', ['scripts/check_postgres_pause.py', '--base-url', url]),
|
||||
('persistence.txt', ['tests/resilience.py', '--mode', 'persistence', '--action-script', hook, '--base-url', url]),
|
||||
('stack.txt', ['scripts/stack_evidence.py']),
|
||||
]
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--only', nargs='+', choices=[Path(filename).stem for filename, _ in checks])
|
||||
parser.add_argument('--output-prefix', default='', help='Keep a separate set of evidence logs')
|
||||
options = parser.parse_args()
|
||||
for filename, args in checks:
|
||||
if options.only and Path(filename).stem not in options.only:
|
||||
continue
|
||||
result = subprocess.run([sys.executable, '-X', 'utf8', *args], cwd=ROOT,
|
||||
env=dict(os.environ, BASE_URL=url), capture_output=True)
|
||||
content = result.stdout.decode('utf-8', errors='replace') + result.stderr.decode('utf-8', errors='replace')
|
||||
(ROOT / 'evidence' / (options.output_prefix + filename)).write_text(content, encoding='utf-8')
|
||||
print(filename + ': ' + ('PASS' if result.returncode == 0 else 'FAIL'), flush=True)
|
||||
if result.returncode:
|
||||
print(content[-6000:], flush=True)
|
||||
return result.returncode
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1 @@
|
||||
"""In-memory мессенджер, лабораторная 1. Только стандартная библиотека Python."""
|
||||
@@ -0,0 +1,94 @@
|
||||
"""Точка входа API: python -m messenger."""
|
||||
import logging
|
||||
import signal
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
|
||||
from .config import load_config
|
||||
from .db import Repository, create_pool
|
||||
from .server import MessengerServer
|
||||
from .sessions import SessionStore
|
||||
from .objects import ObjectStore
|
||||
|
||||
log = logging.getLogger('messenger')
|
||||
|
||||
# Как часто реплика удаляет ключи идемпотентности старше срока хранения.
|
||||
CLEANUP_INTERVAL = 600
|
||||
|
||||
|
||||
def cleanup_idempotency_keys(repo, ttl, stop):
|
||||
"""Фоновая очистка. Каждая реплика делает одно и то же; повторный DELETE безвреден."""
|
||||
while not stop.wait(CLEANUP_INTERVAL):
|
||||
try:
|
||||
deleted = repo.delete_expired_idempotency_keys(ttl)
|
||||
log.info('event=idempotency_cleanup deleted=%d', deleted)
|
||||
except Exception as error: # очистка не должна останавливать реплику
|
||||
log.warning('event=idempotency_cleanup_failed error=%s', type(error).__name__)
|
||||
|
||||
|
||||
def main():
|
||||
config = load_config()
|
||||
logging.Formatter.converter = time.gmtime # время в логах — UTC
|
||||
logging.basicConfig(
|
||||
stream=sys.stdout,
|
||||
level=config.log_level,
|
||||
format='%(asctime)s.%(msecs)03dZ %(levelname)s %(message)s',
|
||||
datefmt='%Y-%m-%dT%H:%M:%S',
|
||||
)
|
||||
# Пул открывается в фоне: если БД ещё не готова, API всё равно стартует,
|
||||
# а /health/ready отвечает 503, пока соединение не появится.
|
||||
pool = create_pool(config.database_url, config.db_pool_size)
|
||||
pool.open(wait=False)
|
||||
sessions = SessionStore(config.cache_url, config.session_ttl)
|
||||
repo = Repository(pool)
|
||||
try:
|
||||
server = MessengerServer((config.host, config.port), repo, sessions, config.instance_id,
|
||||
config.idempotency_ttl, ObjectStore())
|
||||
except OSError as error:
|
||||
log.error('event=bind_failed host=%s port=%d error=%s', config.host, config.port, error)
|
||||
return 1
|
||||
|
||||
# Обработчик сигнала только запоминает номер: всю остановку делает главный поток.
|
||||
received = []
|
||||
|
||||
def on_signal(signum, _frame):
|
||||
received.append(signum)
|
||||
|
||||
for name in ('SIGTERM', 'SIGINT', 'SIGBREAK'): # SIGBREAK есть только в Windows
|
||||
if hasattr(signal, name):
|
||||
signal.signal(getattr(signal, name), on_signal)
|
||||
|
||||
stop_cleanup = threading.Event()
|
||||
threading.Thread(target=cleanup_idempotency_keys, args=(repo, config.idempotency_ttl, stop_cleanup),
|
||||
name='idempotency-cleanup', daemon=True).start()
|
||||
threading.Thread(target=server.serve_forever, name='accept-loop', daemon=True).start()
|
||||
log.info('event=started instance=%s version=%s host=%s port=%d env=%s session_ttl_s=%d db_pool_max=%d '
|
||||
'drain_delay_s=%g shutdown_timeout_s=%g', config.instance_id, config.version, config.host, config.port,
|
||||
config.env, config.session_ttl, config.db_pool_size, config.drain_delay, config.shutdown_timeout)
|
||||
|
||||
while not received:
|
||||
time.sleep(0.1)
|
||||
|
||||
started = time.monotonic()
|
||||
log.info('event=shutdown_started signal=%s', signal.Signals(received[0]).name)
|
||||
# 1. Реплика объявляет себя неготовой, но ещё обслуживает запросы: балансировщик проверяет
|
||||
# /health/ready каждую секунду и после двух неудач (около 2 с) перестаёт слать сюда трафик.
|
||||
server.begin_not_ready()
|
||||
time.sleep(config.drain_delay)
|
||||
# 2. Приём закрывается. Запросы на уже открытых соединениях получают 503.
|
||||
server.begin_drain()
|
||||
server.shutdown()
|
||||
server.server_close()
|
||||
# 3. Начатые запросы дорабатывают. Секунда остаётся на закрытие соединений с хранилищами.
|
||||
remaining = config.shutdown_timeout - 1 - (time.monotonic() - started)
|
||||
clean = server.wait_idle(max(remaining, 0))
|
||||
stop_cleanup.set()
|
||||
pool.close(timeout=1)
|
||||
sessions.close()
|
||||
log.info('event=shutdown_finished clean=%s duration_ms=%.0f', clean, (time.monotonic() - started) * 1000)
|
||||
return 0 if clean else 1
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,31 @@
|
||||
"""Идемпотентное создание bucket отдельными административными credentials."""
|
||||
import time
|
||||
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
|
||||
from .objects import ObjectStore
|
||||
|
||||
|
||||
def main():
|
||||
store = ObjectStore(admin=True)
|
||||
for attempt in range(30):
|
||||
try:
|
||||
store.client.create_bucket(Bucket=store.bucket, ACL='private')
|
||||
print('bucket ready (private; authentication configured by s3_config)')
|
||||
return
|
||||
except ClientError as error:
|
||||
if error.response['Error']['Code'] in ('BucketAlreadyOwnedByYou', 'BucketAlreadyExists'):
|
||||
# Нельзя присваивать bucket другого владельца: head с собственным ключом.
|
||||
store.ping()
|
||||
print('bucket already ready')
|
||||
return
|
||||
if attempt == 29:
|
||||
raise
|
||||
except BotoCoreError:
|
||||
if attempt == 29:
|
||||
raise
|
||||
time.sleep(1)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,55 @@
|
||||
"""Сборщик неучтённых объектов; default dry-run, grace >= 1 час, повторный запуск безопасен.
|
||||
|
||||
Оператор: docker compose --profile tools run --rm cleanup [--apply]
|
||||
Только originals/. Свежий объект и любая запись БД защищены. Проверка БД и удаление
|
||||
делаются под той же advisory lock, которую upload держит от PUT до COMMIT.
|
||||
При недоступности БД/S3 обход прерывается, никаких delete по неполному снимку.
|
||||
"""
|
||||
import argparse
|
||||
import datetime as dt
|
||||
import json
|
||||
import time
|
||||
|
||||
from .config import read_secret
|
||||
from .db import create_pool
|
||||
from .objects import ObjectStore
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--apply', action='store_true')
|
||||
parser.add_argument('--grace-seconds', type=int, default=3600)
|
||||
args = parser.parse_args()
|
||||
if args.grace_seconds < 3600:
|
||||
parser.error('grace не меньше 3600 секунд')
|
||||
store = ObjectStore(admin=True)
|
||||
pool = create_pool(read_secret('DATABASE_URL'), 1)
|
||||
pool.open(wait=True)
|
||||
cutoff = dt.datetime.now(dt.timezone.utc) - dt.timedelta(seconds=args.grace_seconds)
|
||||
counts = dict(scanned=0, fresh=0, referenced=0, orphan=0, deleted=0)
|
||||
start = time.monotonic()
|
||||
try:
|
||||
pages = store.client.get_paginator('list_objects_v2').paginate(Bucket=store.bucket, Prefix='originals/')
|
||||
for page in pages:
|
||||
for obj in page.get('Contents', []):
|
||||
counts['scanned'] += 1
|
||||
if obj['LastModified'] >= cutoff:
|
||||
counts['fresh'] += 1
|
||||
continue
|
||||
with pool.connection() as conn:
|
||||
conn.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s, 0))', (obj['Key'],))
|
||||
row = conn.execute('SELECT 1 FROM attachments WHERE object_key=%s', (obj['Key'],)).fetchone()
|
||||
if row:
|
||||
counts['referenced'] += 1
|
||||
else:
|
||||
counts['orphan'] += 1
|
||||
if args.apply:
|
||||
store.call('delete_object', Key=obj['Key'])
|
||||
counts['deleted'] += 1
|
||||
finally:
|
||||
pool.close()
|
||||
print(json.dumps(dict(counts, apply=args.apply, seconds=round(time.monotonic()-start, 3))))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,84 @@
|
||||
"""Конфигурация из переменных окружения и файлов секретов (см. .env.example и compose.yaml)."""
|
||||
import os
|
||||
import socket
|
||||
from collections import namedtuple
|
||||
|
||||
Config = namedtuple('Config', 'host port env log_level shutdown_timeout drain_delay session_ttl idempotency_ttl '
|
||||
'db_pool_size database_url cache_url instance_id version')
|
||||
|
||||
LOG_LEVELS = ('DEBUG', 'INFO', 'WARNING', 'ERROR')
|
||||
# Заявленный срок остановки по SIGTERM — не более 10 секунд.
|
||||
MAX_SHUTDOWN_TIMEOUT = 10.0
|
||||
MAX_SESSION_TTL = 30 * 24 * 3600
|
||||
# Контракт: результат идемпотентного запроса хранится не меньше 24 часов.
|
||||
MIN_IDEMPOTENCY_TTL = 24 * 3600
|
||||
|
||||
|
||||
def _environ(environ):
|
||||
# strip(): .env из Windows может принести в значение символ \r.
|
||||
return {name: value.strip() for name, value in (os.environ if environ is None else environ).items()}
|
||||
|
||||
|
||||
def read_secret(name, environ=None):
|
||||
"""Секрет из файла, путь к которому в NAME_FILE (секреты Docker), или из NAME для отладки.
|
||||
|
||||
Значение секрета никогда не попадает в сообщения об ошибках и в логи.
|
||||
"""
|
||||
environ = _environ(environ)
|
||||
path = environ.get(name + '_FILE')
|
||||
if path:
|
||||
try:
|
||||
with open(path, encoding='utf-8') as file:
|
||||
value = file.read().strip()
|
||||
except OSError as error:
|
||||
raise SystemExit('Не удалось прочитать файл из %s_FILE: %s' % (name, error.strerror))
|
||||
else:
|
||||
value = environ.get(name, '')
|
||||
if not value:
|
||||
raise SystemExit('Нужен %s_FILE (путь к файлу секрета) или %s' % (name, name))
|
||||
return value
|
||||
|
||||
|
||||
def _integer(environ, name, default, low, high):
|
||||
try:
|
||||
value = int(environ.get(name, str(default)))
|
||||
except ValueError:
|
||||
raise SystemExit('%s должен быть целым числом' % name)
|
||||
if not low <= value <= high:
|
||||
raise SystemExit('%s должен быть в диапазоне %d..%d' % (name, low, high))
|
||||
return value
|
||||
|
||||
|
||||
def load_config(environ=None):
|
||||
environ = _environ(environ)
|
||||
try:
|
||||
shutdown_timeout = float(environ.get('APP_SHUTDOWN_TIMEOUT', '8'))
|
||||
drain_delay = float(environ.get('APP_DRAIN_DELAY', '3'))
|
||||
except ValueError:
|
||||
raise SystemExit('APP_SHUTDOWN_TIMEOUT и APP_DRAIN_DELAY должны быть числами')
|
||||
if not 0 < shutdown_timeout <= MAX_SHUTDOWN_TIMEOUT:
|
||||
raise SystemExit('APP_SHUTDOWN_TIMEOUT должен быть больше 0 и не больше 10 секунд')
|
||||
# Задержка вывода из балансировщика входит в общий срок остановки, и на сами запросы
|
||||
# должно остаться время.
|
||||
if not 0 <= drain_delay <= shutdown_timeout - 2:
|
||||
raise SystemExit('APP_DRAIN_DELAY должен быть от 0 до APP_SHUTDOWN_TIMEOUT - 2 секунд')
|
||||
log_level = environ.get('APP_LOG_LEVEL', 'INFO').upper()
|
||||
if log_level not in LOG_LEVELS:
|
||||
raise SystemExit('APP_LOG_LEVEL должен быть одним из: ' + ', '.join(LOG_LEVELS))
|
||||
return Config(
|
||||
host=environ.get('APP_HOST', '0.0.0.0'),
|
||||
port=_integer(environ, 'APP_PORT', 8080, 1, 65535),
|
||||
env=environ.get('APP_ENV', 'lab'),
|
||||
log_level=log_level,
|
||||
shutdown_timeout=shutdown_timeout,
|
||||
drain_delay=drain_delay,
|
||||
session_ttl=_integer(environ, 'SESSION_TTL_SECONDS', 3600, 1, MAX_SESSION_TTL),
|
||||
idempotency_ttl=_integer(environ, 'IDEMPOTENCY_TTL_SECONDS', MIN_IDEMPOTENCY_TTL,
|
||||
MIN_IDEMPOTENCY_TTL, MAX_SESSION_TTL),
|
||||
db_pool_size=_integer(environ, 'DB_POOL_SIZE', 10, 1, 50),
|
||||
database_url=read_secret('DATABASE_URL', environ),
|
||||
cache_url=read_secret('CACHE_URL', environ),
|
||||
# X-Instance-Id: в Docker hostname контейнера — короткий ID, по нему хук находит реплику.
|
||||
instance_id=environ.get('INSTANCE_ID') or socket.gethostname(),
|
||||
version=environ.get('APP_VERSION', 'dev'),
|
||||
)
|
||||
@@ -0,0 +1,303 @@
|
||||
"""Доступ к PostgreSQL: ограниченный пул соединений, таймауты, только параметризованные запросы.
|
||||
|
||||
Значения всегда передаются отдельно от текста SQL (%s), поэтому SQL-инъекция невозможна.
|
||||
Каждый метод — одна транзакция: при любой ошибке внутри неё всё откатывается.
|
||||
"""
|
||||
import logging
|
||||
import uuid
|
||||
from contextlib import contextmanager
|
||||
|
||||
import psycopg
|
||||
from psycopg import errors
|
||||
from psycopg.rows import dict_row
|
||||
from psycopg_pool import ConnectionPool
|
||||
|
||||
from .errors import Unavailable, not_found
|
||||
from .timeutil import format_time, from_micros, to_micros
|
||||
|
||||
log = logging.getLogger('messenger')
|
||||
|
||||
# Таймауты на стороне сервера БД: долгий запрос, ожидание блокировки и брошенная транзакция
|
||||
# прерываются, а не держат соединение из пула бесконечно.
|
||||
SESSION_OPTIONS = '-c statement_timeout=5000 -c lock_timeout=3000 -c idle_in_transaction_session_timeout=10000'
|
||||
|
||||
# Отдельный клиентский предел: server-side таймеры не работают при docker pause.
|
||||
DB_IO_TIMEOUT = 3.0
|
||||
|
||||
|
||||
class BoundedConnection(psycopg.Connection):
|
||||
"""Ограничивает сетевое ожидание, включая pool check, COMMIT и ROLLBACK.
|
||||
|
||||
Connection.wait(timeout=...) поддерживается закреплённым psycopg 3.3.6.
|
||||
После таймаута протокол может быть посреди ответа: такое соединение нельзя
|
||||
возвращать в пул или ждать его ROLLBACK. Закрываем его в том же потоке;
|
||||
pool заменит закрытое соединение. Ожидания server-side CANCEL здесь нет.
|
||||
"""
|
||||
|
||||
def wait(self, gen, interval=0.1, timeout=None):
|
||||
limit = DB_IO_TIMEOUT if timeout is None else min(timeout, DB_IO_TIMEOUT)
|
||||
try:
|
||||
return super().wait(gen, interval=interval, timeout=limit)
|
||||
except errors._WaitTimeout as error:
|
||||
self.close()
|
||||
raise psycopg.OperationalError('PostgreSQL client I/O timeout') from error
|
||||
|
||||
|
||||
MEMBER_IDS = 'array(SELECT m.user_id FROM chat_members m WHERE m.chat_id = c.id ORDER BY m.position) AS member_ids'
|
||||
|
||||
|
||||
class UsernameTaken(Exception):
|
||||
pass
|
||||
|
||||
|
||||
class UnknownMember(Exception):
|
||||
pass
|
||||
|
||||
|
||||
class IdempotencyConflict(Exception):
|
||||
"""Тот же Idempotency-Key уже использован с другим телом запроса."""
|
||||
|
||||
|
||||
def create_pool(database_url, max_size):
|
||||
return ConnectionPool(
|
||||
database_url,
|
||||
connection_class=BoundedConnection,
|
||||
min_size=1,
|
||||
max_size=max_size, # не больше max_size соединений с БД на процесс
|
||||
timeout=3, # ждать свободное соединение не дольше 3 с, затем 503
|
||||
max_waiting=100, # очередь ожидающих запросов ограничена
|
||||
check=ConnectionPool.check_connection, # оборванное соединение (рестарт БД) не выдаётся
|
||||
kwargs={
|
||||
'connect_timeout': 3,
|
||||
'application_name': 'messenger-api',
|
||||
'options': SESSION_OPTIONS,
|
||||
'row_factory': dict_row,
|
||||
},
|
||||
name='messenger',
|
||||
open=False,
|
||||
)
|
||||
|
||||
|
||||
def _user(row):
|
||||
return {'id': str(row['id']), 'username': row['username'], 'display_name': row['display_name'],
|
||||
'created_at': format_time(row['created_at'])}
|
||||
|
||||
|
||||
def _chat(row):
|
||||
return {'id': str(row['id']), 'title': row['title'], 'member_ids': [str(m) for m in row['member_ids']],
|
||||
'created_at': format_time(row['created_at'])}
|
||||
|
||||
|
||||
def _message(row):
|
||||
return {'id': str(row['id']), 'chat_id': str(row['chat_id']), 'sender_id': str(row['sender_id']),
|
||||
'text': row['text'], 'attachment_ids': [str(x) for x in row['attachment_ids']],
|
||||
'created_at': format_time(row['created_at'])}
|
||||
|
||||
|
||||
def attachment(row):
|
||||
return {**{k: str(row[k]) for k in ('id', 'chat_id', 'owner_id')},
|
||||
**{k: row[k] for k in ('filename', 'content_type', 'size_bytes', 'sha256')},
|
||||
'status': 'ready', 'variants': [], 'error_code': None,
|
||||
'created_at': format_time(row['created_at']), 'updated_at': format_time(row['updated_at'])}
|
||||
|
||||
|
||||
def _page(rows, limit, convert):
|
||||
"""Из limit+1 строк: элементы страницы и ключ (created_at, id) последней, если есть продолжение."""
|
||||
items = rows[:limit]
|
||||
has_more = len(rows) > limit
|
||||
next_key = (to_micros(items[-1]['created_at']), str(items[-1]['id'])) if has_more else None
|
||||
return [convert(row) for row in items], next_key
|
||||
|
||||
|
||||
def _after(key):
|
||||
return from_micros(key[0]), uuid.UUID(key[1])
|
||||
|
||||
|
||||
class Repository:
|
||||
def __init__(self, pool):
|
||||
self._pool = pool
|
||||
|
||||
@contextmanager
|
||||
def _transaction(self):
|
||||
"""Соединение из пула в транзакции: COMMIT при успехе, ROLLBACK при исключении."""
|
||||
try:
|
||||
with self._pool.connection() as conn:
|
||||
yield conn
|
||||
except psycopg.OperationalError as error:
|
||||
# Включая клиентский I/O timeout, когда процесс PostgreSQL приостановлен.
|
||||
raise Unavailable('postgres') from error
|
||||
|
||||
def ping(self):
|
||||
with self._transaction() as conn:
|
||||
conn.execute('SELECT 1')
|
||||
|
||||
# --- пользователи -------------------------------------------------------
|
||||
|
||||
def create_user(self, username, display_name, password_hash):
|
||||
try:
|
||||
with self._transaction() as conn:
|
||||
row = conn.execute(
|
||||
'INSERT INTO users (id, username, display_name, password_hash) VALUES (%s, %s, %s, %s) '
|
||||
'RETURNING id, username, display_name, created_at',
|
||||
(uuid.uuid4(), username, display_name, password_hash),
|
||||
).fetchone()
|
||||
except errors.UniqueViolation:
|
||||
# Уникальность username гарантирует индекс БД, поэтому гонка двух регистраций безопасна.
|
||||
raise UsernameTaken
|
||||
return _user(row)
|
||||
|
||||
def get_user(self, user_id):
|
||||
with self._transaction() as conn:
|
||||
row = conn.execute(
|
||||
'SELECT id, username, display_name, created_at FROM users WHERE id = %s', (uuid.UUID(user_id),),
|
||||
).fetchone()
|
||||
return _user(row) if row else None
|
||||
|
||||
def get_credentials(self, username):
|
||||
"""(пользователь, хеш пароля) или (None, None)."""
|
||||
with self._transaction() as conn:
|
||||
row = conn.execute(
|
||||
'SELECT id, username, display_name, created_at, password_hash FROM users WHERE username = %s',
|
||||
(username,),
|
||||
).fetchone()
|
||||
return (_user(row), row['password_hash']) if row else (None, None)
|
||||
|
||||
# --- чаты ---------------------------------------------------------------
|
||||
|
||||
def create_chat(self, title, member_ids):
|
||||
"""Чат и все участники одной транзакцией.
|
||||
|
||||
Неизвестный участник нарушает внешний ключ chat_members.user_id; тогда транзакция
|
||||
откатывается целиком и уже вставленная строка chats тоже исчезает.
|
||||
"""
|
||||
chat_id = uuid.uuid4()
|
||||
members = [uuid.UUID(member_id) for member_id in member_ids]
|
||||
try:
|
||||
with self._transaction() as conn:
|
||||
row = conn.execute(
|
||||
'INSERT INTO chats (id, title) VALUES (%s, %s) RETURNING id, title, created_at', (chat_id, title),
|
||||
).fetchone()
|
||||
conn.execute(
|
||||
'INSERT INTO chat_members (chat_id, user_id, position) '
|
||||
'SELECT %s, member.user_id, member.ordinality - 1 '
|
||||
'FROM unnest(%s::uuid[]) WITH ORDINALITY AS member(user_id, ordinality)',
|
||||
(chat_id, members),
|
||||
)
|
||||
except errors.ForeignKeyViolation:
|
||||
log.info('event=chat_rolled_back reason=unknown_member')
|
||||
raise UnknownMember
|
||||
return _chat(dict(row, member_ids=members))
|
||||
|
||||
def get_chat(self, chat_id, user_id):
|
||||
"""Чат, если он есть и user_id в нём состоит; иначе None."""
|
||||
with self._transaction() as conn:
|
||||
row = conn.execute(
|
||||
'SELECT c.id, c.title, c.created_at, ' + MEMBER_IDS + ' FROM chats c '
|
||||
'WHERE c.id = %s AND EXISTS ('
|
||||
' SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = %s)',
|
||||
(uuid.UUID(chat_id), uuid.UUID(user_id)),
|
||||
).fetchone()
|
||||
return _chat(row) if row else None
|
||||
|
||||
def list_chats(self, user_id, after, limit):
|
||||
select = ('SELECT c.id, c.title, c.created_at, ' + MEMBER_IDS + ' '
|
||||
'FROM chat_members me JOIN chats c ON c.id = me.chat_id WHERE me.user_id = %s ')
|
||||
order = 'ORDER BY c.created_at, c.id LIMIT %s'
|
||||
with self._transaction() as conn:
|
||||
if after is None:
|
||||
rows = conn.execute(select + order, (uuid.UUID(user_id), limit + 1)).fetchall()
|
||||
else:
|
||||
rows = conn.execute(select + 'AND (c.created_at, c.id) > (%s, %s) ' + order,
|
||||
(uuid.UUID(user_id), *_after(after), limit + 1)).fetchall()
|
||||
return _page(rows, limit, _chat)
|
||||
|
||||
# --- сообщения ----------------------------------------------------------
|
||||
|
||||
def add_message(self, chat_id, sender_id, text, key, request_hash, ttl_seconds, attachment_ids=()):
|
||||
"""Идемпотентная отправка: (сообщение, True если это повтор уже выполненного запроса).
|
||||
|
||||
Строка чата блокируется до конца транзакции. Поэтому, во-первых, сообщения одного чата
|
||||
записываются по очереди и created_at растёт в порядке фиксации: читатель, идущий по
|
||||
cursor, не пропустит сообщение, зафиксированное позже уже прочитанного. Во-вторых,
|
||||
одновременные запросы с одним ключом (область ключа включает путь чата) тоже идут по
|
||||
очереди, даже через разные реплики: второй увидит ключ первого и вернёт то же сообщение.
|
||||
Ключ и сообщение фиксируются одной транзакцией; при ошибке не остаётся ни того, ни другого.
|
||||
"""
|
||||
chat = uuid.UUID(chat_id)
|
||||
scope = (uuid.UUID(sender_id), 'POST', '/api/v1/chats/%s/messages' % chat_id, key)
|
||||
with self._transaction() as conn:
|
||||
conn.execute('SELECT 1 FROM chats WHERE id = %s FOR NO KEY UPDATE', (chat,))
|
||||
stored = conn.execute(
|
||||
'SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.created_at, m.attachment_ids '
|
||||
'FROM idempotency_keys k JOIN messages m ON m.id = k.message_id '
|
||||
'WHERE k.user_id = %s AND k.method = %s AND k.path = %s AND k.key = %s '
|
||||
' AND k.created_at > clock_timestamp() - make_interval(secs => %s)',
|
||||
scope + (ttl_seconds,),
|
||||
).fetchone()
|
||||
if stored:
|
||||
if stored['request_hash'] != request_hash:
|
||||
raise IdempotencyConflict
|
||||
return _message(stored), True
|
||||
ids = [uuid.UUID(value) for value in attachment_ids]
|
||||
found = conn.execute('SELECT id FROM attachments WHERE chat_id = %s AND id = ANY(%s::uuid[])',
|
||||
(chat, ids)).fetchall()
|
||||
if len(found) != len(ids):
|
||||
raise not_found()
|
||||
row = conn.execute(
|
||||
'INSERT INTO messages (id, chat_id, sender_id, text, attachment_ids, created_at) '
|
||||
'VALUES (%s, %s, %s, %s, %s, GREATEST(clock_timestamp(), '
|
||||
" (SELECT max(created_at) FROM messages WHERE chat_id = %s) + interval '1 microsecond')) "
|
||||
'RETURNING id, chat_id, sender_id, text, created_at, attachment_ids',
|
||||
(uuid.uuid4(), chat, uuid.UUID(sender_id), text, ids, chat),
|
||||
).fetchone()
|
||||
for aid in ids:
|
||||
conn.execute('INSERT INTO message_attachments (message_id, attachment_id, chat_id) VALUES (%s,%s,%s)',
|
||||
(row['id'], aid, chat))
|
||||
# Устаревшая запись с тем же ключом (старше срока хранения) заменяется новой.
|
||||
conn.execute(
|
||||
'INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id) '
|
||||
'VALUES (%s, %s, %s, %s, %s, %s) '
|
||||
'ON CONFLICT (user_id, method, path, key) DO UPDATE SET request_hash = EXCLUDED.request_hash, '
|
||||
' message_id = EXCLUDED.message_id, created_at = EXCLUDED.created_at',
|
||||
scope + (request_hash, row['id']),
|
||||
)
|
||||
return _message(row), False
|
||||
|
||||
def delete_expired_idempotency_keys(self, ttl_seconds):
|
||||
"""Удаляет ключи старше срока хранения; возвращает число удалённых."""
|
||||
with self._transaction() as conn:
|
||||
return conn.execute(
|
||||
'DELETE FROM idempotency_keys WHERE created_at < clock_timestamp() - make_interval(secs => %s)',
|
||||
(ttl_seconds,),
|
||||
).rowcount
|
||||
|
||||
def list_messages(self, chat_id, after, limit):
|
||||
"""Страница истории. Запрос совпадает по форме с индексом messages_chat_history_idx."""
|
||||
select = 'SELECT id, chat_id, sender_id, text, created_at, attachment_ids FROM messages WHERE chat_id = %s '
|
||||
order = 'ORDER BY created_at, id LIMIT %s'
|
||||
with self._transaction() as conn:
|
||||
if after is None:
|
||||
rows = conn.execute(select + order, (uuid.UUID(chat_id), limit + 1)).fetchall()
|
||||
else:
|
||||
rows = conn.execute(select + 'AND (created_at, id) > (%s, %s) ' + order,
|
||||
(uuid.UUID(chat_id), *_after(after), limit + 1)).fetchall()
|
||||
return _page(rows, limit, _message)
|
||||
|
||||
def save_attachment(self, values, put):
|
||||
# Та же блокировка используется сборщиком orphan-объектов. Даже долгая пауза
|
||||
# между PUT и COMMIT не позволит сборщику удалить загружаемый объект.
|
||||
with self._transaction() as conn:
|
||||
conn.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s, 0))', (values['object_key'],))
|
||||
put()
|
||||
row = conn.execute(
|
||||
'INSERT INTO attachments (id, chat_id, owner_id, object_key, filename, content_type, size_bytes, sha256) '
|
||||
'VALUES (%(id)s,%(chat_id)s,%(owner_id)s,%(object_key)s,%(filename)s,%(content_type)s,%(size_bytes)s,%(sha256)s) '
|
||||
'RETURNING *', values).fetchone()
|
||||
return attachment(row)
|
||||
|
||||
def get_attachment(self, attachment_id, user_id):
|
||||
with self._transaction() as conn:
|
||||
row = conn.execute(
|
||||
'SELECT a.* FROM attachments a JOIN chat_members m ON m.chat_id=a.chat_id '
|
||||
'WHERE a.id=%s AND m.user_id=%s', (uuid.UUID(attachment_id), uuid.UUID(user_id))).fetchone()
|
||||
return row
|
||||
@@ -0,0 +1,29 @@
|
||||
"""Ошибки, которые HTTP-слой превращает в ответы контракта."""
|
||||
|
||||
|
||||
class ApiError(Exception):
|
||||
"""Ответ с ошибкой в формате {"error": {...}}; challenge — значение WWW-Authenticate для 401."""
|
||||
|
||||
def __init__(self, status, code, message, challenge=None):
|
||||
super().__init__(message)
|
||||
self.status = status
|
||||
self.code = code
|
||||
self.message = message
|
||||
self.challenge = challenge
|
||||
|
||||
|
||||
class Unavailable(Exception):
|
||||
"""Хранилище (postgres или valkey) не ответило в срок; клиент получит 503."""
|
||||
|
||||
def __init__(self, dependency):
|
||||
super().__init__(dependency)
|
||||
self.dependency = dependency
|
||||
|
||||
|
||||
def bad_request(message):
|
||||
return ApiError(400, 'invalid_request', message)
|
||||
|
||||
|
||||
def not_found():
|
||||
# Чужой объект неотличим от несуществующего.
|
||||
return ApiError(404, 'not_found', 'Объект не найден')
|
||||
@@ -0,0 +1,26 @@
|
||||
"""Проверка для Docker HEALTHCHECK: python -m messenger.healthcheck.
|
||||
|
||||
В slim-образе нет curl, поэтому готовность проверяется самим интерпретатором.
|
||||
Код возврата 0 — контейнер healthy, 1 — unhealthy.
|
||||
"""
|
||||
import http.client
|
||||
import os
|
||||
import sys
|
||||
|
||||
|
||||
def main():
|
||||
try:
|
||||
connection = http.client.HTTPConnection('127.0.0.1', int(os.environ.get('APP_PORT', '8080')), timeout=2)
|
||||
try:
|
||||
connection.request('GET', '/health/ready', headers={'Connection': 'close'})
|
||||
response = connection.getresponse()
|
||||
response.read() # дочитываем ответ, чтобы соединение закрылось штатно, а не обрывом
|
||||
return 0 if response.status == 200 else 1
|
||||
finally:
|
||||
connection.close()
|
||||
except (OSError, ValueError, http.client.HTTPException):
|
||||
return 1
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,29 @@
|
||||
"""Декодирование в отдельном процессе: RAM освобождается при выходе, время ограничено родителем."""
|
||||
import sys
|
||||
import warnings
|
||||
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
|
||||
|
||||
def main():
|
||||
path, expected, pixels = sys.argv[1:]
|
||||
Image.MAX_IMAGE_PIXELS = int(pixels)
|
||||
warnings.simplefilter('error', Image.DecompressionBombWarning)
|
||||
try:
|
||||
with Image.open(path, formats=['PNG', 'JPEG']) as image:
|
||||
if image.width * image.height > int(pixels):
|
||||
return 13
|
||||
if Image.MIME[image.format] != expected:
|
||||
return 15
|
||||
image.verify()
|
||||
with Image.open(path, formats=['PNG', 'JPEG']) as image:
|
||||
image.load() # verify одного JPEG недостаточно: проверяем и распаковку.
|
||||
return 0
|
||||
except (Image.DecompressionBombWarning, Image.DecompressionBombError):
|
||||
return 13
|
||||
except (OSError, ValueError, SyntaxError, UnidentifiedImageError):
|
||||
return 15
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,77 @@
|
||||
"""Миграции схемы: python -m messenger.migrate.
|
||||
|
||||
Файлы migrations/NNNN_*.sql применяются по порядку номеров, каждый в своей транзакции.
|
||||
Применённые версии и контрольные суммы записываются в schema_migrations, поэтому повторный
|
||||
запуск ничего не дублирует. Изменение уже применённого файла останавливает запуск: менять
|
||||
схему нужно новым файлом. Advisory lock не даёт двум процессам применять миграции одновременно.
|
||||
"""
|
||||
import hashlib
|
||||
import logging
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
import psycopg
|
||||
|
||||
from .config import read_secret
|
||||
|
||||
log = logging.getLogger('messenger.migrate')
|
||||
|
||||
MIGRATIONS_DIR = Path(__file__).resolve().parents[1] / 'migrations'
|
||||
LOCK_ID = 2026_0002 # произвольная константа для pg_advisory_lock
|
||||
|
||||
CREATE_TABLE = '''
|
||||
CREATE TABLE IF NOT EXISTS schema_migrations (
|
||||
version text PRIMARY KEY,
|
||||
checksum text NOT NULL,
|
||||
applied_at timestamptz NOT NULL DEFAULT now()
|
||||
)'''
|
||||
|
||||
|
||||
def _read(path):
|
||||
# Окончания строк нормализуются: checkout в Windows (CRLF) не должен менять контрольную сумму.
|
||||
sql = path.read_text(encoding='utf-8').replace('\r\n', '\n')
|
||||
return sql, hashlib.sha256(sql.encode('utf-8')).hexdigest()
|
||||
|
||||
|
||||
def migrate(database_url, directory=MIGRATIONS_DIR):
|
||||
files = sorted(directory.glob('[0-9][0-9][0-9][0-9]_*.sql'))
|
||||
if not files:
|
||||
raise SystemExit('Нет файлов миграций в ' + str(directory))
|
||||
applied_now = 0
|
||||
with psycopg.connect(database_url, autocommit=True, connect_timeout=5) as conn:
|
||||
conn.execute('SELECT pg_advisory_lock(%s)', (LOCK_ID,))
|
||||
try:
|
||||
conn.execute(CREATE_TABLE)
|
||||
applied = dict(conn.execute('SELECT version, checksum FROM schema_migrations').fetchall())
|
||||
for path in files:
|
||||
version = path.stem
|
||||
sql, checksum = _read(path)
|
||||
if version in applied:
|
||||
if applied[version] != checksum:
|
||||
raise SystemExit('Миграция %s изменена после применения: добавьте новую вместо правки' % version)
|
||||
continue
|
||||
started = time.monotonic()
|
||||
with conn.transaction():
|
||||
conn.execute(sql)
|
||||
conn.execute('INSERT INTO schema_migrations (version, checksum) VALUES (%s, %s)', (version, checksum))
|
||||
applied_now += 1
|
||||
log.info('event=migration_applied version=%s duration_ms=%.0f', version, (time.monotonic() - started) * 1000)
|
||||
finally:
|
||||
conn.execute('SELECT pg_advisory_unlock(%s)', (LOCK_ID,))
|
||||
log.info('event=migrations_done applied_now=%d total=%d', applied_now, len(files))
|
||||
|
||||
|
||||
def main():
|
||||
logging.basicConfig(stream=sys.stdout, level=logging.INFO, format='%(levelname)s %(message)s')
|
||||
try:
|
||||
migrate(read_secret('DATABASE_URL'))
|
||||
except psycopg.Error as error:
|
||||
# Сообщения psycopg не содержат пароль, а первая строка объясняет причину.
|
||||
log.error('event=migration_failed error=%s detail=%s', type(error).__name__, str(error).splitlines()[0][:300])
|
||||
return 1
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,40 @@
|
||||
"""Приватный S3; ограниченные таймауты и отсутствие скрытых повторов PUT."""
|
||||
import os
|
||||
|
||||
import boto3
|
||||
from botocore.config import Config
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
|
||||
from .config import read_secret
|
||||
from .errors import Unavailable
|
||||
|
||||
|
||||
class ObjectStore:
|
||||
def __init__(self, admin=False):
|
||||
self.bucket = os.environ.get('S3_BUCKET', 'messenger-attachments')
|
||||
prefix = 'S3_ADMIN_' if admin else 'S3_'
|
||||
self.client = boto3.client(
|
||||
's3', endpoint_url=os.environ.get('S3_ENDPOINT', 'http://s3:9000'),
|
||||
region_name=os.environ.get('S3_REGION', 'us-east-1'),
|
||||
aws_access_key_id=read_secret(prefix + 'ACCESS_KEY_ID'),
|
||||
aws_secret_access_key=read_secret(prefix + 'SECRET_ACCESS_KEY'),
|
||||
config=Config(connect_timeout=1, read_timeout=3, max_pool_connections=16,
|
||||
retries={'total_max_attempts': 1}, s3={'addressing_style': 'path'},
|
||||
request_checksum_calculation='when_required',
|
||||
response_checksum_validation='when_required'))
|
||||
|
||||
def call(self, method, **kwargs):
|
||||
try:
|
||||
return getattr(self.client, method)(Bucket=self.bucket, **kwargs)
|
||||
except (BotoCoreError, ClientError, OSError) as error:
|
||||
raise Unavailable('s3') from error
|
||||
|
||||
def ping(self):
|
||||
self.call('head_bucket')
|
||||
|
||||
def put(self, key, file, size, content_type):
|
||||
file.seek(0)
|
||||
self.call('put_object', Key=key, Body=file, ContentLength=size, ContentType=content_type)
|
||||
|
||||
def get(self, key):
|
||||
return self.call('get_object', Key=key)['Body']
|
||||
@@ -0,0 +1,50 @@
|
||||
"""Хеширование паролей: Argon2id из библиотеки argon2-cffi.
|
||||
|
||||
Хеш хранит алгоритм, параметры и соль в одной строке вида $argon2id$v=19$m=...,t=...,p=...$соль$хеш.
|
||||
"""
|
||||
import secrets
|
||||
import threading
|
||||
from contextlib import contextmanager
|
||||
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import InvalidHashError, VerificationError
|
||||
|
||||
from .errors import Unavailable
|
||||
|
||||
# Минимальные параметры из OWASP Password Storage Cheat Sheet: 19 МиБ памяти, 2 прохода, 1 поток.
|
||||
_hasher = PasswordHasher(time_cost=2, memory_cost=19 * 1024, parallelism=1)
|
||||
|
||||
# Каждый расчёт занимает 19 МиБ памяти. Одновременно считаем не больше 4 хешей на процесс,
|
||||
# чтобы пик памяти реплики был предсказуем при лимите контейнера (compose.yaml, 256 МБ).
|
||||
# Остальные запросы ждут очереди; дольше 5 с — ответ 503 вместо бесконечного ожидания.
|
||||
MAX_CONCURRENT_HASHES = 4
|
||||
_slots = threading.BoundedSemaphore(MAX_CONCURRENT_HASHES)
|
||||
|
||||
# Хеш случайного пароля. Проверка против него для несуществующего username занимает
|
||||
# столько же времени, сколько обычная: по задержке ответа нельзя узнать, есть ли пользователь.
|
||||
_DUMMY_HASH = _hasher.hash(secrets.token_hex(16))
|
||||
|
||||
|
||||
@contextmanager
|
||||
def _slot():
|
||||
if not _slots.acquire(timeout=5):
|
||||
raise Unavailable('password-hashing')
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
_slots.release()
|
||||
|
||||
|
||||
def hash_password(password):
|
||||
with _slot():
|
||||
return _hasher.hash(password)
|
||||
|
||||
|
||||
def verify_password(password_hash, password):
|
||||
"""True, если пароль подходит к хешу; при password_hash=None всегда False за то же время."""
|
||||
with _slot():
|
||||
try:
|
||||
_hasher.verify(password_hash or _DUMMY_HASH, password)
|
||||
except (VerificationError, InvalidHashError):
|
||||
return False
|
||||
return password_hash is not None
|
||||
@@ -0,0 +1,489 @@
|
||||
"""HTTP-слой: маршрутизация, аутентификация, ответы в формате контракта, логи запросов."""
|
||||
import json
|
||||
import hashlib
|
||||
import logging
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
import sys
|
||||
import tempfile
|
||||
import threading
|
||||
import time
|
||||
import uuid
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
from urllib.parse import parse_qs
|
||||
|
||||
from . import validation
|
||||
from .db import IdempotencyConflict, UnknownMember, UsernameTaken
|
||||
from .errors import ApiError, Unavailable, bad_request, not_found
|
||||
from .passwords import hash_password, verify_password
|
||||
from .timeutil import format_time
|
||||
from .db import attachment
|
||||
|
||||
log = logging.getLogger('messenger')
|
||||
|
||||
# Сообщение в 4000 символов даже в виде \uXXXX-последовательностей меньше 64 КиБ.
|
||||
MAX_BODY_BYTES = 64 * 1024
|
||||
# Тело до этого размера дочитывается ради аккуратного 413; больше — соединение просто закрывается.
|
||||
MAX_DISCARD_BYTES = 1024 * 1024
|
||||
|
||||
BASIC_CHALLENGE = 'Basic realm="messenger", charset="UTF-8"'
|
||||
BEARER_CHALLENGE = 'Bearer realm="messenger"'
|
||||
|
||||
CHAT = r'/api/v1/chats/(?P<chat_id>[^/]+)'
|
||||
ROUTES = tuple((method, re.compile(pattern), handler) for method, pattern, handler in (
|
||||
('GET', r'/health/live', '_live'),
|
||||
('GET', r'/health/ready', '_ready'),
|
||||
('POST', r'/api/v1/users', '_create_user'),
|
||||
('GET', r'/api/v1/users/me', '_current_user'),
|
||||
('POST', r'/api/v1/auth/sessions', '_create_session'),
|
||||
('DELETE', r'/api/v1/auth/sessions/current', '_delete_session'),
|
||||
('POST', r'/api/v1/chats', '_create_chat'),
|
||||
('GET', r'/api/v1/chats', '_list_chats'),
|
||||
('GET', CHAT, '_get_chat'),
|
||||
('POST', CHAT + r'/messages', '_create_message'),
|
||||
('GET', CHAT + r'/messages', '_list_messages'),
|
||||
('POST', CHAT + r'/attachments', '_upload'),
|
||||
('GET', r'/api/v1/attachments/(?P<attachment_id>[^/]+)', '_attachment'),
|
||||
('GET', r'/api/v1/attachments/(?P<attachment_id>[^/]+)/content', '_content'),
|
||||
))
|
||||
|
||||
|
||||
class Download:
|
||||
def __init__(self, stream, row):
|
||||
self.stream, self.row = stream, row
|
||||
|
||||
|
||||
class MessengerServer(ThreadingHTTPServer):
|
||||
"""Поток на соединение; считает выполняющиеся запросы для плавной остановки."""
|
||||
|
||||
# Потоки-демоны не держат процесс: срок остановки ограничивает wait_idle().
|
||||
daemon_threads = True
|
||||
# Очередь соединений по умолчанию (5) мала для десятков одновременных клиентов.
|
||||
request_queue_size = 128
|
||||
|
||||
def __init__(self, address, repo, sessions, instance_id, idempotency_ttl, objects):
|
||||
super().__init__(address, RequestHandler)
|
||||
self.repo = repo
|
||||
self.sessions = sessions
|
||||
self.instance_id = instance_id
|
||||
self.idempotency_ttl = idempotency_ttl
|
||||
self.objects = objects
|
||||
# Один декодер на реплику: 40M RGBA <=160 MB + память интерпретаторов.
|
||||
self.upload_slots = threading.BoundedSemaphore(1)
|
||||
self.max_upload = int(os.environ.get('MAX_UPLOAD_BYTES', '10485760'))
|
||||
self.max_pixels = int(os.environ.get('MAX_IMAGE_PIXELS', '40000000'))
|
||||
if not 1 <= self.max_upload <= 10485760 or not 1 <= self.max_pixels <= 40000000:
|
||||
raise ValueError('Некорректный лимит вложений')
|
||||
self._state = threading.Condition()
|
||||
self._active = 0
|
||||
self._draining = False
|
||||
self.ready = True
|
||||
|
||||
def begin_not_ready(self):
|
||||
"""Первый шаг остановки: /health/ready отвечает 503, остальные запросы ещё обслуживаются.
|
||||
|
||||
Балансировщик видит это при следующих проверках и перестаёт присылать сюда запросы.
|
||||
"""
|
||||
self.ready = False
|
||||
|
||||
def try_begin_request(self):
|
||||
"""False, если сервер уже останавливается и запрос принимать нельзя."""
|
||||
with self._state:
|
||||
if self._draining:
|
||||
return False
|
||||
self._active += 1
|
||||
return True
|
||||
|
||||
def end_request(self):
|
||||
with self._state:
|
||||
self._active -= 1
|
||||
self._state.notify_all()
|
||||
|
||||
def begin_drain(self):
|
||||
with self._state:
|
||||
self._draining = True
|
||||
|
||||
def wait_idle(self, timeout):
|
||||
"""Ждёт завершения начатых запросов; True, если успели за timeout секунд."""
|
||||
with self._state:
|
||||
return self._state.wait_for(lambda: self._active == 0, timeout)
|
||||
|
||||
def handle_error(self, request, client_address):
|
||||
# Обрыв соединения клиентом — обычная ситуация, а не ошибка сервера: без traceback.
|
||||
error = sys.exc_info()[0]
|
||||
level = logging.DEBUG if issubclass(error, ConnectionError) else logging.WARNING
|
||||
log.log(level, 'event=connection_error error=%s', error.__name__)
|
||||
|
||||
|
||||
class RequestHandler(BaseHTTPRequestHandler):
|
||||
protocol_version = 'HTTP/1.1'
|
||||
# Секунды ожидания данных от клиента: зависшее соединение не занимает поток вечно.
|
||||
timeout = 15
|
||||
|
||||
def do_GET(self):
|
||||
self._handle()
|
||||
|
||||
do_POST = do_PUT = do_PATCH = do_DELETE = do_HEAD = do_OPTIONS = do_GET
|
||||
|
||||
# --- общий путь запроса -------------------------------------------------
|
||||
|
||||
def _handle(self):
|
||||
started = time.monotonic()
|
||||
self.request_id = uuid.uuid4().hex
|
||||
self.user_id = '-'
|
||||
path, _, query = self.path.partition('?')
|
||||
status = 0 # 0 в логе: ответ отправить не удалось
|
||||
accepted = self.server.try_begin_request()
|
||||
try:
|
||||
if accepted:
|
||||
status, payload, headers = self._process(path, query)
|
||||
else:
|
||||
self.close_connection = True
|
||||
status, payload, headers = self._error(ApiError(503, 'unavailable', 'Сервер завершает работу'))
|
||||
self._send(status, payload, headers)
|
||||
except OSError:
|
||||
status = 0
|
||||
self.close_connection = True
|
||||
finally:
|
||||
if accepted:
|
||||
self.server.end_request()
|
||||
# В лог попадают только метаданные: тела запросов, тексты сообщений, пароли и токены не пишутся.
|
||||
log.log(
|
||||
logging.DEBUG if path.startswith('/health/') else logging.INFO,
|
||||
'request_id=%s method=%s path=%s status=%d duration_ms=%.1f user_id=%s',
|
||||
self.request_id, self.command, re.sub(r'[^\x21-\x7e]', '?', path)[:200], status,
|
||||
(time.monotonic() - started) * 1000, self.user_id,
|
||||
)
|
||||
|
||||
def _process(self, path, query):
|
||||
"""(статус, тело или None, дополнительные заголовки)."""
|
||||
try:
|
||||
upload = self.command == 'POST' and re.fullmatch(CHAT + r'/attachments', path)
|
||||
if upload:
|
||||
# До чтения файла проверяем токен и чат. При ошибке непрочитанное тело
|
||||
# не должно интерпретироваться как следующий запрос keep-alive.
|
||||
self.close_connection = True
|
||||
body = b'' if upload else self._read_body()
|
||||
for method, pattern, handler in ROUTES:
|
||||
match = pattern.fullmatch(path)
|
||||
if match and method == self.command:
|
||||
params = parse_qs(query, keep_blank_values=True)
|
||||
status, payload = getattr(self, handler)(body, params, **match.groupdict())
|
||||
return status, payload, ()
|
||||
raise ApiError(404, 'not_found', 'Маршрут не найден')
|
||||
except ApiError as error:
|
||||
return self._error(error)
|
||||
except Unavailable as error:
|
||||
log.warning('event=dependency_unavailable request_id=%s dependency=%s error=%s',
|
||||
self.request_id, error.dependency, type(error.__cause__).__name__)
|
||||
return self._error(ApiError(503, 'unavailable', 'Сервис временно недоступен: ' + error.dependency))
|
||||
except Exception:
|
||||
log.exception('event=unhandled_error request_id=%s', self.request_id)
|
||||
return self._error(ApiError(500, 'internal_error', 'Внутренняя ошибка сервера'))
|
||||
|
||||
def _read_body(self):
|
||||
"""Читает тело целиком до маршрутизации, чтобы keep-alive поток не сбился."""
|
||||
header = self.headers.get('Content-Length')
|
||||
if header is None:
|
||||
if self.headers.get('Transfer-Encoding'):
|
||||
self.close_connection = True
|
||||
raise bad_request('Нужен заголовок Content-Length')
|
||||
return b''
|
||||
if not re.fullmatch(r'[0-9]{1,18}', header):
|
||||
self.close_connection = True
|
||||
raise bad_request('Некорректный Content-Length')
|
||||
length = int(header)
|
||||
if length > MAX_BODY_BYTES:
|
||||
self.close_connection = True
|
||||
if length <= MAX_DISCARD_BYTES:
|
||||
self._discard(length)
|
||||
raise ApiError(413, 'payload_too_large', 'Тело запроса больше %d байт' % MAX_BODY_BYTES)
|
||||
try:
|
||||
body = self.rfile.read(length)
|
||||
except OSError: # таймаут или обрыв соединения
|
||||
body = b''
|
||||
if len(body) != length:
|
||||
self.close_connection = True
|
||||
raise bad_request('Тело запроса получено не полностью')
|
||||
return body
|
||||
|
||||
def _discard(self, remaining):
|
||||
"""Дочитывает слишком большое тело по частям, не храня его в памяти.
|
||||
|
||||
Если закрыть соединение с непрочитанными данными, клиент получит обрыв
|
||||
вместо ответа 413.
|
||||
"""
|
||||
try:
|
||||
while remaining > 0:
|
||||
chunk = self.rfile.read(min(remaining, 64 * 1024))
|
||||
if not chunk:
|
||||
break
|
||||
remaining -= len(chunk)
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
def _error(self, error):
|
||||
payload = {'error': {'code': error.code, 'message': error.message, 'request_id': self.request_id}}
|
||||
headers = (('WWW-Authenticate', error.challenge),) if error.challenge else ()
|
||||
return error.status, payload, headers
|
||||
|
||||
def _send(self, status, payload, headers=()):
|
||||
"""Ответ с JSON-телом; payload=None — ответ без тела (204)."""
|
||||
if isinstance(payload, Download):
|
||||
with payload.stream as stream:
|
||||
self.send_response(status)
|
||||
self.send_header('Content-Type', payload.row['content_type'])
|
||||
self.send_header('Content-Length', str(payload.row['size_bytes']))
|
||||
self.send_header('X-Request-Id', self.request_id)
|
||||
self.send_header('X-Instance-Id', self.server.instance_id)
|
||||
self.send_header('X-Content-Type-Options', 'nosniff')
|
||||
self.send_header('Cache-Control', 'private, no-store')
|
||||
self.end_headers()
|
||||
if self.command != 'HEAD':
|
||||
while chunk := stream.read(64 * 1024):
|
||||
self.wfile.write(chunk)
|
||||
return
|
||||
body = b'' if payload is None else json.dumps(payload, ensure_ascii=False, separators=(',', ':')).encode('utf-8')
|
||||
self.send_response(status)
|
||||
if payload is not None:
|
||||
self.send_header('Content-Type', 'application/json; charset=utf-8')
|
||||
self.send_header('Content-Length', str(len(body)))
|
||||
self.send_header('X-Request-Id', self.request_id)
|
||||
# Какая реплика ответила: имя контейнера, стабильно для жизни процесса.
|
||||
self.send_header('X-Instance-Id', self.server.instance_id)
|
||||
for name, value in headers:
|
||||
self.send_header(name, value)
|
||||
if self.close_connection:
|
||||
self.send_header('Connection', 'close')
|
||||
self.end_headers()
|
||||
if body and self.command != 'HEAD':
|
||||
self.wfile.write(body)
|
||||
|
||||
def send_error(self, code, message=None, explain=None):
|
||||
"""Ошибки разбора HTTP (до маршрутизации) — тоже в общем формате ошибок."""
|
||||
self.request_id = uuid.uuid4().hex
|
||||
self.close_connection = True
|
||||
if code == 501: # метод, которого нет в API
|
||||
error = ApiError(404, 'not_found', 'Маршрут не найден')
|
||||
else:
|
||||
error = bad_request('Некорректный HTTP-запрос')
|
||||
self._send(*self._error(error))
|
||||
log.info('request_id=%s event=http_parse_error http_status=%d status=%d', self.request_id, code, error.status)
|
||||
|
||||
def version_string(self):
|
||||
return 'messenger' # заголовок Server без версии Python
|
||||
|
||||
def log_request(self, code='-', size='-'):
|
||||
pass # запрос логируется один раз в _handle
|
||||
|
||||
def log_message(self, format, *args):
|
||||
log.debug('event=http_server detail=%s', format % args)
|
||||
|
||||
# --- общие проверки -----------------------------------------------------
|
||||
|
||||
def _authenticate(self):
|
||||
"""user_id владельца Bearer-токена. X-User-Id и Basic здесь не принимаются.
|
||||
|
||||
Если Valkey недоступен, sessions.user_id бросает Unavailable и клиент получает 503:
|
||||
запрос не продолжается как анонимный.
|
||||
"""
|
||||
token = validation.parse_bearer(self.headers.get('Authorization'))
|
||||
user_id = self.server.sessions.user_id(token) if token else None
|
||||
if user_id is None:
|
||||
raise ApiError(401, 'unauthorized', 'Нужен действующий токен: Authorization: Bearer <token>',
|
||||
challenge=BEARER_CHALLENGE)
|
||||
self.token = token
|
||||
self.user_id = user_id
|
||||
return user_id
|
||||
|
||||
def _accessible_chat(self, user_id, raw_chat_id):
|
||||
chat_id = validation.parse_uuid(raw_chat_id)
|
||||
if chat_id is None:
|
||||
raise bad_request('chat_id должен быть UUID')
|
||||
chat = self.server.repo.get_chat(chat_id, user_id)
|
||||
if chat is None:
|
||||
raise not_found()
|
||||
return chat
|
||||
|
||||
def _json_body(self, body):
|
||||
if self.headers.get_content_type() != 'application/json':
|
||||
raise bad_request('Content-Type должен быть application/json')
|
||||
return body
|
||||
|
||||
# --- обработчики маршрутов ----------------------------------------------
|
||||
|
||||
def _live(self, body, query):
|
||||
return 200, {'status': 'ok'}
|
||||
|
||||
def _ready(self, body, query):
|
||||
# После SIGTERM реплика сначала перестаёт быть готовой, чтобы балансировщик её исключил.
|
||||
if not self.server.ready:
|
||||
raise ApiError(503, 'unavailable', 'Реплика завершает работу')
|
||||
# Обязательный путь API требует обоих хранилищ: без БД нет данных, без Valkey — сессий.
|
||||
self.server.repo.ping()
|
||||
self.server.sessions.ping()
|
||||
self.server.objects.ping()
|
||||
return 200, {'status': 'ok'}
|
||||
|
||||
def _create_user(self, body, query):
|
||||
username, display_name, password = validation.parse_create_user(self._json_body(body))
|
||||
try:
|
||||
return 201, self.server.repo.create_user(username, display_name, hash_password(password))
|
||||
except UsernameTaken:
|
||||
raise ApiError(409, 'conflict', 'Пользователь с таким username уже существует')
|
||||
|
||||
def _create_session(self, body, query):
|
||||
"""Вход: только Authorization: Basic. Ответ 401 одинаковый для любой ошибки входа."""
|
||||
if body:
|
||||
raise bad_request('Тело не нужно: логин и пароль передаются в Authorization: Basic')
|
||||
credentials = validation.parse_basic(self.headers.get('Authorization'))
|
||||
user = None
|
||||
if credentials:
|
||||
username, password = credentials
|
||||
user, password_hash = self.server.repo.get_credentials(username)
|
||||
# Для несуществующего username проверка идёт против фиктивного хеша за то же время.
|
||||
if not verify_password(password_hash, password):
|
||||
user = None
|
||||
if user is None:
|
||||
raise ApiError(401, 'unauthorized', 'Неверный логин или пароль', challenge=BASIC_CHALLENGE)
|
||||
token, expires_at = self.server.sessions.create(user['id'])
|
||||
self.user_id = user['id']
|
||||
return 201, {'token': token, 'token_type': 'Bearer', 'expires_at': format_time(expires_at), 'user': user}
|
||||
|
||||
def _delete_session(self, body, query):
|
||||
self._authenticate()
|
||||
if not self.server.sessions.revoke(self.token):
|
||||
# Сессия истекла между проверкой и удалением.
|
||||
raise ApiError(401, 'unauthorized', 'Сессия уже недействительна', challenge=BEARER_CHALLENGE)
|
||||
return 204, None
|
||||
|
||||
def _current_user(self, body, query):
|
||||
user = self.server.repo.get_user(self._authenticate())
|
||||
if user is None:
|
||||
raise ApiError(401, 'unauthorized', 'Пользователь сессии не найден', challenge=BEARER_CHALLENGE)
|
||||
return 200, user
|
||||
|
||||
def _create_chat(self, body, query):
|
||||
user_id = self._authenticate()
|
||||
title, member_ids = validation.parse_create_chat(self._json_body(body))
|
||||
if user_id not in member_ids:
|
||||
raise bad_request('member_ids должен включать вызывающего пользователя')
|
||||
try:
|
||||
return 201, self.server.repo.create_chat(title, member_ids)
|
||||
except UnknownMember:
|
||||
raise bad_request('member_ids содержит неизвестного пользователя')
|
||||
|
||||
def _list_chats(self, body, query):
|
||||
user_id = self._authenticate()
|
||||
scope = 'chats:' + user_id
|
||||
limit = validation.parse_limit(query)
|
||||
after = validation.parse_cursor(query, scope)
|
||||
items, next_key = self.server.repo.list_chats(user_id, after, limit)
|
||||
return 200, {'items': items, 'next_cursor': validation.encode_cursor(scope, next_key)}
|
||||
|
||||
def _get_chat(self, body, query, chat_id):
|
||||
return 200, self._accessible_chat(self._authenticate(), chat_id)
|
||||
|
||||
def _create_message(self, body, query, chat_id):
|
||||
# Повтор с тем же ключом снова проходит аутентификацию и проверку доступа.
|
||||
user_id = self._authenticate()
|
||||
chat = self._accessible_chat(user_id, chat_id)
|
||||
key = validation.parse_idempotency_key(self.headers.get('Idempotency-Key'))
|
||||
text, ids = validation.parse_create_message(self._json_body(body))
|
||||
try:
|
||||
message, replayed = self.server.repo.add_message(
|
||||
chat['id'], user_id, text, key, validation.request_fingerprint(text, ids), self.server.idempotency_ttl, ids)
|
||||
except IdempotencyConflict:
|
||||
raise ApiError(409, 'conflict', 'Этот Idempotency-Key уже использован с другим телом запроса')
|
||||
if replayed:
|
||||
log.info('event=idempotent_replay request_id=%s message_id=%s', self.request_id, message['id'])
|
||||
return 201, message
|
||||
|
||||
def _list_messages(self, body, query, chat_id):
|
||||
chat = self._accessible_chat(self._authenticate(), chat_id)
|
||||
scope = 'messages:' + chat['id']
|
||||
limit = validation.parse_limit(query)
|
||||
after = validation.parse_cursor(query, scope)
|
||||
items, next_key = self.server.repo.list_messages(chat['id'], after, limit)
|
||||
return 200, {'items': items, 'next_cursor': validation.encode_cursor(scope, next_key)}
|
||||
|
||||
def _upload(self, body, query, chat_id):
|
||||
user_id = self._authenticate()
|
||||
chat = self._accessible_chat(user_id, chat_id)
|
||||
filename = validation._single(query, 'filename')
|
||||
if (not filename or not filename.strip() or len(filename) > 255
|
||||
or any(c in '/\\' or ord(c) < 32 or 127 <= ord(c) <= 159 for c in filename)):
|
||||
raise bad_request('filename: безопасное имя из 1–255 символов без путей и управляющих символов')
|
||||
try:
|
||||
filename.encode('utf-8')
|
||||
except UnicodeEncodeError:
|
||||
raise bad_request('Некорректный filename')
|
||||
mime = self.headers.get_content_type()
|
||||
if mime not in ('image/png', 'image/jpeg'):
|
||||
raise ApiError(415, 'unsupported_media_type', 'Допустимы PNG и JPEG')
|
||||
lengths = self.headers.get_all('Content-Length', [])
|
||||
if self.headers.get('Transfer-Encoding') or len(lengths) != 1 or not re.fullmatch(r'[0-9]{1,18}', lengths[0]):
|
||||
raise bad_request('Нужен один корректный Content-Length')
|
||||
length = int(lengths[0])
|
||||
if length > self.server.max_upload:
|
||||
raise ApiError(413, 'payload_too_large', 'Максимум 10 MiB')
|
||||
if not self.server.upload_slots.acquire(timeout=8):
|
||||
raise ApiError(503, 'unavailable', 'Загрузки заняты; повторите позже')
|
||||
try:
|
||||
# Ограниченный временный диск контейнера; оригиналы здесь не сохраняются.
|
||||
with tempfile.TemporaryDirectory(prefix='upload-') as directory:
|
||||
path = os.path.join(directory, 'original')
|
||||
digest = hashlib.sha256()
|
||||
deadline = time.monotonic() + 10
|
||||
with open(path, 'w+b') as file:
|
||||
remaining = length
|
||||
while remaining:
|
||||
self.connection.settimeout(max(0.1, deadline - time.monotonic()))
|
||||
chunk = self.rfile.read1(min(remaining, 64 * 1024))
|
||||
if not chunk or time.monotonic() > deadline:
|
||||
raise bad_request('Загрузка не завершена в срок')
|
||||
file.write(chunk)
|
||||
digest.update(chunk)
|
||||
remaining -= len(chunk)
|
||||
file.flush()
|
||||
try:
|
||||
result = subprocess.run([sys.executable, '-m', 'messenger.image_check', path,
|
||||
mime, str(self.server.max_pixels)], timeout=8,
|
||||
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
|
||||
except subprocess.TimeoutExpired:
|
||||
raise ApiError(415, 'unsupported_media_type', 'Изображение не удалось проверить в срок')
|
||||
if result.returncode == 13:
|
||||
raise ApiError(413, 'payload_too_large', 'Слишком много пикселей')
|
||||
if result.returncode:
|
||||
raise ApiError(415, 'unsupported_media_type', 'Повреждённое изображение или неверный MIME')
|
||||
aid = uuid.uuid4()
|
||||
values = dict(id=aid, chat_id=uuid.UUID(chat['id']), owner_id=uuid.UUID(user_id),
|
||||
object_key='originals/' + aid.hex, filename=filename, content_type=mime,
|
||||
size_bytes=length, sha256=digest.hexdigest())
|
||||
saved = self.server.repo.save_attachment(
|
||||
values, lambda: self.server.objects.put(values['object_key'], file, length, mime))
|
||||
return 201, saved
|
||||
except (TimeoutError, ConnectionError):
|
||||
raise bad_request('Загрузка прервана или превышено время ожидания')
|
||||
finally:
|
||||
self.server.upload_slots.release()
|
||||
|
||||
def _accessible_attachment(self, raw_id):
|
||||
user_id = self._authenticate()
|
||||
aid = validation.parse_uuid(raw_id)
|
||||
if aid is None:
|
||||
raise bad_request('attachment_id должен быть UUID')
|
||||
row = self.server.repo.get_attachment(aid, user_id)
|
||||
if row is None:
|
||||
raise not_found()
|
||||
return row
|
||||
|
||||
def _attachment(self, body, query, attachment_id):
|
||||
return 200, attachment(self._accessible_attachment(attachment_id))
|
||||
|
||||
def _content(self, body, query, attachment_id):
|
||||
row = self._accessible_attachment(attachment_id)
|
||||
if validation._single(query, 'variant') not in (None, 'original'):
|
||||
raise not_found()
|
||||
return 200, Download(self.server.objects.get(row['object_key']), row)
|
||||
@@ -0,0 +1,81 @@
|
||||
"""Сессии в Valkey — единственное хранилище сессий.
|
||||
|
||||
Ключ: session:<sha256 от токена>, значение: JSON с user_id и сроком. Срок задаётся абсолютным
|
||||
временем (PXAT), поэтому перезапуск ничего не продлевает. Сохранность при рестарте
|
||||
обеспечивает AOF с fsync на каждую запись (infra/valkey/valkey.conf).
|
||||
"""
|
||||
import hashlib
|
||||
import json
|
||||
import secrets
|
||||
import time
|
||||
from contextlib import contextmanager
|
||||
|
||||
import valkey
|
||||
from valkey.backoff import NoBackoff
|
||||
from valkey.retry import Retry
|
||||
|
||||
from .errors import Unavailable
|
||||
from .timeutil import from_micros
|
||||
|
||||
|
||||
@contextmanager
|
||||
def _valkey_errors():
|
||||
# Любая ошибка Valkey (нет соединения, таймаут, загрузка AOF после рестарта, нехватка памяти)
|
||||
# превращается в 503. Запрос не продолжается как анонимный и не считается доверенным.
|
||||
try:
|
||||
yield
|
||||
except valkey.exceptions.ValkeyError as error:
|
||||
raise Unavailable('valkey') from error
|
||||
|
||||
|
||||
class SessionStore:
|
||||
def __init__(self, url, ttl_seconds):
|
||||
self.ttl_seconds = ttl_seconds
|
||||
self._pool = valkey.BlockingConnectionPool.from_url(
|
||||
url,
|
||||
max_connections=20, # не больше 20 соединений на процесс
|
||||
timeout=1, # ждать свободное соединение не дольше 1 с
|
||||
socket_connect_timeout=1, # подключение и ответ — не дольше 1 с
|
||||
socket_timeout=1,
|
||||
retry=Retry(NoBackoff(), 1), # один повтор: переподключиться после рестарта Valkey
|
||||
decode_responses=True,
|
||||
)
|
||||
self._client = valkey.Valkey(connection_pool=self._pool)
|
||||
|
||||
@staticmethod
|
||||
def _key(token):
|
||||
# В Valkey хранится только хеш токена: копия базы не даёт готовых токенов.
|
||||
return 'session:' + hashlib.sha256(token.encode('ascii')).hexdigest()
|
||||
|
||||
def create(self, user_id):
|
||||
"""Новая сессия: (токен, срок действия как datetime)."""
|
||||
token = secrets.token_urlsafe(32) # 32 случайных байта = 256 бит
|
||||
expires_ms = int(time.time() * 1000) + self.ttl_seconds * 1000
|
||||
value = json.dumps({'user_id': user_id, 'expires_at_ms': expires_ms})
|
||||
with _valkey_errors():
|
||||
self._client.set(self._key(token), value, pxat=expires_ms)
|
||||
return token, from_micros(expires_ms * 1000)
|
||||
|
||||
def user_id(self, token):
|
||||
"""user_id владельца действующей сессии или None (неизвестна, отозвана, истекла)."""
|
||||
with _valkey_errors():
|
||||
raw = self._client.get(self._key(token))
|
||||
if raw is None:
|
||||
return None
|
||||
session = json.loads(raw)
|
||||
# Valkey удаляет ключ сам; проверка здесь — страховка на случай расхождения часов.
|
||||
if session['expires_at_ms'] <= time.time() * 1000:
|
||||
return None
|
||||
return session['user_id']
|
||||
|
||||
def revoke(self, token):
|
||||
"""Удаляет сессию; True, если она была."""
|
||||
with _valkey_errors():
|
||||
return self._client.delete(self._key(token)) == 1
|
||||
|
||||
def ping(self):
|
||||
with _valkey_errors():
|
||||
self._client.ping()
|
||||
|
||||
def close(self):
|
||||
self._pool.disconnect()
|
||||
@@ -0,0 +1,18 @@
|
||||
"""Время в формате контракта: RFC 3339, UTC, микросекунды, суффикс Z."""
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
EPOCH = datetime(1970, 1, 1, tzinfo=timezone.utc)
|
||||
MICROSECOND = timedelta(microseconds=1)
|
||||
|
||||
|
||||
def format_time(value):
|
||||
return value.astimezone(timezone.utc).strftime('%Y-%m-%dT%H:%M:%S.%fZ')
|
||||
|
||||
|
||||
def to_micros(value):
|
||||
"""Целое число микросекунд с 1970 года: так время хранится в cursor без потери точности."""
|
||||
return (value - EPOCH) // MICROSECOND
|
||||
|
||||
|
||||
def from_micros(micros):
|
||||
return EPOCH + timedelta(microseconds=micros)
|
||||
@@ -0,0 +1,219 @@
|
||||
"""Разбор и проверка входных данных по contracts/openapi.json и contracts/README.md."""
|
||||
import base64
|
||||
import binascii
|
||||
import hashlib
|
||||
import json
|
||||
import re
|
||||
|
||||
from .errors import bad_request
|
||||
|
||||
USERNAME = re.compile(r'[a-z0-9_]{3,32}')
|
||||
UUID = re.compile(r'[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}')
|
||||
LIMIT = re.compile(r'[0-9]{1,3}')
|
||||
# Idempotency-Key из контракта: ASCII-символы [A-Za-z0-9._:-], от 1 до 128.
|
||||
IDEMPOTENCY_KEY = re.compile(r'[A-Za-z0-9._:-]{1,128}')
|
||||
# token68 из RFC 7235 с разумным ограничением длины.
|
||||
BEARER_TOKEN = re.compile(r'[A-Za-z0-9\-._~+/]{1,512}=*')
|
||||
|
||||
DEFAULT_LIMIT = 50
|
||||
MAX_LIMIT = 100
|
||||
MAX_NAME = 100
|
||||
MAX_MEMBERS = 100
|
||||
MAX_TEXT = 4000
|
||||
MIN_PASSWORD = 12
|
||||
MAX_PASSWORD = 128
|
||||
|
||||
|
||||
def parse_uuid(value):
|
||||
"""UUID в каноническом виде (нижний регистр) или None."""
|
||||
if isinstance(value, str) and UUID.fullmatch(value):
|
||||
return value.lower()
|
||||
return None
|
||||
|
||||
|
||||
def _load_object(raw, fields):
|
||||
"""JSON-объект ровно с полями fields: лишние и отсутствующие поля — ошибка."""
|
||||
try:
|
||||
data = json.loads(raw.decode('utf-8'))
|
||||
except (ValueError, RecursionError):
|
||||
raise bad_request('Тело запроса должно быть корректным JSON в UTF-8')
|
||||
if not isinstance(data, dict):
|
||||
raise bad_request('Тело запроса должно быть JSON-объектом')
|
||||
for field in fields:
|
||||
if field not in data:
|
||||
raise bad_request('Отсутствует обязательное поле ' + field)
|
||||
if len(data) != len(fields):
|
||||
raise bad_request('В запросе есть лишние поля')
|
||||
return data
|
||||
|
||||
|
||||
def _string(data, field, max_length, min_length=1):
|
||||
"""Строка из min_length..max_length code points, не только из пробельных символов."""
|
||||
value = data[field]
|
||||
if not isinstance(value, str):
|
||||
raise bad_request('Поле %s должно быть строкой' % field)
|
||||
if not value.strip():
|
||||
raise bad_request('Поле %s не должно быть пустым' % field)
|
||||
if not min_length <= len(value) <= max_length:
|
||||
raise bad_request('Поле %s: от %d до %d символов' % (field, min_length, max_length))
|
||||
# NUL нельзя сохранить в тексте PostgreSQL; одиночный суррогат (\ud800) нельзя вернуть в UTF-8.
|
||||
if '\x00' in value:
|
||||
raise bad_request('Поле %s содержит недопустимые символы' % field)
|
||||
try:
|
||||
value.encode('utf-8')
|
||||
except UnicodeEncodeError:
|
||||
raise bad_request('Поле %s содержит недопустимые символы' % field)
|
||||
return value
|
||||
|
||||
|
||||
def parse_create_user(raw):
|
||||
data = _load_object(raw, ('username', 'display_name', 'password'))
|
||||
username = data['username']
|
||||
if not isinstance(username, str) or not USERNAME.fullmatch(username):
|
||||
raise bad_request('username: 3-32 символа из набора a-z, 0-9 и _')
|
||||
display_name = _string(data, 'display_name', MAX_NAME)
|
||||
password = _string(data, 'password', MAX_PASSWORD, MIN_PASSWORD)
|
||||
return username, display_name, password
|
||||
|
||||
|
||||
def parse_create_chat(raw):
|
||||
data = _load_object(raw, ('title', 'member_ids'))
|
||||
title = _string(data, 'title', MAX_NAME)
|
||||
raw_ids = data['member_ids']
|
||||
if not isinstance(raw_ids, list) or not 1 <= len(raw_ids) <= MAX_MEMBERS:
|
||||
raise bad_request('member_ids: список из 1-%d UUID' % MAX_MEMBERS)
|
||||
member_ids = [parse_uuid(item) for item in raw_ids]
|
||||
if None in member_ids:
|
||||
raise bad_request('member_ids должен содержать только UUID')
|
||||
if len(set(member_ids)) != len(member_ids):
|
||||
raise bad_request('member_ids не должен содержать повторов')
|
||||
return title, member_ids
|
||||
|
||||
|
||||
def parse_create_message(raw):
|
||||
try:
|
||||
data = json.loads(raw.decode('utf-8'))
|
||||
except (ValueError, RecursionError):
|
||||
raise bad_request('Тело запроса должно быть корректным JSON в UTF-8')
|
||||
if not isinstance(data, dict) or 'text' not in data or set(data) - {'text', 'attachment_ids'}:
|
||||
raise bad_request('Нужен text и необязательный attachment_ids')
|
||||
text = data['text']
|
||||
if not isinstance(text, str) or len(text) > MAX_TEXT or '\x00' in text:
|
||||
raise bad_request('text: строка до 4000 символов')
|
||||
try:
|
||||
text.encode('utf-8')
|
||||
except UnicodeEncodeError:
|
||||
raise bad_request('Недопустимые символы text')
|
||||
ids = data.get('attachment_ids', [])
|
||||
if not isinstance(ids, list) or len(ids) > 10:
|
||||
raise bad_request('attachment_ids: список до 10 UUID')
|
||||
ids = [parse_uuid(value) for value in ids]
|
||||
if None in ids or len(set(ids)) != len(ids):
|
||||
raise bad_request('attachment_ids: уникальные UUID')
|
||||
if not text.strip() and not ids:
|
||||
raise bad_request('Нужен непустой текст или вложение')
|
||||
return text, ids
|
||||
|
||||
|
||||
def parse_idempotency_key(header):
|
||||
"""Значение заголовка Idempotency-Key; без него или в неверном формате — 400."""
|
||||
if header is None:
|
||||
raise bad_request('Нужен заголовок Idempotency-Key')
|
||||
if not IDEMPOTENCY_KEY.fullmatch(header):
|
||||
raise bad_request('Idempotency-Key: от 1 до 128 символов из набора A-Z, a-z, 0-9 и ._:-')
|
||||
return header
|
||||
|
||||
|
||||
def request_fingerprint(text, attachment_ids=()):
|
||||
"""sha256 разобранного тела: порядок ключей и пробелы в JSON не влияют на сравнение повторов."""
|
||||
canonical = json.dumps({'text': text, 'attachment_ids': list(attachment_ids)},
|
||||
ensure_ascii=False, sort_keys=True, separators=(',', ':'))
|
||||
return hashlib.sha256(canonical.encode('utf-8')).hexdigest()
|
||||
|
||||
|
||||
def _credentials(header, scheme):
|
||||
"""Значение после схемы авторизации (схема без учёта регистра) или None."""
|
||||
if not header:
|
||||
return None
|
||||
name, _, value = header.strip().partition(' ')
|
||||
if name.lower() != scheme:
|
||||
return None
|
||||
return value.strip()
|
||||
|
||||
|
||||
def parse_basic(header):
|
||||
"""(username, password) из Authorization: Basic base64(username:password) или None.
|
||||
|
||||
Пароль в UTF-8 и может содержать двоеточие: делим по первому. Всё, что не может быть
|
||||
правильной парой логин/пароль, возвращает None — дальше это обычный ответ 401.
|
||||
"""
|
||||
value = _credentials(header, 'basic')
|
||||
if not value:
|
||||
return None
|
||||
try:
|
||||
decoded = base64.b64decode(value, validate=True).decode('utf-8')
|
||||
except (binascii.Error, ValueError):
|
||||
return None
|
||||
username, separator, password = decoded.partition(':')
|
||||
if not separator or not USERNAME.fullmatch(username):
|
||||
return None
|
||||
if not MIN_PASSWORD <= len(password) <= MAX_PASSWORD:
|
||||
return None
|
||||
return username, password
|
||||
|
||||
|
||||
def parse_bearer(header):
|
||||
"""Токен из Authorization: Bearer <token> или None."""
|
||||
value = _credentials(header, 'bearer')
|
||||
if not value or not BEARER_TOKEN.fullmatch(value):
|
||||
return None
|
||||
return value
|
||||
|
||||
|
||||
def _single(query, name):
|
||||
"""Значение параметра запроса; None, если параметра нет."""
|
||||
values = query.get(name)
|
||||
if values is None:
|
||||
return None
|
||||
if len(values) != 1:
|
||||
raise bad_request('Параметр %s указан несколько раз' % name)
|
||||
return values[0]
|
||||
|
||||
|
||||
def parse_limit(query):
|
||||
value = _single(query, 'limit')
|
||||
if value is None:
|
||||
return DEFAULT_LIMIT
|
||||
if not LIMIT.fullmatch(value) or not 1 <= int(value) <= MAX_LIMIT:
|
||||
raise bad_request('limit должен быть целым числом от 1 до %d' % MAX_LIMIT)
|
||||
return int(value)
|
||||
|
||||
|
||||
def encode_cursor(scope, key):
|
||||
"""Непрозрачный для клиента cursor: область действия и ключ (created_at, id) последней записи."""
|
||||
if key is None:
|
||||
return None
|
||||
raw = '%s|%d|%s' % (scope, key[0], key[1])
|
||||
return base64.urlsafe_b64encode(raw.encode('ascii')).decode('ascii').rstrip('=')
|
||||
|
||||
|
||||
def parse_cursor(query, scope):
|
||||
"""Ключ (created_at в мкс, id), после которого продолжать; None без cursor.
|
||||
|
||||
scope привязывает cursor к ресурсу: cursor от другого чата — 400.
|
||||
"""
|
||||
value = _single(query, 'cursor')
|
||||
if value is None:
|
||||
return None
|
||||
try:
|
||||
padded = value + '=' * (-len(value) % 4)
|
||||
raw = base64.b64decode(padded, altchars=b'-_', validate=True).decode('ascii')
|
||||
cursor_scope, micros, entry_id = raw.split('|')
|
||||
if cursor_scope != scope or not micros.isdigit() or parse_uuid(entry_id) != entry_id:
|
||||
raise ValueError
|
||||
# Ограничение длины защищает от чисел, которые не влезут в дату PostgreSQL.
|
||||
if len(micros) > 17:
|
||||
raise ValueError
|
||||
return int(micros), entry_id
|
||||
except ValueError:
|
||||
raise bad_request('Некорректный cursor')
|
||||
@@ -0,0 +1,144 @@
|
||||
"""Небольшой HTTP-клиент для собственных тестов. Только стандартная библиотека, Python 3.9+.
|
||||
|
||||
Стенд должен быть уже запущен. Адрес берётся из переменной окружения BASE_URL.
|
||||
По умолчанию 127.0.0.1, а не localhost: в Windows localhost сначала пробует IPv6
|
||||
и каждый запрос к IPv4-порту занимает около двух секунд.
|
||||
"""
|
||||
import base64
|
||||
import json
|
||||
import os
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
from datetime import datetime
|
||||
from urllib.parse import quote
|
||||
|
||||
BASE_URL = os.environ.get('BASE_URL', 'http://127.0.0.1:8080').rstrip('/')
|
||||
TIMEOUT = 10
|
||||
USER_FIELDS = ('id', 'username', 'display_name', 'created_at')
|
||||
# Значение по умолчанию для key: новый случайный Idempotency-Key у каждого POST сообщения.
|
||||
AUTO = object()
|
||||
|
||||
|
||||
class Response:
|
||||
def __init__(self, status, headers, body):
|
||||
self.status = status
|
||||
self.headers = headers
|
||||
self.body = body
|
||||
self.json = json.loads(body) if body else None
|
||||
|
||||
|
||||
def request(method, path, user=None, body=None, raw=None, headers=None, base_url=None, key=AUTO):
|
||||
"""Один запрос. user — словарь с token (Bearer); body — объект для JSON; raw — готовые байты.
|
||||
|
||||
key — Idempotency-Key для POST сообщения: по умолчанию новый случайный, None — без заголовка.
|
||||
"""
|
||||
all_headers = {'Accept': 'application/json'}
|
||||
if user is not None:
|
||||
all_headers['Authorization'] = 'Bearer ' + user['token']
|
||||
if key is AUTO:
|
||||
key = uuid.uuid4().hex if method == 'POST' and path.endswith('/messages') else None
|
||||
if key is not None:
|
||||
all_headers['Idempotency-Key'] = key
|
||||
if body is not None:
|
||||
raw = json.dumps(body, ensure_ascii=False).encode('utf-8')
|
||||
if raw is not None:
|
||||
all_headers['Content-Type'] = 'application/json'
|
||||
all_headers.update(headers or {})
|
||||
req = urllib.request.Request((base_url or BASE_URL) + path, data=raw, headers=all_headers, method=method)
|
||||
try:
|
||||
response = urllib.request.urlopen(req, timeout=TIMEOUT)
|
||||
except urllib.error.HTTPError as error:
|
||||
response = error
|
||||
with response:
|
||||
result = Response(response.code, response.headers, response.read())
|
||||
# Общие требования контракта ко всем ответам.
|
||||
assert result.headers.get('X-Request-Id'), 'no X-Request-Id in response'
|
||||
assert result.headers.get('X-Instance-Id'), 'no X-Instance-Id in response'
|
||||
if result.status == 204:
|
||||
assert not result.body, '204 must not have a body'
|
||||
return result
|
||||
assert result.headers.get_content_type() == 'application/json', 'response is not JSON'
|
||||
if result.status >= 400:
|
||||
error = result.json['error']
|
||||
assert set(error) == {'code', 'message', 'request_id'}, 'unexpected error fields'
|
||||
assert error['message'], 'empty error message'
|
||||
assert error['request_id'] == result.headers['X-Request-Id'], 'request_id differs from header'
|
||||
return result
|
||||
|
||||
|
||||
def basic(username, password):
|
||||
"""Значение заголовка Authorization: Basic base64(username:password) в UTF-8."""
|
||||
return 'Basic ' + base64.b64encode((username + ':' + password).encode('utf-8')).decode('ascii')
|
||||
|
||||
|
||||
def unique_username(prefix='t'):
|
||||
return prefix + '_' + uuid.uuid4().hex[:16]
|
||||
|
||||
|
||||
def new_password():
|
||||
# Кириллица и двоеточие: проверяем UTF-8 и деление Basic по первому двоеточию.
|
||||
return 'Пароль:' + uuid.uuid4().hex
|
||||
|
||||
|
||||
def register(username=None, password=None, display_name='Тестовый пользователь'):
|
||||
body = {'username': username or unique_username(), 'display_name': display_name, 'password': password or new_password()}
|
||||
return request('POST', '/api/v1/users', body=body), body
|
||||
|
||||
|
||||
def login(username, password, base_url=None):
|
||||
return request('POST', '/api/v1/auth/sessions', headers={'Authorization': basic(username, password)},
|
||||
base_url=base_url)
|
||||
|
||||
|
||||
def new_user(display_name='Тестовый пользователь', base_url=None):
|
||||
"""Зарегистрированный пользователь с действующим токеном: поля User + token + password."""
|
||||
response, body = register(display_name=display_name)
|
||||
assert response.status == 201, 'user was not created: %d' % response.status
|
||||
session = login(body['username'], body['password'], base_url=base_url)
|
||||
assert session.status == 201, 'login failed: %d' % session.status
|
||||
return dict(response.json, token=session.json['token'], password=body['password'])
|
||||
|
||||
|
||||
def public(user):
|
||||
"""Только поля схемы User: так пользователь выглядит в ответах API."""
|
||||
return {field: user[field] for field in USER_FIELDS}
|
||||
|
||||
|
||||
def new_chat(owner, members, title='Тестовый чат'):
|
||||
body = {'title': title, 'member_ids': [member['id'] for member in members]}
|
||||
response = request('POST', '/api/v1/chats', user=owner, body=body)
|
||||
assert response.status == 201, 'chat was not created: %d' % response.status
|
||||
return response.json
|
||||
|
||||
|
||||
def send(user, chat, text, key=AUTO):
|
||||
return request('POST', '/api/v1/chats/%s/messages' % chat['id'], user=user, body={'text': text}, key=key)
|
||||
|
||||
|
||||
def instance(response):
|
||||
"""Какая реплика API ответила."""
|
||||
return response.headers['X-Instance-Id']
|
||||
|
||||
|
||||
def pages(path, user, limit):
|
||||
"""Обходит все страницы списка и возвращает их как список списков."""
|
||||
result = []
|
||||
cursor = None
|
||||
while True:
|
||||
url = '%s?limit=%d' % (path, limit)
|
||||
if cursor:
|
||||
url += '&cursor=' + quote(cursor, safe='')
|
||||
response = request('GET', url, user=user)
|
||||
assert response.status == 200, 'page was not read: %d' % response.status
|
||||
result.append(response.json['items'])
|
||||
cursor = response.json['next_cursor']
|
||||
if cursor is None:
|
||||
return result
|
||||
assert len(result) < 1000, 'pagination does not finish'
|
||||
|
||||
|
||||
def order_key(item):
|
||||
"""Порядок из контракта: (created_at, id) по возрастанию."""
|
||||
created_at = datetime.fromisoformat(item['created_at'][:-1] + '+00:00')
|
||||
return created_at, uuid.UUID(item['id']).int
|
||||
@@ -0,0 +1,6 @@
|
||||
# JPEG fixture
|
||||
|
||||
`sample.jpg` — JPEG-версия публичного синтетического `tests/fixtures/sample.png`,
|
||||
созданная стандартным JPEG-кодировщиком Windows System.Drawing. Используется только
|
||||
для проверки JPEG upload/download и побайтной сохранности оригинала. Тесты не
|
||||
требуют библиотек изображений: fixture уже сохранён в репозитории.
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 7.7 KiB |
@@ -0,0 +1,88 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Проверка защиты от гонок: N клиентов одновременно отправляют сообщения в один чат.
|
||||
|
||||
python student-tests/race.py --output evidence/race.json
|
||||
|
||||
Каждый клиент — отдельный пользователь и отдельный поток. Все потоки стартуют
|
||||
одновременно, затем история читается постранично и сравнивается с отправленным.
|
||||
Код возврата 0 — в истории ровно столько уникальных сообщений, сколько отправлено.
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
from collections import Counter
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
import api
|
||||
|
||||
|
||||
def run_race(clients=10, per_client=10, page_size=7):
|
||||
users = [api.new_user('Клиент %d' % n) for n in range(clients)]
|
||||
chat = api.new_chat(users[0], users, title='Проверка гонок')
|
||||
start = threading.Barrier(clients)
|
||||
|
||||
def client(index):
|
||||
start.wait()
|
||||
return [api.send(users[index], chat, 'race client=%d message=%d' % (index, n)) for n in range(per_client)]
|
||||
|
||||
started = time.monotonic()
|
||||
with ThreadPoolExecutor(max_workers=clients) as pool:
|
||||
responses = [response for batch in pool.map(client, range(clients)) for response in batch]
|
||||
elapsed = time.monotonic() - started
|
||||
|
||||
accepted = [response.json for response in responses if response.status == 201]
|
||||
pages = api.pages('/api/v1/chats/%s/messages' % chat['id'], users[-1], page_size)
|
||||
history = [message for page in pages for message in page]
|
||||
per_sender = Counter(message['sender_id'] for message in history)
|
||||
expected = clients * per_client
|
||||
summary = {
|
||||
'base_url': api.BASE_URL,
|
||||
'clients': clients,
|
||||
'messages_per_client': per_client,
|
||||
'sent': len(responses),
|
||||
'accepted_201': len(accepted),
|
||||
'history_total': len(history),
|
||||
'history_unique_ids': len({message['id'] for message in history}),
|
||||
'history_unique_texts': len({message['text'] for message in history}),
|
||||
'history_matches_accepted': sorted(m['id'] for m in history) == sorted(m['id'] for m in accepted),
|
||||
'senders_in_history': len(per_sender),
|
||||
'min_messages_per_sender': min(per_sender.values(), default=0),
|
||||
'max_messages_per_sender': max(per_sender.values(), default=0),
|
||||
'ordered_by_created_at_and_id': history == sorted(history, key=api.order_key),
|
||||
'pages_read': len(pages),
|
||||
'page_size': page_size,
|
||||
'send_elapsed_seconds': round(elapsed, 3),
|
||||
}
|
||||
summary['ok'] = (
|
||||
summary['accepted_201'] == expected
|
||||
and summary['history_total'] == expected
|
||||
and summary['history_unique_ids'] == expected
|
||||
and summary['history_unique_texts'] == expected
|
||||
and summary['history_matches_accepted']
|
||||
and summary['senders_in_history'] == clients
|
||||
and summary['min_messages_per_sender'] == summary['max_messages_per_sender'] == per_client
|
||||
and summary['ordered_by_created_at_and_id']
|
||||
)
|
||||
return summary
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description='Concurrent message race check; creates synthetic users and messages')
|
||||
parser.add_argument('--clients', type=int, default=10)
|
||||
parser.add_argument('--per-client', type=int, default=10)
|
||||
parser.add_argument('--output', default=None, help='Optional JSON file for the summary')
|
||||
args = parser.parse_args()
|
||||
summary = run_race(args.clients, args.per_client)
|
||||
text = json.dumps(summary, indent=2)
|
||||
if args.output:
|
||||
with open(args.output, 'w', encoding='utf-8') as file:
|
||||
file.write(text + '\n')
|
||||
print(text)
|
||||
print('PASS' if summary['ok'] else 'FAIL')
|
||||
return 0 if summary['ok'] else 1
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,87 @@
|
||||
"""Доступ к чатам: аутентификация (кто ты) отдельно от доступа к конкретному чату (можно ли тебе сюда)."""
|
||||
import unittest
|
||||
import uuid
|
||||
|
||||
import api
|
||||
|
||||
|
||||
class AuthenticationOrderTest(unittest.TestCase):
|
||||
def test_authentication_is_checked_before_body_and_resource(self):
|
||||
# Без токена сервер не сообщает ни об ошибке JSON, ни о наличии чата.
|
||||
self.assertEqual(api.request('POST', '/api/v1/chats', raw=b'{broken').status, 401)
|
||||
owner = api.new_user()
|
||||
chat = api.new_chat(owner, [owner])
|
||||
path = '/api/v1/chats/%s/messages' % chat['id']
|
||||
self.assertEqual(api.request('GET', path).status, 401)
|
||||
self.assertEqual(api.request('POST', path, raw=b'{broken').status, 401)
|
||||
|
||||
def test_registration_does_not_need_a_token(self):
|
||||
response, _ = api.register()
|
||||
self.assertEqual(response.status, 201)
|
||||
|
||||
|
||||
class ForeignChatTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.alice, cls.bob, cls.eve = api.new_user('Алиса'), api.new_user('Боб'), api.new_user('Ева')
|
||||
cls.chat = api.new_chat(cls.alice, [cls.alice, cls.bob])
|
||||
cls.path = '/api/v1/chats/' + cls.chat['id']
|
||||
assert api.send(cls.alice, cls.chat, 'секрет участников').status == 201
|
||||
|
||||
def assert_not_found(self, response):
|
||||
self.assertEqual(response.status, 404)
|
||||
self.assertEqual(response.json['error']['code'], 'not_found')
|
||||
|
||||
def test_outsider_cannot_get_chat(self):
|
||||
self.assert_not_found(api.request('GET', self.path, user=self.eve))
|
||||
|
||||
def test_outsider_cannot_read_history(self):
|
||||
self.assert_not_found(api.request('GET', self.path + '/messages', user=self.eve))
|
||||
|
||||
def test_outsider_cannot_write(self):
|
||||
self.assert_not_found(api.send(self.eve, self.chat, 'чужое сообщение'))
|
||||
# Даже с неверным телом посторонний видит 404, а не подсказку о валидации.
|
||||
self.assert_not_found(api.request('POST', self.path + '/messages', user=self.eve, body={'text': ''}))
|
||||
history = [m for page in api.pages(self.path + '/messages', self.alice, 100) for m in page]
|
||||
self.assertNotIn('чужое сообщение', [m['text'] for m in history])
|
||||
self.assertNotIn(self.eve['id'], [m['sender_id'] for m in history])
|
||||
|
||||
def test_foreign_chat_looks_like_missing_chat(self):
|
||||
foreign = api.request('GET', self.path, user=self.eve)
|
||||
missing = api.request('GET', '/api/v1/chats/' + str(uuid.uuid4()), user=self.eve)
|
||||
self.assert_not_found(missing)
|
||||
self.assertEqual(foreign.json['error']['code'], missing.json['error']['code'])
|
||||
self.assertEqual(foreign.json['error']['message'], missing.json['error']['message'])
|
||||
|
||||
def test_chat_list_contains_only_own_chats(self):
|
||||
def chat_ids(user):
|
||||
return [chat['id'] for page in api.pages('/api/v1/chats', user, 100) for chat in page]
|
||||
|
||||
self.assertIn(self.chat['id'], chat_ids(self.alice))
|
||||
self.assertIn(self.chat['id'], chat_ids(self.bob))
|
||||
self.assertEqual(chat_ids(self.eve), [])
|
||||
|
||||
def test_every_member_can_read_and_write(self):
|
||||
self.assertEqual(api.request('GET', self.path, user=self.bob).json, self.chat)
|
||||
sent = api.send(self.bob, self.chat, 'ответ Боба')
|
||||
self.assertEqual(sent.status, 201)
|
||||
self.assertEqual(sent.json['sender_id'], self.bob['id'])
|
||||
|
||||
def test_x_user_id_does_not_open_a_foreign_chat(self):
|
||||
# Ева подставляет id Алисы: доступ решает только владелец токена.
|
||||
response = api.request('GET', self.path, user=self.eve, headers={'X-User-Id': self.alice['id']})
|
||||
self.assert_not_found(response)
|
||||
|
||||
def test_invalid_chat_id_is_400(self):
|
||||
for suffix in ('', '/messages'):
|
||||
with self.subTest(suffix=suffix):
|
||||
response = api.request('GET', '/api/v1/chats/not-a-uuid' + suffix, user=self.alice)
|
||||
self.assertEqual(response.status, 400)
|
||||
|
||||
def test_unknown_route_is_404(self):
|
||||
self.assert_not_found(api.request('GET', '/api/v1/unknown', user=self.alice))
|
||||
self.assert_not_found(api.request('DELETE', self.path, user=self.alice))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,102 @@
|
||||
"""Lab4: файлы, ACL, привязка к чату и идемпотентность. Публичный контракт не изменяется."""
|
||||
import hashlib
|
||||
from pathlib import Path
|
||||
import struct
|
||||
import sys
|
||||
import unittest
|
||||
from urllib.parse import quote
|
||||
import uuid
|
||||
import zlib
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, ROOT
|
||||
|
||||
|
||||
class AttachmentsTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.c = Client('http://127.0.0.1:8080' if not __import__('os').environ.get('BASE_URL')
|
||||
else __import__('os').environ['BASE_URL'])
|
||||
cls.a, cls.b, cls.eve, cls.chat = cls.c.bootstrap()
|
||||
cls.png = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
cls.path = '/api/v1/chats/' + cls.chat['id'] + '/attachments'
|
||||
|
||||
def upload(self, raw=None, mime='image/png', filename='photo.png', status=201, actor=None, headers=None):
|
||||
return self.c.call('POST', self.path + '?filename=' + quote(filename, safe=''), status,
|
||||
actor=actor or self.a, raw=self.png if raw is None else raw,
|
||||
headers={'Content-Type': mime, **(headers or {})},
|
||||
schema='Attachment' if status == 201 else None)
|
||||
|
||||
def test_original_and_metadata_and_acl(self):
|
||||
a = self.upload(filename='фото 👋.png')['json']
|
||||
self.assertEqual(a['sha256'], hashlib.sha256(self.png).hexdigest())
|
||||
self.assertEqual(a['size_bytes'], len(self.png))
|
||||
self.assertEqual((a['status'], a['variants'], a['error_code']), ('ready', [], None))
|
||||
path = '/api/v1/attachments/' + a['id']
|
||||
self.assertEqual(self.c.call('GET', path, actor=self.b, schema='Attachment')['json'], a)
|
||||
result = self.c.call('GET', path + '/content?variant=original', actor=self.b)
|
||||
self.assertEqual(result['bytes'], self.png)
|
||||
self.assertEqual(result['headers'].get_content_type(), 'image/png')
|
||||
for suffix in ('', '/content'):
|
||||
self.c.call('GET', path + suffix, 404, actor=self.eve)
|
||||
self.c.call('GET', path + suffix, 401)
|
||||
self.c.call('GET', path + '/content?variant=thumbnail', 404, actor=self.a)
|
||||
|
||||
def test_jpeg_original(self):
|
||||
jpeg = (ROOT / 'student-tests/fixtures/sample.jpg').read_bytes()
|
||||
a = self.upload(raw=jpeg, mime='image/jpeg', filename='photo.jpg')['json']
|
||||
got = self.c.call('GET', '/api/v1/attachments/' + a['id'] + '/content', actor=self.b)
|
||||
self.assertEqual(got['bytes'], jpeg)
|
||||
self.assertEqual(got['headers'].get_content_type(), 'image/jpeg')
|
||||
|
||||
def test_corrupt_and_wrong_mime(self):
|
||||
for raw, mime in ((b'not an image', 'image/png'), (self.png[:40], 'image/png'),
|
||||
(self.png, 'image/jpeg'), (self.png, 'text/plain'), (b'', 'image/png')):
|
||||
with self.subTest(mime=mime, size=len(raw)):
|
||||
self.upload(raw=raw, mime=mime, status=415)
|
||||
|
||||
def test_filename(self):
|
||||
for name in ('', ' ', '../x.png', 'a/b.png', 'a\\b.png', 'a\x00.png', 'a\n.png', 'a\x7f.png', 'я' * 256):
|
||||
with self.subTest(name=repr(name)):
|
||||
self.upload(filename=name, status=400)
|
||||
|
||||
def test_byte_limit_before_body(self):
|
||||
# Большой Content-Length с одним байтом: сервер отклоняет до чтения/выделения памяти.
|
||||
self.upload(raw=b'x', status=413, headers={'Content-Length': '10485761'})
|
||||
|
||||
def test_pixel_limit_before_decode(self):
|
||||
ihdr = struct.pack('>IIBBBBB', 10000, 5000, 8, 2, 0, 0, 0)
|
||||
chunk = b'IHDR' + ihdr
|
||||
png = (b'\x89PNG\r\n\x1a\n' + struct.pack('>I', len(ihdr)) + chunk
|
||||
+ struct.pack('>I', zlib.crc32(chunk)) + self.png[33:])
|
||||
self.upload(raw=png, status=413)
|
||||
|
||||
def test_foreign_chat_upload(self):
|
||||
self.upload(actor=self.eve, status=404)
|
||||
|
||||
def test_attachment_only_and_idempotency(self):
|
||||
aid = self.upload()['json']['id']
|
||||
key = uuid.uuid4().hex
|
||||
first = self.c.message(self.b, self.chat, '', key=key, attachments=[aid])['json']
|
||||
self.assertEqual(first['attachment_ids'], [aid])
|
||||
self.assertEqual(self.c.message(self.b, self.chat, '', key=key, attachments=[aid])['json'], first)
|
||||
path = '/api/v1/chats/' + self.chat['id'] + '/messages'
|
||||
self.c.call('POST', path, 409, actor=self.b, body={'text': 'другое', 'attachment_ids': [aid]},
|
||||
headers={'Idempotency-Key': key})
|
||||
key = uuid.uuid4().hex
|
||||
first = self.c.message(self.a, self.chat, 'text', key=key)['json']
|
||||
self.assertEqual(self.c.message(self.a, self.chat, 'text', key=key, attachments=[])['json'], first)
|
||||
|
||||
def test_unknown_foreign_and_duplicate_ids(self):
|
||||
aid = self.upload()['json']['id']
|
||||
other = self.c.call('POST', '/api/v1/chats', 201, actor=self.a,
|
||||
body={'title': 'другой', 'member_ids': [self.a['id']]}, schema='Chat')['json']
|
||||
for chat, ids, status in ((other, [aid], 404), (self.chat, [str(uuid.uuid4())], 404),
|
||||
(self.chat, [aid, aid], 400), (self.chat, [aid] * 11, 400),
|
||||
(self.chat, ['bad'], 400)):
|
||||
self.c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', status, actor=self.a,
|
||||
body={'text': '', 'attachment_ids': ids}, headers={'Idempotency-Key': uuid.uuid4().hex})
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,39 @@
|
||||
"""Балансировка: запросы одной сессии обслуживают разные реплики, состояние у них общее."""
|
||||
import time
|
||||
import unittest
|
||||
|
||||
import api
|
||||
|
||||
|
||||
class BalancingTest(unittest.TestCase):
|
||||
def test_one_session_is_served_by_several_replicas(self):
|
||||
user = api.new_user('Балансировка')
|
||||
responses = [api.request('GET', '/api/v1/users/me', user=user) for _ in range(20)]
|
||||
self.assertEqual({response.status for response in responses}, {200})
|
||||
# Сессия общая (Valkey), поэтому любая реплика узнаёт токен без повторного входа.
|
||||
self.assertGreaterEqual(len({api.instance(response) for response in responses}), 2)
|
||||
|
||||
def test_message_written_on_one_replica_is_read_on_another(self):
|
||||
alice, bob = api.new_user('Алиса'), api.new_user('Боб')
|
||||
chat = api.new_chat(alice, [alice, bob])
|
||||
sent = api.send(alice, chat, 'запись на одной реплике')
|
||||
self.assertEqual(sent.status, 201)
|
||||
writer = api.instance(sent)
|
||||
path = '/api/v1/chats/%s/messages' % chat['id']
|
||||
deadline = time.monotonic() + 5
|
||||
while time.monotonic() < deadline:
|
||||
read = api.request('GET', path, user=bob)
|
||||
if api.instance(read) != writer:
|
||||
# Подтверждённое сообщение сразу видно через другую реплику.
|
||||
self.assertEqual(read.json['items'], [sent.json])
|
||||
return
|
||||
self.fail('no response from another replica within 5 s')
|
||||
|
||||
def test_errors_also_carry_instance_id(self):
|
||||
for method, path in (('GET', '/api/v1/users/me'), ('GET', '/api/v1/unknown'), ('GET', '/health/live')):
|
||||
with self.subTest(path=path):
|
||||
self.assertTrue(api.instance(api.request(method, path)))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,62 @@
|
||||
"""Параллельные запросы не должны терять, дублировать или портить данные."""
|
||||
import threading
|
||||
import unittest
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
import api
|
||||
from race import run_race
|
||||
|
||||
|
||||
class ConcurrencyTest(unittest.TestCase):
|
||||
def test_100_messages_from_10_clients(self):
|
||||
summary = run_race(clients=10, per_client=10)
|
||||
self.assertEqual(summary['accepted_201'], 100)
|
||||
self.assertEqual(summary['history_total'], 100)
|
||||
self.assertEqual(summary['history_unique_ids'], 100)
|
||||
self.assertEqual(summary['history_unique_texts'], 100)
|
||||
self.assertTrue(summary['history_matches_accepted'])
|
||||
self.assertEqual(summary['senders_in_history'], 10)
|
||||
self.assertEqual((summary['min_messages_per_sender'], summary['max_messages_per_sender']), (10, 10))
|
||||
self.assertTrue(summary['ordered_by_created_at_and_id'])
|
||||
|
||||
def test_same_username_registered_in_parallel_wins_once(self):
|
||||
# Уникальность username держит индекс PostgreSQL: из одновременных INSERT проходит один,
|
||||
# остальные получают нарушение уникальности, и API отвечает 409.
|
||||
attempts = 20
|
||||
username = api.unique_username()
|
||||
passwords = ['Гонка-пароль-%02d' % n for n in range(attempts)]
|
||||
start = threading.Barrier(attempts)
|
||||
|
||||
def register(index):
|
||||
start.wait()
|
||||
body = {'username': username, 'display_name': 'Гонка %d' % index, 'password': passwords[index]}
|
||||
return api.request('POST', '/api/v1/users', body=body)
|
||||
|
||||
with ThreadPoolExecutor(max_workers=attempts) as pool:
|
||||
responses = list(pool.map(register, range(attempts)))
|
||||
statuses = sorted(response.status for response in responses)
|
||||
self.assertEqual(statuses, [201] + [409] * (attempts - 1))
|
||||
# Победитель один, и войти можно только с его паролем.
|
||||
winner = next(index for index, response in enumerate(responses) if response.status == 201)
|
||||
logins = [api.login(username, password).status for password in passwords]
|
||||
self.assertEqual(logins, [201 if index == winner else 401 for index in range(attempts)])
|
||||
|
||||
def test_chats_created_in_parallel_are_all_listed(self):
|
||||
user = api.new_user()
|
||||
count = 30
|
||||
start = threading.Barrier(count)
|
||||
|
||||
def create(index):
|
||||
start.wait()
|
||||
return api.new_chat(user, [user], title='Параллельный чат %d' % index)
|
||||
|
||||
with ThreadPoolExecutor(max_workers=count) as pool:
|
||||
created = list(pool.map(create, range(count)))
|
||||
listed = [chat for page in api.pages('/api/v1/chats', user, 7) for chat in page]
|
||||
self.assertEqual(len(listed), count)
|
||||
self.assertEqual({chat['id'] for chat in listed}, {chat['id'] for chat in created})
|
||||
self.assertEqual(listed, sorted(listed, key=api.order_key))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,106 @@
|
||||
"""Идемпотентность отправки сообщения: Idempotency-Key общий для всех реплик."""
|
||||
import threading
|
||||
import unittest
|
||||
import uuid
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
import api
|
||||
|
||||
|
||||
class IdempotencyTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.alice, cls.bob = api.new_user('Алиса'), api.new_user('Боб')
|
||||
cls.chat = api.new_chat(cls.alice, [cls.alice, cls.bob])
|
||||
cls.path = '/api/v1/chats/%s/messages' % cls.chat['id']
|
||||
|
||||
def history(self):
|
||||
return [m for page in api.pages(self.path, self.alice, 100) for m in page]
|
||||
|
||||
def test_replay_returns_the_same_message(self):
|
||||
key = uuid.uuid4().hex
|
||||
first = api.send(self.alice, self.chat, 'повтор ' + key, key=key)
|
||||
second = api.send(self.alice, self.chat, 'повтор ' + key, key=key)
|
||||
self.assertEqual((first.status, second.status), (201, 201))
|
||||
self.assertEqual(second.json, first.json)
|
||||
self.assertEqual([m['text'] for m in self.history()].count('повтор ' + key), 1)
|
||||
|
||||
def test_same_key_with_another_body_is_409(self):
|
||||
key = uuid.uuid4().hex
|
||||
self.assertEqual(api.send(self.alice, self.chat, 'первое тело', key=key).status, 201)
|
||||
response = api.send(self.alice, self.chat, 'другое тело', key=key)
|
||||
self.assertEqual(response.status, 409)
|
||||
self.assertEqual(response.json['error']['code'], 'conflict')
|
||||
self.assertNotIn('другое тело', [m['text'] for m in self.history()])
|
||||
|
||||
def test_json_formatting_does_not_matter(self):
|
||||
# Пробелы и запись Unicode в JSON не меняют смысл тела: это тот же повтор.
|
||||
key = uuid.uuid4().hex
|
||||
first = api.request('POST', self.path, user=self.alice, raw='{"text":"Привет"}'.encode(), key=key)
|
||||
second = api.request('POST', self.path, user=self.alice, raw=b'{ "text" : "\\u041f\\u0440\\u0438\\u0432\\u0435\\u0442" }', key=key)
|
||||
self.assertEqual((first.status, second.status), (201, 201))
|
||||
self.assertEqual(second.json, first.json)
|
||||
|
||||
def test_missing_key_is_400(self):
|
||||
response = api.send(self.alice, self.chat, 'без ключа', key=None)
|
||||
self.assertEqual(response.status, 400)
|
||||
self.assertNotIn('без ключа', [m['text'] for m in self.history()])
|
||||
|
||||
def test_invalid_keys_are_400(self):
|
||||
# Кириллица уходит в заголовок байтами UTF-8, как её отправил бы обычный клиент.
|
||||
cyrillic = 'кириллица'.encode('utf-8').decode('latin-1')
|
||||
for key in ('', 'a' * 129, cyrillic, 'with space', 'semi;colon', 'slash/key'):
|
||||
with self.subTest(key=key):
|
||||
self.assertEqual(api.send(self.alice, self.chat, 'ключ', key=key).status, 400)
|
||||
|
||||
def test_key_format_limits_are_accepted(self):
|
||||
# Свой чат на каждый запуск: область ключа включает чат, поэтому ключи не пересекаются с прошлыми.
|
||||
chat = api.new_chat(self.alice, [self.alice], title='Форматы ключей')
|
||||
for key in ('a' * 128, 'A.b_c:d-1', '0'):
|
||||
with self.subTest(key=key[:20]):
|
||||
self.assertEqual(api.send(self.alice, chat, 'формат ' + key, key=key).status, 201)
|
||||
|
||||
def test_key_scope_is_user_and_chat(self):
|
||||
key = uuid.uuid4().hex
|
||||
other_chat = api.new_chat(self.alice, [self.alice], title='Другой чат')
|
||||
first = api.send(self.alice, self.chat, 'одинаковый ключ', key=key)
|
||||
in_other_chat = api.send(self.alice, other_chat, 'одинаковый ключ', key=key)
|
||||
by_other_user = api.send(self.bob, self.chat, 'одинаковый ключ', key=key)
|
||||
self.assertEqual({first.status, in_other_chat.status, by_other_user.status}, {201})
|
||||
self.assertEqual(len({first.json['id'], in_other_chat.json['id'], by_other_user.json['id']}), 3)
|
||||
|
||||
def test_failed_validation_is_not_remembered(self):
|
||||
# Ответ 400 не фиксируется: тот же ключ можно использовать с исправленным телом.
|
||||
key = uuid.uuid4().hex
|
||||
self.assertEqual(api.send(self.alice, self.chat, ' ', key=key).status, 400)
|
||||
self.assertEqual(api.send(self.alice, self.chat, 'исправлено', key=key).status, 201)
|
||||
|
||||
def test_replay_checks_the_session_again(self):
|
||||
user = api.new_user('Выход')
|
||||
chat = api.new_chat(user, [user])
|
||||
key = uuid.uuid4().hex
|
||||
self.assertEqual(api.send(user, chat, 'до выхода', key=key).status, 201)
|
||||
api.request('DELETE', '/api/v1/auth/sessions/current', user=user)
|
||||
self.assertEqual(api.send(user, chat, 'до выхода', key=key).status, 401)
|
||||
|
||||
def test_parallel_requests_with_one_key_create_one_message(self):
|
||||
# Одновременные повторы расходятся по разным репликам и всё равно создают одно сообщение.
|
||||
key = uuid.uuid4().hex
|
||||
text = 'параллельно ' + key
|
||||
attempts = 20
|
||||
start = threading.Barrier(attempts)
|
||||
|
||||
def post(_):
|
||||
start.wait()
|
||||
return api.send(self.alice, self.chat, text, key=key)
|
||||
|
||||
with ThreadPoolExecutor(max_workers=attempts) as pool:
|
||||
responses = list(pool.map(post, range(attempts)))
|
||||
self.assertEqual({response.status for response in responses}, {201})
|
||||
self.assertEqual(len({response.json['id'] for response in responses}), 1)
|
||||
self.assertGreaterEqual(len({api.instance(response) for response in responses}), 2)
|
||||
self.assertEqual([m['text'] for m in self.history()].count(text), 1)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,127 @@
|
||||
"""Keyset-пагинация истории сообщений и списка чатов."""
|
||||
import unittest
|
||||
from urllib.parse import quote
|
||||
|
||||
import api
|
||||
|
||||
|
||||
class MessagePaginationTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.user = api.new_user()
|
||||
cls.chat = api.new_chat(cls.user, [cls.user])
|
||||
cls.path = '/api/v1/chats/%s/messages' % cls.chat['id']
|
||||
cls.sent = [api.send(cls.user, cls.chat, 'сообщение %d' % n).json for n in range(25)]
|
||||
|
||||
def get(self, query):
|
||||
return api.request('GET', self.path + query, user=self.user)
|
||||
|
||||
def test_walk_over_several_pages(self):
|
||||
pages = api.pages(self.path, self.user, 10)
|
||||
self.assertEqual([len(page) for page in pages], [10, 10, 5])
|
||||
history = [message for page in pages for message in page]
|
||||
# Ничего не потеряно, не повторено и не переставлено.
|
||||
self.assertEqual(history, self.sent)
|
||||
self.assertEqual(history, sorted(history, key=api.order_key))
|
||||
self.assertEqual(len({message['id'] for message in history}), 25)
|
||||
|
||||
def test_one_message_per_page(self):
|
||||
pages = api.pages(self.path, self.user, 1)
|
||||
self.assertEqual(len(pages), 25)
|
||||
self.assertEqual([page[0] for page in pages], self.sent)
|
||||
|
||||
def test_last_full_page_has_no_cursor(self):
|
||||
# 25 сообщений по 5: на пятой странице следующей записи нет, cursor сразу null.
|
||||
pages = api.pages(self.path, self.user, 5)
|
||||
self.assertEqual([len(page) for page in pages], [5, 5, 5, 5, 5])
|
||||
|
||||
def test_default_and_maximum_limit(self):
|
||||
self.assertEqual(len(self.get('').json['items']), 25)
|
||||
everything = self.get('?limit=100').json
|
||||
self.assertEqual(everything['items'], self.sent)
|
||||
self.assertIsNone(everything['next_cursor'])
|
||||
|
||||
def test_limit_can_change_between_pages(self):
|
||||
first = self.get('?limit=3').json
|
||||
second = self.get('?limit=20&cursor=' + quote(first['next_cursor'], safe='')).json
|
||||
self.assertEqual(first['items'] + second['items'], self.sent[:23])
|
||||
self.assertIsNotNone(second['next_cursor'])
|
||||
|
||||
def test_invalid_limit_is_400(self):
|
||||
for limit in ('0', '101', '-1', '1.5', 'abc', '', '1e2', '٣'):
|
||||
with self.subTest(limit=limit):
|
||||
response = self.get('?limit=' + quote(limit))
|
||||
self.assertEqual(response.status, 400)
|
||||
self.assertEqual(response.json['error']['code'], 'invalid_request')
|
||||
|
||||
def test_invalid_cursor_is_400(self):
|
||||
for cursor in ('garbage', '', '!!!', 'AAAA', quote('курсор')):
|
||||
with self.subTest(cursor=cursor):
|
||||
self.assertEqual(self.get('?cursor=' + cursor).status, 400)
|
||||
|
||||
def test_cursor_from_another_chat_is_400(self):
|
||||
other = api.new_chat(self.user, [self.user], title='Другой чат')
|
||||
for n in range(3):
|
||||
api.send(self.user, other, 'в другом чате %d' % n)
|
||||
other_cursor = api.request('GET', '/api/v1/chats/%s/messages?limit=1' % other['id'], user=self.user).json['next_cursor']
|
||||
self.assertIsNotNone(other_cursor)
|
||||
self.assertEqual(self.get('?cursor=' + quote(other_cursor, safe='')).status, 400)
|
||||
# Cursor списка чатов тоже не подходит к истории сообщений.
|
||||
chats_cursor = api.request('GET', '/api/v1/chats?limit=1', user=self.user).json['next_cursor']
|
||||
self.assertEqual(self.get('?cursor=' + quote(chats_cursor, safe='')).status, 400)
|
||||
|
||||
|
||||
class DefaultLimitTest(unittest.TestCase):
|
||||
def test_default_limit_is_50(self):
|
||||
user = api.new_user()
|
||||
chat = api.new_chat(user, [user])
|
||||
path = '/api/v1/chats/%s/messages' % chat['id']
|
||||
for n in range(55):
|
||||
api.send(user, chat, 'сообщение %d' % n)
|
||||
first = api.request('GET', path, user=user).json
|
||||
self.assertEqual(len(first['items']), 50)
|
||||
rest = api.request('GET', path + '?cursor=' + quote(first['next_cursor'], safe=''), user=user).json
|
||||
self.assertEqual(len(rest['items']), 5)
|
||||
self.assertIsNone(rest['next_cursor'])
|
||||
|
||||
|
||||
class GrowingHistoryTest(unittest.TestCase):
|
||||
def test_empty_history(self):
|
||||
user = api.new_user()
|
||||
chat = api.new_chat(user, [user])
|
||||
page = api.request('GET', '/api/v1/chats/%s/messages' % chat['id'], user=user).json
|
||||
self.assertEqual(page, {'items': [], 'next_cursor': None})
|
||||
|
||||
def test_messages_sent_during_walk_are_not_lost(self):
|
||||
alice, bob = api.new_user(), api.new_user()
|
||||
chat = api.new_chat(alice, [alice, bob])
|
||||
path = '/api/v1/chats/%s/messages' % chat['id']
|
||||
before = [api.send(alice, chat, 'до %d' % n).json for n in range(4)]
|
||||
first = api.request('GET', path + '?limit=2', user=bob).json
|
||||
# Пока Боб читает, Алиса дописывает; cursor Боба продолжает работать у любого участника.
|
||||
after = [api.send(alice, chat, 'после %d' % n).json for n in range(3)]
|
||||
rest = api.request('GET', path + '?limit=100&cursor=' + quote(first['next_cursor'], safe=''), user=alice).json
|
||||
self.assertEqual(first['items'] + rest['items'], before + after)
|
||||
|
||||
|
||||
class ChatListPaginationTest(unittest.TestCase):
|
||||
def test_chats_are_paged_in_creation_order(self):
|
||||
user = api.new_user()
|
||||
created = [api.new_chat(user, [user], title='Чат %d' % n) for n in range(5)]
|
||||
pages = api.pages('/api/v1/chats', user, 2)
|
||||
self.assertEqual([len(page) for page in pages], [2, 2, 1])
|
||||
chats = [chat for page in pages for chat in page]
|
||||
self.assertEqual(chats, created)
|
||||
self.assertEqual(chats, sorted(chats, key=api.order_key))
|
||||
|
||||
def test_cursor_of_another_user_is_400(self):
|
||||
alice, bob = api.new_user(), api.new_user()
|
||||
for n in range(2):
|
||||
api.new_chat(alice, [alice, bob], title='Общий %d' % n)
|
||||
alice_cursor = api.request('GET', '/api/v1/chats?limit=1', user=alice).json['next_cursor']
|
||||
response = api.request('GET', '/api/v1/chats?limit=1&cursor=' + quote(alice_cursor, safe=''), user=bob)
|
||||
self.assertEqual(response.status, 400)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,160 @@
|
||||
"""Вход по Basic, Bearer-сессии, выход. X-User-Id из lab1 больше не даёт доступа."""
|
||||
import base64
|
||||
import unittest
|
||||
import uuid
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
import api
|
||||
|
||||
ME = '/api/v1/users/me'
|
||||
SESSIONS = '/api/v1/auth/sessions'
|
||||
|
||||
|
||||
def b64(raw):
|
||||
return base64.b64encode(raw).decode('ascii')
|
||||
|
||||
|
||||
class LoginTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
response, cls.registration = api.register(display_name='Вход')
|
||||
assert response.status == 201
|
||||
cls.user = response.json
|
||||
|
||||
def assert_login_rejected(self, response):
|
||||
self.assertEqual(response.status, 401)
|
||||
self.assertEqual(response.json['error']['code'], 'unauthorized')
|
||||
self.assertEqual(response.headers['WWW-Authenticate'], 'Basic realm="messenger", charset="UTF-8"')
|
||||
return response.json['error']['message']
|
||||
|
||||
def test_successful_login(self):
|
||||
response = api.login(self.registration['username'], self.registration['password'])
|
||||
self.assertEqual(response.status, 201)
|
||||
session = response.json
|
||||
self.assertEqual(set(session), {'token', 'token_type', 'expires_at', 'user'})
|
||||
self.assertEqual(session['token_type'], 'Bearer')
|
||||
self.assertEqual(session['user'], self.user)
|
||||
# Непрозрачный случайный токен: 256 бит в base64url — 43 символа; это не id и не username.
|
||||
self.assertGreaterEqual(len(session['token']), 43)
|
||||
self.assertNotIn(self.user['id'], session['token'])
|
||||
self.assertNotIn(self.user['username'], session['token'])
|
||||
expires_at = datetime.fromisoformat(session['expires_at'][:-1] + '+00:00')
|
||||
self.assertGreater(expires_at, datetime.now(timezone.utc) + timedelta(seconds=60))
|
||||
me = api.request('GET', ME, headers={'Authorization': 'Bearer ' + session['token']})
|
||||
self.assertEqual(me.json, self.user)
|
||||
|
||||
def test_each_login_gives_a_new_token(self):
|
||||
first = api.login(self.registration['username'], self.registration['password']).json['token']
|
||||
second = api.login(self.registration['username'], self.registration['password']).json['token']
|
||||
self.assertNotEqual(first, second)
|
||||
for token in (first, second):
|
||||
self.assertEqual(api.request('GET', ME, headers={'Authorization': 'Bearer ' + token}).status, 200)
|
||||
|
||||
def test_registration_never_returns_password(self):
|
||||
response, _ = api.register()
|
||||
self.assertEqual(set(response.json), {'id', 'username', 'display_name', 'created_at'})
|
||||
|
||||
def test_wrong_password(self):
|
||||
self.assert_login_rejected(api.login(self.registration['username'], self.registration['password'] + 'x'))
|
||||
|
||||
def test_unknown_user_gets_the_same_answer(self):
|
||||
wrong_password = self.assert_login_rejected(api.login(self.registration['username'], 'Wrong-password-123'))
|
||||
unknown_user = self.assert_login_rejected(api.login(api.unique_username(), 'Wrong-password-123'))
|
||||
self.assertEqual(wrong_password, unknown_user)
|
||||
|
||||
def test_malformed_basic_header(self):
|
||||
for value in (
|
||||
'Basic',
|
||||
'Basic !!!not-base64!!!',
|
||||
'Basic ' + b64(b'no-colon-here'),
|
||||
'Basic ' + b64(b'\xff\xfe:invalid-utf8-password'),
|
||||
'Basic ' + b64(b'Upper_Case:Valid-password-123'),
|
||||
'Basic ' + b64(b'short:pw'),
|
||||
'Digest abc',
|
||||
'Bearer ' + uuid.uuid4().hex,
|
||||
):
|
||||
with self.subTest(value=value):
|
||||
response = api.request('POST', SESSIONS, headers={'Authorization': value})
|
||||
self.assert_login_rejected(response)
|
||||
self.assert_login_rejected(api.request('POST', SESSIONS))
|
||||
|
||||
def test_password_with_colons_and_unicode(self):
|
||||
password = 'Пароль:с:двоеточиями 👋'
|
||||
response, body = api.register(password=password)
|
||||
self.assertEqual(response.status, 201)
|
||||
self.assertEqual(api.login(body['username'], password).status, 201)
|
||||
self.assert_login_rejected(api.login(body['username'], 'Пароль:с:двоеточиями'))
|
||||
|
||||
def test_credentials_in_json_body_are_not_accepted(self):
|
||||
body = {'username': self.registration['username'], 'password': self.registration['password']}
|
||||
response = api.request('POST', SESSIONS, body=body)
|
||||
self.assertIn(response.status, (400, 401))
|
||||
self.assertNotIn('token', response.json)
|
||||
|
||||
|
||||
class BearerTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.alice = api.new_user('Алиса')
|
||||
cls.bob = api.new_user('Боб')
|
||||
|
||||
def assert_bearer_rejected(self, response):
|
||||
self.assertEqual(response.status, 401)
|
||||
self.assertEqual(response.json['error']['code'], 'unauthorized')
|
||||
self.assertEqual(response.headers['WWW-Authenticate'], 'Bearer realm="messenger"')
|
||||
|
||||
def test_protected_endpoints_need_a_token(self):
|
||||
for method, path in (('GET', ME), ('GET', '/api/v1/chats'), ('POST', '/api/v1/chats'),
|
||||
('GET', '/api/v1/chats/%s/messages' % uuid.uuid4()), ('DELETE', SESSIONS + '/current')):
|
||||
with self.subTest(method=method, path=path):
|
||||
self.assert_bearer_rejected(api.request(method, path))
|
||||
|
||||
def test_unknown_or_malformed_token(self):
|
||||
for value in ('Bearer ' + uuid.uuid4().hex * 2, 'Bearer', 'Bearer a b', 'Bearer ' + 'x' * 600,
|
||||
'Bearer ' + self.alice['id'], 'Token ' + self.alice['token']):
|
||||
with self.subTest(value=value[:40]):
|
||||
self.assert_bearer_rejected(api.request('GET', ME, headers={'Authorization': value}))
|
||||
|
||||
def test_basic_is_rejected_on_business_endpoints(self):
|
||||
value = api.basic(self.alice['username'], self.alice['password'])
|
||||
self.assert_bearer_rejected(api.request('GET', ME, headers={'Authorization': value}))
|
||||
|
||||
def test_x_user_id_is_ignored(self):
|
||||
self.assert_bearer_rejected(api.request('GET', ME, headers={'X-User-Id': self.alice['id']}))
|
||||
# Заголовок X-User-Id не меняет владельца сессии.
|
||||
me = api.request('GET', ME, user=self.alice, headers={'X-User-Id': self.bob['id']})
|
||||
self.assertEqual(me.json, api.public(self.alice))
|
||||
|
||||
def test_token_selects_the_user(self):
|
||||
self.assertEqual(api.request('GET', ME, user=self.alice).json, api.public(self.alice))
|
||||
self.assertEqual(api.request('GET', ME, user=self.bob).json, api.public(self.bob))
|
||||
|
||||
def test_scheme_name_is_case_insensitive(self):
|
||||
# RFC 7235: имя схемы авторизации не зависит от регистра.
|
||||
response = api.request('GET', ME, headers={'Authorization': 'bearer ' + self.alice['token']})
|
||||
self.assertEqual(response.status, 200)
|
||||
|
||||
|
||||
class LogoutTest(unittest.TestCase):
|
||||
def test_logout_revokes_only_the_current_token(self):
|
||||
user = api.new_user('Выход')
|
||||
other = api.login(user['username'], user['password']).json['token']
|
||||
response = api.request('DELETE', SESSIONS + '/current', user=user)
|
||||
self.assertEqual(response.status, 204)
|
||||
self.assertEqual(response.body, b'')
|
||||
# Отозванный токен больше не работает, повторный выход — тоже 401.
|
||||
self.assertEqual(api.request('GET', ME, user=user).status, 401)
|
||||
self.assertEqual(api.request('DELETE', SESSIONS + '/current', user=user).status, 401)
|
||||
# Другая сессия того же пользователя продолжает работать.
|
||||
self.assertEqual(api.request('GET', ME, headers={'Authorization': 'Bearer ' + other}).status, 200)
|
||||
|
||||
def test_login_again_after_logout(self):
|
||||
user = api.new_user('Снова')
|
||||
api.request('DELETE', SESSIONS + '/current', user=user)
|
||||
again = api.login(user['username'], user['password'])
|
||||
self.assertEqual(again.status, 201)
|
||||
self.assertNotEqual(again.json['token'], user['token'])
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -0,0 +1,219 @@
|
||||
"""Валидация входных данных: неверный JSON, пустое сообщение, дубликат username, пароль, Unicode."""
|
||||
import json
|
||||
import unittest
|
||||
import uuid
|
||||
|
||||
import api
|
||||
|
||||
USERS = '/api/v1/users'
|
||||
PASSWORD = 'Valid-password-123'
|
||||
|
||||
|
||||
def registration(**fields):
|
||||
"""Корректное тело регистрации; fields заменяют или добавляют поля."""
|
||||
body = {'username': api.unique_username(), 'display_name': 'Имя', 'password': PASSWORD}
|
||||
body.update(fields)
|
||||
return body
|
||||
|
||||
|
||||
class InvalidJsonTest(unittest.TestCase):
|
||||
def assert_invalid(self, response):
|
||||
self.assertEqual(response.status, 400)
|
||||
self.assertEqual(response.json['error']['code'], 'invalid_request')
|
||||
|
||||
def test_malformed_json_on_register(self):
|
||||
self.assert_invalid(api.request('POST', USERS, raw=b'{"username": "broken", '))
|
||||
|
||||
def test_malformed_json_on_message(self):
|
||||
user = api.new_user()
|
||||
chat = api.new_chat(user, [user])
|
||||
path = '/api/v1/chats/%s/messages' % chat['id']
|
||||
for raw in (b'not json', b'{"text": "no closing quote}', b'', b'{"text": }'):
|
||||
with self.subTest(raw=raw):
|
||||
self.assert_invalid(api.request('POST', path, user=user, raw=raw))
|
||||
# Неудачные запросы ничего не записали в историю.
|
||||
self.assertEqual(api.pages(path, user, 100), [[]])
|
||||
|
||||
def test_json_that_is_not_an_object(self):
|
||||
for raw in (b'[]', b'"text"', b'42', b'null'):
|
||||
with self.subTest(raw=raw):
|
||||
self.assert_invalid(api.request('POST', USERS, raw=raw))
|
||||
|
||||
def test_invalid_utf8(self):
|
||||
raw = json.dumps(registration(display_name='PLACEHOLDER')).encode().replace(b'PLACEHOLDER', b'\xff\xfe')
|
||||
self.assert_invalid(api.request('POST', USERS, raw=raw))
|
||||
|
||||
def test_lone_surrogate_is_rejected_not_crashed(self):
|
||||
# Всё остальное в теле корректно: ошибка именно в одиночном суррогате.
|
||||
raw = json.dumps(registration(display_name='PLACEHOLDER')).encode().replace(b'PLACEHOLDER', b'\\ud800')
|
||||
self.assert_invalid(api.request('POST', USERS, raw=raw))
|
||||
|
||||
def test_nul_character_is_rejected_not_crashed(self):
|
||||
# PostgreSQL не хранит символ NUL в text: без проверки это был бы 500.
|
||||
self.assert_invalid(api.request('POST', USERS, body=registration(display_name='a\x00b')))
|
||||
|
||||
def test_extra_fields(self):
|
||||
self.assert_invalid(api.request('POST', USERS, body=registration(is_admin=True)))
|
||||
|
||||
def test_wrong_types(self):
|
||||
for fields in ({'username': 12345}, {'display_name': ['Имя']}, {'display_name': None}, {'password': 123456789012345}):
|
||||
with self.subTest(fields=fields):
|
||||
self.assert_invalid(api.request('POST', USERS, body=registration(**fields)))
|
||||
|
||||
def test_wrong_content_type(self):
|
||||
raw = json.dumps(registration()).encode()
|
||||
self.assert_invalid(api.request('POST', USERS, raw=raw, headers={'Content-Type': 'text/plain'}))
|
||||
|
||||
|
||||
class UserValidationTest(unittest.TestCase):
|
||||
def test_duplicate_username_is_409(self):
|
||||
body = registration(display_name='Первый')
|
||||
first = api.request('POST', USERS, body=body)
|
||||
self.assertEqual(first.status, 201)
|
||||
# Совпадает только username: другие имя и пароль не помогают.
|
||||
second = api.request('POST', USERS, body=dict(body, display_name='Второй', password='Another-password-456'))
|
||||
self.assertEqual(second.status, 409)
|
||||
self.assertEqual(second.json['error']['code'], 'conflict')
|
||||
# Первый пользователь не изменился: входит со своим паролем и видит своё имя.
|
||||
session = api.login(body['username'], body['password'])
|
||||
self.assertEqual(session.json['user'], first.json)
|
||||
self.assertEqual(api.login(body['username'], 'Another-password-456').status, 401)
|
||||
|
||||
def test_bad_usernames(self):
|
||||
for username in ('ab', 'a' * 33, 'Alice', 'with space', 'дмитрий', 'dash-name', '', 'name\n', 'colon:name'):
|
||||
with self.subTest(username=username):
|
||||
self.assertEqual(api.request('POST', USERS, body=registration(username=username)).status, 400)
|
||||
|
||||
def test_username_length_limits_are_accepted(self):
|
||||
for length in (3, 32):
|
||||
with self.subTest(length=length):
|
||||
response = api.request('POST', USERS, body=registration(username=uuid.uuid4().hex[:length]))
|
||||
# Трёхсимвольное имя могло остаться от прошлого запуска: 409 тоже значит «имя допустимо».
|
||||
self.assertIn(response.status, (201, 409))
|
||||
|
||||
def test_bad_display_names(self):
|
||||
for display_name in ('', ' ', '\t\n', 'я' * 101):
|
||||
with self.subTest(display_name=display_name):
|
||||
self.assertEqual(api.request('POST', USERS, body=registration(display_name=display_name)).status, 400)
|
||||
|
||||
def test_bad_passwords(self):
|
||||
for password in ('a' * 11, 'я' * 11, 'a' * 129, ' ' * 12, '\t' * 20, 'pass\x00word-123'):
|
||||
with self.subTest(password=password[:20]):
|
||||
self.assertEqual(api.request('POST', USERS, body=registration(password=password)).status, 400)
|
||||
|
||||
def test_password_length_limits_are_accepted(self):
|
||||
# Длина считается в code points: 12 кириллических букв — это 24 байта UTF-8.
|
||||
for password in ('a' * 12, 'я' * 12, '👋' * 128):
|
||||
with self.subTest(length=len(password)):
|
||||
body = registration(password=password)
|
||||
self.assertEqual(api.request('POST', USERS, body=body).status, 201)
|
||||
self.assertEqual(api.login(body['username'], password).status, 201)
|
||||
|
||||
def test_missing_fields(self):
|
||||
for field in ('username', 'display_name', 'password'):
|
||||
with self.subTest(field=field):
|
||||
body = registration()
|
||||
del body[field]
|
||||
self.assertEqual(api.request('POST', USERS, body=body).status, 400)
|
||||
|
||||
def test_unicode_display_name_is_kept(self):
|
||||
# Длина считается в code points: 100 эмодзи — это 400 байт, но имя допустимо.
|
||||
for display_name in ('Дмитрий 👋', '李雷', '👋' * 100):
|
||||
with self.subTest(display_name=display_name):
|
||||
response = api.request('POST', USERS, body=registration(display_name=display_name))
|
||||
self.assertEqual(response.status, 201)
|
||||
self.assertEqual(response.json['display_name'], display_name)
|
||||
|
||||
|
||||
class MessageValidationTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.user = api.new_user()
|
||||
cls.chat = api.new_chat(cls.user, [cls.user])
|
||||
cls.path = '/api/v1/chats/%s/messages' % cls.chat['id']
|
||||
|
||||
def test_empty_message_is_400(self):
|
||||
for text in ('', ' ', '\n\t \r\n', ' '):
|
||||
with self.subTest(text=text):
|
||||
response = api.send(self.user, self.chat, text)
|
||||
self.assertEqual(response.status, 400)
|
||||
self.assertEqual(response.json['error']['code'], 'invalid_request')
|
||||
|
||||
def test_missing_or_wrong_text(self):
|
||||
for body in ({}, {'text': None}, {'text': 123}, {'text': ['a']}, {'message': 'a'}):
|
||||
with self.subTest(body=body):
|
||||
self.assertEqual(api.request('POST', self.path, user=self.user, body=body).status, 400)
|
||||
|
||||
def test_sender_id_in_body_is_rejected(self):
|
||||
other = api.new_user()
|
||||
body = {'text': 'подмена отправителя', 'sender_id': other['id']}
|
||||
self.assertEqual(api.request('POST', self.path, user=self.user, body=body).status, 400)
|
||||
|
||||
def test_nul_in_text_is_400(self):
|
||||
self.assertEqual(api.send(self.user, self.chat, 'до\x00после').status, 400)
|
||||
|
||||
def test_text_length_limit(self):
|
||||
self.assertEqual(api.send(self.user, self.chat, 'я' * 4000).status, 201)
|
||||
self.assertEqual(api.send(self.user, self.chat, '👋' * 4000).status, 201)
|
||||
self.assertEqual(api.send(self.user, self.chat, 'я' * 4001).status, 400)
|
||||
|
||||
def test_unicode_text_is_kept(self):
|
||||
text = 'Привет, мир 👋 — 你好\nвторая строка'
|
||||
response = api.send(self.user, self.chat, text)
|
||||
self.assertEqual(response.status, 201)
|
||||
self.assertEqual(response.json['text'], text)
|
||||
self.assertEqual(response.json['sender_id'], self.user['id'])
|
||||
self.assertEqual(response.json['chat_id'], self.chat['id'])
|
||||
|
||||
def test_oversized_body_is_413(self):
|
||||
response = api.request('POST', self.path, user=self.user, body={'text': 'a' * 70000})
|
||||
self.assertEqual(response.status, 413)
|
||||
self.assertEqual(response.json['error']['code'], 'payload_too_large')
|
||||
|
||||
|
||||
class ChatValidationTest(unittest.TestCase):
|
||||
@classmethod
|
||||
def setUpClass(cls):
|
||||
cls.alice = api.new_user()
|
||||
cls.bob = api.new_user()
|
||||
|
||||
def create(self, title, member_ids):
|
||||
return api.request('POST', '/api/v1/chats', user=self.alice, body={'title': title, 'member_ids': member_ids})
|
||||
|
||||
def test_caller_must_be_a_member(self):
|
||||
self.assertEqual(self.create('Без меня', [self.bob['id']]).status, 400)
|
||||
|
||||
def test_duplicate_members(self):
|
||||
self.assertEqual(self.create('Дубликат', [self.alice['id'], self.bob['id'], self.bob['id']]).status, 400)
|
||||
# Тот же UUID в другом регистре — тоже дубликат.
|
||||
self.assertEqual(self.create('Дубликат', [self.alice['id'], self.alice['id'].upper()]).status, 400)
|
||||
|
||||
def test_unknown_member_rolls_back_the_whole_chat(self):
|
||||
# Чат вставляется первым, участник — вторым; ошибка на участнике откатывает и сам чат.
|
||||
title = 'Откат ' + uuid.uuid4().hex[:8]
|
||||
response = self.create(title, [self.alice['id'], str(uuid.uuid4())])
|
||||
self.assertEqual(response.status, 400)
|
||||
chats = [chat for page in api.pages('/api/v1/chats', self.alice, 100) for chat in page]
|
||||
self.assertNotIn(title, [chat['title'] for chat in chats])
|
||||
|
||||
def test_bad_member_ids(self):
|
||||
for member_ids in ([], 'not a list', [123], ['not-a-uuid'], None):
|
||||
with self.subTest(member_ids=member_ids):
|
||||
self.assertEqual(self.create('Чат', member_ids).status, 400)
|
||||
|
||||
def test_bad_titles(self):
|
||||
for title in ('', ' ', 'я' * 101, 5, 'a\x00b'):
|
||||
with self.subTest(title=title):
|
||||
self.assertEqual(self.create(title, [self.alice['id']]).status, 400)
|
||||
|
||||
def test_valid_chat_keeps_member_order(self):
|
||||
response = self.create('Проект по ВНП', [self.bob['id'], self.alice['id']])
|
||||
self.assertEqual(response.status, 201)
|
||||
self.assertEqual(response.json['title'], 'Проект по ВНП')
|
||||
self.assertEqual(response.json['member_ids'], [self.bob['id'], self.alice['id']])
|
||||
again = api.request('GET', '/api/v1/chats/' + response.json['id'], user=self.bob)
|
||||
self.assertEqual(again.json, response.json)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
Reference in New Issue
Block a user