forked from mtusi2026/mtusi2026lab4
Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
1757517600 |
+55
-4
@@ -1,20 +1,71 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
# Секреты сюда НЕ пишутся: их создаёт scripts/init_secrets.py в каталоге secrets/.
|
||||
APP_HOST=0.0.0.0
|
||||
# Публичный порт LB на 127.0.0.1 (единственная точка входа API)
|
||||
APP_PORT=8080
|
||||
# Страница состояния HAProxy (UP/DOWN реплик) на 127.0.0.1, только чтение
|
||||
LB_STATS_PORT=8404
|
||||
APP_ENV=lab
|
||||
# Тег образа API
|
||||
APP_VERSION=lab4
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
# TTL экземпляра api-short-ttl (профиль ttl) для автотеста истечения
|
||||
SHORT_SESSION_TTL_SECONDS=2
|
||||
# Файлы с секретами внутри контейнера (Compose secrets)
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
# Источник истины для сессий — PostgreSQL; Redis — общий кэш проверок токена
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
SESSION_CACHE_TTL_SECONDS=60
|
||||
# Число реплик API за балансировщиком (HAProxy держит до 6 слотов)
|
||||
API_REPLICAS=2
|
||||
# Хранение результата Idempotency-Key, не меньше 24 ч по контракту
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
# Пул соединений и таймауты (на реплику)
|
||||
DB_POOL_MIN=1
|
||||
DB_POOL_MAX=10
|
||||
DB_POOL_TIMEOUT_SECONDS=3
|
||||
DB_CONNECT_TIMEOUT_SECONDS=3
|
||||
DB_STATEMENT_TIMEOUT_MS=5000
|
||||
CACHE_TIMEOUT_SECONDS=0.25
|
||||
CACHE_RETRY_AFTER_SECONDS=5
|
||||
# Readiness и остановка (согласованы с HAProxy: inter 1s, fall 2, timeout check 1.5s)
|
||||
READY_DB_TIMEOUT_SECONDS=1
|
||||
DRAIN_SECONDS=3
|
||||
GRACEFUL_TIMEOUT_SECONDS=10
|
||||
KEEP_ALIVE_SECONDS=30
|
||||
# Одновременных хешей Argon2id на реплику (19 MiB каждый, лимит памяти 256M)
|
||||
PASSWORD_HASH_CONCURRENCY=4
|
||||
|
||||
# lab4: S3 и вложения
|
||||
# Закреплённая версия образа chrislusf/seaweedfs (не latest)
|
||||
SEAWEEDFS_VERSION=4.50
|
||||
S3_ENDPOINT=http://s3:8333
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
# Ключи — файлы в secrets/ (создаёт scripts/init_secrets.py), внутри контейнера:
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
# Таймауты клиента S3: недоступность S3 -> быстрый 503 только для файловых операций
|
||||
S3_CONNECT_TIMEOUT_SECONDS=2
|
||||
S3_READ_TIMEOUT_SECONDS=10
|
||||
S3_MAX_ATTEMPTS=2
|
||||
# Общий бюджет вызова S3 из запроса, включая DNS (скачивание < timeout server HAProxy 10 с)
|
||||
S3_DOWNLOAD_DEADLINE_SECONDS=5
|
||||
S3_UPLOAD_DEADLINE_SECONDS=10
|
||||
# После отказа S3 файловые запросы N секунд сразу получают 503 (circuit breaker)
|
||||
S3_CIRCUIT_OPEN_SECONDS=5
|
||||
# Лимиты контракта (можно только уменьшить)
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
# Одновременных загрузок на реплику (остальные ждут слот, затем 503 + Retry-After)
|
||||
MAX_CONCURRENT_UPLOADS=4
|
||||
UPLOAD_QUEUE_TIMEOUT_SECONDS=5
|
||||
# Максимальное время приёма тела загрузки (медленный/зависший клиент -> 400)
|
||||
UPLOAD_READ_TIMEOUT_SECONDS=60
|
||||
# Одновременных разборов изображения на реплику
|
||||
IMAGE_DECODE_CONCURRENCY=2
|
||||
# Сборщик незавершённых загрузок (pending) и объектов-сирот, см. src/reconcile.py
|
||||
ATTACHMENT_GC_INTERVAL_SECONDS=300
|
||||
ATTACHMENT_GC_GRACE_SECONDS=900
|
||||
ORPHAN_SWEEP_INTERVAL_SECONDS=3600
|
||||
|
||||
@@ -0,0 +1,10 @@
|
||||
# Скрипты и конфиги, которые выполняются внутри Linux-контейнеров или sh, — всегда LF,
|
||||
# даже при checkout на Windows (иначе HAProxy/sh спотыкаются о CRLF).
|
||||
*.sh text eol=lf
|
||||
*.cfg text eol=lf
|
||||
*.sql text eol=lf
|
||||
*.py text eol=lf
|
||||
*.yaml text eol=lf
|
||||
Dockerfile text eol=lf
|
||||
# Пакетные файлы Windows — CRLF.
|
||||
*.cmd text eol=crlf
|
||||
@@ -1,18 +1,18 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Попов Константин Дмитриевич, БВТ2303
|
||||
Целевая оценка (3/4/5): 4
|
||||
Трек 5, если заявлен: —
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Что реализовано и что перенесено: перенесено всё API и инфраструктура lab3 (HAProxy, 2+ реплики, идемпотентность, drain, rolling update). Добавлены приватное S3-хранилище SeaweedFS 4.50 с идемпотентным bootstrap бакета и отдельными ограниченными ключами API; вложения (миграция 004, составные FK «файл и сообщение из одного чата»); синхронная загрузка с потоковым лимитом 10 MiB, проверкой PNG/JPEG по содержимому без полной распаковки, лимитом 40 Мп и безопасными именами; авторизованное потоковое скачивание; компенсация и сборщик для согласованности БД/S3 (dry-run/apply); лимит одновременных загрузок; тесты уровня 4 и эксперимент памяти.
|
||||
Команды запуска из чистого clone: `python scripts/init_secrets.py`, `cp .env.example .env`, `docker compose --env-file .env up -d --build`, `python scripts/ops.py wait`, `python scripts/ops.py wait-s3`; проверки — `python scripts/collect_evidence.py` (см. REPORT.md).
|
||||
Результаты проверок и ссылка на REPORT.md: REPORT.md, разделы «Доказательства критериев» и «Эксперименты»; evidence/SUMMARY.txt, evidence/.
|
||||
Ограничения / известные ошибки: один host/БД/S3 без репликации; тело загрузки до 10 MiB × 4 слота в памяти (измерено); progressive JPEG проверяется структурно; прогрев SeaweedFS 15–30 с после рестарта (hooks его ждут). Подробно — REPORT.md.
|
||||
Источники и использование ИИ: REPORT.md.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
+38
@@ -0,0 +1,38 @@
|
||||
# Lab4: API мессенджера (FastAPI + PostgreSQL + Redis + S3/SeaweedFS), реплики за HAProxy.
|
||||
FROM python:3.12.7-slim-bookworm
|
||||
|
||||
# lab4: настройки glibc malloc — меньше арен на потоки и возврат больших буферов
|
||||
# ОС сразу после загрузки (замер: базовый RSS 124 -> 88 MiB, см. REPORT.md).
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1 \
|
||||
APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080 \
|
||||
APP_ENV=lab \
|
||||
MALLOC_ARENA_MAX=2 \
|
||||
MALLOC_MMAP_THRESHOLD_=1048576 \
|
||||
MALLOC_TRIM_THRESHOLD_=1048576
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir --disable-pip-version-check -r requirements.txt
|
||||
|
||||
COPY src ./src
|
||||
COPY migrations ./migrations
|
||||
|
||||
RUN useradd --create-home --shell /usr/sbin/nologin appuser \
|
||||
&& chown -R appuser:appuser /app
|
||||
|
||||
USER appuser
|
||||
|
||||
EXPOSE 8080
|
||||
|
||||
# Готовность (а не только жизнь процесса): БД доступна, схема мигрирована,
|
||||
# реплика не в фазе осушения. Интервалы в compose.yaml переопределяют эти.
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=20s --retries=3 \
|
||||
CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).read()" || exit 1
|
||||
|
||||
# exec-форма: Python — PID 1 и получает SIGTERM напрямую.
|
||||
# src/server.py: SIGTERM -> осушение DRAIN_SECONDS (readiness 503) -> graceful stop.
|
||||
STOPSIGNAL SIGTERM
|
||||
CMD ["python", "-m", "src.server"]
|
||||
@@ -4,10 +4,16 @@ CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover
|
||||
.PHONY: help check validate test load test-persistence test-failover \
|
||||
secrets up wait ps down migrate restore rolling-update logs-lb \
|
||||
test-student test-idempotency test-failover-series test-failover-series-kill \
|
||||
test-rolling test-storage test-expiry test-failures test-revocation explain evidence \
|
||||
test-attachments test-consistency test-s3-outage test-upload-memory s3-check wait-s3 reconcile reconcile-apply
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@echo "up/wait/ps/down/restore/rolling-update: stand; test-*: own checks (see REPORT.md)"
|
||||
@echo "lab4: test-attachments test-consistency test-s3-outage test-upload-memory s3-check reconcile"
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
@@ -28,3 +34,98 @@ test-persistence:
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
# ---------------------------------------------------------------- Решение
|
||||
COMPOSE ?= docker compose --env-file .env
|
||||
|
||||
secrets:
|
||||
$(PYTHON) scripts/init_secrets.py
|
||||
@test -f .env || cp .env.example .env
|
||||
|
||||
up: secrets
|
||||
$(COMPOSE) config --quiet
|
||||
$(COMPOSE) up -d --build
|
||||
$(PYTHON) scripts/ops.py wait
|
||||
$(PYTHON) scripts/ops.py wait-s3
|
||||
|
||||
wait:
|
||||
$(PYTHON) scripts/ops.py wait
|
||||
|
||||
ps:
|
||||
$(PYTHON) scripts/ops.py ps
|
||||
|
||||
# Безопасная остановка: volumes (PostgreSQL pgdata и S3 s3data) сохраняются.
|
||||
down:
|
||||
$(COMPOSE) --profile ttl --profile faults down
|
||||
|
||||
migrate:
|
||||
$(COMPOSE) run --rm -T migrate
|
||||
|
||||
restore:
|
||||
$(PYTHON) scripts/ops.py restore
|
||||
|
||||
rolling-update:
|
||||
$(PYTHON) scripts/ops.py rolling-update
|
||||
|
||||
logs-lb:
|
||||
$(COMPOSE) logs --tail 50 lb
|
||||
|
||||
test-student:
|
||||
$(PYTHON) student-tests/run_all.py --base-url "$(BASE_URL)"
|
||||
|
||||
test-idempotency:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_idempotency.py -v
|
||||
|
||||
test-failover-series:
|
||||
$(PYTHON) student-tests/failover_series.py --base-url "$(BASE_URL)" --output evidence/failover_series.json
|
||||
|
||||
test-failover-series-kill:
|
||||
$(PYTHON) student-tests/failover_series.py --base-url "$(BASE_URL)" --mode kill --output evidence/failover_series_kill.json
|
||||
|
||||
test-rolling:
|
||||
$(PYTHON) student-tests/rolling_update_load.py --base-url "$(BASE_URL)" --output evidence/rolling_update.json
|
||||
|
||||
test-storage:
|
||||
$(PYTHON) scripts/ops.py in-network storage
|
||||
|
||||
test-expiry:
|
||||
$(PYTHON) scripts/ops.py in-network expiry
|
||||
|
||||
test-failures:
|
||||
$(PYTHON) student-tests/dependency_failure.py --base-url "$(BASE_URL)" --output evidence/dependency_failure.json
|
||||
|
||||
test-revocation:
|
||||
$(PYTHON) student-tests/revocation_partition.py --base-url "$(BASE_URL)" | tee evidence/revocation_partition.txt
|
||||
|
||||
explain:
|
||||
$(COMPOSE) exec -T postgres psql -U messenger -d messenger -v ON_ERROR_STOP=1 < scripts/sql/explain_history.sql > evidence/explain_history.txt
|
||||
@echo "saved evidence/explain_history.txt"
|
||||
|
||||
# Все проверки на compose-стенде с записью результатов в evidence/ (~6-8 минут).
|
||||
evidence:
|
||||
$(PYTHON) scripts/collect_evidence.py
|
||||
|
||||
# ---------------------------------------------------------------- lab4: вложения и S3
|
||||
test-attachments:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_attachments.py -v
|
||||
|
||||
test-consistency:
|
||||
$(PYTHON) scripts/ops.py in-network consistency
|
||||
|
||||
test-s3-outage:
|
||||
$(PYTHON) student-tests/s3_outage.py --base-url "$(BASE_URL)" --output evidence/s3_outage.json
|
||||
|
||||
test-upload-memory:
|
||||
$(PYTHON) student-tests/upload_memory.py --base-url "$(BASE_URL)" --concurrency 10 --rounds 3 --docker --output evidence/upload_memory_c10.json
|
||||
|
||||
s3-check:
|
||||
$(PYTHON) scripts/ops.py s3-check
|
||||
|
||||
wait-s3:
|
||||
$(PYTHON) scripts/ops.py wait-s3
|
||||
|
||||
reconcile:
|
||||
$(PYTHON) scripts/ops.py reconcile
|
||||
|
||||
reconcile-apply:
|
||||
$(PYTHON) scripts/ops.py reconcile --apply
|
||||
|
||||
@@ -1,37 +1,271 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0, **boto3 1.35.99**, **Pillow 11.1.0**; PostgreSQL 16.4, Redis 7.4.1, HAProxy 2.8.30, **SeaweedFS 4.50**. Документация: Amazon S3 (PutObject, Content-MD5, ListObjectsV2), SeaweedFS wiki (Amazon S3 API, S3 credentials/identities, `weed server`), спецификация PNG (ISO/IEC 15948: чанки, CRC, Adam7), JPEG (ITU T.81: маркеры SOF/SOS/EOI), Pillow (`Image.open`, `draft`), glibc `mallopt` (MALLOC_ARENA_MAX, MALLOC_MMAP_THRESHOLD_). Помощь ИИ (Claude) — при проектировании схемы согласованности БД/S3, проверки изображений, тестов, экспериментов и при написании отчёта.
|
||||
|
||||
Решения lab3 (балансировщик, реплики, идемпотентность, drain, rolling update) перенесены без изменений семантики; их отчёт и доказательства сохранены в [docs/lab3/REPORT.md](docs/lab3/REPORT.md).
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`; **`chrislusf/seaweedfs:4.50`** (тег задаётся `SEAWEEDFS_VERSION` в `.env`, не `latest`). Нужны Docker Engine / Docker Desktop с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Оркестрация — **Compose + HAProxy** (Swarm не используется).
|
||||
|
||||
```sh
|
||||
# 1. Секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
|
||||
python scripts/init_secrets.py # + 4 файла S3-ключей и secrets/s3_config.json
|
||||
cp .env.example .env # Windows: copy .env.example .env
|
||||
|
||||
# 2. Сборка и запуск: postgres+redis -> migrate; s3 -> s3-init (bucket) -> api x2 -> lb
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
|
||||
# 3. Готовность: 2 реплики healthy и UP в HAProxy; S3 реально пишет/читает
|
||||
python scripts/ops.py wait
|
||||
python scripts/ops.py wait-s3
|
||||
python scripts/ops.py ps
|
||||
```
|
||||
|
||||
Прогрев: первая сборка 1–3 мин, далее стенд готов за ~30–40 с (healthcheck PostgreSQL и SeaweedFS, миграции, bootstrap бакета, `start_period` API, `rise 2` в HAProxy).
|
||||
|
||||
```sh
|
||||
# Публичные проверки
|
||||
python scripts/check_contract.py
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.sh # Windows: scripts\restart.cmd
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.sh # Windows: scripts\stop-one.cmd
|
||||
python scripts/ops.py restore # вернуть реплику, затем failover повторить для второй
|
||||
|
||||
# Собственные проверки уровня 4 (lab4)
|
||||
python student-tests/run_all.py --base-url http://localhost:8080 # lab2-3 + test_attachments.py (17 тестов)
|
||||
python scripts/ops.py in-network consistency # БД<->S3: сборщик, сироты, обрыв загрузки, внедрённые отказы
|
||||
python scripts/ops.py s3-check # приватный бакет вне API, права ключей, закрытые админ-порты
|
||||
python scripts/ops.py reconcile # сверка БД<->S3, dry-run (--apply — исправить)
|
||||
python student-tests/s3_outage.py --output evidence/s3_outage.json
|
||||
python student-tests/upload_memory.py --concurrency 10 --docker --output evidence/upload_memory_c10.json
|
||||
|
||||
# Всё перечисленное (и проверки lab3) одной командой с записью в evidence/:
|
||||
python scripts/collect_evidence.py # ~12–15 мин; --quick ~7–8 мин
|
||||
```
|
||||
|
||||
**Остановка.** Безопасная (данные PostgreSQL и S3 сохраняются): `docker compose --env-file .env --profile ttl --profile faults down`. Намеренное удаление всех учебных данных (volumes `pgdata`, `s3data`) — только вручную: `docker compose --env-file .env --profile ttl --profile faults down -v`. Hooks и тесты volumes не удаляют.
|
||||
|
||||
**Действия оператора.** Создать секреты до первого запуска (пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` существующие файлы не перезаписывает; S3-ключи не связаны с данными и могут быть заменены — см. docstring скрипта). После `stop-one` вернуть реплику `python scripts/ops.py restore`. Если тег `chrislusf/seaweedfs:4.50` недоступен в вашем registry-зеркале, укажите соседний проверенный тег в `SEAWEEDFS_VERSION`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
127.0.0.1:8080 (единственная публичная точка входа)
|
||||
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки /health/ready
|
||||
│ POST .../attachments: timeout server 90 s, остальное 10 s
|
||||
▼ сеть backend
|
||||
┌──────── api x2 (read-only rootfs, tmpfs /tmp 16m, 0.5 CPU / 320M) ────────┐
|
||||
│ загрузка: поток -> лимит 10 MiB -> проверка PNG/JPEG -> [1] pending в БД │
|
||||
│ -> [2] S3 PUT (Content-MD5) -> [3] ready в БД -> 201 │
|
||||
│ скачивание: проверка членства -> поток из S3 (64 KiB) -> клиент │
|
||||
│ фон: сборщик pending/сирот (advisory lock, одна реплика за раз) │
|
||||
└──────┬───────────────────────┬────────────────────────────┬───────────────┘
|
||||
▼ backend ▼ backend ▼ storage (internal: true)
|
||||
postgres 16 (pgdata) redis 7 (кэш сессий) s3: SeaweedFS 4.50 (s3data)
|
||||
users, chats, messages, только S3 API :8333 в сети storage;
|
||||
sessions, idempotency_keys, master/filer/volume UI — 127.0.0.1
|
||||
attachments, message_attachments внутри контейнера; без анонимов
|
||||
▲ ▲
|
||||
migrate (one-shot) s3-init (one-shot, admin-ключи):
|
||||
бакет + проверки прав и приватности
|
||||
```
|
||||
|
||||
Порядок старта: `postgres`, `redis` (healthy) → `migrate`; `s3` (healthy) → `s3-init` (оба `service_completed_successfully`) → `api` (healthy) → `lb`.
|
||||
|
||||
**Источник истины.** PostgreSQL — для всех метаданных, включая вложения (владелец, чат, имя, тип, размер, SHA-256, размеры в пикселях, ключ объекта, состояние). Байты оригинала — только в приватном бакете `messenger-attachments`. На API нет ни volume, ни каталога для файлов: rootfs read-only, `/tmp` — tmpfs 16 MiB (тело загрузки держится в памяти процесса до записи в S3, не на диске; `python scripts/ops.py api-fs`).
|
||||
|
||||
### Выбор S3-сервера: SeaweedFS
|
||||
|
||||
MinIO с осени 2025 г. не публикует community-образы и бинарники для свежих релизов, а консоль администратора у него встроена в тот же процесс. SeaweedFS (Apache-2.0): версия закрепляется тегом, S3-identities с правами на конкретный бакет задаются статическим JSON-конфигом (`-s3.config`), а все административные HTTP-интерфейсы (master 9333, filer 8888, volume 8080) привязываются к 127.0.0.1 внутри контейнера (`-ip.bind=127.0.0.1`), наружу в сеть `storage` выставлен только S3 (`-s3.ip.bind=0.0.0.0`). Встроенный IAM API отключён (`-s3.iam=false`), автосоздание бакетов — тоже (`-s3.autoCreateBucket=false`).
|
||||
|
||||
| Роль | Сервис | Образ | Health/readiness | Volume | Сеть / порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| LB | `lb` | haproxy:2.8.30-alpine | `/lb-health`; бэкенды по `/health/ready` | — | backend; 127.0.0.1:8080, :8404 | — |
|
||||
| API ×2 | `api` | сборка `Dockerfile` | `/health/ready` (PostgreSQL + схема) | нет (read-only) | backend + storage; без ports | secrets: database_url, cache_url, s3_access_key_id, s3_secret_access_key |
|
||||
| БД | `postgres` | postgres:16.4-alpine | `pg_isready` | `pgdata` | backend | postgres_password |
|
||||
| Кэш сессий | `redis` | redis:7.4.1-alpine | `redis-cli ping` | нет (только кэш) | backend | redis_password |
|
||||
| S3 | `s3` | chrislusf/seaweedfs:4.50 | `wget /healthz` (+ `ops.py wait-s3`) | `s3data` | storage (internal); только :8333 | secret s3_config (identities) |
|
||||
| Миграции | `migrate` | сборка | one-shot | — | backend | database_url |
|
||||
| Bucket bootstrap | `s3-init` | сборка | one-shot | — | storage | admin + api S3-ключи |
|
||||
| Тестовые отказы | `api-fault-*` (профиль `faults`) | образ API | `/health/ready` | — | backend + storage | как у api |
|
||||
|
||||
### Модель данных (`migrations/004_attachments.sql`)
|
||||
|
||||
- `attachments(id, chat_id, owner_id, filename, content_type, size_bytes, sha256, width, height, object_key UNIQUE, state pending|ready, created_at, updated_at)`. CHECK-ограничения повторяют контракт: имя 1–255, тип png/jpeg, размер 1..10 485 760, `width*height ≤ 40 000 000`, sha256 в нижнем регистре.
|
||||
- `object_key = "originals/" + случайный UUID`. Он **не** совпадает с `id` вложения, не содержит `filename` и не раскрывается в API.
|
||||
- `message_attachments(message_id, attachment_id, chat_id, position)`: порядок `attachment_ids` сохраняется. **Составные внешние ключи** `(message_id, chat_id) → messages(id, chat_id)` и `(attachment_id, chat_id) → attachments(id, chat_id)` на уровне БД запрещают привязать файл чужого чата. `ON DELETE RESTRICT` не даёт удалить вложение, на которое ссылается сообщение.
|
||||
- `messages_text_len` расширен до 0..4000: `text=""` допустим только вместе с вложениями (проверяет API). Миграция только расширяющая — реплики lab3 работают на новой схеме (rolling update).
|
||||
|
||||
### Загрузка, `201` и границы транзакций
|
||||
|
||||
`POST /api/v1/chats/{id}/attachments?filename=…` (сырые bytes, `src/main.py`):
|
||||
|
||||
1. Дешёвые проверки до чтения тела: аутентификация → `filename` (400) → `Content-Type` только `image/png|image/jpeg` (415) → `Content-Length > 10 MiB` → 413 без чтения → членство в чате (404) → слот загрузки (`MAX_CONCURRENT_UPLOADS=4` на реплику; ожидание ≤ 5 с, иначе 503 + `Retry-After`).
|
||||
2. Тело читается потоком; как только счётчик превысил 10 MiB — 413 (и для chunked без `Content-Length`). Остаток тела (до 10 MiB) дочитывается в никуда, чтобы клиент получил 413, а не обрыв. Общий дедлайн приёма — `UPLOAD_READ_TIMEOUT_SECONDS=60` (медленный клиент → 400). Обрыв клиентом → ничего не записано.
|
||||
3. Проверка содержимого (`src/images.py`, ≤ 2 одновременных на реплику):
|
||||
- сигнатура PNG/JPEG; **сигнатура должна совпасть с заявленным Content-Type** (подмена MIME → 415);
|
||||
- размеры из IHDR / SOFn **до** распаковки: > 40 Мп → 413 (pixel bomb 8000×6000 размером ~50 КБ отклоняется за миллисекунды);
|
||||
- PNG: все CRC, порядок IHDR…IDAT…IEND, допустимые bit depth/color type, **потоковая распаковка zlib с выводом кусками по 64 KiB «в никуда»**: объём должен в точности совпасть с ожидаемым (с учётом Adam7). Так обнаруживаются обрезанные и испорченные данные, а zip-бомба обрывается, как только вывод превысил ожидание; память O(64 KiB) при любом размере картинки;
|
||||
- JPEG: обход маркеров (длины сегментов, SOF до SOS, обязательный EOI → обрезанный файл = 415). Baseline дополнительно декодируется Pillow в режиме `draft` (1/8 масштаба). Progressive Pillow не декодирует: libjpeg держит коэффициенты всего кадра, замер — **119 MiB** на 39.7 Мп против **4.9 MiB** у baseline;
|
||||
- независимый парсер Pillow должен увидеть тот же формат и размеры.
|
||||
4. `[1]` `INSERT attachments … state='pending'` (с проверкой членства в том же операторе) — **COMMIT до S3**.
|
||||
5. `[2]` S3 `PutObject` с `Content-MD5` (S3 сам отклоняет повреждённую передачу — BadDigest; проверено) и `x-amz-meta-sha256`.
|
||||
6. `[3]` `UPDATE … SET state='ready' WHERE id=… AND state='pending'` — **COMMIT** → `201 Attachment {status: ready, variants: [], error_code: null}`.
|
||||
|
||||
**Когда честно вернуть 201:** только после шага `[3]`. Байты к этому моменту записаны в S3 (PUT подтверждён с проверкой MD5), а метаданные зафиксированы в PostgreSQL. Ответ 201 до любого из этих событий означал бы, что «готовое» вложение может не скачаться.
|
||||
|
||||
**S3 PUT прошёл, а COMMIT `[3]` — нет.** Остаются строка `pending` (не видна в API, прикрепить нельзя) и объект. При ошибке БД API сразу компенсирует: удаляет объект и пытается удалить строку, клиент получает 503. Если процесс умер (компенсации нет), строку и объект уберёт сборщик после grace period. Обе ветки проверены внедрением отказа (`api-fault-db`, `api-fault-crash`).
|
||||
|
||||
### Согласованность БД и S3: компенсация + сборщик (`src/reconcile.py`)
|
||||
|
||||
Главный инвариант: **ключ объекта записан в БД раньше, чем объект появится в бакете.** Поэтому объект без строки может появиться только после того, как строку удалили. Ключ одноразовый, удалённая строка не возрождается.
|
||||
|
||||
| Ситуация | Кто исправляет | Как |
|
||||
| --- | --- | --- |
|
||||
| Ошибка S3 в `[2]` | запрос | DELETE своей pending-строки, 503 |
|
||||
| Ошибка БД в `[3]` | запрос | DELETE объекта (+ попытка DELETE строки), 503 |
|
||||
| Процесс умер между `[1]`/`[2]`/`[3]`, обрыв, сеть | сборщик, проход A | pending старше grace: **сначала** `DELETE … WHERE state='pending' RETURNING object_key` (атомарный захват; если запрос успел `[3]`, строка уже ready и не трогается), **потом** DELETE объекта |
|
||||
| Объект без строки (сбой удаления в A, ручная запись) | сборщик, проход B | листинг `originals/` страницами; нет строки **и** `LastModified` старше grace → повторная проверка → DELETE |
|
||||
| ready-строка без объекта | только отчёт (C) | байты не восстановить; авто-удаление метаданных опасно — `missing_objects` в отчёте |
|
||||
|
||||
- **Grace period** `ATTACHMENT_GC_GRACE_SECONDS=900` (минимум 300, конфиг меньше не примет). Это намного больше самой долгой загрузки: чтение ≤ 60 с + проверка + S3 PUT (connect 2 с + read 10 с) × 2 попытки ≈ 90 с. Если загрузка всё же переживёт grace, `[3]` вернёт 0 строк → API удалит свой объект и ответит 503.
|
||||
- **Свежие и используемые вложения не удаляются:** сборщик трогает только `pending` старше grace. ready-строки не удаляет никогда, а на используемые ещё и стоит FK RESTRICT. Тесты: `test_fresh_pending_is_kept`, `test_ready_and_referenced_are_never_collected` (прямой `DELETE` получает ForeignKeyViolation), `test_pending_cannot_be_attached`.
|
||||
- Фоновый проход A — каждые 300 с, полный обход бакета B — раз в час. Выполняет одна реплика за раз (`pg_try_advisory_lock`). Ручной запуск: `python scripts/ops.py reconcile` (**dry-run** по умолчанию, ничего не меняет) и `… reconcile --apply`. Повторный `--apply` — no-op (проверено). Стоимость обхода на стенде: 238 объектов — 0.036 с (листинг + один `SELECT … = ANY` на страницу из 1000 ключей).
|
||||
|
||||
### Ограничение памяти и потоковая обработка
|
||||
|
||||
- Лимит байт применяется **во время** чтения (на 10 MiB + 1 байт). В памяти одной загрузки — тело (≤ 10 MiB) + кратковременно куски до склейки. Проверка PNG — O(64 KiB), JPEG baseline — ≤ ~5 MiB. Тело уходит в S3 как `BytesIO` поверх тех же bytes, без копии.
|
||||
- Одновременно на реплику ≤ 4 загрузки (`MAX_CONCURRENT_UPLOADS`). Остальные ждут слот ≤ 5 с **до чтения тела**, поэтому их байты не накапливаются в памяти. Скачивание идёт потоком из S3 кусками по 64 KiB (`StreamingResponse`), без буферизации файла.
|
||||
- Найдено и исправлено замерами (см. «Эксперименты»): `zlib.unconsumed_tail` копировал остаток IDAT на каждом шаге (пик 2× файла и квадратичное копирование), а botocore склеивал заголовки с телом `bytes` в один буфер. В образе также настроен glibc malloc (`MALLOC_ARENA_MAX=2`, фиксированный порог mmap 1 MiB), чтобы большие буферы возвращались ОС сразу.
|
||||
|
||||
### Безопасность бакета и ключей
|
||||
|
||||
- **Bootstrap идемпотентен** (`src/s3_bootstrap.py`, сервис `s3-init`): `CreateBucket` → `BucketAlreadyOwnedByYou` считается успехом (`evidence/sandbox/s3_bootstrap.txt`: повторный запуск — `already exists (idempotent no-op)`). После создания бакета s3-init проверяет права ключей и приватность; при нарушении он завершается с ошибкой, и API не стартует.
|
||||
- **Отдельные ключи API** (`messenger_api`) имеют только `Read/Write/List` на `messenger-attachments`. `CreateBucket`/`DeleteBucket` → AccessDenied. Admin-ключи (`bootstrap_admin`) смонтированы только в `s3-init`. Identity `anonymous` не объявлена.
|
||||
- **Проверка приватности вне API** (`python scripts/ops.py s3-check`): из сети `storage`, без подписи, к S3 напрямую. Анонимный GET реального объекта последнего вложения → 403, анонимный листинг бакета и списка бакетов → 403. Тот же объект с ключами API → 200 и совпадающий SHA-256.
|
||||
- **Админ-консоль не открыта в общей сети:** порты 9333/8888/8080/19333/18888 с адреса `s3` закрыты (проверка в том же скрипте). Сеть `storage` — `internal: true`. LB в неё не входит, порты S3 на хост не публикуются.
|
||||
- **Случайный ключ и приватный бакет не заменяют ACL приложения:** доступ к `GET /attachments/{id}` и `/content` проверяется по членству в чате на каждый запрос (посторонний → 404 без раскрытия существования). Download идёт через API без redirect и без подписанных URL. Ответ содержит `X-Content-Type-Options: nosniff`, `Cache-Control: private, no-store`, `Content-Disposition` с безопасно закодированным именем.
|
||||
|
||||
### Недоступность S3 и readiness
|
||||
|
||||
S3 **не входит** в readiness: если бы реплики при падении S3 становились not-ready, LB вывел бы обе, и вместе с файлами пропали бы чат и вход. Вместо этого файловые операции быстро отвечают `503 unavailable` + `Retry-After` (таймауты клиента S3: connect 2 с, read 10 с, ≤ 2 попытки), а всё остальное работает. Критичные зависимости readiness — по-прежнему PostgreSQL и мигрированная схема.
|
||||
|
||||
Таймауты boto3 не покрывают DNS: в Docker остановленный контейнер `s3` пропадает из DNS, и разрешение имени висит секундами. В первом прогоне на Docker Desktop загрузка ждала 12–13 с, а скачивание превысило `timeout server` HAProxy (10 с) и получило **504 от LB** вместо 503. Исправление (`src/main.py`, `s3_call`; `src/objectstore.py`, `CircuitBreaker`):
|
||||
- у каждого вызова S3 из запроса есть общий дедлайн: скачивание 5 с, загрузка 10 с;
|
||||
- после отказа circuit breaker 5 с сразу отвечает 503, затем делает одну пробную попытку;
|
||||
- у API в compose `dns_opt: timeout:1, attempts:1`.
|
||||
|
||||
Проверено на худшем случае — S3, который принимает соединение и молчит: upload 503 за 10.0 с, download 503 за 5.0 с (`evidence/sandbox/s3_outage_hang.json`). При S3, который сразу отказывает: 1.8–2.3 с и 0.01 с (breaker открыт).
|
||||
|
||||
**Особенность SeaweedFS после рестарта** (замер): `/healthz` отвечает сразу, но первые операции блокируются. Первое чтение после рестарта шло ~15 с, первая запись ~29 с: выборы Raft-лидера (`electionTimeout` 10 с), затем heartbeat volume-сервера. С `-master.electionTimeout=2s` первая запись — ~19 с. Поэтому restart-hook и `ops.py wait-s3` ждут **реальной** готовности: проба put/get/delete и чтение существующего объекта, каждая операция < 2 с (`s3_bootstrap.py --wait-ready`); на стенде готовность наступала через 14.5–17.1 с. Штатная остановка SeaweedFS длится ~22 с, поэтому `stop_grace_period: 10s` (как у Docker по умолчанию) и затем SIGKILL. Подтверждённые записи к этому моменту уже в page cache ОС; тест сохранности после такого рестарта проходит.
|
||||
|
||||
### Что перенесено из lab3 и что изменено
|
||||
|
||||
Перенесены без изменения семантики: всё API lab2–3, HAProxy-конфигурация (обнаружение реплик через DNS, drain, `retries`/`redispatch`), идемпотентность, миграции one-shot, rolling update, hooks и собственные тесты lab2–3 (47 HTTP-тестов + 12 тестов хранилища проходят на lab4).
|
||||
|
||||
Изменено в lab4:
|
||||
|
||||
1. Переход контракта 3 → 4: поля `attachment_ids` в запросе и ответе сообщения (отсутствие = `[]` и для отпечатка идемпотентности; порядок значим), три новых endpoint.
|
||||
2. Сервисы `s3`, `s3-init`, volume `s3data`, сеть `storage`; секреты S3; профиль `faults`.
|
||||
3. HAProxy: для `POST …/attachments` — `timeout server 90s` (`http-request set-timeout`), остальным запросам — прежние 10 с.
|
||||
4. Лимит памяти API 256M → 320M (4 загрузки по 10 MiB, замер ниже); glibc malloc tuning в `Dockerfile`.
|
||||
5. `scripts/ops.py`: restart включает S3 и ждёт его прогрева; новые `wait-s3`, `s3-check`, `reconcile`, `api-fs`, `in-network consistency`. `collect_evidence.py` дополнен проверками lab4.
|
||||
|
||||
### Соответствие `.env.example` и реальной конфигурации
|
||||
|
||||
Переменные lab3 — без изменений (см. [docs/lab3/REPORT.md](docs/lab3/REPORT.md)). Новые:
|
||||
|
||||
| Переменная | Значение | Где используется |
|
||||
| --- | --- | --- |
|
||||
| `SEAWEEDFS_VERSION` | 4.50 | тег образа `s3` |
|
||||
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | http://s3:8333, us-east-1, messenger-attachments | api, s3-init, `src/config.py` |
|
||||
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | /run/secrets/… | ключи API (compose secrets) |
|
||||
| `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `S3_MAX_ATTEMPTS` | 2, 10, 2 | `src/objectstore.py` |
|
||||
| `S3_DOWNLOAD_DEADLINE_SECONDS`, `S3_UPLOAD_DEADLINE_SECONDS`, `S3_CIRCUIT_OPEN_SECONDS` | 5, 10, 5 | общий бюджет вызова S3 (вкл. DNS), circuit breaker |
|
||||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | 10485760, 40000000 | не выше контракта (иначе API не стартует) |
|
||||
| `MAX_CONCURRENT_UPLOADS`, `UPLOAD_QUEUE_TIMEOUT_SECONDS` | 4, 5 | слоты загрузки на реплику |
|
||||
| `UPLOAD_READ_TIMEOUT_SECONDS` | 60 | дедлайн приёма тела |
|
||||
| `IMAGE_DECODE_CONCURRENCY` | 2 | разборов изображения на реплику |
|
||||
| `ATTACHMENT_GC_INTERVAL_SECONDS`, `ATTACHMENT_GC_GRACE_SECONDS`, `ORPHAN_SWEEP_INTERVAL_SECONDS` | 300, 900, 3600 | `src/reconcile.py` |
|
||||
| `FAULT_INJECTION` | пусто | только сервисы `api-fault-*` |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
**Где получены результаты.** Код проверен на стенде из тех же компонентов, запущенных нативными процессами: PostgreSQL 16, Redis 7, SeaweedFS 4.50 (тот же бинарник, те же флаги), HAProxy 2.8.30 с этим `haproxy.cfg` (статические серверы вместо DNS-шаблона) и 2 реплики API. Среда: Windows 10, Ryzen 5 7500f, 32 GB, Python 3.12, без cgroup-лимитов. Результаты — в `evidence/`.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke | `make test` | PASS: файл → сообщение с attachment_ids → download Бобом, SHA-256 совпал, Ева 404 | evidence/sandbox/smoke.txt; evidence/smoke.txt |
|
||||
| Возможности lab3 сохранены | `run_all.py`, `in-network storage`, failover, persistence | 47 HTTP + 12 DB-тестов lab2–3 OK; failover/persistence PASS | evidence/sandbox/student-tests.txt |
|
||||
| S3 в общем стенде; метаданные в PostgreSQL, байты в приватном бакете | `compose.yaml`, `ops.py api-fs`, `s3-check` | API без volumes, read-only rootfs; объекты только в `s3data` | evidence/s3_private.txt |
|
||||
| 201 ready после сохранения; оригинал побайтно | `test_png_roundtrip…`, `test_exactly_max_size_is_accepted` | 201, `status=ready`, `variants=[]`; SHA-256 и Content-Length совпадают (вкл. ровно 10 485 760 байт) | evidence/sandbox/student-tests.txt |
|
||||
| Message с attachment_ids, посторонний без доступа | smoke, `test_message_with_attachments…` | порядок id сохранён; Ева: 404 на метаданные и bytes | там же |
|
||||
| PNG/JPEG ≤10 MiB, ≤40 Мп; MIME по содержимому; опасные имена; лимиты до распаковки | `test_too_large_*`, `test_too_many_pixels`, `test_mime_spoofing_is_415`, `test_dangerous_filenames_are_400` | 413/413/415/400; 48 Мп файл 50 КБ → 413 без распаковки | там же |
|
||||
| Upload → стоп обслужившей реплики → download через другую | `make test-failover` ×2 | PASS, 138–139 записей, 0 ошибок; файл скачан после остановки | evidence/sandbox/failover.txt |
|
||||
| Restart стенда сохраняет метаданные и оригинал | `make test-persistence` | PASS; сменились PID PostgreSQL, SeaweedFS и обеих реплик; файл скачан со старым токеном | evidence/sandbox/persistence.txt |
|
||||
| Недоступность S3, чужой чат, restart | `s3_outage.py`; `test_attachment_from_other_chat…`; persistence | 503 за 1.0–1.7 с, чат работает; 404; PASS | evidence/sandbox/s3_outage.json |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
### Уровень 4
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `student-tests/test_attachments.py` (17 тестов) | 413 (Content-Length и chunked), 415 (обрезанный PNG/JPEG, неверный CRC, неверный объём IDAT, мусор, пустое тело, GIF), 415 (6 подмен MIME), 404 (чужое/неизвестное id, файл другого чата, Ева в своём чате), 400 (12 опасных имён); каждый негативный ответ < 500 в общем формате | evidence/sandbox/student-tests.txt |
|
||||
| Обрыв загрузки и отказ между S3/БД не оставляют вечных объектов; компенсация/сверка с grace | `test_attachment_consistency.py` (10 тестов) в сети стенда | обрыв → 0 строк, 0 объектов; ошибка S3 → 503 + нет строки; ошибка БД после PUT → 503 + объект удалён; **падение процесса после PUT** → pending + объект → сборщик удаляет оба; dry-run ничего не меняет; повтор no-op; свежие/ready/используемые не удаляются | evidence/sandbox/consistency.txt; evidence/consistency.txt |
|
||||
| Лимиты/таймауты/потоковая обработка; ≥10 одновременных загрузок с замером пика | `upload_memory.py --concurrency 10/20` | 10×9.5 MiB ×3 волны: 30/30 201, пик RSS 156–166 MiB на реплику (база 88–95); при 20 одновременных пик тот же (159–162); без лимитера 262–291 MiB | evidence/sandbox/upload_memory_*.json |
|
||||
| Bootstrap идемпотентен | повторный `s3-init` | `already exists (idempotent no-op)`, все проверки ok | evidence/sandbox/s3_bootstrap.txt |
|
||||
| Отдельные S3 credentials с ограниченными правами | `s3_bootstrap` проверки | API-ключи: put/get своего бакета — ok; CreateBucket/DeleteBucket — AccessDenied | evidence/sandbox/s3_private.txt |
|
||||
| Админ-консоль не в общей сети | `ops.py s3-check` | 9333/8888/8080/19333/18888 закрыты, S3 :8333 — единственный | там же |
|
||||
| Private bucket вне API | `ops.py s3-check` | анонимный GET реального объекта → 403, листинг → 403; с ключами API тот же объект → 200, SHA-256 совпал | там же |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
**Стенд замеров:** Windows 10, Ryzen 5 7500f, 32 GB; все процессы (2 реплики API, HAProxy, PostgreSQL, Redis, SeaweedFS, генератор нагрузки) на одном хосте. Реплика: 1 процесс Uvicorn, threadpool по умолчанию. Файлы — синтетический шум, PNG без сжатия, 9.5 MiB (несжимаемые, проверка проходит по полной программе). Память — VmRSS процесса реплики (опрос каждые 20 мс) и пик RSS, который считает ядро (VmHWM, обнуляется перед прогоном). Загрузки через LB (roundrobin по двум репликам), повторы — волнами.
|
||||
|
||||
**Гипотеза:** пик памяти реплики ≈ база + `MAX_CONCURRENT_UPLOADS` × (~2 × размер файла) и не зависит от числа одновременных клиентов; без лимитера память растёт линейно с конкуренцией.
|
||||
|
||||
| Прогон | Одновременно | Загрузок | 201 / SHA ok | p50 / p95, с | База → пик RSS, MiB (реплика 1 / 2) |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| до исправлений (zlib tail, bytes в botocore) | 10 | 30 | 30 / 30 | 2.01 / 2.29 | 124 → 237 / 124 → 244 |
|
||||
| исправления кода, malloc по умолчанию | 10 | 30 | 30 / 30 | 1.20 / 1.34 | 124 → 187 / 124 → 187 |
|
||||
| + MALLOC_ARENA_MAX=2, mmap ≥ 1 MiB (**итог**) | 10 | 30 | 30 / 30 | 1.32 / 2.07 | 95 → 163 / 95 → 156 (пик ядра VmHWM 166 / 165) |
|
||||
| итог, вдвое больше клиентов | 20 | 40 | 40 / 40 | 2.16 / 3.08 | 115 → 162 / 97 → 159 |
|
||||
| лимитер выключен (`MAX_CONCURRENT_UPLOADS=64`) | 20 | 40 | 40 / 40 | 2.90 / 3.03 | 88 → 262 / 89 → 291 |
|
||||
|
||||
Вывод: гипотеза подтверждена. Прирост ~61–72 MiB ≈ 4 слота × 2 × 9.5 MiB. При удвоении клиентов пик не растёт (лишние ждут слот, их тело ещё не прочитано), растёт только задержка. Без лимитера пик +170–200 MiB при той же пропускной способности: при лимите 256 MiB контейнер был бы убит OOM. Поэтому лимит API — 320M, запас ~155 MiB. Микрозамеры (tracemalloc, 9.5 MiB PNG): проверка 19 MiB → 1.5 MiB и 0.17 → 0.06 с; `put_object(bytes)` 25 MiB → `BytesIO` 0.1 MiB. Ограничения: один хост и общий CPU для клиента и сервера; RSS не включает page cache; в Docker тот же скрипт (`--docker`) читает VmHWM процесса API внутри контейнера, `docker stats` и cgroup `memory.peak`.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| SIGTERM обслужившей реплики (public failover ×2) | записи идут через другую, файл скачивается | 138/139 записей, 0 ошибок, файл совпал | первая запись после hook ≤ 4.5 с (hook ждёт drain 3 с); потерь нет |
|
||||
| Каждая реплика по очереди под нагрузкой (`failover_series.py`) | 0 ошибок, LB DOWN < 2 с | DOWN 1.30 / 1.53 с, 0 ошибок, RPS 318 → 239 / 283 → 243 | возврат в ротацию 2.9 / 3.1 с; данные целы |
|
||||
| Рестарт API + PostgreSQL + Redis + S3 + LB | данные, сессия и файл сохранены | PASS, PID всех процессов сменились | ~38 с hook (из них прогрев S3 16 с); потерь нет |
|
||||
| Остановка S3 | файлы → 503 быстро, остальное работает | upload 503 за 1.0–1.7 с, download 503 за 1.0 с, readiness 200, сообщения 201 | после старта S3 прогрев 17 с; старый файл побайтно цел |
|
||||
| S3 «висит» (принимает соединение, не отвечает) | 503 в пределах дедлайна, не 504 | upload 503 за 10.0 с, download 503 за 5.0 с | прогрев 16 с; старый файл цел |
|
||||
| Ошибка S3 PUT (`api-fault-s3`) | 503, строки нет | 503, 0 строк | сразу |
|
||||
| Ошибка БД после PUT (`api-fault-db`) | 503, объект удалён | 503, 0 строк, число объектов не изменилось | сразу |
|
||||
| Падение процесса после PUT (`api-fault-crash`) | pending + объект, убирает сборщик | 1 pending + объект → после grace (сдвинутого в тесте) 0 / 0 | ≤ grace + интервал (900 + 300 с по умолчанию) |
|
||||
| Обрыв клиентом на 0.2 из 5 MiB | ничего не записано | 0 строк, объектов столько же | сразу |
|
||||
| Нагрузка lab3 (`tests/load.py`, 20 с, c=4) | без регрессии | 276 RPS, 0 ошибок, p50/p95/p99 13/24/33 мс | — |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Один Docker-host, один PostgreSQL, один процесс SeaweedFS без репликации: отказ host/БД/S3 не переживается. S3 недоступен → файловые операции 503 (остальное работает). Восстановление S3 занимает 15–30 с прогрева.
|
||||
- Тело загрузки держится в памяти процесса (≤ 10 MiB × 4 слота). Это ограничено и измерено, но не «настоящий» стриминг в S3. Следующий шаг — multipart upload кусками по 5 MiB с проверкой по частям или presigned upload (трек 1).
|
||||
- Progressive JPEG проверяется структурно (маркеры, EOI), без декодирования пикселей: экономия ~115 MiB на 40 Мп. Испорченные энтропийные данные внутри структурно целого progressive-файла не обнаруживаются (их увидит lab5 при создании thumbnail → `failed`).
|
||||
- `missing_objects` (ready без байтов) сборщик только сообщает; решение о судьбе метаданных — за оператором.
|
||||
- Ключи идемпотентности, созданные репликой lab3 до обновления, имели отпечаток без `attachment_ids`; повтор такого ключа на lab4 даст 409 (окно 24 ч после rolling update).
|
||||
- SIGKILL SeaweedFS через 10 с при остановке: безопасно для подтверждённых записей при живом ядре ОС, не при потере питания.
|
||||
- Docker-прогон (`collect_evidence.py`) выполняется на машине студента. Нативный прогон подтверждает код, HAProxy-конфиг и флаги SeaweedFS, но не compose-обвязку.
|
||||
|
||||
## Вопросы защиты — кратко
|
||||
|
||||
- **Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?** Volume привязан к одному контейнеру и host. Другая реплика его не видит, поэтому после остановки загрузившей реплики файл недоступен (тест failover это и проверяет). У volume нет общего API доступа, ключей с правами и проверки целостности (Content-MD5), он не масштабируется независимо от API, а с read-only rootfs его пришлось бы ещё и открывать на запись. S3 — общий сервис с собственными ACL, его читают все реплики.
|
||||
- **Когда можно честно вернуть 201?** Только после того, как S3 подтвердил PUT (с проверкой MD5) **и** COMMIT перевёл строку в `ready`. Раньше — нельзя: «готовое» вложение могло бы не скачаться.
|
||||
- **S3 PUT прошёл, COMMIT — нет?** Остаются невидимая pending-строка и объект. Ошибку БД API компенсирует сам (удаляет объект, 503). Если процесс умер, сборщик после grace сначала атомарно удаляет pending-строку, потом объект. Объект без строки убирает проход по бакету. Строка всегда создаётся раньше объекта, поэтому «вечных» объектов нет.
|
||||
- **Почему случайный ключ и приватный бакет не заменяют ACL приложения?** Приватный бакет защищает от анонимного доступа к S3, но клиенты в него и не ходят: все запросы идут через API с ключами API, которые читают **любой** объект бакета. Кто из пользователей что может скачать, знает только приложение (членство в чате). Случайный ключ — защита «неугадываемостью»: он может утечь (лог, ссылка), а доступ после выхода из чата или для чужого пользователя он не ограничивает. Поэтому каждый запрос проверяет членство и отвечает 404 постороннему.
|
||||
|
||||
+396
@@ -0,0 +1,396 @@
|
||||
# Лабораторная 4: HAProxy -> API x N (по умолчанию 2) -> PostgreSQL (метаданные) + Redis (кэш сессий)
|
||||
# + SeaweedFS S3 (приватный бакет с байтами вложений).
|
||||
# Сети: backend — lb, api, postgres, redis; storage (internal) — api, s3, s3-init.
|
||||
# LB не видит S3, S3 не видит PostgreSQL; наружу (127.0.0.1) опубликован только LB.
|
||||
name: messenger-lab4
|
||||
|
||||
x-api-env: &api-env
|
||||
APP_ENV: ${APP_ENV:-lab}
|
||||
APP_VERSION: ${APP_VERSION:-lab4}
|
||||
SESSION_STORE: postgres
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
DB_POOL_MIN: ${DB_POOL_MIN:-1}
|
||||
DB_POOL_MAX: ${DB_POOL_MAX:-10}
|
||||
DB_POOL_TIMEOUT_SECONDS: ${DB_POOL_TIMEOUT_SECONDS:-3}
|
||||
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
|
||||
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
|
||||
CACHE_TIMEOUT_SECONDS: ${CACHE_TIMEOUT_SECONDS:-0.25}
|
||||
CACHE_RETRY_AFTER_SECONDS: ${CACHE_RETRY_AFTER_SECONDS:-5}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
READY_DB_TIMEOUT_SECONDS: ${READY_DB_TIMEOUT_SECONDS:-1}
|
||||
DRAIN_SECONDS: ${DRAIN_SECONDS:-3}
|
||||
GRACEFUL_TIMEOUT_SECONDS: ${GRACEFUL_TIMEOUT_SECONDS:-10}
|
||||
KEEP_ALIVE_SECONDS: ${KEEP_ALIVE_SECONDS:-30}
|
||||
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-4}
|
||||
# Реплики НЕ применяют миграции — это делает сервис migrate.
|
||||
RUN_MIGRATIONS_ON_START: "false"
|
||||
# lab4: S3 (credentials API — отдельные, только Read/Write/List одного бакета)
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-2}
|
||||
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-10}
|
||||
S3_MAX_ATTEMPTS: ${S3_MAX_ATTEMPTS:-2}
|
||||
# Общий бюджет вызова S3 (вкл. DNS) и circuit breaker — см. src/main.py s3_call
|
||||
S3_DOWNLOAD_DEADLINE_SECONDS: ${S3_DOWNLOAD_DEADLINE_SECONDS:-5}
|
||||
S3_UPLOAD_DEADLINE_SECONDS: ${S3_UPLOAD_DEADLINE_SECONDS:-10}
|
||||
S3_CIRCUIT_OPEN_SECONDS: ${S3_CIRCUIT_OPEN_SECONDS:-5}
|
||||
# Лимиты загрузки (не выше контракта: 10 MiB, 40 Мп)
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
MAX_CONCURRENT_UPLOADS: ${MAX_CONCURRENT_UPLOADS:-4}
|
||||
UPLOAD_QUEUE_TIMEOUT_SECONDS: ${UPLOAD_QUEUE_TIMEOUT_SECONDS:-5}
|
||||
UPLOAD_READ_TIMEOUT_SECONDS: ${UPLOAD_READ_TIMEOUT_SECONDS:-60}
|
||||
IMAGE_DECODE_CONCURRENCY: ${IMAGE_DECODE_CONCURRENCY:-2}
|
||||
# Сборщик незавершённых загрузок и объектов-сирот (src/reconcile.py)
|
||||
ATTACHMENT_GC_INTERVAL_SECONDS: ${ATTACHMENT_GC_INTERVAL_SECONDS:-300}
|
||||
ATTACHMENT_GC_GRACE_SECONDS: ${ATTACHMENT_GC_GRACE_SECONDS:-900}
|
||||
ORPHAN_SWEEP_INTERVAL_SECONDS: ${ORPHAN_SWEEP_INTERVAL_SECONDS:-3600}
|
||||
|
||||
x-api-healthcheck: &api-healthcheck
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).read()"]
|
||||
interval: 3s
|
||||
timeout: 2s
|
||||
retries: 2
|
||||
start_period: 20s
|
||||
|
||||
x-api-limits: &api-limits
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
# lab4: 4 одновременные загрузки по 10 MiB; замер пика — evidence/upload_memory*.json
|
||||
memory: 320M
|
||||
|
||||
x-api-secrets: &api-secrets
|
||||
- database_url
|
||||
- cache_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.4-alpine
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
# (API_REPLICAS + 1 при rolling update) x DB_POOL_MAX + migrate + запас < 100
|
||||
command: ["postgres", "-c", "max_connections=100"]
|
||||
secrets:
|
||||
- postgres_password
|
||||
volumes:
|
||||
- pgdata:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger -h 127.0.0.1"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 10s
|
||||
networks: [backend]
|
||||
stop_grace_period: 30s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.00"
|
||||
memory: 512M
|
||||
|
||||
redis:
|
||||
image: redis:7.4.1-alpine
|
||||
restart: unless-stopped
|
||||
user: redis
|
||||
# Только кэш проверок сессии: без RDB/AOF, ограничение памяти и LRU.
|
||||
command:
|
||||
- sh
|
||||
- -c
|
||||
- exec redis-server --requirepass "$$(cat /run/secrets/redis_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru
|
||||
secrets:
|
||||
- redis_password
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/redis_password)\" redis-cli ping | grep -q PONG"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.25"
|
||||
memory: 96M
|
||||
|
||||
# lab4: S3-совместимое хранилище SeaweedFS (master + volume + filer + S3 gateway в
|
||||
# одном процессе `weed server`). Наружу НЕ публикуется. Административные HTTP-порты
|
||||
# (master 9333, filer 8888, volume 8080) слушают только 127.0.0.1 ВНУТРИ контейнера
|
||||
# (-ip.bind), в сеть storage выставлен только S3 API (8333). Анонимного доступа нет:
|
||||
# identities из secrets/s3_config (bootstrap-admin и messenger-api с правами
|
||||
# Read/Write/List только на свой бакет). Bucket создаёт s3-init.
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:${SEAWEEDFS_VERSION:-4.50}
|
||||
restart: unless-stopped
|
||||
entrypoint: ["/usr/bin/weed"]
|
||||
command:
|
||||
- server
|
||||
- -dir=/data
|
||||
- -ip=127.0.0.1
|
||||
- -ip.bind=127.0.0.1
|
||||
- -s3
|
||||
- -s3.port=8333
|
||||
- -s3.ip.bind=0.0.0.0
|
||||
- -s3.config=/run/secrets/s3_config
|
||||
- -s3.iam=false
|
||||
- -s3.port.iceberg=0
|
||||
- -s3.port.lance=0
|
||||
- -s3.autoCreateBucket=false
|
||||
- -master.volumeSizeLimitMB=256
|
||||
- -master.electionTimeout=2s
|
||||
- -master.telemetry=false
|
||||
- -volume.max=0
|
||||
secrets:
|
||||
- s3_config
|
||||
volumes:
|
||||
- s3data:/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 10s
|
||||
networks: [storage]
|
||||
# Штатная остановка SeaweedFS длится ~20 с; Docker ждёт 10 с и шлёт SIGKILL.
|
||||
# Подтверждённые записи уже в page cache ОС, том консистентен (см. REPORT.md).
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.00"
|
||||
memory: 512M
|
||||
|
||||
# Идемпотентный bootstrap бакета + проверка приватности и прав API-ключей.
|
||||
# Повторный запуск: "already exists (idempotent no-op)". Admin-ключи есть только здесь.
|
||||
s3-init:
|
||||
build: .
|
||||
command: ["python", "-m", "src.s3_bootstrap"]
|
||||
restart: "no"
|
||||
environment:
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
|
||||
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
secrets:
|
||||
- s3_admin_access_key_id
|
||||
- s3_admin_secret_access_key
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
networks: [storage]
|
||||
healthcheck:
|
||||
disable: true
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 192M
|
||||
|
||||
# Однократные миграции до старта реплик. Повтор — no-op (schema_migrations),
|
||||
# параллельный запуск сериализуется pg_advisory_lock.
|
||||
migrate:
|
||||
build: .
|
||||
command: ["python", "-m", "src.migrate"]
|
||||
restart: "no"
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
|
||||
# DDL может идти дольше обычного запроса API
|
||||
DB_STATEMENT_TIMEOUT_MS: "60000"
|
||||
MIGRATE_WAIT_SECONDS: "60"
|
||||
secrets:
|
||||
- database_url
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
networks: [backend]
|
||||
healthcheck:
|
||||
disable: true
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 256M
|
||||
|
||||
api:
|
||||
build: .
|
||||
image: messenger-api:${APP_VERSION:-lab4}
|
||||
restart: unless-stopped
|
||||
environment: *api-env
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
redis:
|
||||
condition: service_healthy
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
# Порт только внутри сети backend — в обход LB API недоступен.
|
||||
expose:
|
||||
- "8080"
|
||||
healthcheck: *api-healthcheck
|
||||
# SIGTERM -> осушение DRAIN_SECONDS (3 с) -> graceful shutdown (<= 10 с).
|
||||
stop_signal: SIGTERM
|
||||
stop_grace_period: 20s
|
||||
read_only: true
|
||||
tmpfs:
|
||||
- /tmp:size=16m
|
||||
networks: [backend, storage]
|
||||
# Остановленный s3 исчезает из Docker DNS; короткий таймаут резолвера.
|
||||
dns_opt: ["timeout:1", "attempts:1"]
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources: *api-limits
|
||||
|
||||
# Экземпляр с коротким TTL — только для автотеста истечения сессии (профиль ttl).
|
||||
# Не входит в LB (другое DNS-имя), портов наружу не публикует: тест запускается
|
||||
# внутри сети командой `make test-expiry`
|
||||
api-short-ttl:
|
||||
image: messenger-api:${APP_VERSION:-lab4}
|
||||
profiles: [ttl]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
SESSION_TTL_SECONDS: ${SHORT_SESSION_TTL_SECONDS:-2}
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose:
|
||||
- "8080"
|
||||
healthcheck: *api-healthcheck
|
||||
stop_grace_period: 20s
|
||||
read_only: true
|
||||
tmpfs:
|
||||
- /tmp:size=16m
|
||||
networks: [backend, storage]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
# lab4: экземпляры с ВНЕДРЁННЫМИ отказами пути загрузки (профиль faults), только для
|
||||
# student-tests/test_attachment_consistency.py. Не входят в LB (другие DNS-имена),
|
||||
# порты не публикуют. Запуск: python scripts/ops.py in-network consistency
|
||||
api-fault-s3:
|
||||
image: messenger-api:${APP_VERSION:-lab4}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: s3_error_on_put
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
api-fault-db:
|
||||
image: messenger-api:${APP_VERSION:-lab4}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: db_error_after_s3_put
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
# Процесс завершается (os._exit) между S3 PUT и COMMIT — «падение» реплики.
|
||||
api-fault-crash:
|
||||
image: messenger-api:${APP_VERSION:-lab4}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: crash_after_s3_put
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
lb:
|
||||
image: haproxy:2.8.30-alpine
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "127.0.0.1:${APP_PORT:-8080}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8404/lb-health"]
|
||||
interval: 5s
|
||||
timeout: 2s
|
||||
retries: 3
|
||||
stop_grace_period: 5s
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 128M
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
s3data:
|
||||
|
||||
networks:
|
||||
backend:
|
||||
# Внутренняя сеть хранилища объектов: без выхода наружу и без LB.
|
||||
storage:
|
||||
internal: true
|
||||
|
||||
secrets:
|
||||
postgres_password:
|
||||
file: ./secrets/postgres_password
|
||||
redis_password:
|
||||
file: ./secrets/redis_password
|
||||
database_url:
|
||||
file: ./secrets/database_url
|
||||
cache_url:
|
||||
file: ./secrets/cache_url
|
||||
s3_config:
|
||||
file: ./secrets/s3_config.json
|
||||
s3_admin_access_key_id:
|
||||
file: ./secrets/s3_admin_access_key_id
|
||||
s3_admin_secret_access_key:
|
||||
file: ./secrets/s3_admin_secret_access_key
|
||||
s3_access_key_id:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
@@ -0,0 +1,231 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0; PostgreSQL 16, Redis 7, HAProxy 2.8 LTS. Документация: Docker Compose (services, deploy, depends_on, healthcheck), HAProxy 2.8 Configuration Manual (server-template, resolvers, http-check, retries/redispatch, http-error), PostgreSQL (INSERT … ON CONFLICT, deferrable constraints, advisory locks), Uvicorn (graceful shutdown). Помощь ИИ (Claude) использовалась при проектировании схемы идемпотентности и drain-фазы, написании скриптов стенда, тестов и формулировке отчёта; решения проверены тестами, приведёнными ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`. Зависимости Python закреплены в `requirements.txt`. Нужны Docker Desktop / Docker Engine с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Вариант оркестрации — **Compose + HAProxy** (Swarm не используется).
|
||||
|
||||
```powershell
|
||||
$env:PYTHONUTF8 = "1"
|
||||
# 1. Локальные секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
|
||||
python scripts/init_secrets.py
|
||||
copy .env.example .env # Linux/macOS: cp .env.example .env
|
||||
|
||||
# 2. Проверка, сборка и запуск: postgres+redis -> migrate (однократно) -> api x2 -> lb
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
|
||||
# 3. Ожидание готовности: 2 реплики healthy, обе UP в HAProxy, /health/ready через LB = 200
|
||||
python scripts/ops.py wait
|
||||
python scripts/ops.py ps # X-Instance-Id <-> контейнер <-> статус в LB
|
||||
```
|
||||
|
||||
Время прогрева: первая сборка образа 1–2 мин; дальше стенд готов примерно через 20–30 с (healthcheck PostgreSQL, миграции, `start_period` API, `rise 2` в HAProxy).
|
||||
|
||||
```powershell
|
||||
# Публичные проверки (Linux/macOS: make check / make test / make test-persistence ... )
|
||||
python scripts/check_contract.py
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd # Linux/macOS: scripts/restart.sh
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd # Linux/macOS: scripts/stop-one.sh
|
||||
python scripts/ops.py restore # вернуть остановленную реплику; затем повторить failover для другой
|
||||
|
||||
# Собственные проверки уровня 4
|
||||
python student-tests/run_all.py --base-url http://localhost:8080 # API, auth, идемпотентность через реплики, race
|
||||
python scripts/ops.py in-network storage # тесты с прямым доступом к БД (внутри compose-сети)
|
||||
python scripts/ops.py in-network expiry # истечение сессии (api-short-ttl, TTL 2 с)
|
||||
python student-tests/failover_series.py --output evidence/failover_series.json # каждая реплика по очереди, SIGTERM
|
||||
python student-tests/failover_series.py --mode kill --output evidence/failover_series_kill.json # то же, SIGKILL
|
||||
python student-tests/rolling_update_load.py --output evidence/rolling_update.json # rolling update под нагрузкой
|
||||
python tests/load.py --duration 30 --concurrency 8 --output evidence/load.json
|
||||
|
||||
# Всё перечисленное одной командой с записью результатов в evidence/ (~8–10 мин):
|
||||
python scripts/collect_evidence.py
|
||||
```
|
||||
|
||||
**Rolling update.** Задать новый тег `APP_VERSION` (например, `lab3.1`) в `.env` или в окружении и выполнить `python scripts/ops.py rolling-update`: сборка образа, однократные миграции (`docker compose run --rm migrate`), затем для каждой старой реплики: +1 новая → healthy и UP в HAProxy → graceful stop старой → удаление.
|
||||
|
||||
**Остановка.** Безопасная, данные сохраняются: `docker compose --env-file .env --profile ttl down` (volume `pgdata` остаётся). Намеренное удаление всех учебных данных — только вручную: `docker compose --env-file .env --profile ttl down -v`. Hooks и тесты никогда не удаляют volumes.
|
||||
|
||||
**Действия оператора:** создать секреты до первого запуска; пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` не перезаписывает существующие файлы. После `stop-one`/тестов отказа вернуть реплику `python scripts/ops.py restore`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```
|
||||
127.0.0.1:8080 (единственная публичная точка входа API)
|
||||
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки GET /health/ready
|
||||
│ 127.0.0.1:8404 — страница состояния (UP/DOWN реплик), только чтение
|
||||
│ обнаружение реплик: Docker DNS имени `api` -> server-template api1..api6
|
||||
▼
|
||||
┌───────── api (deploy.replicas = 2, без ports, без container_name) ─────────┐
|
||||
│ api-1: X-Instance-Id = hostname = короткий ID контейнера 0.5 CPU / 256M │
|
||||
│ api-2: ... 0.5 CPU / 256M │
|
||||
└──────┬──────────────────────────────────────────────────────────┬──────────┘
|
||||
▼ ▼
|
||||
postgres 16 (1 CPU / 512M, volume pgdata) redis 7 (0.25 CPU / 96M)
|
||||
источник истины: users, chats, messages, общий кэш проверок токена,
|
||||
sessions, idempotency_keys, schema_migrations без persistence
|
||||
▲
|
||||
migrate (one-shot): python -m src.migrate — до старта реплик, один раз
|
||||
```
|
||||
|
||||
Порядок старта задаётся `depends_on`: `postgres`, `redis` (healthy) → `migrate` (`service_completed_successfully`) → `api` (healthy) → `lb`. API-реплики не публикуют порты: `expose: 8080` только внутри сети `backend`. Наружу (на 127.0.0.1) опубликован только `lb`.
|
||||
|
||||
### Почему HAProxy, а не Nginx
|
||||
|
||||
В open-source Nginx нет активных health checks: он узнаёт об отказе только по ошибкам живых запросов (`max_fails`). HAProxy сам опрашивает `/health/ready` с заданным периодом. Поэтому время обнаружения отказа можно указать числом, а фаза осушения при SIGTERM действительно выводит реплику из ротации до остановки. `server-template` + `resolvers` синхронизируют список реплик с DNS-записями сервиса `api` каждые 2 с. Масштабирование и rolling update поэтому не требуют перезапуска или перечитывания конфига LB. Sticky sessions не используются (`balance roundrobin`, без cookie).
|
||||
|
||||
### Что перенесено из lab2 и что изменено
|
||||
|
||||
Перенесены без изменения семантики: модели и валидация, формат ошибок, keyset-пагинация, Argon2id, Basic → Bearer, сессии в PostgreSQL + кэш в Redis с надёжной инвалидацией (`session_cache_invalidations`), собственные тесты lab2. Схема lab2 уже рассчитана на несколько реплик: сессии лежат в общей БД, кэш — в общем Redis, а долг инвалидации перечитывается всеми репликами не реже раза в секунду.
|
||||
|
||||
Изменено в lab3:
|
||||
|
||||
1. **Переход 2 → 3 по контракту:** `X-Instance-Id` во всех ответах API, включая ошибки и health (middleware + `error_response`). Обязательный `Idempotency-Key` для `POST /chats/{id}/messages`.
|
||||
2. **Общая идемпотентность** — таблица `idempotency_keys` (миграция `003`), подробности ниже.
|
||||
3. **Миграции вынесены из реплик** в one-shot сервис `migrate` (`RUN_MIGRATIONS_ON_START=false`). Реплика готова только когда в `schema_migrations` есть последняя версия, которую знает её образ.
|
||||
4. **Graceful shutdown с осушением** (`src/server.py`): по SIGTERM реплика сразу отвечает 503 на readiness, но ещё 3 с обслуживает запросы, затем штатно останавливается.
|
||||
5. **Лимит одновременных хешей Argon2id** (`PASSWORD_HASH_CONCURRENCY=4`). У реплики лимит 256M, а threadpool FastAPI — до 40 потоков; без лимита всплеск входов мог бы занять 40 × 19 MiB и привести к OOM-kill.
|
||||
6. **Readiness** использует отдельный короткий таймаут БД (`READY_DB_TIMEOUT_SECONDS=1`) меньше `timeout check` HAProxy.
|
||||
7. Тесты lab2 адаптированы к переходу: при отправке сообщения добавляется `Idempotency-Key`, имя проекта сменилось на `messenger-lab3`. Тест истечения сессии и тесты хранилища теперь идут внутри compose-сети, без публикации портов в обход LB.
|
||||
|
||||
### Идемпотентность отправки сообщения (`src/storage.py`, `migrations/003_idempotency_keys.sql`)
|
||||
|
||||
- Ключ: `PRIMARY KEY (user_id, method, chat_id, idem_key)` — ровно область из контракта «пользователь + метод + путь чата + ключ». В строке хранятся SHA-256 канонического JSON тела (`sort_keys`, без пробелов: порядок ключей и форматирование не важны), `message_id`, `expires_at = now + IDEMPOTENCY_TTL_SECONDS (86400)`.
|
||||
- **Одна транзакция READ COMMITTED:**
|
||||
1. `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE expires_at <= now() RETURNING`. Конкурентная транзакция с тем же ключом **ждёт на уникальном индексе**, пока первая не сделает COMMIT/ROLLBACK. Это и даёт «ровно одно сообщение» при одновременных повторах через разные реплики: арбитр — PostgreSQL, а не память процесса.
|
||||
2. Ключ наш → `INSERT messages … WHERE EXISTS (членство)` с заранее выбранным id. FK `message_id → messages` объявлен `DEFERRABLE INITIALLY DEFERRED` и проверяется при COMMIT, поэтому `message_id NOT NULL` с первого шага.
|
||||
3. Ключ уже подтверждён → снова проверяется членство (и сессия — dependency `current_user`). Hash совпал → 201 и то же сообщение (+ информационный заголовок `Idempotency-Replayed: true`); не совпал → 409.
|
||||
- Любая ошибка или обрыв до COMMIT откатывает и ключ, и сообщение: транзиентный 5xx не фиксируется. 404 и 400 ключ не «сжигают». Истёкший, но ещё не удалённый ключ можно занять заново. Фоновая очистка раз в 5 мин удаляет истёкшие ключи пачками под `pg_try_advisory_xact_lock`, то есть одной репликой за раз.
|
||||
- Порядок проверок: аутентификация → ключ (нет/неверный → 400) → тело → доступ к чату (404).
|
||||
|
||||
### Readiness, таймауты и остановка — согласованные значения
|
||||
|
||||
| Параметр | Значение | Почему |
|
||||
| --- | --- | --- |
|
||||
| HAProxy `inter` / `fastinter` / `fall` / `rise` | 1 с / 0.5 с / 2 / 2 | DOWN после 2 неудачных проверок подряд, вторая — через 0.5 с |
|
||||
| HAProxy `timeout check` | 1.5 с | больше `READY_DB_TIMEOUT_SECONDS` = 1 с |
|
||||
| HAProxy `timeout connect`, `retries`, `option redispatch 1` | 1 с, 2, да | несостоявшееся соединение повторяется на другой реплике; запрос ещё не отправлен — безопасно и для POST |
|
||||
| HAProxy `timeout server` | 10 с | > максимум запроса API: пул 3 с + `statement_timeout` 5 с |
|
||||
| `resolvers` hold valid/obsolete | 2 с / 2 с | новые/исчезнувшие контейнеры попадают в LB за ≤ ~2–3 с |
|
||||
| API `DRAIN_SECONDS` | 3 с | > худшее обнаружение DOWN при ответах 503 (≈ 1 + 0.5 с + задержка проверок) |
|
||||
| API `GRACEFUL_TIMEOUT_SECONDS` | 10 с | дождаться запросов в обработке (≤ 8 с) |
|
||||
| compose `stop_grace_period` (api) | 20 с | > 3 + 10 — SIGKILL не прилетает во время graceful stop |
|
||||
| Docker healthcheck api | 3 с / timeout 2 с / retries 2 / start_period 20 с | для `depends_on` и `ops.py` (rolling update ждёт healthy) |
|
||||
| Uvicorn keep-alive | 30 с | дольше, чем LB держит простаивающие соединения к серверу |
|
||||
|
||||
**Максимальное время обнаружения отказа балансировщиком:** graceful stop (сразу 503) и падение процесса (соединение отклонено) — до ≈ 1.5–2 с; зависшая реплика без ответа — до 1 + 1.5 + 0.5 + 1.5 = **4.5 с**. Пока реплика не помечена DOWN, запрос к ней, не сумевший соединиться за 1 с, уходит на другую. **Измерено** (`evidence/failover_series*.json`, `evidence/shutdown_timeline.txt`): DOWN через 0.96–1.41 с после SIGTERM и через 1.10–1.28 с после SIGKILL.
|
||||
|
||||
**Временная шкала graceful stop** (`evidence/shutdown_timeline.txt`): SIGTERM → +0.01 с readiness 503 → +1.30 с HAProxy DOWN (новые запросы больше не приходят) → +3.02 с закрыт listening-сокет → +3.12 с процесс завершён. LB выводит реплику из ротации на ~1.7 с раньше, чем она перестаёт принимать соединения, поэтому graceful stop не даёт ошибок клиенту.
|
||||
|
||||
**Критичные зависимости readiness:** PostgreSQL (и наличие мигрированной схемы). Redis не критичен — это кэш с обходом (circuit breaker 5 с), как в lab2. Если ни одна реплика не готова, LB сам отвечает `503` в общем JSON-формате ошибок с тем же `X-Request-Id` (`http-error`, `evidence/lb_errors.txt`). `X-Instance-Id` в таком ответе нет — контракт это допускает.
|
||||
|
||||
### Миграции и совместимость с работающей версией
|
||||
|
||||
- `migrate` выполняется **один раз** до старта реплик. Повтор — no-op (`schema_migrations`); две одновременные копии сериализуются `pg_advisory_lock` (`evidence/migrations.txt`: копия B применила 3 миграции, копия A — `nothing applied`). Реплики миграции не запускают и не готовы, пока схема не мигрирована: на пустой БД readiness = 503 `Database schema is not migrated`, после `migrate` — 200 без рестарта.
|
||||
- Rolling update применяет миграции **до** замены реплик, поэтому допускаются только **расширяющие** (expand) миграции, совместимые со старой версией. `003` только добавляет таблицу. Проверено: код lab2 (старая версия) проходит smoke lab2 на схеме lab3 одновременно с репликами lab3 (`evidence/migrations.txt`).
|
||||
- Ограничение: смешанный парк «lab2 + lab3» во время обновления формально совместим по схеме, но реплики lab2 не требуют и не записывают `Idempotency-Key`. Поэтому гарантия идемпотентности действует только когда все реплики уже lab3. Удаляющие/переименовывающие миграции нужно делить на expand → переключение кода → contract отдельным релизом.
|
||||
|
||||
### Соответствие `.env.example` и реальной конфигурации
|
||||
|
||||
| Переменная | Где используется |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | внутри контейнера Uvicorn слушает `0.0.0.0:8080`; `APP_PORT` — публикуемый порт LB `127.0.0.1:${APP_PORT}` |
|
||||
| `LB_STATS_PORT` | страница состояния HAProxy `127.0.0.1:8404` (`ops.py`, тесты отказов) |
|
||||
| `APP_ENV`, `APP_VERSION` | `APP_VERSION` — тег образа `messenger-api:${APP_VERSION}` (rolling update) и строка в логе старта |
|
||||
| `SESSION_TTL_SECONDS`, `SHORT_SESSION_TTL_SECONDS` | TTL сессий; второй — для `api-short-ttl` (профиль `ttl`) |
|
||||
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Compose secrets `/run/secrets/database_url`, `/run/secrets/cache_url` |
|
||||
| `SESSION_STORE` | `postgres` — источник истины сессий; Redis — общий кэш |
|
||||
| `SESSION_CACHE_TTL_SECONDS` | TTL записи кэша и «надгробия» logout |
|
||||
| `API_REPLICAS` | `deploy.replicas` сервиса `api` (2); ожидаемое число реплик в `ops.py` |
|
||||
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения результата ключа (≥ 86400, иначе API не стартует) |
|
||||
| `DB_POOL_*`, `DB_*_TIMEOUT*` | пул (1..10 на реплику), ожидание соединения 3 с, connect 3 с, statement 5 с |
|
||||
| `CACHE_TIMEOUT_SECONDS`, `CACHE_RETRY_AFTER_SECONDS` | таймаут Redis 250 мс и обход кэша на 5 с после ошибки |
|
||||
| `READY_DB_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `GRACEFUL_TIMEOUT_SECONDS`, `KEEP_ALIVE_SECONDS` | readiness и остановка — таблица выше |
|
||||
| `PASSWORD_HASH_CONCURRENCY` | одновременных хешей Argon2id на реплику |
|
||||
|
||||
`max_connections=100` у PostgreSQL ≥ (2 реплики + 1 во время rolling update) × 10 + migrate + api-short-ttl + запас.
|
||||
|
||||
### Инфраструктура
|
||||
|
||||
| Роль | Service | Версия | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | `haproxy:2.8.30-alpine` | `wget /lb-health` (monitor-uri) | — (конфиг ro bind) | `backend`; **127.0.0.1:8080**, 127.0.0.1:8404 | — | 0.5 CPU / 128M |
|
||||
| api × 2 | `api` | сборка `Dockerfile`, `python:3.12.7-slim-bookworm` | `/health/ready` (БД + схема + не в drain) | нет, `read_only` + tmpfs `/tmp` | `backend`, `expose 8080` (наружу нет) | secrets `database_url`, `cache_url` | 0.5 CPU / 256M |
|
||||
| миграции | `migrate` | тот же Dockerfile | one-shot, exit 0 | — | `backend` | secret `database_url` | 0.5 CPU / 256M |
|
||||
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | `backend`, наружу нет | secret `postgres_password` | 1 CPU / 512M |
|
||||
| redis | `redis` | `redis:7.4.1-alpine`, user `redis` | `redis-cli ping` | нет (кэш) | `backend`, наружу нет | secret `redis_password` | 0.25 CPU / 96M |
|
||||
| тест TTL | `api-short-ttl` (профиль `ttl`) | образ api | `/health/ready` | — | `backend`, не в LB, портов нет | как api | 0.5 CPU / 256M |
|
||||
|
||||
`container_name` нигде не задан. Секреты общие только там, где нужны: пароль PostgreSQL есть только у `postgres`, пароль Redis — у `redis`, строки подключения — у `api`/`migrate`. Bootstrap: схема создаётся сервисом `migrate` на пустом volume; повтор безопасен. Hooks: `scripts/restart.sh|.cmd` → `ops.py restart` (stop lb+api → restart postgres+redis → start api → healthy → start lb); `scripts/stop-one.sh|.cmd` → `ops.py stop-one` (одна реплика по `TARGET_INSTANCE_ID`, остаётся остановленной). Каждое действие пишется в `evidence/ops.log`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
**Стенд, на котором сняты приложенные результаты.** Windows 10, Ryzen 5 7500f, 32 GB RAM. PostgreSQL 16, Redis 7 и HAProxy **2.8.30**, Docker Desktop. Код приложения, миграции и **тот же `infra/haproxy/haproxy.cfg`** использованы как есть. Только `server-template` + DNS заменены на 6 статических слотов, реплики запущены как `python -m src.server` (2 процесса), CPU/RAM-лимитов нет. Compose-файл проверен `docker compose config`, конфиг HAProxy — `haproxy -c` той же версии 2.8.30, что в образе. `scripts/ops.py` прогнан против заглушки `docker`.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
|
||||
| Контракт | `make check`, `make validate`, `docker compose config --quiet`, `haproxy -c` | все PASS / valid | `evidence/check.txt` |
|
||||
| Стенд в `compose.yaml`, ≥ 2 реплики, одна точка входа, общая БД и хранилище сессий | `compose.yaml`; `python scripts/ops.py ps` | `api` × 2 без `ports`; публикуется только `lb`; одна `postgres`, один `redis` | `compose.yaml`, `evidence/stand.txt` (после `collect_evidence.py`) |
|
||||
| Разные запросы одного пользователя — разными репликами без повторного входа | 20 × `GET /users/me` с одним токеном через LB | чередование двух `X-Instance-Id`, все 200 | `evidence/instances.txt` |
|
||||
| Остановка любой одной реплики: ≤ 10 с, чтение/запись продолжаются, подтверждённые доступны | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` × 2 (вторая реплика после восстановления первой) + SIGKILL | PASS ×3; `failed_attempts: 0`; запись не прерывалась (первая запись после возврата hook — 3.3 с = длительность graceful hook; при SIGKILL — 0.11 с); остановлены разные реплики | `evidence/failover.txt` |
|
||||
| Какой процесс реально остановлен | журнал hook | `SIGTERM nat-api-4` в прогоне 1, `SIGTERM nat-api-3` в прогоне 2 (в compose — `evidence/ops.log`: имя контейнера, IP, состояние после) | `evidence/failover.txt` |
|
||||
| Повтор POST с тем же ключом не создаёт дубль, в т.ч. конкурентно и при смене реплики | smoke; `test_idempotency.py` (24 параллельных POST, Barrier); failover-тест повторяет неопределённые POST тем же ключом | 24 × 201, один `id`, ответы через **обе** реплики, в истории 1 сообщение; дублей нет ни в одном сценарии отказа | `evidence/student-tests.txt`, `evidence/failover*.txt` |
|
||||
| Persistence: рестарт стенда с volumes и тем же токеном | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; PID до/после: postgres 1469→2901, redis 1479→2911, api 2846→2917 и 2866→2925, HAProxy перезапущен | `evidence/persistence.txt` |
|
||||
| Миграции отдельно и согласованно | сервис `migrate`; readiness проверяет схему | реплики не мигрируют; повтор no-op; гонка двух `migrate` безопасна | `evidence/migrations.txt` |
|
||||
|
||||
### Уровень 4
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Health/readiness, timeouts и SIGTERM согласованы; LB исключает недоступный backend; период проверок и макс. время обнаружения | `infra/haproxy/haproxy.cfg`, `src/server.py`; замер шкалы остановки | проверки каждые 1 с (0.5 с после первой неудачи), fall 2; обнаружение ≤ 1.5–2 с (503/RST), ≤ 4.5 с (зависание). Замер: 503 на readiness через 0.01 с, DOWN через 1.30 с, приём прекращён через 3.02 с | таблица выше, `evidence/shutdown_timeline.txt`, `evidence/lb_log_sample.txt` |
|
||||
| Последовательно остановить каждую реплику (восстанавливая предыдущую); RPS, ошибки, время восстановления | `failover_series.py` (4 писателя + 2 читателя, timeout клиента 2 с) | **SIGTERM:** 0 ошибок; DOWN в LB через 1.41 / 0.96 с; RPS 407 → 324 (одна реплика) → 354 после restore; p95 30–31 мс; реплика снова в ротации через 3.0 / 2.6 с после restore. **SIGKILL:** 6 / 3 оборванных запроса (502) в окне ≤ 0.21 с после kill, все записи повторены тем же ключом без дублей; DOWN через 1.28 / 1.10 с | `evidence/failover_series.json`, `evidence/failover_series_kill.json`, `evidence/failover_series.txt` |
|
||||
| Общая идемпотентность параллельными запросами с одним ключом | `test_idempotency.py`, `test_storage_idempotency.py` | 24 параллельных → 1 сообщение через 2 реплики; 12 разных тел с одним ключом → один победитель, остальные 409; 16 потоков на уровне хранилища → одна вставка; сбой после вставки ключа и сообщения → ни ключа, ни сообщения, повтор успешен | `evidence/student-tests.txt` |
|
||||
| CPU/RAM-лимиты; API без портов в обход LB; секреты/хранилища общие только где нужно; нет `container_name` | `compose.yaml` | лимиты у всех сервисов (api 0.5 CPU / 256M); у `api` только `expose`; `container_name` отсутствует; RSS реплики под нагрузкой 132 MB < 256M | `compose.yaml`, `evidence/load.txt` |
|
||||
| Rolling update под нагрузкой | `rolling_update_load.py` → `ops.py rolling-update` (на нативном стенде — тот же алгоритм) | замена 2 реплик за 11.8 с, **0 ошибок**, RPS 388 → 381 во время → 385 после, p95 31 → 34 мс; после — только новые реплики; 5709 подтверждённых сообщений на месте, дублей нет | `evidence/rolling_update.json`, `evidence/rolling_update.txt` |
|
||||
| Миграции однократно и совместимы с работающей версией | сервис `migrate`; код lab2 на схеме lab3 | см. раздел «Миграции»; ограничение смешанного парка описано | `evidence/migrations.txt` |
|
||||
| Возможности lab2 сохранены | `run_all.py` (47 тестов + race), `test_expiry` на экземпляре с TTL 2 с | все PASS (1 skip — expiry в общем прогоне, запускается отдельно и проходит) | `evidence/student-tests.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Гипотеза.** Если всё состояние, от которого зависит корректность (данные, сессии, ключи идемпотентности), лежит в общем PostgreSQL, а LB активно проверяет готовность и реплика по SIGTERM сначала выходит из ротации, то: (1) graceful-остановка любой реплики и rolling update проходят без ошибок для клиента; (2) падение реплики даёт только кратковременные ошибки запросов, которые были в обработке, и клиент безопасно повторяет их с тем же ключом; (3) дублей и потерь подтверждённых сообщений нет. Подтверждено измерениями ниже.
|
||||
|
||||
**Методика.** Генератор `student-tests/loadgen.py`: 4 писателя (POST с `Idempotency-Key`; при обрыве, timeout или 5xx — повтор с тем же ключом и телом до 201) и 2 читателя (история, `/users/me`); timeout клиента 2 с; опрос страницы HAProxy каждые 100 мс. Каждый раунд: 5 с прогрева → действие → 15 с без реплики → restore → 3 с. После раунда — полный обход истории и сверка со всеми подтверждёнными ответами. Стенд — см. «Доказательства»: клиент на той же машине, без лимитов. Повторов для статистики нет: разброс RPS между раундами ±5–8 %.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| SIGTERM реплики 1 под нагрузкой | 0 ошибок, LB выводит до остановки | 0 ошибок; DOWN через 1.41 с; реплика отвечала ещё 1.34 с (до DOWN) | hook 3.3 с; RPS 407 → 324 → 354; возврат в ротацию 3.0 с после restore; потерь нет |
|
||||
| SIGTERM реплики 2 | то же | 0 ошибок; DOWN через 0.96 с | hook 3.4 с; RPS 393 → 304 → 348; возврат 2.6 с; потерь нет |
|
||||
| SIGKILL реплики 1 | ошибки только у запросов в обработке, повтор без дублей | 6 × 502 в окне 0.21 с, 4 повтора записи тем же ключом; DOWN через 1.28 с | новые запросы успешны сразу (redispatch); возврат 2.8 с; дублей нет |
|
||||
| SIGKILL реплики 2 | то же | 3 × 502 в окне 0.14 с, 1 повтор записи; DOWN через 1.10 с | возврат 2.7 с; дублей нет |
|
||||
| Публичный failover (×2 graceful, ×1 kill) | PASS, ≤ 10 с | PASS; 0 failed attempts | первая запись после hook: 3.3 с / 3.4 с / 0.11 с |
|
||||
| Rolling update 2 реплик под нагрузкой | 0 ошибок, после — только новые | 0 ошибок; `[api1,api2] → [api1,api2,api3] → [api2,api3] → … → [api3,api4]` | 11.8 с; RPS не просел (388 / 381 / 385) |
|
||||
| Рестарт API + PostgreSQL + Redis + LB | данные и сессия сохраняются | PASS, тот же токен | потерь нет |
|
||||
| Все реплики недоступны | LB отвечает 503 в формате контракта | JSON 503 с `request_id` = `X-Request-Id` | — |
|
||||
|
||||
**Нагрузка** (`tests/load.py`, closed-loop POST, без retry): 30 с, concurrency 8 → 10 955 успешных, 0 ошибок, **364 RPS**, p50 19.9 мс, p95 42.8 мс, p99 53.4 мс (только успешные); набор данных — один чат, ~11 тыс. новых сообщений. RSS каждой реплики 132 MB, 14 потоков. Во время отказа одной реплики RPS падает примерно на 20 %: при 2 vCPU на машину одна реплика (один процесс Uvicorn) упирается в CPU. Это пропускная способность HTTP-подтверждений в данном профиле, а не максимум системы; с лимитами 0.5 CPU на реплику в Docker цифры будут ниже.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Отказы, которые выдерживаются:** остановка или падение любой одной API-реплики, rolling update реплик, рестарт всего стенда с volumes. **Не выдерживаются:** отказ `lb`, `postgres` (единственная копия, без репликации) и Docker-host — это SPOF. Отказ `redis` не влияет на корректность (обход кэша, как в lab2).
|
||||
- При падении (SIGKILL) запросы, которые реплика обрабатывала в этот момент, завершаются ошибкой 502. LB не повторяет уже отправленные POST — по контракту это делает клиент с тем же `Idempotency-Key`. Для `POST /users` и `POST /chats` повтор после неопределённого результата может создать второй объект (контракт этого не запрещает и прозрачных повторов не требует).
|
||||
- HAProxy держит до 6 слотов реплик (`server-template api 1-6`). Больше — поменять число в конфиге.
|
||||
- Страница состояния HAProxy на 127.0.0.1:8404 без аутентификации, только чтение и только localhost.
|
||||
- Приложенные результаты сняты на нативном эквиваленте стенда (см. «Доказательства»), без CPU/RAM-лимитов и без Docker DNS. Перед защитой их нужно повторить `python scripts/collect_evidence.py` на Docker; конкретные цифры на ноутбуке будут другими.
|
||||
- Время обнаружения на Docker дополнительно включает DNS-синхронизацию (до ~2 с на появление новой реплики в LB). На отказ это не влияет: остановленную реплику исключают активные проверки раньше, чем DNS.
|
||||
- Идемпотентность гарантирована, только когда все реплики — lab3 (см. «Миграции»).
|
||||
- HTTP без TLS — допустимо только на локальном учебном стенде. Пароль Redis передаётся `redis-server` аргументом внутри контейнера (как в lab2).
|
||||
|
||||
## Вопросы защиты — кратко
|
||||
|
||||
- **Отказ процесса vs отказ узла.** Процесс (контейнер реплики) падает, остальные реплики на том же host живы, общие PostgreSQL/Redis/LB целы — это и проверяет лаба. При отказе узла пропадает всё, что на нём: здесь это весь стенд, включая LB и единственную БД. Защита от него — несколько host, репликация БД, LB с переносом адреса (трек 2 уровня 5, не заявлен).
|
||||
- **Почему depends_on/healthcheck — не балансировщик.** `depends_on` управляет только порядком старта, а Docker healthcheck лишь меняет статус контейнера. Ни один из них не перенаправляет трафик и не выводит больную реплику из ротации. Это делает LB своими проверками (здесь — HAProxy `http-check` каждые 1 с).
|
||||
- **Какие POST можно повторять после timeout.** Только те, что защищены ключом идемпотентности: здесь `POST /chats/{id}/messages` с тем же `Idempotency-Key` и тем же телом. Ключ защищает от дубля, если ответ потерялся после COMMIT: повтор вернёт исходное сообщение, а не создаст второе. `POST /users`, `POST /chats`, `POST /auth/sessions` после неопределённого результата повторять «вслепую» нельзя — создастся новый объект или новая сессия.
|
||||
- **Сессии в локальной памяти при росте числа реплик.** Токен, выданный репликой A, неизвестен реплике B: каждый второй запрос получит 401, logout на одной реплике не отзовёт сессию на другой, рестарт реплики разлогинит её пользователей. «Чинить» это sticky sessions — значит терять сессии при отказе реплики. Поэтому сессии лежат в общем PostgreSQL (кэш — общий Redis), а ключи идемпотентности — в общей БД.
|
||||
@@ -0,0 +1,25 @@
|
||||
# Доказательства
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
## Файлы этой работы (lab3)
|
||||
|
||||
`python scripts/collect_evidence.py` на compose-стенде перезаписывает их результатами Docker; `SUMMARY.txt` — итог по шагам.
|
||||
|
||||
| Файл | Что доказывает |
|
||||
| --- | --- |
|
||||
| `check.txt` | make check / validate, `docker compose config`, `haproxy -c` |
|
||||
| `smoke.txt` | публичный smoke lab3 через LB |
|
||||
| `instances.txt` | одна сессия обслуживается разными репликами (X-Instance-Id) |
|
||||
| `student-tests.txt` | собственные тесты: lab2 + идемпотентность через реплики + хранилище + expiry |
|
||||
| `failover.txt` | публичный failover для обеих реплик и SIGKILL; какой процесс/контейнер остановлен |
|
||||
| `failover_series*.json/.txt` | уровень 4: каждая реплика по очереди под нагрузкой — RPS, ошибки, обнаружение, восстановление |
|
||||
| `rolling_update*.json/.txt` | уровень 4: rolling update под нагрузкой |
|
||||
| `persistence.txt` | рестарт API + PostgreSQL + Redis + LB с тем же токеном |
|
||||
| `migrations.txt` | миграции однократно, readiness ждёт схему, совместимость со старой версией |
|
||||
| `shutdown_timeline.txt` | SIGTERM → readiness 503 → DOWN в LB → выход процесса |
|
||||
| `lb_errors.txt`, `lb_log_sample.txt` | ответы и журнал балансировщика |
|
||||
| `load.json`, `load.txt` | нагрузка 30 с, RSS реплик |
|
||||
| `ops.log` | журнал scripts/ops.py (реальные контейнеры — после прогона на Docker) |
|
||||
@@ -0,0 +1,34 @@
|
||||
# 2026-10-26 19:35:57 UTC
|
||||
OK Контракт (offline) evidence/check.txt
|
||||
OK Compose config evidence/check.txt
|
||||
OK Стенд: контейнеры evidence/stand.txt
|
||||
OK Стенд: реплики и статус в LB evidence/stand.txt
|
||||
OK Стенд: лимиты CPU/RAM evidence/stand.txt
|
||||
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
|
||||
OK Публичный smoke evidence/smoke.txt
|
||||
OK Собственные тесты (HTTP через LB) evidence/student-tests.txt
|
||||
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
|
||||
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
|
||||
OK Failover #1: реплики до evidence/failover.txt
|
||||
OK Failover #1: make test-failover evidence/failover.txt
|
||||
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #1: restore evidence/failover.txt
|
||||
OK Failover #2: реплики до evidence/failover.txt
|
||||
OK Failover #2: make test-failover evidence/failover.txt
|
||||
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #2: restore evidence/failover.txt
|
||||
OK Failover #3: реплики до evidence/failover.txt
|
||||
OK Failover #3: make test-failover evidence/failover.txt
|
||||
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #3: restore evidence/failover.txt
|
||||
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
|
||||
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
|
||||
OK Rolling update lab3 -> lab3.1 под нагрузкой evidence/rolling_update.txt
|
||||
OK Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой evidence/rolling_update.txt
|
||||
OK Реплики после обновлений evidence/rolling_update.txt
|
||||
OK Persistence: контейнеры до evidence/persistence.txt
|
||||
OK Persistence: make test-persistence evidence/persistence.txt
|
||||
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
|
||||
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
|
||||
OK CPU/RAM после нагрузки evidence/load.txt
|
||||
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-10-26 19:29:57 UTC | Контракт (offline) | exit 0 | 0.1s
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-10-26 19:29:57 UTC | Compose config | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
|
||||
@@ -0,0 +1,66 @@
|
||||
# 2026-10-26 19:30:28 UTC | Failover #1: реплики до | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
# 2026-10-26 19:30:44 UTC | Failover #1: make test-failover | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 4.672}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:30:44 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
|
||||
|
||||
# 2026-10-26 19:30:51 UTC | Failover #1: restore | exit 0 | 6.4s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:30:51.183Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 6.3s
|
||||
|
||||
# 2026-10-26 19:30:51 UTC | Failover #2: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:07 UTC | Failover #2: make test-failover | exit 0 | 16.2s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.094}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:31:07 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
|
||||
|
||||
# 2026-10-26 19:31:13 UTC | Failover #2: restore | exit 0 | 6.0s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:31:13.832Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 5.9s
|
||||
|
||||
# 2026-10-26 19:31:14 UTC | Failover #3: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:30 UTC | Failover #3: make test-failover | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.766}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:31:30 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 exited unhealthy messenger-api:lab3 - -
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:37 UTC | Failover #3: restore | exit 0 | 6.4s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:31:37.160Z restore: started ['messenger-lab3-api-1']; 2 replicas healthy and UP in LB after 6.3s
|
||||
|
||||
# остановленные публичным тестом реплики: ['a21409fffeec', 'a21409fffeec', 'c4c5ae5b0949']
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "a21409fffeec",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.09,
|
||||
"lb_detect_down_seconds": 1.77,
|
||||
"target_last_served_after_stop_seconds": 1.67,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.7,
|
||||
"lb_back_up_seconds": 1.39,
|
||||
"target_back_in_rotation_seconds": 6.69,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1322,
|
||||
"ok": 1322,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 264.4,
|
||||
"write_ok_rps": 159.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1059,
|
||||
"ok": 1059,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 105.9,
|
||||
"write_ok_rps": 64.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 47.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 439,
|
||||
"ok": 439,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 87.8,
|
||||
"write_ok_rps": 53.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.0,
|
||||
"requests": 1618,
|
||||
"ok": 1618,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 161.8,
|
||||
"write_ok_rps": 96.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.77,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.39,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.77,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.28,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2674,
|
||||
"stored_messages": 2674,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c4c5ae5b0949",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.03,
|
||||
"lb_detect_down_seconds": 0.97,
|
||||
"target_last_served_after_stop_seconds": 0.91,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.56,
|
||||
"lb_back_up_seconds": 0.67,
|
||||
"target_back_in_rotation_seconds": 6.56,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1353,
|
||||
"ok": 1353,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 269.7,
|
||||
"write_ok_rps": 158.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 990,
|
||||
"ok": 990,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 99.0,
|
||||
"write_ok_rps": 59.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 62.0,
|
||||
"p95": 156.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.03,
|
||||
"requests": 410,
|
||||
"ok": 410,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 81.8,
|
||||
"write_ok_rps": 49.1,
|
||||
"latency_ms_ok": {
|
||||
"p50": 93.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.03,
|
||||
"to_s": 29.86,
|
||||
"requests": 1602,
|
||||
"ok": 1601,
|
||||
"errors": 1,
|
||||
"error_ratio": 0.0006,
|
||||
"ok_rps": 162.9,
|
||||
"write_ok_rps": 98.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
5.98,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.7,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.94,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
23.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2604,
|
||||
"stored_messages": 2604,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-26 19:32:39 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 61.9s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
|
||||
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
-- stopping a21409fffeec (mode=stop) under load
|
||||
hook 4.09s | LB DOWN after 1.77 s | errors 0 (-) | RPS before 264.4, outage 105.9, after restore 161.8 | p95 outage 110.0 ms | back in rotation 6.69 s | data ok=True
|
||||
-- stopping c4c5ae5b0949 (mode=stop) under load
|
||||
hook 4.03s | LB DOWN after 0.97 s | errors 0 (-) | RPS before 269.7, outage 99.0, after restore 162.9 | p95 outage 156.0 ms | back in rotation 6.56 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
# 2026-10-26 19:33:42 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.1s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
|
||||
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
-- stopping a21409fffeec (mode=kill) under load
|
||||
hook 1.01s | LB DOWN after 2.53 s | errors 0 (-) | RPS before 235.6, outage 76.1, after restore 146.5 | p95 outage 187.0 ms | back in rotation 7.06 s | data ok=True
|
||||
-- stopping c4c5ae5b0949 (mode=kill) under load
|
||||
hook 0.92s | LB DOWN after 2.38 s | errors 0 (-) | RPS before 270.1, outage 78.3, after restore 149.7 | p95 outage 187.0 ms | back in rotation 7.19 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "a21409fffeec",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.01,
|
||||
"lb_detect_down_seconds": 2.53,
|
||||
"target_last_served_after_stop_seconds": 0.5,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.09,
|
||||
"lb_back_up_seconds": 1.45,
|
||||
"target_back_in_rotation_seconds": 7.06,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1178,
|
||||
"ok": 1178,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 235.6,
|
||||
"write_ok_rps": 137.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 761,
|
||||
"ok": 761,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 76.1,
|
||||
"write_ok_rps": 46.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1015.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.01,
|
||||
"requests": 454,
|
||||
"ok": 454,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 90.5,
|
||||
"write_ok_rps": 53.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.01,
|
||||
"to_s": 30.44,
|
||||
"requests": 1527,
|
||||
"ok": 1527,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 146.5,
|
||||
"write_ok_rps": 85.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.53,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.94,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.48,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2318,
|
||||
"stored_messages": 2318,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c4c5ae5b0949",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 0.92,
|
||||
"lb_detect_down_seconds": 2.38,
|
||||
"target_last_served_after_stop_seconds": 0.44,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.25,
|
||||
"lb_back_up_seconds": 1.45,
|
||||
"target_back_in_rotation_seconds": 7.19,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1355,
|
||||
"ok": 1355,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 270.1,
|
||||
"write_ok_rps": 156.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 783,
|
||||
"ok": 783,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 78.3,
|
||||
"write_ok_rps": 47.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1016.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.02,
|
||||
"requests": 439,
|
||||
"ok": 439,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 87.8,
|
||||
"write_ok_rps": 52.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 125.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.02,
|
||||
"to_s": 30.56,
|
||||
"requests": 1579,
|
||||
"ok": 1579,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 149.7,
|
||||
"write_ok_rps": 89.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.39,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.58,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.11,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2474,
|
||||
"stored_messages": 2474,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# 2026-10-26 19:29:59 UTC | одна сессия, 20 запросов GET /users/me через LB
|
||||
1 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C08C-1F90-6ADFAA37167-088A-0008
|
||||
2 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C09C-1F90-6ADFAA37189-088B-0008
|
||||
3 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A0-1F90-6ADFAA371A4-088C-0008
|
||||
4 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0A4-1F90-6ADFAA371B1-088D-0008
|
||||
5 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A6-1F90-6ADFAA371B5-088E-0008
|
||||
6 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0AA-1F90-6ADFAA371B8-088F-0008
|
||||
7 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0B2-1F90-6ADFAA371D0-0890-0008
|
||||
8 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0BE-1F90-6ADFAA371E0-0891-0008
|
||||
9 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0C6-1F90-6ADFAA371E3-0892-0008
|
||||
10 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0CE-1F90-6ADFAA371FE-0893-0008
|
||||
11 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0D6-1F90-6ADFAA37202-0894-0008
|
||||
12 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0E4-1F90-6ADFAA3721D-0895-0008
|
||||
13 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0EC-1F90-6ADFAA37220-0896-0008
|
||||
14 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0FC-1F90-6ADFAA3723C-0897-0008
|
||||
15 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C106-1F90-6ADFAA3724B-0898-0008
|
||||
16 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C10E-1F90-6ADFAA3724D-0899-0008
|
||||
17 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C11A-1F90-6ADFAA37268-089A-0008
|
||||
18 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C126-1F90-6ADFAA3726B-089C-0008
|
||||
19 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C130-1F90-6ADFAA37286-089D-0008
|
||||
20 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C140-1F90-6ADFAA3728A-089E-0008
|
||||
разных реплик: 2
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker)
|
||||
# все реплики остановлены -> ответ формирует сам HAProxy (http-error): общий JSON-формат ошибок, X-Request-Id совпадает с request_id; X-Instance-Id нет (контракт это допускает)
|
||||
$ curl -si http://127.0.0.1:8080/api/v1/users/me
|
||||
HTTP/1.1 503 Service Unavailable
|
||||
x-request-id: 7F000001CD38-1F90-6ADCA7141E5-336F-0B75
|
||||
content-length: 128
|
||||
content-type: application/json
|
||||
|
||||
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"7F000001CD38-1F90-6ADCA7141E5-336F-0B75"}}
|
||||
|
||||
$ curl -si -H "X-Request-Id: demo-123" http://127.0.0.1:8080/health/ready
|
||||
HTTP/1.1 503 Service Unavailable
|
||||
x-request-id: demo-123
|
||||
content-length: 97
|
||||
content-type: application/json
|
||||
|
||||
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"demo-123"}}
|
||||
@@ -0,0 +1,62 @@
|
||||
# 2026-10-26 19:35:57 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env logs --no-color --tail 60 lb
|
||||
lb-1 | 172.18.0.1:34156 [26/Oct/2026:19:35:54.564] public api/api1 0/0/0/7/7 201 401 ---- 8/8/7/1/0 0/0 rid=AC120001856C-1F90-6ADFAB9A234-1128-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34116 [26/Oct/2026:19:35:54.563] public api/api1 0/0/0/10/10 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018544-1F90-6ADFAB9A233-1126-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34168 [26/Oct/2026:19:35:54.578] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018578-1F90-6ADFAB9A242-1129-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34064 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/58/59 201 401 ---- 8/8/7/7/0 0/0 rid=AC1200018510-1F90-6ADFAB9A218-111F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34040 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/62/62 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000184F8-1F90-6ADFAB9A218-111D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34098 [26/Oct/2026:19:35:54.537] public api/api2 0/0/0/61/62 201 401 ---- 6/6/5/5/0 0/0 rid=AC1200018532-1F90-6ADFAB9A219-1121-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34100 [26/Oct/2026:19:35:54.538] public api/api2 0/0/0/63/63 201 401 ---- 6/6/5/4/0 0/0 rid=AC1200018534-1F90-6ADFAB9A21A-1123-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34162 [26/Oct/2026:19:35:54.578] public api/api2 0/0/0/27/28 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018572-1F90-6ADFAB9A242-112A-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34186 [26/Oct/2026:19:35:54.600] public api/api1 0/0/0/7/7 201 401 ---- 6/6/3/0/0 0/0 rid=AC120001858A-1F90-6ADFAB9A258-112C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34128 [26/Oct/2026:19:35:54.563] public api/api2 0/0/0/44/44 201 401 ---- 5/5/2/2/0 0/0 rid=AC1200018550-1F90-6ADFAB9A233-1125-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34182 [26/Oct/2026:19:35:54.587] public api/api2 0/0/0/21/21 201 401 ---- 4/4/1/1/0 0/0 rid=AC1200018586-1F90-6ADFAB9A24B-112B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34142 [26/Oct/2026:19:35:54.564] public api/api2 0/0/0/45/45 201 401 ---- 3/3/0/0/0 0/0 rid=AC120001855E-1F90-6ADFAB9A234-1127-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34198 [26/Oct/2026:19:35:54.614] public api/api1 0/0/0/14/14 201 401 ---- 8/8/6/2/0 0/0 rid=AC1200018596-1F90-6ADFAB9A25F-112E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34230 [26/Oct/2026:19:35:54.621] public api/api1 0/0/0/10/11 201 401 ---- 7/7/5/1/0 0/0 rid=AC12000185B6-1F90-6ADFAB9A26A-1130-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34242 [26/Oct/2026:19:35:54.622] public api/api1 0/0/0/9/9 201 401 ---- 6/6/4/0/0 0/0 rid=AC12000185C2-1F90-6ADFAB9A26E-1132-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34270 [26/Oct/2026:19:35:54.638] public api/api1 0/0/0/6/7 201 401 ---- 8/8/6/1/0 0/0 rid=AC12000185DE-1F90-6ADFAB9A27D-1134-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34266 [26/Oct/2026:19:35:54.640] public api/api1 0/0/0/6/6 201 401 ---- 7/7/5/0/0 0/0 rid=AC12000185DA-1F90-6ADFAB9A26E-1136-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34278 [26/Oct/2026:19:35:54.656] public api/api1 0/0/0/5/5 201 401 ---- 8/8/6/0/0 0/0 rid=AC12000185E6-1F90-6ADFAB9A27F-1138-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34302 [26/Oct/2026:19:35:54.686] public api/api1 0/0/0/6/6 201 401 ---- 8/8/7/0/0 0/0 rid=AC12000185FE-1F90-6ADFAB9A299-113A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34282 [26/Oct/2026:19:35:54.639] public api/api2 0/0/0/66/66 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185EA-1F90-6ADFAB9A27F-1135-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34254 [26/Oct/2026:19:35:54.622] public api/api2 0/0/0/83/84 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000185CE-1F90-6ADFAB9A26E-1133-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34294 [26/Oct/2026:19:35:54.671] public api/api2 0/0/0/36/36 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000185F6-1F90-6ADFAB9A28C-1139-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34338 [26/Oct/2026:19:35:54.715] public api/api1 0/0/0/5/5 201 401 ---- 8/8/5/0/0 0/0 rid=AC1200018622-1F90-6ADFAB9A2CB-113C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34346 [26/Oct/2026:19:35:54.734] public api/api1 0/0/1/6/7 201 401 ---- 8/8/7/0/0 0/0 rid=AC120001862A-1F90-6ADFAB9A2CC-113E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34360 [26/Oct/2026:19:35:54.745] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018638-1F90-6ADFAB9A2E9-1140-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34290 [26/Oct/2026:19:35:54.652] public api/api2 0/0/0/56/123 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185F2-1F90-6ADFAB9A28C-1137-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34192 [26/Oct/2026:19:35:54.609] public api/api2 0/0/0/171/172 201 401 ---- 8/8/7/6/0 0/0 rid=AC1200018590-1F90-6ADFAB9A25E-112D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34240 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/159/160 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000185C0-1F90-6ADFAB9A26C-1131-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34214 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/160/161 201 401 ---- 6/6/5/4/0 0/0 rid=AC12000185A6-1F90-6ADFAB9A269-112F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34312 [26/Oct/2026:19:35:54.698] public api/api2 0/0/0/87/87 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018608-1F90-6ADFAB9A2BA-113B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34374 [26/Oct/2026:19:35:54.779] public api/api1 0/0/0/8/8 201 401 ---- 4/4/3/0/0 0/0 rid=AC1200018646-1F90-6ADFAB9A30B-1142-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34364 [26/Oct/2026:19:35:54.755] public api/api2 0/0/0/35/35 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001863C-1F90-6ADFAB9A2F3-1141-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34326 [26/Oct/2026:19:35:54.734] public api/api2 0/0/0/59/59 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018616-1F90-6ADFAB9A2CB-113F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34354 [26/Oct/2026:19:35:54.725] public api/api2 0/0/0/68/68 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018632-1F90-6ADFAB9A2D5-113D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34384 [26/Oct/2026:19:35:54.801] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC1200018650-1F90-6ADFAB9A31B-1144-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34426 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/15/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC120001867A-1F90-6ADFAB9A322-1148-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34392 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018658-1F90-6ADFAB9A31D-1146-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34440 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 5/5/4/0/0 0/0 rid=AC1200018688-1F90-6ADFAB9A322-114A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34390 [26/Oct/2026:19:35:54.799] public api/api2 0/0/1/18/20 201 401 ---- 4/4/3/3/0 0/0 rid=AC1200018656-1F90-6ADFAB9A31C-1143-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34382 [26/Oct/2026:19:35:54.801] public api/api2 0/0/0/18/18 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001864E-1F90-6ADFAB9A31B-1145-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34408 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/17/17 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018668-1F90-6ADFAB9A322-1147-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34422 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/18/18 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018676-1F90-6ADFAB9A322-1149-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34462 [26/Oct/2026:19:35:54.837] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC120001869E-1F90-6ADFAB9A344-114E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34508 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC12000186CC-1F90-6ADFAB9A346-1152-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34450 [26/Oct/2026:19:35:54.834] public api/api1 0/0/0/20/20 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018692-1F90-6ADFAB9A33F-114C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34490 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/17 201 401 ---- 5/5/4/0/0 0/0 rid=AC12000186BA-1F90-6ADFAB9A346-1150-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34534 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/10/10 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186E6-1F90-6ADFAB9A361-1156-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34530 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/12/12 201 401 ---- 7/7/6/0/0 0/0 rid=AC12000186E2-1F90-6ADFAB9A361-1155-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34446 [26/Oct/2026:19:35:54.834] public api/api2 0/0/0/59/59 201 401 ---- 8/8/6/6/0 0/0 rid=AC120001868E-1F90-6ADFAB9A337-114B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34458 [26/Oct/2026:19:35:54.836] public api/api2 0/0/0/62/62 201 401 ---- 8/8/6/5/0 0/0 rid=AC120001869A-1F90-6ADFAB9A343-114D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34538 [26/Oct/2026:19:35:54.897] public api/api1 0/0/1/8/9 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186EA-1F90-6ADFAB9A372-1158-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34478 [26/Oct/2026:19:35:54.837] public api/api2 0/0/0/71/71 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000186AE-1F90-6ADFAB9A345-114F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34570 [26/Oct/2026:19:35:54.904] public api/api1 0/0/0/9/9 201 401 ---- 8/8/5/0/0 0/0 rid=AC120001870A-1F90-6ADFAB9A388-115A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34594 [26/Oct/2026:19:35:54.934] public api/api1 0/0/1/5/6 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018722-1F90-6ADFAB9A391-115D-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34498 [26/Oct/2026:19:35:54.838] public api/api2 0/0/0/71/136 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000186C2-1F90-6ADFAB9A346-1151-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34522 [26/Oct/2026:19:35:54.856] public api/api2 0/0/0/121/121 201 401 ---- 5/5/4/4/0 0/0 rid=AC12000186DA-1F90-6ADFAB9A358-1153-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34536 [26/Oct/2026:19:35:54.882] public api/api2 0/0/0/96/96 201 401 ---- 4/4/3/3/0 0/0 rid=AC12000186E8-1F90-6ADFAB9A372-1157-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34528 [26/Oct/2026:19:35:54.865] public api/api2 0/0/0/114/115 201 401 ---- 3/3/2/2/0 0/0 rid=AC12000186E0-1F90-6ADFAB9A361-1154-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34556 [26/Oct/2026:19:35:54.899] public api/api2 0/0/0/86/86 201 401 ---- 2/2/1/1/0 0/0 rid=AC12000186FC-1F90-6ADFAB9A383-1159-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34586 [26/Oct/2026:19:35:54.934] public api/api2 0/0/1/51/53 201 401 ---- 1/1/0/0/0 0/0 rid=AC120001871A-1F90-6ADFAB9A391-115C-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.093,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 4367,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 145.117,
|
||||
"successful_latency_ms": {
|
||||
"p50": 32.0,
|
||||
"p95": 157.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
# 2026-10-26 19:35:55 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.4s
|
||||
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.093,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 4367,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 145.117,
|
||||
"successful_latency_ms": {
|
||||
"p50": 32.0,
|
||||
"p95": 157.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
# 2026-10-26 19:35:57 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab3-api-6 19.92% 89.26MiB / 256MiB 34.87%
|
||||
messenger-lab3-api-5 0.67% 89.33MiB / 256MiB 34.89%
|
||||
messenger-lab3-lb-1 0.14% 14.34MiB / 128MiB 11.20%
|
||||
messenger-lab3-postgres-1 11.42% 68.96MiB / 512MiB 13.47%
|
||||
messenger-lab3-redis-1 2.36% 4.148MiB / 96MiB 4.32%
|
||||
|
||||
@@ -0,0 +1,26 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
|
||||
## 1. Реплика не готова, пока схема не мигрирована; migrate однократный, повтор — no-op; две копии одновременно — advisory lock
|
||||
$ # реплика против ПУСТОЙ БД, миграции ещё не выполнялись (RUN_MIGRATIONS_ON_START=false)
|
||||
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready
|
||||
{"error":{"code":"unavailable","message":"Database schema is not migrated","request_id":"1f3109e3-a934-4c1b-bfbd-22350e35e05d"}} 503
|
||||
$ psql -c "select to_regclass('schema_migrations')"
|
||||
NULL
|
||||
$ python -m src.migrate # = сервис migrate (one-shot)
|
||||
applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
$ python -m src.migrate # повтор: no-op
|
||||
schema is up to date; nothing applied
|
||||
$ # две копии migrate одновременно (advisory lock) на ещё одной пустой БД
|
||||
NOTICE: database "messenger_race" does not exist, skipping
|
||||
copy A: schema is up to date; nothing applied
|
||||
copy B: applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
schema_migrations rows: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready # та же реплика, без рестарта
|
||||
{"status":"ok"} 200
|
||||
|
||||
## 2. Совместимость миграции 003 со старой версией (rolling update): код lab2 работает на схеме lab3 одновременно с репликами lab3
|
||||
$ # старая версия: код lab2 (без Idempotency-Key/X-Instance-Id) против БД, мигрированной до 003
|
||||
migrations applied at startup: none
|
||||
$ cd lab2 && python tests/smoke.py --base-url http://127.0.0.1:18098 # контракт lab2
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
$ cd lab3 && python tests/smoke.py --base-url http://127.0.0.1:8080 # одновременно реплики lab3 за LB
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,24 @@
|
||||
# 2026-10-26 19:35:10 UTC | Persistence: контейнеры до | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab3-api-5 Up 31 seconds (healthy) 32 seconds ago
|
||||
messenger-lab3-api-6 Up 21 seconds (healthy) 22 seconds ago
|
||||
messenger-lab3-lb-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
messenger-lab3-migrate-1 Exited (0) 4 minutes ago 44 minutes ago
|
||||
messenger-lab3-postgres-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
messenger-lab3-redis-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
# 2026-10-26 19:35:24 UTC | Persistence: make test-persistence | exit 0 | 14.1s
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:35:24 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab3-api-5 Up 7 seconds (healthy) 46 seconds ago
|
||||
messenger-lab3-api-6 Up 7 seconds (healthy) 36 seconds ago
|
||||
messenger-lab3-lb-1 Up Less than a second (health: starting) 44 minutes ago
|
||||
messenger-lab3-migrate-1 Exited (0) 5 minutes ago 44 minutes ago
|
||||
messenger-lab3-postgres-1 Up 7 seconds (healthy) 44 minutes ago
|
||||
messenger-lab3-redis-1 Up 7 seconds (healthy) 44 minutes ago
|
||||
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 27.69,
|
||||
"replicas_before": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
],
|
||||
"replicas_after": [
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1342,
|
||||
"ok": 1342,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 267.5,
|
||||
"write_ok_rps": 159.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 32.7,
|
||||
"requests": 6993,
|
||||
"ok": 6993,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 252.6,
|
||||
"write_ok_rps": 149.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 140.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3",
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 32.7,
|
||||
"to_s": 40.77,
|
||||
"requests": 2045,
|
||||
"ok": 2045,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 253.6,
|
||||
"write_ok_rps": 152.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.02,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
11.42,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.23,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
14.77,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.16,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.72,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.66,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 6166,
|
||||
"stored_messages": 6166,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 28.38,
|
||||
"replicas_before": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"replicas_after": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1161,
|
||||
"ok": 1161,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 232.2,
|
||||
"write_ok_rps": 136.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 33.38,
|
||||
"requests": 6950,
|
||||
"ok": 6950,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 244.9,
|
||||
"write_ok_rps": 145.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 156.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"a21409fffeec",
|
||||
"b6e350f043f3",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 33.38,
|
||||
"to_s": 41.41,
|
||||
"requests": 2008,
|
||||
"ok": 2008,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 250.0,
|
||||
"write_ok_rps": 147.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.5,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.73,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.25,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.28,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.73,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.34,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 5981,
|
||||
"stored_messages": 5981,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-10-26 19:34:26 UTC | Rolling update lab3 -> lab3.1 под нагрузкой | exit 0 | 44.1s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
|
||||
replicas before: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
2026-10-26T19:33:48.176Z rolling-update: start; replicas=2 old=['c4c5ae5b0949', 'a21409fffeec']
|
||||
2026-10-26T19:33:51.770Z rolling-update: images built in 3.6s (tag lab3.1)
|
||||
2026-10-26T19:33:53.990Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-10-26T19:34:04.788Z rolling-update: step 1/2 new=6e2f0c643449 (messenger-api:lab3.1, ready+UP in 6.8s) replaced old=c4c5ae5b0949 (graceful stop 3.8s)
|
||||
2026-10-26T19:34:15.884Z rolling-update: step 2/2 new=b6e350f043f3 (messenger-api:lab3.1, ready+UP in 6.7s) replaced old=a21409fffeec (graceful stop 4.3s)
|
||||
2026-10-26T19:34:16.330Z rolling-update: done in 28.1s; replicas now ['6e2f0c643449', 'b6e350f043f3']
|
||||
update 28.4s rc=0 | replicas ['a21409fffeec', 'c4c5ae5b0949'] -> ['6e2f0c643449', 'b6e350f043f3'] | errors during update 0 (-) | RPS before 232.2, during 244.9, after 250.0 | p95 during 93.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
# 2026-10-26 19:35:09 UTC | Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой | exit 0 | 43.4s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
|
||||
replicas before: ['6e2f0c643449', 'b6e350f043f3']
|
||||
2026-10-26T19:34:32.642Z rolling-update: start; replicas=2 old=['6e2f0c643449', 'b6e350f043f3']
|
||||
2026-10-26T19:34:35.497Z rolling-update: images built in 2.9s (tag lab3)
|
||||
2026-10-26T19:34:37.818Z rolling-update: migrations once in 2.3s: schema is up to date; nothing applied
|
||||
2026-10-26T19:34:48.605Z rolling-update: step 1/2 new=c38982836a1d (messenger-api:lab3, ready+UP in 7.0s) replaced old=6e2f0c643449 (graceful stop 3.7s)
|
||||
2026-10-26T19:34:59.414Z rolling-update: step 2/2 new=ecaa2acc2a0a (messenger-api:lab3, ready+UP in 6.8s) replaced old=b6e350f043f3 (graceful stop 3.9s)
|
||||
2026-10-26T19:34:59.817Z rolling-update: done in 27.4s; replicas now ['c38982836a1d', 'ecaa2acc2a0a']
|
||||
update 27.7s rc=0 | replicas ['6e2f0c643449', 'b6e350f043f3'] -> ['c38982836a1d', 'ecaa2acc2a0a'] | errors during update 0 (-) | RPS before 267.5, during 252.6, after 253.6 | p95 during 78.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
|
||||
# 2026-10-26 19:35:09 UTC | Реплики после обновлений | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c38982836a1d messenger-lab3-api-5 running healthy messenger-api:lab3 api2 UP
|
||||
ecaa2acc2a0a messenger-lab3-api-6 running healthy messenger-api:lab3 api3 UP
|
||||
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
|
||||
# Настройки: HAProxy inter 1s / fastinter 500ms / fall 2 / rise 2 / timeout check 1.5s; API DRAIN_SECONDS=3, GRACEFUL_TIMEOUT_SECONDS=10
|
||||
# graceful stop timeline, t=0 — начало наблюдения; интервал опроса 50 мс
|
||||
+0.02s (от SIGTERM -0.48s) LB api3: UP
|
||||
+0.02s (от SIGTERM -0.48s) nat-api-3 /health/ready -> 200
|
||||
+0.50s (от SIGTERM -0.00s) SIGTERM -> nat-api-3 (pid 3196)
|
||||
+0.51s (от SIGTERM +0.01s) nat-api-3 /health/ready -> 503
|
||||
+1.26s (от SIGTERM +0.76s) LB api3: UP 1/2
|
||||
+1.80s (от SIGTERM +1.30s) LB api3: DOWN
|
||||
+3.52s (от SIGTERM +3.02s) nat-api-3 /health/ready -> connection refused
|
||||
+3.62s (от SIGTERM +3.12s) nat-api-3 process exited
|
||||
|
||||
# лог реплики:
|
||||
2026-10-24 15:39:19,576 INFO messenger.server signal 15: instance nat-api-3 draining for 3.0s (readiness=503), then graceful stop
|
||||
2026-10-24 15:39:22,580 INFO uvicorn.error Shutting down
|
||||
2026-10-24 15:39:22,681 INFO messenger.api shutdown: instance=nat-api-3 closing pool
|
||||
2026-10-24 15:39:22,682 INFO uvicorn.error Finished server process [3196]
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-10-26 19:30:00 UTC | Публичный smoke | exit 0 | 0.9s
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,33 @@
|
||||
# 2026-10-26 19:29:57 UTC | Стенд: контейнеры | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab3-api-1 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 12 minutes (healthy) 8080/tcp
|
||||
messenger-lab3-api-2 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 13 minutes (healthy) 8080/tcp
|
||||
messenger-lab3-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 39 minutes ago Up 13 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m src.migra…" migrate 39 minutes ago Exited (0) 13 minutes ago
|
||||
messenger-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 39 minutes ago Up 13 minutes (healthy) 5432/tcp
|
||||
messenger-lab3-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 39 minutes ago Up 13 minutes (healthy) 6379/tcp
|
||||
# 2026-10-26 19:29:57 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:29:59 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab3-lb-1 1.87% 12.87MiB / 128MiB 10.06%
|
||||
messenger-lab3-api-2 16.79% 204.4MiB / 256MiB 79.86%
|
||||
messenger-lab3-api-1 0.31% 222.9MiB / 256MiB 87.07%
|
||||
messenger-lab3-postgres-1 2.23% 58.11MiB / 512MiB 11.35%
|
||||
messenger-lab3-redis-1 0.22% 4.559MiB / 96MiB 4.75%
|
||||
|
||||
# 2026-10-26 19:29:59 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
|
||||
SERVICE PORTS
|
||||
api 8080/tcp
|
||||
api 8080/tcp
|
||||
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
postgres 5432/tcp
|
||||
redis 6379/tcp
|
||||
|
||||
@@ -0,0 +1,134 @@
|
||||
# 2026-10-26 19:30:06 UTC | Собственные тесты (HTTP через LB) | exit 0 | 6.2s
|
||||
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests) ... ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 47 tests in 4.640s
|
||||
|
||||
OK (skipped=13)
|
||||
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# 2026-10-26 19:30:14 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.5s
|
||||
$ python scripts/ops.py in-network storage
|
||||
Container messenger-lab3-api-run-bdc116a8fd34 Creating
|
||||
Container messenger-lab3-api-run-bdc116a8fd34 Created
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.223s
|
||||
|
||||
OK
|
||||
Container messenger-lab3-api-run-630b208e9588 Creating
|
||||
Container messenger-lab3-api-run-630b208e9588 Created
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.864s
|
||||
|
||||
OK
|
||||
|
||||
# 2026-10-26 19:30:27 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 13.7s
|
||||
$ python scripts/ops.py in-network expiry
|
||||
Container messenger-lab3-redis-1 Running
|
||||
Container messenger-lab3-postgres-1 Running
|
||||
Container messenger-lab3-api-1 Running
|
||||
Container messenger-lab3-api-2 Running
|
||||
Container messenger-lab3-api-short-ttl-1 Creating
|
||||
Container messenger-lab3-api-short-ttl-1 Created
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Starting
|
||||
Container messenger-lab3-migrate-1 Started
|
||||
Container messenger-lab3-migrate-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-redis-1 Waiting
|
||||
Container messenger-lab3-redis-1 Healthy
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Exited
|
||||
Container messenger-lab3-api-2 Waiting
|
||||
Container messenger-lab3-api-1 Waiting
|
||||
Container messenger-lab3-api-2 Healthy
|
||||
Container messenger-lab3-api-1 Healthy
|
||||
Container messenger-lab3-api-short-ttl-1 Starting
|
||||
Container messenger-lab3-api-short-ttl-1 Started
|
||||
Container messenger-lab3-api-run-a36baf72714e Creating
|
||||
Container messenger-lab3-api-run-a36baf72714e Created
|
||||
ready: http://api-short-ttl:8080/health/ready
|
||||
Container messenger-lab3-api-run-c445a7ef00cd Creating
|
||||
Container messenger-lab3-api-run-c445a7ef00cd Created
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 1 test in 3.620s
|
||||
|
||||
OK
|
||||
|
||||
@@ -3,3 +3,9 @@
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
## Что лежит здесь (lab4)
|
||||
|
||||
- `sandbox/` — результаты, полученные при разработке на стенде из тех же компонентов, запущенных нативными процессами (PostgreSQL 16, Redis 7, SeaweedFS 4.50, HAProxy 2.8.30, 2 реплики API; без Docker). Как получены — REPORT.md, раздел «Доказательства критериев».
|
||||
- Остальные файлы создаёт `python scripts/collect_evidence.py` на compose-стенде (сводка — `SUMMARY.txt`). Токены и пароли в файлы не пишутся.
|
||||
- Доказательства lab3 сохранены в `docs/lab3/evidence/`.
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
# 2026-11-04 14:12:25 UTC
|
||||
OK Контракт (offline) evidence/check.txt
|
||||
OK Compose config evidence/check.txt
|
||||
OK Стенд: контейнеры evidence/stand.txt
|
||||
OK Стенд: реплики и статус в LB evidence/stand.txt
|
||||
OK Стенд: лимиты CPU/RAM evidence/stand.txt
|
||||
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
|
||||
OK Образ SeaweedFS (закреплённая версия) evidence/stand.txt
|
||||
OK S3 bootstrap: лог первого запуска s3-init evidence/s3_bootstrap.txt
|
||||
OK S3 bootstrap: повторный запуск (идемпотентность) evidence/s3_bootstrap.txt
|
||||
OK Публичный smoke evidence/smoke.txt
|
||||
OK Собственные тесты (HTTP через LB, включая test_attachments.py) evidence/student-tests.txt
|
||||
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
|
||||
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
|
||||
OK Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) evidence/consistency.txt
|
||||
OK Сверка БД <-> S3 (dry-run) evidence/reconcile.txt
|
||||
OK Приватный бакет вне API, права ключей, закрытые админ-порты evidence/s3_private.txt
|
||||
OK На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes evidence/s3_private.txt
|
||||
OK API: файлы в /tmp (tmpfs) после загрузок evidence/s3_private.txt
|
||||
OK Пик памяти: 10 одновременных загрузок по 9.5 MiB evidence/upload_memory.txt
|
||||
OK Пик памяти: 20 одновременных загрузок evidence/upload_memory.txt
|
||||
OK Failover #1: реплики до evidence/failover.txt
|
||||
OK Failover #1: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #1: restore evidence/failover.txt
|
||||
OK Failover #2: реплики до evidence/failover.txt
|
||||
OK Failover #2: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #2: restore evidence/failover.txt
|
||||
OK Failover #3: реплики до evidence/failover.txt
|
||||
OK Failover #3: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #3: restore evidence/failover.txt
|
||||
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
|
||||
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
|
||||
OK Недоступность S3 и восстановление evidence/s3_outage.txt
|
||||
OK Rolling update lab4 -> lab4.1 под нагрузкой evidence/rolling_update.txt
|
||||
OK Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой evidence/rolling_update.txt
|
||||
OK Реплики после обновлений evidence/rolling_update.txt
|
||||
OK Persistence: контейнеры до evidence/persistence.txt
|
||||
OK Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) evidence/persistence.txt
|
||||
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
|
||||
OK Persistence: сверка БД <-> S3 после рестарта evidence/persistence.txt
|
||||
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
|
||||
OK CPU/RAM после нагрузки evidence/load.txt
|
||||
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-11-04 14:03:55 UTC | Контракт (offline) | exit 0 | 0.1s
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-11-04 14:03:55 UTC | Compose config | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
|
||||
@@ -0,0 +1,75 @@
|
||||
# 2026-11-04 14:04:49 UTC | Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) | exit 0 | 15.8s
|
||||
$ python scripts/ops.py in-network consistency
|
||||
Container messenger-lab4-redis-1 Running
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-postgres-1 Running
|
||||
Container messenger-lab4-api-1 Running
|
||||
Container messenger-lab4-api-2 Running
|
||||
Container messenger-lab4-api-fault-s3-1 Creating
|
||||
Container messenger-lab4-api-fault-db-1 Creating
|
||||
Container messenger-lab4-api-fault-crash-1 Creating
|
||||
Container messenger-lab4-api-fault-db-1 Created
|
||||
Container messenger-lab4-api-fault-s3-1 Created
|
||||
Container messenger-lab4-api-fault-crash-1 Created
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-s3-init-1 Starting
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-s3-init-1 Started
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-s3-init-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-redis-1 Waiting
|
||||
Container messenger-lab4-redis-1 Healthy
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-s3-init-1 Exited
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-fault-crash-1 Starting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-fault-s3-1 Starting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-fault-db-1 Starting
|
||||
Container messenger-lab4-api-fault-crash-1 Started
|
||||
Container messenger-lab4-api-fault-s3-1 Started
|
||||
Container messenger-lab4-api-fault-db-1 Started
|
||||
Container messenger-lab4-api-run-46322fbc844a Creating
|
||||
Container messenger-lab4-api-run-46322fbc844a Created
|
||||
ready: http://api-fault-s3:8080/health/ready
|
||||
Container messenger-lab4-api-run-ff8a88e550db Creating
|
||||
Container messenger-lab4-api-run-ff8a88e550db Created
|
||||
ready: http://api-fault-db:8080/health/ready
|
||||
Container messenger-lab4-api-run-476fc515a8f0 Creating
|
||||
Container messenger-lab4-api-run-476fc515a8f0 Created
|
||||
ready: http://api-fault-crash:8080/health/ready
|
||||
Container messenger-lab4-api-run-9b2dce8846fe Creating
|
||||
Container messenger-lab4-api-run-9b2dce8846fe Created
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... /usr/local/lib/python3.12/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
|
||||
datetime_now = datetime.datetime.utcnow()
|
||||
ok
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 10 tests in 4.224s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,66 @@
|
||||
# 2026-11-04 14:05:30 UTC | Failover #1: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
# 2026-11-04 14:05:46 UTC | Failover #1: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.187}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:05:46 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
|
||||
|
||||
# 2026-11-04 14:05:52 UTC | Failover #1: restore | exit 0 | 6.3s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-04T14:05:52.981Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.2s
|
||||
|
||||
# 2026-11-04 14:05:53 UTC | Failover #2: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:06:09 UTC | Failover #2: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 123, "failed_attempts": 0, "first_recovery_seconds": 4.203}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:06:09 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
|
||||
|
||||
# 2026-11-04 14:06:16 UTC | Failover #2: restore | exit 0 | 6.6s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-04T14:06:16.514Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.5s
|
||||
|
||||
# 2026-11-04 14:06:16 UTC | Failover #3: реплики до | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:06:33 UTC | Failover #3: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.203}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:06:33 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 exited unhealthy messenger-api:lab4 - -
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:06:40 UTC | Failover #3: restore | exit 0 | 6.7s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-04T14:06:40.028Z restore: started ['messenger-lab4-api-1']; 2 replicas healthy and UP in LB after 6.6s
|
||||
|
||||
# остановленные публичным тестом реплики: ['4fc3ad11e268', '4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "4fc3ad11e268",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.12,
|
||||
"lb_detect_down_seconds": 1.56,
|
||||
"target_last_served_after_stop_seconds": 1.56,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.62,
|
||||
"lb_back_up_seconds": 1.28,
|
||||
"target_back_in_rotation_seconds": 7.62,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1155,
|
||||
"ok": 1155,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 231.0,
|
||||
"write_ok_rps": 137.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 125.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1010,
|
||||
"ok": 1010,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 101.0,
|
||||
"write_ok_rps": 61.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 588,
|
||||
"ok": 588,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 117.6,
|
||||
"write_ok_rps": 43.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 219.0
|
||||
},
|
||||
"instances": [
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.92,
|
||||
"requests": 1531,
|
||||
"ok": 1531,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 140.2,
|
||||
"write_ok_rps": 82.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 110.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.56,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.28,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.61,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.17,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2426,
|
||||
"stored_messages": 2426,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c9fab9c9e2c1",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.83,
|
||||
"lb_detect_down_seconds": 1.55,
|
||||
"target_last_served_after_stop_seconds": 1.39,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.0,
|
||||
"lb_back_up_seconds": 1.62,
|
||||
"target_back_in_rotation_seconds": 6.99,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1015,
|
||||
"ok": 1015,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 203.0,
|
||||
"write_ok_rps": 121.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 172.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 833,
|
||||
"ok": 833,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 83.3,
|
||||
"write_ok_rps": 49.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 371,
|
||||
"ok": 371,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 74.2,
|
||||
"write_ok_rps": 44.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 93.0,
|
||||
"p95": 187.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.27,
|
||||
"requests": 1496,
|
||||
"ok": 1496,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 145.7,
|
||||
"write_ok_rps": 86.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.55,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.62,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.58,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2215,
|
||||
"stored_messages": 2215,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-04 14:07:43 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 63.4s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
|
||||
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
-- stopping 4fc3ad11e268 (mode=stop) under load
|
||||
hook 4.12s | LB DOWN after 1.56 s | errors 0 (-) | RPS before 231.0, outage 101.0, after restore 140.2 | p95 outage 110.0 ms | back in rotation 7.62 s | data ok=True
|
||||
-- stopping c9fab9c9e2c1 (mode=stop) under load
|
||||
hook 4.83s | LB DOWN after 1.55 s | errors 0 (-) | RPS before 203.0, outage 83.3, after restore 145.7 | p95 outage 187.0 ms | back in rotation 6.99 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
# 2026-11-04 14:08:46 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 62.7s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
|
||||
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
-- stopping 4fc3ad11e268 (mode=kill) under load
|
||||
hook 1.09s | LB DOWN after 1.97 s | errors 6 (502) | RPS before 244.2, outage 77.1, after restore 119.5 | p95 outage 187.0 ms | back in rotation 7.52 s | data ok=True
|
||||
-- stopping c9fab9c9e2c1 (mode=kill) under load
|
||||
hook 1.14s | LB DOWN after 2.59 s | errors 6 (502) | RPS before 186.8, outage 82.9, after restore 134.8 | p95 outage 188.0 ms | back in rotation 6.83 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
|
||||
@@ -0,0 +1,298 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "4fc3ad11e268",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.09,
|
||||
"lb_detect_down_seconds": 1.97,
|
||||
"target_last_served_after_stop_seconds": 0.47,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 6,
|
||||
"error_kinds": [
|
||||
"502"
|
||||
],
|
||||
"error_window_seconds": 0.56,
|
||||
"restore_hook_seconds": 7.53,
|
||||
"lb_back_up_seconds": 2.0,
|
||||
"target_back_in_rotation_seconds": 7.52,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1221,
|
||||
"ok": 1221,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 244.2,
|
||||
"write_ok_rps": 145.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 777,
|
||||
"ok": 771,
|
||||
"errors": 6,
|
||||
"error_ratio": 0.0077,
|
||||
"ok_rps": 77.1,
|
||||
"write_ok_rps": 40.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 63.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1015.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 565,
|
||||
"ok": 565,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 113.0,
|
||||
"write_ok_rps": 44.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 281.0
|
||||
},
|
||||
"instances": [
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.84,
|
||||
"requests": 1296,
|
||||
"ok": 1296,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 119.5,
|
||||
"write_ok_rps": 68.1,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 172.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.97,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.45,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.97,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2100,
|
||||
"stored_messages": 2100,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 4,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c9fab9c9e2c1",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.14,
|
||||
"lb_detect_down_seconds": 2.59,
|
||||
"target_last_served_after_stop_seconds": 0.51,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 6,
|
||||
"error_kinds": [
|
||||
"502"
|
||||
],
|
||||
"error_window_seconds": 0.59,
|
||||
"restore_hook_seconds": 6.83,
|
||||
"lb_back_up_seconds": 1.61,
|
||||
"target_back_in_rotation_seconds": 6.83,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 934,
|
||||
"ok": 934,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 186.8,
|
||||
"write_ok_rps": 111.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 835,
|
||||
"ok": 829,
|
||||
"errors": 6,
|
||||
"error_ratio": 0.0072,
|
||||
"ok_rps": 82.9,
|
||||
"write_ok_rps": 40.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 32.0,
|
||||
"p95": 188.0,
|
||||
"p99": 1000.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 541,
|
||||
"ok": 541,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 108.2,
|
||||
"write_ok_rps": 37.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 203.0,
|
||||
"p99": 282.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.16,
|
||||
"requests": 1369,
|
||||
"ok": 1369,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 134.8,
|
||||
"write_ok_rps": 77.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.59,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.61,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.95,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.53,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 1941,
|
||||
"stored_messages": 1941,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 4,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# 2026-11-04 14:04:00 UTC | одна сессия, 20 запросов GET /users/me через LB
|
||||
1 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001993A-1F90-6AEB3B50162-0571-0008
|
||||
2 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019944-1F90-6AEB3B50169-0572-0008
|
||||
3 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001994A-1F90-6AEB3B5017C-0573-0008
|
||||
4 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019958-1F90-6AEB3B50199-0574-0008
|
||||
5 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001995E-1F90-6AEB3B5019C-0575-0008
|
||||
6 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019960-1F90-6AEB3B501B7-0576-0008
|
||||
7 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019966-1F90-6AEB3B501C6-0577-0008
|
||||
8 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019974-1F90-6AEB3B501C9-0578-0008
|
||||
9 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019978-1F90-6AEB3B501E5-0579-0008
|
||||
10 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019980-1F90-6AEB3B501F4-057A-0008
|
||||
11 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019984-1F90-6AEB3B50205-057B-0008
|
||||
12 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019988-1F90-6AEB3B50209-057C-0008
|
||||
13 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019998-1F90-6AEB3B5020C-057D-0008
|
||||
14 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC120001999C-1F90-6AEB3B50223-057E-0008
|
||||
15 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001999E-1F90-6AEB3B50226-057F-0008
|
||||
16 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199AE-1F90-6AEB3B50241-0580-0008
|
||||
17 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199BA-1F90-6AEB3B50245-0581-0008
|
||||
18 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199CA-1F90-6AEB3B50260-0582-0008
|
||||
19 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199D2-1F90-6AEB3B50263-0584-0008
|
||||
20 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199DE-1F90-6AEB3B50266-0585-0008
|
||||
разных реплик: 2
|
||||
@@ -0,0 +1,62 @@
|
||||
# 2026-11-04 14:12:25 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env logs --no-color --tail 60 lb
|
||||
lb-1 | 172.18.0.1:56696 [04/Nov/2026:14:12:22.325] public api/api2 0/0/0/11/11 201 421 ---- 8/8/7/2/0 0/0 rid=AC120001DD78-1F90-6AEB3D46145-0F07-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56712 [04/Nov/2026:14:12:22.328] public api/api2 0/0/0/10/11 201 421 ---- 8/8/6/1/0 0/0 rid=AC120001DD88-1F90-6AEB3D46148-0F09-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56732 [04/Nov/2026:14:12:22.330] public api/api2 0/0/0/9/9 201 421 ---- 7/7/5/0/0 0/0 rid=AC120001DD9C-1F90-6AEB3D4614A-0F0B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56746 [04/Nov/2026:14:12:22.340] public api/api2 0/0/0/6/6 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DDAA-1F90-6AEB3D46154-0F0D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56734 [04/Nov/2026:14:12:22.349] public api/api2 0/0/1/6/7 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DD9E-1F90-6AEB3D46152-0F0F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56764 [04/Nov/2026:14:12:22.365] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDBC-1F90-6AEB3D4615C-0F11-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56666 [04/Nov/2026:14:12:22.308] public api/api1 0/0/0/88/89 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD5A-1F90-6AEB3D46134-0F04-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56788 [04/Nov/2026:14:12:22.398] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDD4-1F90-6AEB3D4618E-0F13-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56688 [04/Nov/2026:14:12:22.324] public api/api1 0/0/0/84/85 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD70-1F90-6AEB3D46144-0F06-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56802 [04/Nov/2026:14:12:22.410] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE2-1F90-6AEB3D4619A-0F15-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56698 [04/Nov/2026:14:12:22.325] public api/api1 0/0/0/99/100 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD7A-1F90-6AEB3D46145-0F08-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56808 [04/Nov/2026:14:12:22.427] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE8-1F90-6AEB3D461AB-0F17-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56748 [04/Nov/2026:14:12:22.341] public api/api1 0/0/0/156/157 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DDAC-1F90-6AEB3D46155-0F0E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56768 [04/Nov/2026:14:12:22.358] public api/api1 0/0/0/140/140 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DDC0-1F90-6AEB3D46166-0F10-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56784 [04/Nov/2026:14:12:22.395] public api/api1 0/0/0/103/104 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DDD0-1F90-6AEB3D46174-0F12-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56678 [04/Nov/2026:14:12:22.334] public api/api1 0/0/1/164/166 201 421 ---- 8/8/4/4/0 0/0 rid=AC120001DD66-1F90-6AEB3D4613D-0F0C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56728 [04/Nov/2026:14:12:22.328] public api/api1 0/0/0/171/172 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DD98-1F90-6AEB3D46148-0F0A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56800 [04/Nov/2026:14:12:22.406] public api/api1 0/0/0/96/96 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE0-1F90-6AEB3D46196-0F14-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56806 [04/Nov/2026:14:12:22.418] public api/api1 0/0/0/88/88 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE6-1F90-6AEB3D461A2-0F16-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56846 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE0E-1F90-6AEB3D461F5-0F1A-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56856 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/12/12 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE18-1F90-6AEB3D461F5-0F1C-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56872 [04/Nov/2026:14:12:22.502] public api/api1 0/0/0/12/12 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DE28-1F90-6AEB3D461F6-0F1D-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56824 [04/Nov/2026:14:12:22.434] public api/api1 0/0/0/84/84 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DDF8-1F90-6AEB3D461B2-0F18-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56840 [04/Nov/2026:14:12:22.501] public api/api1 0/0/0/17/18 201 421 ---- 7/7/2/1/0 0/0 rid=AC120001DE08-1F90-6AEB3D461F5-0F1B-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56898 [04/Nov/2026:14:12:22.512] public api/api2 0/0/0/6/6 201 421 ---- 6/6/1/0/0 0/0 rid=AC120001DE42-1F90-6AEB3D46200-0F1E-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56860 [04/Nov/2026:14:12:22.518] public api/api2 0/0/1/11/12 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DE1C-1F90-6AEB3D461F6-0F20-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56926 [04/Nov/2026:14:12:22.521] public api/api2 0/0/0/12/12 201 421 ---- 8/8/5/1/0 0/0 rid=AC120001DE5E-1F90-6AEB3D46209-0F24-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56888 [04/Nov/2026:14:12:22.519] public api/api2 0/0/0/14/14 201 421 ---- 7/7/4/0/0 0/0 rid=AC120001DE38-1F90-6AEB3D461FD-0F22-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56874 [04/Nov/2026:14:12:22.519] public api/api1 0/0/0/15/16 201 421 ---- 6/6/5/3/0 0/0 rid=AC120001DE2A-1F90-6AEB3D461F8-0F21-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56916 [04/Nov/2026:14:12:22.520] public api/api1 0/0/0/14/14 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DE54-1F90-6AEB3D46208-0F23-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56904 [04/Nov/2026:14:12:22.516] public api/api1 0/0/0/19/20 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DE48-1F90-6AEB3D46204-0F1F-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56956 [04/Nov/2026:14:12:22.536] public api/api2 0/0/0/12/12 201 421 ---- 8/8/7/3/0 0/0 rid=AC120001DE7C-1F90-6AEB3D46218-0F2B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56942 [04/Nov/2026:14:12:22.535] public api/api2 0/0/0/15/16 201 421 ---- 8/8/6/2/0 0/0 rid=AC120001DE6E-1F90-6AEB3D46217-0F29-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56930 [04/Nov/2026:14:12:22.534] public api/api2 0/0/0/17/17 201 421 ---- 7/7/5/1/0 0/0 rid=AC120001DE62-1F90-6AEB3D46209-0F27-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56984 [04/Nov/2026:14:12:22.538] public api/api2 0/0/0/15/15 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DE98-1F90-6AEB3D4621A-0F2D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57024 [04/Nov/2026:14:12:22.564] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/1/0 0/0 rid=AC120001DEC0-1F90-6AEB3D4622A-0F30-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56998 [04/Nov/2026:14:12:22.565] public api/api2 0/0/0/8/8 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEA6-1F90-6AEB3D46227-0F2F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57044 [04/Nov/2026:14:12:22.596] public api/api2 0/0/0/6/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DED4-1F90-6AEB3D4623E-0F33-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56934 [04/Nov/2026:14:12:22.533] public api/api1 0/0/0/80/80 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DE66-1F90-6AEB3D46215-0F26-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57066 [04/Nov/2026:14:12:22.615] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEEA-1F90-6AEB3D46267-0F35-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56952 [04/Nov/2026:14:12:22.535] public api/api1 0/0/0/88/88 201 421 ---- 8/8/6/6/0 0/0 rid=AC120001DE78-1F90-6AEB3D46217-0F2A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56900 [04/Nov/2026:14:12:22.534] public api/api1 0/0/1/88/90 201 421 ---- 7/7/5/5/0 0/0 rid=AC120001DE44-1F90-6AEB3D46202-0F28-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56970 [04/Nov/2026:14:12:22.537] public api/api1 0/0/0/87/87 201 421 ---- 6/6/4/4/0 0/0 rid=AC120001DE8A-1F90-6AEB3D46219-0F2C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57018 [04/Nov/2026:14:12:22.565] public api/api1 0/0/0/62/63 201 421 ---- 8/8/6/5/0 0/0 rid=AC120001DEBA-1F90-6AEB3D46229-0F31-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57036 [04/Nov/2026:14:12:22.572] public api/api1 0/0/0/55/55 201 421 ---- 7/7/5/4/0 0/0 rid=AC120001DECC-1F90-6AEB3D4623C-0F32-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57014 [04/Nov/2026:14:12:22.553] public api/api1 0/0/0/74/75 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DEB6-1F90-6AEB3D46229-0F2E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57052 [04/Nov/2026:14:12:22.604] public api/api1 0/0/0/23/24 201 421 ---- 5/5/3/2/0 0/0 rid=AC120001DEDC-1F90-6AEB3D4625C-0F34-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57114 [04/Nov/2026:14:12:22.626] public api/api2 0/0/0/7/7 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DF1A-1F90-6AEB3D46272-0F37-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57138 [04/Nov/2026:14:12:22.629] public api/api2 0/0/0/9/9 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DF32-1F90-6AEB3D46275-0F39-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57142 [04/Nov/2026:14:12:22.630] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/0/0 0/0 rid=AC120001DF36-1F90-6AEB3D46276-0F3B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57156 [04/Nov/2026:14:12:22.641] public api/api2 0/0/0/5/5 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF44-1F90-6AEB3D46276-0F3D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57170 [04/Nov/2026:14:12:22.648] public api/api2 0/0/0/4/4 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF52-1F90-6AEB3D46288-0F3F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57168 [04/Nov/2026:14:12:22.657] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DF50-1F90-6AEB3D46282-0F41-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57096 [04/Nov/2026:14:12:22.625] public api/api1 0/0/0/86/86 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DF08-1F90-6AEB3D46271-0F36-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57108 [04/Nov/2026:14:12:22.626] public api/api1 0/0/0/89/89 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DF14-1F90-6AEB3D46272-0F38-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57160 [04/Nov/2026:14:12:22.656] public api/api1 0/0/0/61/61 201 421 ---- 5/5/4/4/0 0/0 rid=AC120001DF48-1F90-6AEB3D4627B-0F42-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57122 [04/Nov/2026:14:12:22.630] public api/api1 0/0/0/91/91 201 421 ---- 4/4/3/3/0 0/0 rid=AC120001DF22-1F90-6AEB3D46276-0F3A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57082 [04/Nov/2026:14:12:22.642] public api/api1 0/0/0/81/81 201 421 ---- 3/3/2/2/0 0/0 rid=AC120001DEFA-1F90-6AEB3D4626F-0F3E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57164 [04/Nov/2026:14:12:22.640] public api/api1 0/0/0/83/83 201 421 ---- 2/2/1/1/0 0/0 rid=AC120001DF4C-1F90-6AEB3D46280-0F3C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57180 [04/Nov/2026:14:12:22.654] public api/api1 0/0/0/69/70 201 421 ---- 1/1/0/0/0 0/0 rid=AC120001DF5C-1F90-6AEB3D4628E-0F40-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.156,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 3821,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 126.708,
|
||||
"successful_latency_ms": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 266.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-11-04 14:12:22 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.6s
|
||||
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.156,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 3821,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 126.708,
|
||||
"successful_latency_ms": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 266.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
# 2026-11-04 14:12:24 UTC | CPU/RAM после нагрузки | exit 0 | 2.1s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab4-api-6 17.48% 88.79MiB / 320MiB 27.75%
|
||||
messenger-lab4-api-5 17.67% 89.4MiB / 320MiB 27.94%
|
||||
messenger-lab4-lb-1 2.18% 14.14MiB / 128MiB 11.05%
|
||||
messenger-lab4-postgres-1 0.14% 68.93MiB / 512MiB 13.46%
|
||||
messenger-lab4-redis-1 2.43% 4.82MiB / 96MiB 5.02%
|
||||
messenger-lab4-s3-1 0.31% 97.91MiB / 512MiB 19.12%
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
# 2026-11-04 14:11:03 UTC | Persistence: контейнеры до | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab4-api-5 Up 32 seconds (healthy) 32 seconds ago
|
||||
messenger-lab4-api-6 Up 20 seconds (healthy) 21 seconds ago
|
||||
messenger-lab4-lb-1 Up 11 minutes (healthy) 13 minutes ago
|
||||
messenger-lab4-migrate-1 Exited (0) 6 minutes ago 13 minutes ago
|
||||
messenger-lab4-postgres-1 Up 12 minutes (healthy) 13 minutes ago
|
||||
messenger-lab4-redis-1 Up 12 minutes (healthy) 13 minutes ago
|
||||
messenger-lab4-s3-1 Up About a minute (healthy) 13 minutes ago
|
||||
messenger-lab4-s3-init-1 Exited (0) 6 minutes ago 13 minutes ago
|
||||
# 2026-11-04 14:11:49 UTC | Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) | exit 0 | 45.6s
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:11:49 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab4-api-5 Up 7 seconds (healthy) About a minute ago
|
||||
messenger-lab4-api-6 Up 7 seconds (healthy) About a minute ago
|
||||
messenger-lab4-lb-1 Up 1 second (health: starting) 14 minutes ago
|
||||
messenger-lab4-migrate-1 Exited (0) 7 minutes ago 14 minutes ago
|
||||
messenger-lab4-postgres-1 Up 38 seconds (healthy) 14 minutes ago
|
||||
messenger-lab4-redis-1 Up 39 seconds (healthy) 14 minutes ago
|
||||
messenger-lab4-s3-1 Up 28 seconds (healthy) 14 minutes ago
|
||||
messenger-lab4-s3-init-1 Exited (0) 7 minutes ago 14 minutes ago
|
||||
|
||||
# 2026-11-04 14:11:52 UTC | Persistence: сверка БД <-> S3 после рестарта | exit 0 | 2.4s
|
||||
$ python scripts/ops.py reconcile
|
||||
Container messenger-lab4-api-run-e029350f1930 Creating
|
||||
Container messenger-lab4-api-run-e029350f1930 Created
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 900,
|
||||
"stale_pending": 0,
|
||||
"stale_pending_ids": [],
|
||||
"objects_listed": 182,
|
||||
"orphan_objects": 0,
|
||||
"orphan_objects_within_grace": 0,
|
||||
"orphan_objects_sample": [],
|
||||
"bucket_scan_seconds": 0.062,
|
||||
"ready_rows": 182,
|
||||
"missing_objects": 0,
|
||||
"missing_object_ids": [],
|
||||
"total_seconds": 0.073
|
||||
}
|
||||
|
||||
@@ -0,0 +1,19 @@
|
||||
# 2026-11-04 14:04:52 UTC | Сверка БД <-> S3 (dry-run) | exit 0 | 2.2s
|
||||
$ python scripts/ops.py reconcile
|
||||
Container messenger-lab4-api-run-fb929425df7f Creating
|
||||
Container messenger-lab4-api-run-fb929425df7f Created
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 900,
|
||||
"stale_pending": 0,
|
||||
"stale_pending_ids": [],
|
||||
"objects_listed": 107,
|
||||
"orphan_objects": 0,
|
||||
"orphan_objects_within_grace": 0,
|
||||
"orphan_objects_sample": [],
|
||||
"bucket_scan_seconds": 0.014,
|
||||
"ready_rows": 107,
|
||||
"missing_objects": 0,
|
||||
"missing_object_ids": [],
|
||||
"total_seconds": 0.025
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 28.28,
|
||||
"replicas_before": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
],
|
||||
"replicas_after": [
|
||||
"4749f3b4b256",
|
||||
"7d965c2245c9"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1026,
|
||||
"ok": 1026,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 205.2,
|
||||
"write_ok_rps": 123.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 157.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 33.28,
|
||||
"requests": 5808,
|
||||
"ok": 5808,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 205.4,
|
||||
"write_ok_rps": 122.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 172.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"4749f3b4b256",
|
||||
"7d965c2245c9",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 33.28,
|
||||
"to_s": 41.34,
|
||||
"requests": 1492,
|
||||
"ok": 1492,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 185.1,
|
||||
"write_ok_rps": 111.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4749f3b4b256",
|
||||
"7d965c2245c9"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
11.78,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.7,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.26,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
18.2,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.8,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.51,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 4970,
|
||||
"stored_messages": 4970,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 29.38,
|
||||
"replicas_before": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"replicas_after": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1180,
|
||||
"ok": 1180,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 236.0,
|
||||
"write_ok_rps": 140.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 125.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 34.38,
|
||||
"requests": 6657,
|
||||
"ok": 6657,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 226.6,
|
||||
"write_ok_rps": 133.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 157.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 34.38,
|
||||
"to_s": 42.45,
|
||||
"requests": 1674,
|
||||
"ok": 1674,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 207.2,
|
||||
"write_ok_rps": 121.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.44,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
13.16,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.72,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.44,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
26.94,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
31.47,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 5617,
|
||||
"stored_messages": 5617,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-11-04 14:10:19 UTC | Rolling update lab4 -> lab4.1 под нагрузкой | exit 0 | 44.8s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
|
||||
replicas before: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
2026-11-04T14:09:41.527Z rolling-update: start; replicas=2 old=['c9fab9c9e2c1', '4fc3ad11e268']
|
||||
2026-11-04T14:09:45.307Z rolling-update: images built in 3.8s (tag lab4.1)
|
||||
2026-11-04T14:09:47.489Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-11-04T14:09:59.096Z rolling-update: step 1/2 new=1c20a55eebeb (messenger-api:lab4.1, ready+UP in 7.0s) replaced old=c9fab9c9e2c1 (graceful stop 4.4s)
|
||||
2026-11-04T14:10:09.967Z rolling-update: step 2/2 new=ee285aa5856f (messenger-api:lab4.1, ready+UP in 6.6s) replaced old=4fc3ad11e268 (graceful stop 4.0s)
|
||||
2026-11-04T14:10:10.389Z rolling-update: done in 29.1s; replicas now ['1c20a55eebeb', 'ee285aa5856f']
|
||||
update 29.4s rc=0 | replicas ['4fc3ad11e268', 'c9fab9c9e2c1'] -> ['1c20a55eebeb', 'ee285aa5856f'] | errors during update 0 (-) | RPS before 236.0, during 226.6, after 207.2 | p95 during 93.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
# 2026-11-04 14:11:03 UTC | Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой | exit 0 | 43.8s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
|
||||
replicas before: ['1c20a55eebeb', 'ee285aa5856f']
|
||||
2026-11-04T14:10:26.009Z rolling-update: start; replicas=2 old=['1c20a55eebeb', 'ee285aa5856f']
|
||||
2026-11-04T14:10:28.537Z rolling-update: images built in 2.5s (tag lab4)
|
||||
2026-11-04T14:10:30.771Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-11-04T14:10:42.303Z rolling-update: step 1/2 new=4749f3b4b256 (messenger-api:lab4, ready+UP in 7.2s) replaced old=1c20a55eebeb (graceful stop 4.1s)
|
||||
2026-11-04T14:10:53.630Z rolling-update: step 2/2 new=7d965c2245c9 (messenger-api:lab4, ready+UP in 7.0s) replaced old=ee285aa5856f (graceful stop 4.2s)
|
||||
2026-11-04T14:10:54.052Z rolling-update: done in 28.0s; replicas now ['4749f3b4b256', '7d965c2245c9']
|
||||
update 28.3s rc=0 | replicas ['1c20a55eebeb', 'ee285aa5856f'] -> ['4749f3b4b256', '7d965c2245c9'] | errors during update 0 (-) | RPS before 205.2, during 205.4, after 185.1 | p95 during 94.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
|
||||
# 2026-11-04 14:11:03 UTC | Реплики после обновлений | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4749f3b4b256 messenger-lab4-api-5 running healthy messenger-api:lab4 api2 UP
|
||||
7d965c2245c9 messenger-lab4-api-6 running healthy messenger-api:lab4 api3 UP
|
||||
|
||||
@@ -0,0 +1,225 @@
|
||||
# 2026-11-04 14:03:57 UTC | S3 bootstrap: лог первого запуска s3-init | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env logs --no-color s3-init
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
# 2026-11-04 14:04:00 UTC | S3 bootstrap: повторный запуск (идемпотентность) | exit 0 | 2.3s
|
||||
$ docker compose --env-file .env run --rm -T s3-init
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-s3-init-run-8fa89d92841c Creating
|
||||
Container messenger-lab4-s3-init-run-8fa89d92841c Created
|
||||
{
|
||||
"endpoint_host": "s3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
}
|
||||
],
|
||||
"bucket_action": "already exists (idempotent no-op)",
|
||||
"ok": true
|
||||
}
|
||||
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"scenario": "S3 outage and recovery",
|
||||
"max_fail_seconds": 15.0,
|
||||
"s3_warmup_seconds": 20.34,
|
||||
"checks": [
|
||||
{
|
||||
"check": "baseline upload 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "text message 201 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "history 200 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "attachment metadata 200 (PostgreSQL only)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "message referencing existing attachment 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 6.53s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "6.53s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "upload #2 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 6.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "6.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "download -> 503 during outage",
|
||||
"ok": true,
|
||||
"detail": "503 in 3.66s"
|
||||
},
|
||||
{
|
||||
"check": "download failed fast",
|
||||
"ok": true,
|
||||
"detail": "3.66s"
|
||||
},
|
||||
{
|
||||
"check": "session still valid",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "S3 read/write warm-up after start",
|
||||
"ok": true,
|
||||
"detail": "20.34s"
|
||||
},
|
||||
{
|
||||
"check": "old file downloads byte-for-byte after recovery",
|
||||
"ok": true,
|
||||
"detail": "200 0.02s"
|
||||
},
|
||||
{
|
||||
"check": "new upload 201 after recovery (same token, no API restart)",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,24 @@
|
||||
# 2026-11-04 14:09:34 UTC | Недоступность S3 и восстановление | exit 0 | 48.7s
|
||||
$ python student-tests/s3_outage.py --base-url http://127.0.0.1:8080 --output evidence/s3_outage.json
|
||||
PASS baseline upload 201 — 201
|
||||
$ docker compose --env-file .env stop s3
|
||||
PASS readiness stays 200 while S3 is down (S3 is not a readiness dependency) — 200
|
||||
PASS text message 201 during S3 outage — 201
|
||||
PASS history 200 during S3 outage — 200
|
||||
PASS attachment metadata 200 (PostgreSQL only) — 200
|
||||
PASS message referencing existing attachment 201 — 201
|
||||
PASS upload #1 -> 503 unavailable — 503 unavailable in 6.53s
|
||||
PASS upload #1 failed fast (<= 15s) — 6.53s
|
||||
PASS upload #1 has Retry-After
|
||||
PASS upload #2 -> 503 unavailable — 503 unavailable in 6.31s
|
||||
PASS upload #2 failed fast (<= 15s) — 6.31s
|
||||
PASS upload #2 has Retry-After
|
||||
PASS download -> 503 during outage — 503 in 3.66s
|
||||
PASS download failed fast — 3.66s
|
||||
PASS session still valid — 200
|
||||
$ docker compose --env-file .env start s3
|
||||
$ C:\Users\mrend\AppData\Local\Programs\Python\Python312\python.exe scripts/ops.py wait-s3
|
||||
PASS S3 read/write warm-up after start — 20.34s
|
||||
PASS old file downloads byte-for-byte after recovery — 200 0.02s
|
||||
PASS new upload 201 after recovery (same token, no API restart) — 201
|
||||
PASS
|
||||
@@ -0,0 +1,67 @@
|
||||
# 2026-11-04 14:04:54 UTC | Приватный бакет вне API, права ключей, закрытые админ-порты | exit 0 | 2.3s
|
||||
$ python scripts/ops.py s3-check
|
||||
Container messenger-lab4-api-run-33922d9bc56f Creating
|
||||
Container messenger-lab4-api-run-33922d9bc56f Created
|
||||
{
|
||||
"endpoint_host": "s3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET of a real attachment object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "same object is readable with API credentials and matches sha256",
|
||||
"ok": true,
|
||||
"detail": "111817 bytes"
|
||||
}
|
||||
],
|
||||
"ok": true
|
||||
}
|
||||
# 2026-11-04 14:04:54 UTC | На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes | exit 0 | 0.5s
|
||||
$ python scripts/ops.py api-fs
|
||||
messenger-lab4-api-1 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
|
||||
messenger-lab4-api-2 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
|
||||
|
||||
# 2026-11-04 14:04:55 UTC | API: файлы в /tmp (tmpfs) после загрузок | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env exec -T api sh -c df -h /tmp; echo files_in_tmp=$(find /tmp -type f | wc -l)
|
||||
Filesystem Size Used Avail Use% Mounted on
|
||||
tmpfs 16M 0 16M 0% /tmp
|
||||
files_in_tmp=0
|
||||
|
||||
@@ -0,0 +1,6 @@
|
||||
# 2026-11-02T13:36:48Z | offline contract
|
||||
$ python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-11-02T13:36:48Z | full OpenAPI validation
|
||||
$ python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-02T13:37:02Z | DB<->S3 consistency, aborted upload, injected faults (api-11 s3_error_on_put, api-12 db_error_after_s3_put, api-13 crash_after_s3_put)
|
||||
$ BASE_URL=... FAULT_*_URL=... python -m unittest discover -s student-tests -p test_attachment_consistency.py -v
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... ok
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 10 tests in 4.391s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,12 @@
|
||||
# 2026-11-02T13:28:02Z failover run 1: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 138, "failed_attempts": 0, "first_recovery_seconds": 4.468}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
2026-11-02T13:27:47Z stop-one api-1 pid 7684
|
||||
restored; next run
|
||||
# 2026-11-02T13:28:23Z failover run 2: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 139, "failed_attempts": 0, "first_recovery_seconds": 4.475}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
2026-11-02T13:28:08Z stop-one api-1 pid 7937
|
||||
restored; next run
|
||||
@@ -0,0 +1,268 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "api-1",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"stop_hook_seconds": 5.0,
|
||||
"lb_detect_down_seconds": 1.3,
|
||||
"target_last_served_after_stop_seconds": 1.31,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 1.86,
|
||||
"lb_back_up_seconds": 2.91,
|
||||
"target_back_in_rotation_seconds": 2.87,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1597,
|
||||
"ok": 1597,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 318.1,
|
||||
"write_ok_rps": 187.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.7,
|
||||
"p95": 38.6,
|
||||
"p99": 50.6
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 2392,
|
||||
"ok": 2392,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 239.2,
|
||||
"write_ok_rps": 140.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 24.4,
|
||||
"p95": 39.5,
|
||||
"p99": 48.8
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.02,
|
||||
"requests": 1057,
|
||||
"ok": 1057,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 211.4,
|
||||
"write_ok_rps": 124.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 27.6,
|
||||
"p95": 44.5,
|
||||
"p99": 54.8
|
||||
},
|
||||
"instances": [
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.02,
|
||||
"to_s": 26.15,
|
||||
"requests": 1671,
|
||||
"ok": 1671,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 272.8,
|
||||
"write_ok_rps": 160.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 21.2,
|
||||
"p95": 39.0,
|
||||
"p99": 49.4
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.02,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.32,
|
||||
[
|
||||
"api-2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.93,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 3957,
|
||||
"stored_messages": 3957,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "api-2",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"stop_hook_seconds": 5.23,
|
||||
"lb_detect_down_seconds": 1.53,
|
||||
"target_last_served_after_stop_seconds": 1.47,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 1.45,
|
||||
"lb_back_up_seconds": 3.05,
|
||||
"target_back_in_rotation_seconds": 3.05,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.01,
|
||||
"requests": 1416,
|
||||
"ok": 1416,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 282.9,
|
||||
"write_ok_rps": 164.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 19.4,
|
||||
"p95": 41.3,
|
||||
"p99": 53.4
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.01,
|
||||
"to_s": 15.01,
|
||||
"requests": 2431,
|
||||
"ok": 2431,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 243.1,
|
||||
"write_ok_rps": 142.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 24.8,
|
||||
"p95": 39.6,
|
||||
"p99": 46.3
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.01,
|
||||
"to_s": 20.01,
|
||||
"requests": 1154,
|
||||
"ok": 1154,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 230.7,
|
||||
"write_ok_rps": 136.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 25.4,
|
||||
"p95": 39.9,
|
||||
"p99": 46.5
|
||||
},
|
||||
"instances": [
|
||||
"api-1"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.01,
|
||||
"to_s": 26.3,
|
||||
"requests": 1851,
|
||||
"ok": 1851,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 293.9,
|
||||
"write_ok_rps": 172.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 19.8,
|
||||
"p95": 35.8,
|
||||
"p99": 42.1
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.01,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.53,
|
||||
[
|
||||
"api-1"
|
||||
]
|
||||
],
|
||||
[
|
||||
23.06,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 4020,
|
||||
"stored_messages": 4020,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 20.0,
|
||||
"elapsed_seconds": 20.055,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 5544,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 276.435,
|
||||
"successful_latency_ms": {
|
||||
"p50": 13.241,
|
||||
"p95": 23.756,
|
||||
"p99": 32.552
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-11-02T13:24:54Z native sandbox: python3 tests/resilience.py --mode persistence --action-script <restart hook>
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
# hook log: PIDs before/after (postgres, seaweedfs, api x2) + S3 warm-up
|
||||
2026-11-02T13:24:15Z restart begin pg=6347 s3=6937 api=6405,6525
|
||||
{"s3_ready_after_s": 16.4, "last_cycle_s": 1.028, "existing_object_read": true}
|
||||
2026-11-02T13:24:53Z restart end pg=7134 s3=7149 api=7195,7219
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-02T13:37:06Z | reconcile dry-run
|
||||
$ python -m src.reconcile
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 900,
|
||||
"stale_pending": 0,
|
||||
"stale_pending_ids": [],
|
||||
"objects_listed": 238,
|
||||
"orphan_objects": 0,
|
||||
"orphan_objects_within_grace": 0,
|
||||
"orphan_objects_sample": [],
|
||||
"bucket_scan_seconds": 0.036,
|
||||
"ready_rows": 238,
|
||||
"missing_objects": 0,
|
||||
"missing_object_ids": [],
|
||||
"total_seconds": 0.045
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
# 2026-11-02T13:36:49Z | S3 bootstrap, 2nd run on existing bucket (idempotent)
|
||||
$ python -m src.s3_bootstrap
|
||||
{
|
||||
"endpoint_host": "127.0.0.3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
}
|
||||
],
|
||||
"bucket_action": "already exists (idempotent no-op)",
|
||||
"ok": true
|
||||
}
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"scenario": "S3 outage and recovery",
|
||||
"max_fail_seconds": 15.0,
|
||||
"s3_warmup_seconds": 16.42,
|
||||
"checks": [
|
||||
{
|
||||
"check": "baseline upload 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "text message 201 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "history 200 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "attachment metadata 200 (PostgreSQL only)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "message referencing existing attachment 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 1.75s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "1.75s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "upload #2 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 2.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "2.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "download -> 503 during outage",
|
||||
"ok": true,
|
||||
"detail": "503 in 0.01s"
|
||||
},
|
||||
{
|
||||
"check": "download failed fast",
|
||||
"ok": true,
|
||||
"detail": "0.01s"
|
||||
},
|
||||
{
|
||||
"check": "session still valid",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "S3 read/write warm-up after start",
|
||||
"ok": true,
|
||||
"detail": "16.42s"
|
||||
},
|
||||
{
|
||||
"check": "old file downloads byte-for-byte after recovery",
|
||||
"ok": true,
|
||||
"detail": "200 0.01s"
|
||||
},
|
||||
{
|
||||
"check": "new upload 201 after recovery (same token, no API restart)",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"scenario": "S3 outage and recovery",
|
||||
"max_fail_seconds": 15.0,
|
||||
"s3_warmup_seconds": 16.09,
|
||||
"checks": [
|
||||
{
|
||||
"check": "baseline upload 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "text message 201 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "history 200 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "attachment metadata 200 (PostgreSQL only)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "message referencing existing attachment 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 10.02s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "10.02s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "upload #2 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 10.01s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "10.01s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "download -> 503 during outage",
|
||||
"ok": true,
|
||||
"detail": "503 in 5.01s"
|
||||
},
|
||||
{
|
||||
"check": "download failed fast",
|
||||
"ok": true,
|
||||
"detail": "5.01s"
|
||||
},
|
||||
{
|
||||
"check": "session still valid",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "S3 read/write warm-up after start",
|
||||
"ok": true,
|
||||
"detail": "16.09s"
|
||||
},
|
||||
{
|
||||
"check": "old file downloads byte-for-byte after recovery",
|
||||
"ok": true,
|
||||
"detail": "200 0.02s"
|
||||
},
|
||||
{
|
||||
"check": "new upload 201 after recovery (same token, no API restart)",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,54 @@
|
||||
# 2026-11-02T13:37:07Z | private bucket outside API (anonymous S3 requests), key permissions, admin ports
|
||||
$ python -m src.s3_bootstrap --check-only --sample-from-db
|
||||
{
|
||||
"endpoint_host": "127.0.0.3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET of a real attachment object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "same object is readable with API credentials and matches sha256",
|
||||
"ok": true,
|
||||
"detail": "111817 bytes"
|
||||
}
|
||||
],
|
||||
"ok": true
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-11-02T13:36:50Z | public smoke
|
||||
$ python3 tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,120 @@
|
||||
# 2026-11-02T13:37:16Z | student tests over HTTP via LB (lab2-4); DB-level tests skip here and run below with DB access
|
||||
$ python3 student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
|
||||
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
|
||||
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
|
||||
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
|
||||
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
|
||||
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
|
||||
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
|
||||
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
|
||||
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
|
||||
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
|
||||
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
|
||||
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
|
||||
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
|
||||
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
|
||||
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
|
||||
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ...
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['api-1', 'api-2']
|
||||
ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 74 tests in 6.028s
|
||||
|
||||
OK (skipped=23)
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# DB-level tests (lab2-3) with direct DB access
|
||||
$ python -m unittest discover -s student-tests -p "test_storage_*.py"; ... -p test_session_cache.py
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.022s
|
||||
|
||||
OK
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.564s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,43 @@
|
||||
{
|
||||
"label": "final code; peak via VmHWM and 20ms sampling",
|
||||
"date_utc": "2026-11-02T13:41:45Z",
|
||||
"host": "Linux x86_64, 2 CPU",
|
||||
"source": "/proc VmRSS (20 ms)",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"sha256_ok": 30,
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"duration_s": 5.06,
|
||||
"latency_201_s": {
|
||||
"p50": 1.316,
|
||||
"p95": 2.069,
|
||||
"max": 2.088280546000078,
|
||||
"mean": 1.407
|
||||
},
|
||||
"memory": {
|
||||
"pid-9293": {
|
||||
"baseline_mib": 95.5,
|
||||
"peak_mib": 163.4,
|
||||
"growth_mib": 67.9,
|
||||
"samples": 356
|
||||
},
|
||||
"pid-9364": {
|
||||
"baseline_mib": 95.4,
|
||||
"peak_mib": 156.1,
|
||||
"growth_mib": 60.6,
|
||||
"samples": 356
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"pid-9293": 165.8,
|
||||
"pid-9364": 165.3
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-02T13:11:09Z",
|
||||
"host": "Linux x86_64, 2 CPU",
|
||||
"source": "/proc VmRSS (20 ms)",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 40
|
||||
},
|
||||
"sha256_ok": 40,
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"duration_s": 6.14,
|
||||
"latency_201_s": {
|
||||
"p50": 2.159,
|
||||
"p95": 3.077,
|
||||
"max": 3.089563180000141,
|
||||
"mean": 2.079
|
||||
},
|
||||
"memory": {
|
||||
"pid-3762": {
|
||||
"baseline_mib": 114.5,
|
||||
"peak_mib": 161.7,
|
||||
"growth_mib": 47.2,
|
||||
"samples": 387
|
||||
},
|
||||
"pid-3834": {
|
||||
"baseline_mib": 96.5,
|
||||
"peak_mib": 159.1,
|
||||
"growth_mib": 62.6,
|
||||
"samples": 387
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=64 (limiter effectively off)",
|
||||
"date_utc": "2026-11-02T13:11:34Z",
|
||||
"host": "Linux x86_64, 2 CPU",
|
||||
"source": "/proc VmRSS (20 ms)",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 40
|
||||
},
|
||||
"sha256_ok": 40,
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"duration_s": 6.06,
|
||||
"latency_201_s": {
|
||||
"p50": 2.901,
|
||||
"p95": 3.031,
|
||||
"max": 3.03438846999984,
|
||||
"mean": 2.702
|
||||
},
|
||||
"memory": {
|
||||
"pid-4062": {
|
||||
"baseline_mib": 88.2,
|
||||
"peak_mib": 261.6,
|
||||
"growth_mib": 173.4,
|
||||
"samples": 400
|
||||
},
|
||||
"pid-4133": {
|
||||
"baseline_mib": 88.7,
|
||||
"peak_mib": 291.4,
|
||||
"growth_mib": 202.8,
|
||||
"samples": 400
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-11-04 14:04:01 UTC | Публичный smoke | exit 0 | 0.8s
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,42 @@
|
||||
# 2026-11-04 14:03:55 UTC | Стенд: контейнеры | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab4-api-1 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
|
||||
messenger-lab4-api-2 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
|
||||
messenger-lab4-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 6 minutes ago Up 4 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
messenger-lab4-migrate-1 messenger-lab4-migrate "python -m src.migra…" migrate 6 minutes ago Exited (0) 2 minutes ago
|
||||
messenger-lab4-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 6 minutes ago Up 5 minutes (healthy) 5432/tcp
|
||||
messenger-lab4-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 6 minutes ago Up 5 minutes (healthy) 6379/tcp
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs:4.50 "/usr/bin/weed serve…" s3 6 minutes ago Up About a minute (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
messenger-lab4-s3-init-1 messenger-lab4-s3-init "python -m src.s3_bo…" s3-init 6 minutes ago Exited (0) 2 minutes ago
|
||||
# 2026-11-04 14:03:55 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:03:57 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.4s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab4-lb-1 0.14% 13.6MiB / 128MiB 10.63%
|
||||
messenger-lab4-api-2 0.26% 90.05MiB / 320MiB 28.14%
|
||||
messenger-lab4-api-1 0.30% 106MiB / 320MiB 33.13%
|
||||
messenger-lab4-postgres-1 0.13% 71.34MiB / 512MiB 13.93%
|
||||
messenger-lab4-redis-1 2.31% 5.629MiB / 96MiB 5.86%
|
||||
messenger-lab4-s3-1 0.21% 508.3MiB / 512MiB 99.28%
|
||||
|
||||
# 2026-11-04 14:03:57 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
|
||||
SERVICE PORTS
|
||||
api 8080/tcp
|
||||
api 8080/tcp
|
||||
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
postgres 5432/tcp
|
||||
redis 6379/tcp
|
||||
s3 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
|
||||
# 2026-11-04 14:03:57 UTC | Образ SeaweedFS (закреплённая версия) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env images s3
|
||||
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs 4.50 linux/amd64 c2658820e763 197MB 10 days ago
|
||||
|
||||
@@ -0,0 +1,168 @@
|
||||
# 2026-11-04 14:04:10 UTC | Собственные тесты (HTTP через LB, включая test_attachments.py) | exit 0 | 9.4s
|
||||
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
|
||||
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
|
||||
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
|
||||
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
|
||||
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
|
||||
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
|
||||
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
|
||||
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
|
||||
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
|
||||
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
|
||||
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
|
||||
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
|
||||
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
|
||||
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
|
||||
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
|
||||
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ... ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 74 tests in 7.352s
|
||||
|
||||
OK (skipped=23)
|
||||
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# 2026-11-04 14:04:18 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.9s
|
||||
$ python scripts/ops.py in-network storage
|
||||
Container messenger-lab4-api-run-7c01226dcaba Creating
|
||||
Container messenger-lab4-api-run-7c01226dcaba Created
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.302s
|
||||
|
||||
OK
|
||||
Container messenger-lab4-api-run-b6f4e53090a5 Creating
|
||||
Container messenger-lab4-api-run-b6f4e53090a5 Created
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.860s
|
||||
|
||||
OK
|
||||
|
||||
# 2026-11-04 14:04:33 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 15.2s
|
||||
$ python scripts/ops.py in-network expiry
|
||||
Container messenger-lab4-redis-1 Running
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-postgres-1 Running
|
||||
Container messenger-lab4-api-1 Running
|
||||
Container messenger-lab4-api-2 Running
|
||||
Container messenger-lab4-api-short-ttl-1 Creating
|
||||
Container messenger-lab4-api-short-ttl-1 Created
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-s3-init-1 Starting
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-s3-init-1 Started
|
||||
Container messenger-lab4-s3-init-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-redis-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-redis-1 Healthy
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-s3-init-1 Exited
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-short-ttl-1 Starting
|
||||
Container messenger-lab4-api-short-ttl-1 Started
|
||||
Container messenger-lab4-api-run-ae85ff205e89 Creating
|
||||
Container messenger-lab4-api-run-ae85ff205e89 Created
|
||||
ready: http://api-short-ttl:8080/health/ready
|
||||
Container messenger-lab4-api-run-87803f7efa19 Creating
|
||||
Container messenger-lab4-api-run-87803f7efa19 Created
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 1 test in 3.644s
|
||||
|
||||
OK
|
||||
|
||||
@@ -0,0 +1,108 @@
|
||||
# 2026-11-04 14:05:09 UTC | Пик памяти: 10 одновременных загрузок по 9.5 MiB | exit 0 | 14.2s
|
||||
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 10 --rounds 3 --docker --label c=10, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c10.json
|
||||
{
|
||||
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:09Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"sha256_ok": 30,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 7.44,
|
||||
"latency_201_s": {
|
||||
"p50": 2.016,
|
||||
"p95": 3.75,
|
||||
"max": 3.75,
|
||||
"mean": 2.007
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 119.7,
|
||||
"peak_mib": 153.5,
|
||||
"growth_mib": 33.8,
|
||||
"samples": 6
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 117.6,
|
||||
"peak_mib": 149.7,
|
||||
"growth_mib": 32.1,
|
||||
"samples": 6
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 172.1,
|
||||
"messenger-lab4-api-1": 175.4
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 158.0,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
# 2026-11-04 14:05:29 UTC | Пик памяти: 20 одновременных загрузок | exit 0 | 20.4s
|
||||
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 20 --rounds 2 --docker --label c=20, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c20.json
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:29Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 39,
|
||||
"503": 1
|
||||
},
|
||||
"sha256_ok": 39,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 13.24,
|
||||
"latency_201_s": {
|
||||
"p50": 4.609,
|
||||
"p95": 7.312,
|
||||
"max": 7.421999999998661,
|
||||
"mean": 4.437
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 113.6,
|
||||
"peak_mib": 160.9,
|
||||
"growth_mib": 47.3,
|
||||
"samples": 9
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 109.6,
|
||||
"peak_mib": 158.9,
|
||||
"growth_mib": 49.3,
|
||||
"samples": 9
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 174.2,
|
||||
"messenger-lab4-api-1": 176.6
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 176.2,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,51 @@
|
||||
{
|
||||
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:09Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"sha256_ok": 30,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 7.44,
|
||||
"latency_201_s": {
|
||||
"p50": 2.016,
|
||||
"p95": 3.75,
|
||||
"max": 3.75,
|
||||
"mean": 2.007
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 119.7,
|
||||
"peak_mib": 153.5,
|
||||
"growth_mib": 33.8,
|
||||
"samples": 6
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 117.6,
|
||||
"peak_mib": 149.7,
|
||||
"growth_mib": 32.1,
|
||||
"samples": 6
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 172.1,
|
||||
"messenger-lab4-api-1": 175.4
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 158.0,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,52 @@
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:29Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 39,
|
||||
"503": 1
|
||||
},
|
||||
"sha256_ok": 39,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 13.24,
|
||||
"latency_201_s": {
|
||||
"p50": 4.609,
|
||||
"p95": 7.312,
|
||||
"max": 7.421999999998661,
|
||||
"mean": 4.437
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 113.6,
|
||||
"peak_mib": 160.9,
|
||||
"growth_mib": 47.3,
|
||||
"samples": 9
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 109.6,
|
||||
"peak_mib": 158.9,
|
||||
"growth_mib": 49.3,
|
||||
"samples": 9
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 174.2,
|
||||
"messenger-lab4-api-1": 176.6
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 176.2,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
@@ -5,3 +5,10 @@
|
||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
||||
|
||||
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
|
||||
|
||||
## Решение (lab4)
|
||||
|
||||
- `haproxy/haproxy.cfg` — балансировщик (из lab3) + длинный `timeout server` только для `POST …/attachments`.
|
||||
- SeaweedFS настраивается флагами в `compose.yaml` (сервис `s3`) и файлом identities `secrets/s3_config.json`, который генерирует `scripts/init_secrets.py` (две identity: `bootstrap_admin` — только для `s3-init`; `messenger_api` — `Read/Write/List` одного бакета; анонимного доступа нет).
|
||||
- Bootstrap бакета и проверки приватности: `src/s3_bootstrap.py` (сервис `s3-init`, повтор — no-op).
|
||||
- Таблица «роль → сервис → версия → health → volume → сеть/порт → credentials» — в REPORT.md, раздел «Выбор S3-сервера».
|
||||
|
||||
@@ -0,0 +1,104 @@
|
||||
# HAProxy 2.8 LTS — единственная публичная точка входа (lab3, дополнено в lab4).
|
||||
#
|
||||
# Обнаружение реплик: Docker DNS (127.0.0.11) отдаёт по имени сервиса `api`
|
||||
# A-записи ВСЕХ запущенных контейнеров сервиса. server-template держит до 6 слотов
|
||||
# и каждые 2 с синхронизирует их с DNS: новый контейнер (scale / rolling update)
|
||||
# появляется сам, остановленный исчезает. Перезапуск LB при масштабировании не нужен.
|
||||
#
|
||||
# Исключение недоступного backend (активные проверки):
|
||||
# GET /health/ready каждые inter=1s; после первой неудачи — fastinter=500ms;
|
||||
# fall=2 неудачи подряд -> DOWN; rise=2 удачи -> UP; timeout check 1500ms.
|
||||
# Время обнаружения:
|
||||
# * graceful stop (реплика сразу отвечает 503): <= 1 с + 0.5 с ~ 1.5 с
|
||||
# * crash / kill (соединение отклонено/сброшено): ~1.5 с
|
||||
# * зависание без ответа: <= 1 + 1.5 + 0.5 + 1.5 = 4.5 с
|
||||
# Пока реплика ещё не помечена DOWN, запрос к ней, не сумевший СОЕДИНИТЬСЯ
|
||||
# (timeout connect 1s), повторяется на другой реплике (retries 2 + redispatch).
|
||||
# Повторяются только ошибки установления соединения (retry-on conn-failure по
|
||||
# умолчанию): запрос ещё не был отправлен, поэтому это безопасно и для POST.
|
||||
# Уже отправленные POST LB не повторяет — это делает клиент с тем же
|
||||
# Idempotency-Key (контракт запрещает прозрачные повторы POST /users, /chats).
|
||||
#
|
||||
# Согласование таймаутов:
|
||||
# API: пул БД 3 с + statement_timeout 5 с = максимум ~8 с на запрос
|
||||
# -> timeout server 10s; graceful shutdown API 10 с; drain API 3 с > 1.5 с.
|
||||
# lab4: загрузка вложения (POST .../attachments) — до UPLOAD_READ_TIMEOUT_SECONDS
|
||||
# 60 с чтения тела + очередь 5 с + S3 PUT (2 попытки по ~12 с) -> для этого
|
||||
# пути timeout server 90s (http-request set-timeout), остальные — прежние 10 с.
|
||||
# Скачивание идёт потоком, timeout server — это пауза между пакетами, не общая длительность.
|
||||
# Docker stop_grace_period 20 с > drain 3 с + graceful 10 с.
|
||||
|
||||
global
|
||||
log stdout format raw local0 info
|
||||
maxconn 2000
|
||||
|
||||
resolvers docker
|
||||
nameserver dns1 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 2s
|
||||
hold obsolete 2s
|
||||
hold nx 2s
|
||||
hold other 2s
|
||||
hold refused 2s
|
||||
hold timeout 2s
|
||||
# 8 КБ: в ответ DNS помещаются A-записи всех слотов.
|
||||
accepted_payload_size 8192
|
||||
|
||||
defaults
|
||||
mode http
|
||||
log global
|
||||
option httplog
|
||||
option dontlognull
|
||||
option redispatch 1
|
||||
retries 2
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 10s
|
||||
timeout http-request 10s
|
||||
timeout http-keep-alive 10s
|
||||
timeout queue 3s
|
||||
timeout check 1500ms
|
||||
default-server inter 1s fastinter 500ms downinter 2s fall 2 rise 2
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
# Сквозной идентификатор запроса: HAProxy генерирует X-Request-Id, если клиент
|
||||
# не прислал свой; API отражает его в ответе и в теле ошибок, LB — в логе.
|
||||
unique-id-format %{+X}o\ %ci%cp-%fp-%Ts%ms-%rt-%pid
|
||||
http-request set-header X-Request-Id %[unique-id] unless { req.hdr(X-Request-Id) -m found }
|
||||
log-format "%ci:%cp [%tr] %ft %b/%s %TR/%Tw/%Tc/%Tr/%Ta %ST %B %tsc %ac/%fc/%bc/%sc/%rc %sq/%bq rid=%[capture.req.hdr(0)] inst=%[capture.res.hdr(0)] \"%HM %HPO\""
|
||||
http-request capture req.hdr(X-Request-Id) len 64
|
||||
declare capture response len 32
|
||||
http-response capture res.hdr(X-Instance-Id) id 0
|
||||
default_backend api
|
||||
|
||||
backend api
|
||||
balance roundrobin
|
||||
# lab4: только загрузка вложения получает длинный timeout server (см. выше).
|
||||
acl is_upload method POST
|
||||
acl is_upload_path path_reg ^/api/v1/chats/[^/]+/attachments$
|
||||
http-request set-timeout server 90s if is_upload is_upload_path
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host lb
|
||||
http-check expect status 200
|
||||
# Ответы, которые формирует сам LB (нет ни одной готовой реплики, таймаут),
|
||||
# — в общем JSON-формате ошибок контракта, с тем же X-Request-Id.
|
||||
http-error status 503 content-type application/json hdr X-Request-Id "%[req.hdr(X-Request-Id)]" lf-string "{\"error\":{\"code\":\"unavailable\",\"message\":\"No API instance is available\",\"request_id\":\"%[req.hdr(X-Request-Id)]\"}}"
|
||||
http-error status 504 content-type application/json hdr X-Request-Id "%[req.hdr(X-Request-Id)]" lf-string "{\"error\":{\"code\":\"unavailable\",\"message\":\"API instance timeout\",\"request_id\":\"%[req.hdr(X-Request-Id)]\"}}"
|
||||
http-error status 502 content-type application/json hdr X-Request-Id "%[req.hdr(X-Request-Id)]" lf-string "{\"error\":{\"code\":\"unavailable\",\"message\":\"Bad gateway\",\"request_id\":\"%[req.hdr(X-Request-Id)]\"}}"
|
||||
# До 6 реплик (в т.ч. N+1 во время rolling update). init-addr none: LB стартует,
|
||||
# даже если реплик ещё нет; слоты без адреса находятся в MAINT.
|
||||
server-template api 1-6 api:8080 check resolvers docker init-addr none resolve-prefer ipv4
|
||||
|
||||
# Внутренняя страница состояния (UP/DOWN по репликам) — только чтение.
|
||||
# Публикуется на 127.0.0.1:8404 хоста; используется scripts/ops.py.
|
||||
frontend stats
|
||||
bind :8404
|
||||
monitor-uri /lb-health
|
||||
stats enable
|
||||
stats uri /stats
|
||||
stats refresh 2s
|
||||
stats show-legends
|
||||
http-request set-log-level silent
|
||||
@@ -0,0 +1,66 @@
|
||||
-- 001_init: базовая схема мессенджера lab2.
|
||||
-- Применяется src/migrate.py ровно один раз (таблица schema_migrations),
|
||||
-- внутри одной транзакции; повторный запуск миграций ничего не дублирует.
|
||||
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY,
|
||||
username text NOT NULL,
|
||||
display_name text NOT NULL,
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT users_username_key UNIQUE (username),
|
||||
CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
CONSTRAINT users_display_name_len CHECK (char_length(display_name) BETWEEN 1 AND 100)
|
||||
);
|
||||
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT chats_title_len CHECK (char_length(title) BETWEEN 1 AND 100)
|
||||
);
|
||||
|
||||
-- Список чатов пользователя: WHERE user_id = ? ORDER BY (created_at, id)
|
||||
CREATE INDEX chats_created_at_id_idx ON chats (created_at, id);
|
||||
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE,
|
||||
user_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT,
|
||||
position smallint NOT NULL,
|
||||
PRIMARY KEY (chat_id, user_id),
|
||||
CONSTRAINT chat_members_position_key UNIQUE (chat_id, position)
|
||||
);
|
||||
|
||||
-- "В каких чатах состоит пользователь" (GET /chats)
|
||||
CREATE INDEX chat_members_user_id_idx ON chat_members (user_id, chat_id);
|
||||
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE,
|
||||
sender_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT,
|
||||
text text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT messages_text_len CHECK (char_length(text) BETWEEN 1 AND 4000)
|
||||
);
|
||||
|
||||
-- История чата с keyset-пагинацией:
|
||||
-- WHERE chat_id = $1 AND (created_at, id) > ($2, $3)
|
||||
-- ORDER BY created_at, id LIMIT $4
|
||||
-- Обоснование и EXPLAIN (ANALYZE, BUFFERS): evidence/explain_history.txt
|
||||
CREATE INDEX messages_chat_created_id_idx ON messages (chat_id, created_at, id);
|
||||
|
||||
-- Серверные сессии. Источник истины для сессий — PostgreSQL;
|
||||
-- Redis хранит только кэш проверок токена (см. REPORT.md).
|
||||
-- Хранится SHA-256 от токена, сам токен в БД не попадает.
|
||||
CREATE TABLE sessions (
|
||||
token_hash bytea PRIMARY KEY,
|
||||
user_id uuid NOT NULL REFERENCES users (id) ON DELETE CASCADE,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
expires_at timestamptz NOT NULL,
|
||||
revoked_at timestamptz,
|
||||
CONSTRAINT sessions_token_hash_len CHECK (octet_length(token_hash) = 32),
|
||||
CONSTRAINT sessions_expiry_after_create CHECK (expires_at > created_at)
|
||||
);
|
||||
|
||||
CREATE INDEX sessions_user_id_idx ON sessions (user_id);
|
||||
CREATE INDEX sessions_expires_at_idx ON sessions (expires_at);
|
||||
@@ -0,0 +1,13 @@
|
||||
-- 002: надёжная инвалидация кэша сессий.
|
||||
-- Строка вставляется В ТОЙ ЖЕ транзакции, что и sessions.revoked_at, и удаляется
|
||||
-- только после того, как в Redis записано «надгробие» для этого токена.
|
||||
-- Пока в таблице есть строки, API не доверяет положительным записям кэша
|
||||
-- и проверяет каждый токен в PostgreSQL (см. src/sessions.py).
|
||||
CREATE TABLE session_cache_invalidations (
|
||||
token_hash bytea PRIMARY KEY,
|
||||
revoked_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT session_cache_invalidations_hash_len CHECK (octet_length(token_hash) = 32)
|
||||
);
|
||||
|
||||
CREATE INDEX session_cache_invalidations_revoked_at_idx
|
||||
ON session_cache_invalidations (revoked_at);
|
||||
@@ -0,0 +1,40 @@
|
||||
-- 003 (lab3): общая идемпотентность POST /chats/{chat_id}/messages.
|
||||
--
|
||||
-- Область уникальности по контракту: пользователь + HTTP-метод + путь чата + ключ.
|
||||
-- Путь однозначно задаётся chat_id, метод сейчас всегда POST (колонка оставлена,
|
||||
-- чтобы область ключа была записана явно и расширялась без смены PK).
|
||||
--
|
||||
-- Атомарность: строка ключа и сообщение пишутся ОДНОЙ транзакцией.
|
||||
-- 1. INSERT ключа (ON CONFLICT ...) — конкурентный повтор с тем же ключом
|
||||
-- ждёт на уникальном индексе, пока первая транзакция не завершится;
|
||||
-- 2. INSERT сообщения с заранее выбранным id;
|
||||
-- 3. COMMIT. FK message_id -> messages проверяется в момент COMMIT
|
||||
-- (DEFERRABLE INITIALLY DEFERRED), поэтому message_id NOT NULL с первого шага.
|
||||
-- Ошибка/откат на любом шаге не оставляет ни сообщения, ни ключа:
|
||||
-- транзиентный 5xx не фиксируется как окончательный результат.
|
||||
--
|
||||
-- Совместимость с работающей версией (rolling update): миграция только
|
||||
-- добавляет новую таблицу, старые таблицы и запросы не меняются.
|
||||
|
||||
CREATE TABLE idempotency_keys (
|
||||
user_id uuid NOT NULL REFERENCES users (id) ON DELETE CASCADE,
|
||||
method text NOT NULL DEFAULT 'POST',
|
||||
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE,
|
||||
idem_key text NOT NULL,
|
||||
request_hash bytea NOT NULL,
|
||||
message_id uuid NOT NULL
|
||||
REFERENCES messages (id) ON DELETE CASCADE
|
||||
DEFERRABLE INITIALLY DEFERRED,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
expires_at timestamptz NOT NULL,
|
||||
PRIMARY KEY (user_id, method, chat_id, idem_key),
|
||||
CONSTRAINT idempotency_keys_key_format CHECK (idem_key ~ '^[A-Za-z0-9._:-]{1,128}$'),
|
||||
CONSTRAINT idempotency_keys_method CHECK (method IN ('POST')),
|
||||
CONSTRAINT idempotency_keys_hash_len CHECK (octet_length(request_hash) = 32),
|
||||
CONSTRAINT idempotency_keys_expiry_after_create CHECK (expires_at > created_at)
|
||||
);
|
||||
|
||||
-- Периодическая очистка истёкших ключей (src/idempotency.py).
|
||||
CREATE INDEX idempotency_keys_expires_at_idx ON idempotency_keys (expires_at);
|
||||
-- ON DELETE CASCADE от messages без полного скана.
|
||||
CREATE INDEX idempotency_keys_message_id_idx ON idempotency_keys (message_id);
|
||||
@@ -0,0 +1,68 @@
|
||||
-- 004 (lab4): вложения. Метаданные — в PostgreSQL, байты — в приватном S3-бакете.
|
||||
--
|
||||
-- Жизненный цикл строки attachments (внутреннее поле state, в API не видно):
|
||||
-- pending — намерение записано ДО S3 PUT (одна короткая транзакция);
|
||||
-- ready — объект записан в S3, затем UPDATE ... WHERE state='pending'.
|
||||
-- Наружу (GET, ссылки из сообщений) доступны только ready. Строки pending,
|
||||
-- оставшиеся после сбоя между S3 и COMMIT, удаляет сборщик (src/reconcile.py)
|
||||
-- после grace period; сначала удаляется строка (атомарный «захват»), потом объект.
|
||||
-- Миграция только расширяющая (expand): реплики lab3 продолжают работать.
|
||||
|
||||
-- Сообщение с вложениями может иметь пустой текст (text = "").
|
||||
-- Запрет «пустой текст без вложений» проверяет приложение.
|
||||
ALTER TABLE messages DROP CONSTRAINT messages_text_len;
|
||||
ALTER TABLE messages ADD CONSTRAINT messages_text_len CHECK (char_length(text) BETWEEN 0 AND 4000);
|
||||
-- Цель составного внешнего ключа message_attachments (message_id, chat_id).
|
||||
ALTER TABLE messages ADD CONSTRAINT messages_id_chat_key UNIQUE (id, chat_id);
|
||||
|
||||
CREATE TABLE attachments (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE RESTRICT,
|
||||
owner_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT,
|
||||
-- Только отображаемое имя. Никогда не используется как путь или ключ S3.
|
||||
filename text NOT NULL,
|
||||
content_type text NOT NULL,
|
||||
size_bytes bigint NOT NULL,
|
||||
sha256 text NOT NULL,
|
||||
width integer NOT NULL,
|
||||
height integer NOT NULL,
|
||||
-- Ключ объекта назначает сервер (случайный UUID), он не равен id вложения
|
||||
-- и не раскрывается в API.
|
||||
object_key text NOT NULL,
|
||||
state text NOT NULL DEFAULT 'pending',
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
CONSTRAINT attachments_object_key_key UNIQUE (object_key),
|
||||
CONSTRAINT attachments_id_chat_key UNIQUE (id, chat_id),
|
||||
CONSTRAINT attachments_filename_len CHECK (char_length(filename) BETWEEN 1 AND 255),
|
||||
CONSTRAINT attachments_content_type CHECK (content_type IN ('image/png', 'image/jpeg')),
|
||||
CONSTRAINT attachments_size CHECK (size_bytes BETWEEN 1 AND 10485760),
|
||||
CONSTRAINT attachments_sha256 CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
||||
CONSTRAINT attachments_pixels CHECK (width > 0 AND height > 0 AND width::bigint * height <= 40000000),
|
||||
CONSTRAINT attachments_state CHECK (state IN ('pending', 'ready'))
|
||||
);
|
||||
|
||||
-- Сборщик незавершённых загрузок: WHERE state = 'pending' AND created_at < ...
|
||||
CREATE INDEX attachments_pending_created_idx ON attachments (created_at) WHERE state = 'pending';
|
||||
CREATE INDEX attachments_chat_idx ON attachments (chat_id);
|
||||
|
||||
-- Связь сообщение -> вложения (порядок attachment_ids сохраняется в position).
|
||||
-- Составные внешние ключи гарантируют НА УРОВНЕ БД, что вложение и сообщение
|
||||
-- принадлежат одному чату. ON DELETE RESTRICT: строку вложения, на которую
|
||||
-- ссылается сообщение, нельзя удалить (сборщик удаляет только pending, а
|
||||
-- pending прикрепить нельзя — двойная защита).
|
||||
CREATE TABLE message_attachments (
|
||||
message_id uuid NOT NULL,
|
||||
attachment_id uuid NOT NULL,
|
||||
chat_id uuid NOT NULL,
|
||||
position smallint NOT NULL,
|
||||
PRIMARY KEY (message_id, attachment_id),
|
||||
CONSTRAINT message_attachments_position_key UNIQUE (message_id, position),
|
||||
CONSTRAINT message_attachments_position CHECK (position BETWEEN 0 AND 9),
|
||||
CONSTRAINT message_attachments_message_fk FOREIGN KEY (message_id, chat_id)
|
||||
REFERENCES messages (id, chat_id) ON DELETE CASCADE,
|
||||
CONSTRAINT message_attachments_attachment_fk FOREIGN KEY (attachment_id, chat_id)
|
||||
REFERENCES attachments (id, chat_id) ON DELETE RESTRICT
|
||||
);
|
||||
|
||||
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id);
|
||||
@@ -0,0 +1,10 @@
|
||||
fastapi==0.115.6
|
||||
uvicorn==0.34.0
|
||||
pydantic==2.10.4
|
||||
psycopg[binary]==3.2.3
|
||||
psycopg-pool==3.2.4
|
||||
redis==5.2.1
|
||||
argon2-cffi==23.1.0
|
||||
# lab4: S3-клиент и независимый парсер изображений
|
||||
boto3==1.35.99
|
||||
Pillow==11.1.0
|
||||
@@ -0,0 +1,204 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Прогон всех проверок lab4 на запущенном compose-стенде с записью в evidence/.
|
||||
|
||||
python scripts/collect_evidence.py # ~12-15 минут
|
||||
python scripts/collect_evidence.py --quick # ~7-8 минут: без kill-серии, rolling update и нагрузки
|
||||
|
||||
Перед запуском: стенд поднят (`docker compose --env-file .env up -d --build`,
|
||||
`python scripts/ops.py wait`). Скрипт останавливает и восстанавливает реплики,
|
||||
перезапускает хранилища и S3 (volumes сохраняются), останавливает S3 и делает
|
||||
rolling update lab4 -> lab4.1 -> lab4 (откат), поэтому запускайте его только на учебном стенде.
|
||||
Токены и пароли в файлы не пишутся (тесты держат их в памяти).
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from datetime import datetime, timezone
|
||||
from pathlib import Path
|
||||
from urllib.request import Request, urlopen
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
EV = ROOT / "evidence"
|
||||
PY = sys.executable or "python"
|
||||
WIN = os.name == "nt"
|
||||
HOOK_STOP = str(ROOT / "scripts" / ("stop-one.cmd" if WIN else "stop-one.sh"))
|
||||
HOOK_RESTART = str(ROOT / "scripts" / ("restart.cmd" if WIN else "restart.sh"))
|
||||
BASE = "http://127.0.0.1:" + os.environ.get("APP_PORT", "8080")
|
||||
RESULTS = []
|
||||
|
||||
try:
|
||||
sys.stdout.reconfigure(errors="replace")
|
||||
except AttributeError:
|
||||
pass
|
||||
|
||||
|
||||
def stamp():
|
||||
return datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S UTC")
|
||||
|
||||
|
||||
def step(title, cmd, out_file, append=False, env=None, timeout=900):
|
||||
"""Выполнить команду, сохранить «$ команда + вывод» в evidence/<out_file>."""
|
||||
print("\n== %s\n$ %s" % (title, " ".join(cmd)), flush=True)
|
||||
started = time.monotonic()
|
||||
try:
|
||||
proc = subprocess.run(cmd, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True,
|
||||
timeout=timeout, env=dict(os.environ, **(env or {})),
|
||||
encoding="utf-8", errors="replace")
|
||||
output, rc = proc.stdout, proc.returncode
|
||||
except subprocess.TimeoutExpired as exc:
|
||||
output, rc = (exc.stdout or "") + "\nTIMEOUT", 124
|
||||
elapsed = time.monotonic() - started
|
||||
shown = " ".join(c if c != PY else "python" for c in cmd).replace(str(ROOT) + os.sep, "")
|
||||
text = "# %s | %s | exit %d | %.1fs\n$ %s\n%s\n" % (stamp(), title, rc, elapsed, shown, output.rstrip())
|
||||
path = EV / out_file
|
||||
with path.open("a" if append else "w", encoding="utf-8") as f:
|
||||
f.write(text + ("\n" if append else ""))
|
||||
print(output.rstrip()[-1500:], flush=True)
|
||||
RESULTS.append((title, rc, out_file))
|
||||
return rc, output
|
||||
|
||||
|
||||
def instances_through_lb(n=20):
|
||||
"""Одна сессия, n запросов через LB -> какие реплики отвечали."""
|
||||
import base64
|
||||
import uuid
|
||||
name = "inst_" + uuid.uuid4().hex[:12]
|
||||
pw = "Inst-" + uuid.uuid4().hex
|
||||
body = json.dumps({"username": name, "display_name": "Inst", "password": pw}).encode()
|
||||
urlopen(Request(BASE + "/api/v1/users", data=body, headers={"Content-Type": "application/json"}), timeout=10)
|
||||
cred = base64.b64encode((name + ":" + pw).encode()).decode()
|
||||
sess = json.loads(urlopen(Request(BASE + "/api/v1/auth/sessions", data=b"", method="POST",
|
||||
headers={"Authorization": "Basic " + cred}), timeout=10).read())
|
||||
lines = []
|
||||
for i in range(n):
|
||||
with urlopen(Request(BASE + "/api/v1/users/me", headers={"Authorization": "Bearer " + sess["token"]}), timeout=5) as r:
|
||||
lines.append("%2d %s X-Instance-Id=%s X-Request-Id=%s" % (
|
||||
i + 1, r.status, r.headers.get("X-Instance-Id"), r.headers.get("X-Request-Id")))
|
||||
return lines
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--quick", action="store_true", help="без SIGKILL-серии, rolling update и нагрузки")
|
||||
args = ap.parse_args()
|
||||
EV.mkdir(exist_ok=True)
|
||||
(EV / "ops.log").write_text("", encoding="utf-8")
|
||||
dc = ["docker", "compose", "--env-file", ".env"]
|
||||
|
||||
step("Контракт (offline)", [PY, "scripts/check_contract.py"], "check.txt")
|
||||
step("Compose config", dc + ["config", "--quiet"], "check.txt", append=True)
|
||||
step("Стенд: контейнеры", dc + ["ps", "-a"], "stand.txt")
|
||||
step("Стенд: реплики и статус в LB", [PY, "scripts/ops.py", "ps"], "stand.txt", append=True)
|
||||
step("Стенд: лимиты CPU/RAM", ["docker", "stats", "--no-stream", "--format",
|
||||
"table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"], "stand.txt", append=True)
|
||||
step("Стенд: опубликованные порты (только lb)", dc + ["ps", "--format", "table {{.Service}}\t{{.Ports}}"],
|
||||
"stand.txt", append=True)
|
||||
step("Образ SeaweedFS (закреплённая версия)", dc + ["images", "s3"], "stand.txt", append=True)
|
||||
|
||||
# Bucket bootstrap: первый запуск был при up; повтор — no-op.
|
||||
step("S3 bootstrap: лог первого запуска s3-init", dc + ["logs", "--no-color", "s3-init"], "s3_bootstrap.txt")
|
||||
step("S3 bootstrap: повторный запуск (идемпотентность)", dc + ["run", "--rm", "-T", "s3-init"],
|
||||
"s3_bootstrap.txt", append=True)
|
||||
|
||||
lines = instances_through_lb()
|
||||
(EV / "instances.txt").write_text("# %s | одна сессия, 20 запросов GET /users/me через LB\n%s\nразных реплик: %d\n"
|
||||
% (stamp(), "\n".join(lines), len({l.split("X-Instance-Id=")[1].split()[0] for l in lines})),
|
||||
encoding="utf-8")
|
||||
print("\n".join(lines))
|
||||
|
||||
step("Публичный smoke", [PY, "tests/smoke.py", "--base-url", BASE], "smoke.txt")
|
||||
step("Собственные тесты (HTTP через LB, включая test_attachments.py)",
|
||||
[PY, "student-tests/run_all.py", "--base-url", BASE], "student-tests.txt")
|
||||
step("Тесты с доступом к БД (внутри compose-сети)", [PY, "scripts/ops.py", "in-network", "storage"],
|
||||
"student-tests.txt", append=True)
|
||||
step("Истечение сессии (api-short-ttl, TTL 2 с)", [PY, "scripts/ops.py", "in-network", "expiry"],
|
||||
"student-tests.txt", append=True)
|
||||
step("Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*)",
|
||||
[PY, "scripts/ops.py", "in-network", "consistency"], "consistency.txt")
|
||||
step("Сверка БД <-> S3 (dry-run)", [PY, "scripts/ops.py", "reconcile"], "reconcile.txt")
|
||||
step("Приватный бакет вне API, права ключей, закрытые админ-порты", [PY, "scripts/ops.py", "s3-check"],
|
||||
"s3_private.txt")
|
||||
step("На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes",
|
||||
[PY, "scripts/ops.py", "api-fs"], "s3_private.txt", append=True)
|
||||
step("API: файлы в /tmp (tmpfs) после загрузок",
|
||||
dc + ["exec", "-T", "api", "sh", "-c", "df -h /tmp; echo files_in_tmp=$(find /tmp -type f | wc -l)"],
|
||||
"s3_private.txt", append=True)
|
||||
|
||||
step("Пик памяти: 10 одновременных загрузок по 9.5 MiB",
|
||||
[PY, "student-tests/upload_memory.py", "--base-url", BASE, "--concurrency", "10", "--rounds", "3",
|
||||
"--docker", "--label", "c=10, MAX_CONCURRENT_UPLOADS=4", "--output", "evidence/upload_memory_c10.json"],
|
||||
"upload_memory.txt")
|
||||
step("Пик памяти: 20 одновременных загрузок",
|
||||
[PY, "student-tests/upload_memory.py", "--base-url", BASE, "--concurrency", "20", "--rounds", "2",
|
||||
"--docker", "--label", "c=20, MAX_CONCURRENT_UPLOADS=4", "--output", "evidence/upload_memory_c20.json"],
|
||||
"upload_memory.txt", append=True)
|
||||
|
||||
# Публичный тест останавливает реплику, обслужившую его первое сообщение.
|
||||
# Round-robin детерминирован, поэтому для второй реплики сдвигаем очередь
|
||||
# лишними запросами, пока цель не окажется другой (README: «повторить для второй»).
|
||||
targets = []
|
||||
for i in range(1, 5):
|
||||
if len(set(targets)) >= 2:
|
||||
break
|
||||
for _ in range(i - 1):
|
||||
urlopen(BASE + "/health/live", timeout=5).read()
|
||||
step("Failover #%d: реплики до" % i, [PY, "scripts/ops.py", "ps"], "failover.txt", append=i > 1)
|
||||
step("Failover #%d: make test-failover (вкл. скачивание файла через другую реплику)" % i,
|
||||
[PY, "tests/resilience.py", "--mode", "failover", "--action-script", HOOK_STOP, "--base-url", BASE],
|
||||
"failover.txt", append=True)
|
||||
step("Failover #%d: реплики после (остановлена именно цель теста)" % i, [PY, "scripts/ops.py", "ps"],
|
||||
"failover.txt", append=True)
|
||||
step("Failover #%d: restore" % i, [PY, "scripts/ops.py", "restore"], "failover.txt", append=True)
|
||||
stops = [l for l in (EV / "ops.log").read_text(encoding="utf-8").splitlines() if "stop-one: mode=" in l]
|
||||
if stops:
|
||||
targets.append(stops[-1].split("target=")[1].split()[0])
|
||||
with (EV / "failover.txt").open("a", encoding="utf-8") as f:
|
||||
f.write("# остановленные публичным тестом реплики: %s\n" % targets)
|
||||
|
||||
step("Серия отказов: каждая реплика, graceful stop", [PY, "student-tests/failover_series.py", "--base-url", BASE,
|
||||
"--output", "evidence/failover_series.json"], "failover_series.txt")
|
||||
if not args.quick:
|
||||
step("Серия отказов: каждая реплика, SIGKILL", [PY, "student-tests/failover_series.py", "--base-url", BASE,
|
||||
"--mode", "kill", "--output", "evidence/failover_series_kill.json"],
|
||||
"failover_series.txt", append=True)
|
||||
|
||||
step("Недоступность S3 и восстановление", [PY, "student-tests/s3_outage.py", "--base-url", BASE,
|
||||
"--output", "evidence/s3_outage.json"], "s3_outage.txt")
|
||||
|
||||
if not args.quick:
|
||||
step("Rolling update lab4 -> lab4.1 под нагрузкой",
|
||||
[PY, "student-tests/rolling_update_load.py", "--base-url", BASE, "--output", "evidence/rolling_update.json"],
|
||||
"rolling_update.txt", env={"APP_VERSION": "lab4.1"})
|
||||
step("Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой",
|
||||
[PY, "student-tests/rolling_update_load.py", "--base-url", BASE, "--output", "evidence/rolling_back.json"],
|
||||
"rolling_update.txt", append=True, env={"APP_VERSION": "lab4"})
|
||||
step("Реплики после обновлений", [PY, "scripts/ops.py", "ps"], "rolling_update.txt", append=True)
|
||||
|
||||
fmt = ["ps", "-a", "--format", "table {{.Name}}\t{{.Status}}\t{{.RunningFor}}"]
|
||||
step("Persistence: контейнеры до", dc + fmt, "persistence.txt")
|
||||
step("Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB)",
|
||||
[PY, "tests/resilience.py", "--mode", "persistence", "--action-script", HOOK_RESTART, "--base-url", BASE],
|
||||
"persistence.txt", append=True)
|
||||
step("Persistence: контейнеры после (Status = Up N seconds)", dc + fmt, "persistence.txt", append=True)
|
||||
step("Persistence: сверка БД <-> S3 после рестарта", [PY, "scripts/ops.py", "reconcile"], "persistence.txt",
|
||||
append=True)
|
||||
|
||||
if not args.quick:
|
||||
step("Нагрузка 30 с, concurrency 8", [PY, "tests/load.py", "--base-url", BASE, "--duration", "30",
|
||||
"--concurrency", "8", "--output", "evidence/load.json"], "load.txt")
|
||||
step("CPU/RAM после нагрузки", ["docker", "stats", "--no-stream", "--format",
|
||||
"table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"], "load.txt", append=True)
|
||||
|
||||
step("Лог LB (последние строки, без секретов)", dc + ["logs", "--no-color", "--tail", "60", "lb"], "lb_log_sample.txt")
|
||||
|
||||
summary = ["# %s" % stamp()] + ["%-4s %-70s evidence/%s" % ("OK" if rc == 0 else "FAIL", t, f) for t, rc, f in RESULTS]
|
||||
(EV / "SUMMARY.txt").write_text("\n".join(summary) + "\n", encoding="utf-8")
|
||||
print("\n" + "\n".join(summary))
|
||||
sys.exit(0 if all(rc == 0 for _, rc, _ in RESULTS) else 1)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,78 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Создаёт локальные учебные секреты в ./secrets (каталог в .gitignore).
|
||||
|
||||
Повторный запуск ничего не перезаписывает: пароль PostgreSQL задаётся только
|
||||
при первой инициализации volume, и смена файла сломала бы подключение.
|
||||
Значения секретов не печатаются.
|
||||
|
||||
lab4: две пары S3-ключей — bootstrap-admin (только для one-shot s3-init) и
|
||||
messenger-api (Read/Write/List одного бакета). s3_config.json — identities
|
||||
SeaweedFS, собирается из этих ключей (пересоздаётся, если удалён: ключи S3 не
|
||||
привязаны к данным в volume, их можно сменить: удалить 5 файлов s3_* и
|
||||
перезапустить init_secrets.py + docker compose up -d --force-recreate s3 s3-init api).
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import secrets
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
DIR = ROOT / "secrets"
|
||||
|
||||
|
||||
def write(name: str, value: str) -> None:
|
||||
path = DIR / name
|
||||
if path.exists():
|
||||
print("keep secrets/%s" % name)
|
||||
return
|
||||
path.write_text(value + "\n", encoding="utf-8")
|
||||
# Каталог 0700, файлы 0644: внутри контейнера их читают непривилегированные
|
||||
# пользователи (appuser, redis), а на хосте каталог закрыт.
|
||||
os.chmod(path, 0o644)
|
||||
print("create secrets/%s" % name)
|
||||
|
||||
|
||||
def read(name: str) -> str:
|
||||
return (DIR / name).read_text(encoding="utf-8").strip()
|
||||
|
||||
|
||||
def main() -> None:
|
||||
DIR.mkdir(exist_ok=True)
|
||||
try:
|
||||
os.chmod(DIR, 0o700)
|
||||
except OSError:
|
||||
pass
|
||||
write("postgres_password", secrets.token_hex(24))
|
||||
write("redis_password", secrets.token_hex(24))
|
||||
write("database_url", "postgresql://messenger:%s@postgres:5432/messenger" % read("postgres_password"))
|
||||
write("cache_url", "redis://:%s@redis:6379/0" % read("redis_password"))
|
||||
# lab4: S3 (SeaweedFS). Access key — ASCII 20 символов, secret — 40 (как у AWS).
|
||||
write("s3_admin_access_key_id", "ADM" + secrets.token_hex(8).upper() + "X")
|
||||
write("s3_admin_secret_access_key", secrets.token_urlsafe(30)[:40])
|
||||
write("s3_access_key_id", "API" + secrets.token_hex(8).upper() + "X")
|
||||
write("s3_secret_access_key", secrets.token_urlsafe(30)[:40])
|
||||
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
|
||||
config = {
|
||||
"identities": [
|
||||
{
|
||||
"name": "bootstrap_admin",
|
||||
"credentials": [{"accessKey": read("s3_admin_access_key_id"),
|
||||
"secretKey": read("s3_admin_secret_access_key")}],
|
||||
"actions": ["Admin", "Read", "List", "Tagging", "Write"],
|
||||
},
|
||||
{
|
||||
# Только свой бакет: чтение, запись/удаление объектов, листинг.
|
||||
# Создать/удалить бакет или прочитать чужой этими ключами нельзя.
|
||||
"name": "messenger_api",
|
||||
"credentials": [{"accessKey": read("s3_access_key_id"),
|
||||
"secretKey": read("s3_secret_access_key")}],
|
||||
"actions": ["Read:" + bucket, "Write:" + bucket, "List:" + bucket],
|
||||
},
|
||||
]
|
||||
# Identity "anonymous" не объявлена -> анонимные запросы получают 403.
|
||||
}
|
||||
write("s3_config.json", json.dumps(config, indent=2))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
+473
@@ -0,0 +1,473 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Операции над compose-стендом lab4. Python 3.9+, только стандартная библиотека.
|
||||
|
||||
Работает одинаково в Windows (PowerShell/cmd), Linux и macOS: вызывает
|
||||
`docker compose` и `docker` без shell-интерполяции. Секреты не печатает.
|
||||
|
||||
python scripts/ops.py wait # дождаться N здоровых реплик и LB
|
||||
python scripts/ops.py ps # реплики: контейнер, X-Instance-Id, health, статус в LB
|
||||
python scripts/ops.py stop-one # TARGET_INSTANCE_ID=<X-Instance-Id>; оставляет остановленной
|
||||
python scripts/ops.py restore # запустить остановленные реплики и дождаться UP в LB
|
||||
python scripts/ops.py restart # hook persistence: API + PostgreSQL + Redis + S3 + LB, volumes целы
|
||||
python scripts/ops.py wait-s3 # дождаться, пока S3 реально читает/пишет (прогрев после рестарта)
|
||||
python scripts/ops.py s3-check # приватность бакета вне API, права ключей, закрытые админ-порты
|
||||
python scripts/ops.py reconcile [--apply] # сверка БД <-> S3 (по умолчанию dry-run)
|
||||
python scripts/ops.py api-fs # у API read-only rootfs, только tmpfs, без volumes
|
||||
python scripts/ops.py rolling-update # поочерёдная замена реплик без остановки сервиса
|
||||
python scripts/ops.py in-network storage # тесты с прямым доступом к БД — внутри compose-сети
|
||||
python scripts/ops.py in-network expiry # истечение сессии на api-short-ttl (TTL 2 с)
|
||||
python scripts/ops.py in-network consistency # БД<->S3: сборщик, сироты, обрыв загрузки, внедрённые отказы
|
||||
|
||||
Переменные окружения:
|
||||
COMPOSE_PROJECT_NAME имя проекта (по умолчанию messenger-lab4, как `name:` в compose.yaml)
|
||||
ENV_FILE файл переменных (по умолчанию .env, если существует)
|
||||
API_REPLICAS ожидаемое число реплик (по умолчанию из .env, иначе 2)
|
||||
APP_PORT, LB_STATS_PORT опубликованные на 127.0.0.1 порты LB (8080, 8404)
|
||||
STOP_MODE stop-one: stop (SIGTERM, graceful, по умолчанию) | kill (SIGKILL, «падение»)
|
||||
|
||||
Каждое действие дописывается в evidence/ops.log (время, контейнер, результат) —
|
||||
это доказательство того, какой контейнер реально остановлен/заменён.
|
||||
"""
|
||||
import csv
|
||||
import io
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from datetime import datetime, timezone
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
OPS_LOG = ROOT / "evidence" / "ops.log"
|
||||
|
||||
try: # консоль Windows может быть не в UTF-8
|
||||
sys.stdout.reconfigure(errors="replace")
|
||||
sys.stderr.reconfigure(errors="replace")
|
||||
except AttributeError:
|
||||
pass
|
||||
|
||||
|
||||
# ---------------------------------------------------------------- settings
|
||||
|
||||
def _dotenv():
|
||||
path = Path(os.environ.get("ENV_FILE", str(ROOT / ".env")))
|
||||
values = {}
|
||||
if path.is_file():
|
||||
for line in path.read_text(encoding="utf-8").splitlines():
|
||||
line = line.strip()
|
||||
if line and not line.startswith("#") and "=" in line:
|
||||
k, v = line.split("=", 1)
|
||||
values[k.strip()] = v.strip().strip('"').strip("'")
|
||||
return path if path.is_file() else None, values
|
||||
|
||||
|
||||
ENV_PATH, DOTENV = _dotenv()
|
||||
|
||||
|
||||
def setting(name, default):
|
||||
return os.environ.get(name) or DOTENV.get(name) or default
|
||||
|
||||
|
||||
PROJECT = setting("COMPOSE_PROJECT_NAME", "messenger-lab4")
|
||||
REPLICAS = int(setting("API_REPLICAS", "2"))
|
||||
APP_PORT = int(setting("APP_PORT", "8080"))
|
||||
STATS_PORT = int(setting("LB_STATS_PORT", "8404"))
|
||||
LB_URL = "http://127.0.0.1:%d" % APP_PORT
|
||||
STATS_URL = "http://127.0.0.1:%d/stats;csv" % STATS_PORT
|
||||
|
||||
|
||||
def now_iso():
|
||||
return datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%S.%f")[:-3] + "Z"
|
||||
|
||||
|
||||
def log(msg):
|
||||
line = "%s %s" % (now_iso(), msg)
|
||||
print(line, flush=True)
|
||||
try:
|
||||
OPS_LOG.parent.mkdir(exist_ok=True)
|
||||
with OPS_LOG.open("a", encoding="utf-8") as f:
|
||||
f.write(line + "\n")
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
|
||||
# ---------------------------------------------------------------- docker
|
||||
|
||||
def compose_cmd(*args):
|
||||
cmd = ["docker", "compose", "-p", PROJECT]
|
||||
if ENV_PATH:
|
||||
cmd += ["--env-file", str(ENV_PATH)]
|
||||
return cmd + list(args)
|
||||
|
||||
|
||||
def run(cmd, check=True, capture=False, timeout=300, show=False):
|
||||
"""capture: вернуть вывод; show: показать вывод в консоли; иначе — тихо."""
|
||||
out = None if show else (subprocess.PIPE if capture else subprocess.DEVNULL)
|
||||
result = subprocess.run(
|
||||
cmd, cwd=ROOT, check=False, timeout=timeout,
|
||||
stdout=out, stderr=out, text=True,
|
||||
)
|
||||
if check and result.returncode != 0:
|
||||
detail = (result.stderr or "").strip()[-400:] if capture else ""
|
||||
raise SystemExit("command failed (%d): %s %s" % (result.returncode, " ".join(cmd[:4]), detail))
|
||||
return result
|
||||
|
||||
|
||||
def compose(*args, timeout=300):
|
||||
return run(compose_cmd(*args), timeout=timeout, capture=True)
|
||||
|
||||
|
||||
def api_containers(include_stopped=True):
|
||||
"""[{id, short, name, state, health, image, ip}] — только сервис api, без one-off."""
|
||||
cmd = ["docker", "ps", "--no-trunc", "--format", "{{.ID}}",
|
||||
"--filter", "label=com.docker.compose.project=" + PROJECT,
|
||||
"--filter", "label=com.docker.compose.service=api",
|
||||
"--filter", "label=com.docker.compose.oneoff=False"]
|
||||
if include_stopped:
|
||||
cmd.insert(2, "-a")
|
||||
ids = [x for x in run(cmd, capture=True).stdout.split() if x]
|
||||
if not ids:
|
||||
return []
|
||||
raw = run(["docker", "inspect"] + ids, capture=True).stdout
|
||||
result = []
|
||||
for item in json.loads(raw):
|
||||
state = item["State"]
|
||||
nets = item.get("NetworkSettings", {}).get("Networks") or {}
|
||||
ips = [n.get("IPAddress") for n in nets.values() if n.get("IPAddress")]
|
||||
result.append({
|
||||
"id": item["Id"],
|
||||
"short": item["Id"][:12],
|
||||
"hostname": item["Config"].get("Hostname", ""),
|
||||
"name": item["Name"].lstrip("/"),
|
||||
"state": state.get("Status"),
|
||||
"health": (state.get("Health") or {}).get("Status", "-"),
|
||||
"image": item["Config"].get("Image"),
|
||||
"ip": ips[0] if ips else "",
|
||||
"created": item.get("Created", "")[:19],
|
||||
})
|
||||
result.sort(key=lambda c: c["name"])
|
||||
return result
|
||||
|
||||
|
||||
def running(containers=None):
|
||||
return [c for c in (containers if containers is not None else api_containers()) if c["state"] == "running"]
|
||||
|
||||
|
||||
# ---------------------------------------------------------------- load balancer
|
||||
|
||||
def lb_servers():
|
||||
"""[{name, status, addr}] backend api из CSV-статистики HAProxy (слоты с адресом)."""
|
||||
data = urllib.request.urlopen(STATS_URL, timeout=2).read().decode("utf-8", "replace")
|
||||
rows = csv.DictReader(io.StringIO(data.lstrip("# ")))
|
||||
servers = []
|
||||
for r in rows:
|
||||
if r.get("pxname") != "api" or r.get("svname") in ("BACKEND", "FRONTEND"):
|
||||
continue
|
||||
addr = r.get("addr") or ""
|
||||
status = r.get("status", "")
|
||||
if status.startswith("MAINT") and not addr:
|
||||
continue # пустой слот server-template
|
||||
servers.append({"name": r["svname"], "status": status, "addr": addr})
|
||||
return servers
|
||||
|
||||
|
||||
def lb_up_count():
|
||||
return sum(1 for s in lb_servers() if s["status"].startswith("UP"))
|
||||
|
||||
|
||||
def lb_ready():
|
||||
try:
|
||||
with urllib.request.urlopen(LB_URL + "/health/ready", timeout=2) as r:
|
||||
return r.status == 200
|
||||
except (urllib.error.URLError, OSError):
|
||||
return False
|
||||
|
||||
|
||||
def wait_until(predicate, timeout, what, interval=0.3):
|
||||
deadline = time.monotonic() + timeout
|
||||
last_exc = None
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
if predicate():
|
||||
return True
|
||||
except (urllib.error.URLError, OSError, ValueError, KeyError) as exc:
|
||||
last_exc = exc
|
||||
time.sleep(interval)
|
||||
raise SystemExit("timeout after %ss waiting for %s%s" % (
|
||||
timeout, what, (" (%s)" % type(last_exc).__name__) if last_exc else ""))
|
||||
|
||||
|
||||
def wait_healthy(ids, timeout=90):
|
||||
def ok():
|
||||
states = {c["id"]: c for c in api_containers()}
|
||||
return all(states.get(i, {}).get("health") == "healthy" for i in ids)
|
||||
wait_until(ok, timeout, "containers healthy: " + ", ".join(i[:12] for i in ids))
|
||||
|
||||
|
||||
def wait_stack(replicas, timeout=120):
|
||||
wait_until(lambda: len([c for c in running() if c["health"] == "healthy"]) >= replicas,
|
||||
timeout, "%d healthy api replicas" % replicas)
|
||||
wait_until(lambda: lb_up_count() >= replicas, 30, "%d replicas UP in HAProxy" % replicas)
|
||||
wait_until(lb_ready, 30, "LB /health/ready = 200")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------- commands
|
||||
|
||||
def cmd_wait(_args):
|
||||
t0 = time.monotonic()
|
||||
wait_stack(REPLICAS)
|
||||
print("ready: %d api replicas healthy and UP in LB (%.1fs)" % (REPLICAS, time.monotonic() - t0))
|
||||
|
||||
|
||||
def cmd_ps(_args):
|
||||
containers = api_containers()
|
||||
try:
|
||||
by_addr = {s["addr"].rsplit(":", 1)[0]: s for s in lb_servers()}
|
||||
except (urllib.error.URLError, OSError):
|
||||
by_addr = {}
|
||||
print("%-14s %-28s %-9s %-10s %-22s %-6s %s" % ("X-Instance-Id", "container", "state", "health", "image", "lb", "lb_status"))
|
||||
for c in containers:
|
||||
s = by_addr.get(c["ip"], {})
|
||||
print("%-14s %-28s %-9s %-10s %-22s %-6s %s" % (
|
||||
c["hostname"], c["name"], c["state"], c["health"], c["image"], s.get("name", "-"), s.get("status", "-")))
|
||||
|
||||
|
||||
def find_target(target):
|
||||
for c in api_containers():
|
||||
# X-Instance-Id = hostname контейнера = первые 12 символов его ID.
|
||||
if target and (c["hostname"] == target or c["id"].startswith(target)):
|
||||
return c
|
||||
return None
|
||||
|
||||
|
||||
def cmd_stop_one(_args):
|
||||
target = os.environ.get("TARGET_INSTANCE_ID", "").strip()
|
||||
if not target:
|
||||
raise SystemExit("TARGET_INSTANCE_ID is required (X-Instance-Id of the replica to stop)")
|
||||
mode = os.environ.get("STOP_MODE", "stop").strip().lower()
|
||||
c = find_target(target)
|
||||
if c is None:
|
||||
raise SystemExit("no api container of project %s matches X-Instance-Id %s" % (PROJECT, target))
|
||||
if c["state"] != "running":
|
||||
raise SystemExit("container %s is already %s" % (c["name"], c["state"]))
|
||||
t0 = time.monotonic()
|
||||
log("stop-one: mode=%s target=%s container=%s ip=%s" % (mode, target, c["name"], c["ip"]))
|
||||
if mode == "kill":
|
||||
# «Падение» процесса. Политику restart снимаем, чтобы Docker не поднял
|
||||
# контейнер сам: тест требует, чтобы реплика оставалась остановленной.
|
||||
run(["docker", "update", "--restart", "no", c["id"]])
|
||||
run(["docker", "kill", "--signal", "KILL", c["id"]])
|
||||
else:
|
||||
# SIGTERM -> осушение 3 с (readiness 503) -> graceful stop; SIGKILL не позже 20 с.
|
||||
run(["docker", "stop", "--time", "20", c["id"]], timeout=40)
|
||||
after = find_target(target) or {}
|
||||
log("stop-one: container=%s state=%s after %.2fs; left stopped (restore: python scripts/ops.py restore)"
|
||||
% (c["name"], after.get("state", "removed"), time.monotonic() - t0))
|
||||
|
||||
|
||||
def cmd_restore(_args):
|
||||
t0 = time.monotonic()
|
||||
stopped = [c for c in api_containers() if c["state"] != "running"]
|
||||
for c in stopped: # вернуть политику, снятую в режиме kill
|
||||
run(["docker", "update", "--restart", "unless-stopped", c["id"]], check=False)
|
||||
# --no-recreate: не пересоздавать работающие; up запускает остановленные
|
||||
# и добирает число контейнеров до deploy.replicas.
|
||||
compose("up", "-d", "--no-deps", "--no-recreate", "api")
|
||||
wait_stack(REPLICAS)
|
||||
log("restore: started %s; %d replicas healthy and UP in LB after %.1fs"
|
||||
% ([c["name"] for c in stopped] or "nothing", REPLICAS, time.monotonic() - t0))
|
||||
|
||||
|
||||
def cmd_restart(_args):
|
||||
"""Hook для make test-persistence: перезапуск API, ВСЕХ хранилищ (PostgreSQL,
|
||||
Redis, S3) и LB.
|
||||
|
||||
Volumes не удаляются, данные не пересоздаются, bucket не создаётся заново.
|
||||
Порядок: сначала LB и API (новые записи не принимаются), затем хранилища,
|
||||
затем ожидание реальной готовности S3 к чтению/записи (SeaweedFS отвечает
|
||||
/healthz сразу, но первые операции после рестарта ждут 15–30 с), затем API и LB.
|
||||
"""
|
||||
t0 = time.monotonic()
|
||||
before = {c["name"]: c["short"] for c in running()}
|
||||
started_before = {svc: container_started(svc) for svc in ("postgres", "redis", "s3")}
|
||||
compose("stop", "lb", "api", timeout=120)
|
||||
compose("restart", "postgres", "redis", "s3", timeout=120)
|
||||
wait_service_healthy("s3", 60)
|
||||
t_warm = time.monotonic()
|
||||
warm = s3_warmup(70)
|
||||
log("restart: s3 read/write ready %.1fs after container healthy (%s)" % (time.monotonic() - t_warm, warm))
|
||||
compose("start", "api", timeout=120)
|
||||
wait_until(lambda: len([c for c in running() if c["health"] == "healthy"]) >= REPLICAS,
|
||||
80, "api healthy after restart")
|
||||
compose("start", "lb", timeout=60)
|
||||
log("restart: started_at postgres %s -> %s; redis %s -> %s; s3 %s -> %s; api %s restarted; lb restarted; %.1fs"
|
||||
% (started_before["postgres"], container_started("postgres"), started_before["redis"],
|
||||
container_started("redis"), started_before["s3"], container_started("s3"),
|
||||
sorted(before), time.monotonic() - t0))
|
||||
|
||||
|
||||
def wait_service_healthy(service, timeout):
|
||||
def ok():
|
||||
ids = run(["docker", "ps", "-q", "--filter", "label=com.docker.compose.project=" + PROJECT,
|
||||
"--filter", "label=com.docker.compose.service=" + service], capture=True).stdout.split()
|
||||
if not ids:
|
||||
return False
|
||||
out = run(["docker", "inspect", "-f", "{{.State.Health.Status}}", ids[0]], capture=True).stdout.strip()
|
||||
return out == "healthy"
|
||||
wait_until(ok, timeout, service + " healthy")
|
||||
|
||||
|
||||
def s3_warmup(timeout=70):
|
||||
"""One-off контейнер образа API в сетях стенда: put/get/delete пробы + чтение старого объекта."""
|
||||
out = run(compose_cmd("run", "--rm", "-T", "--no-deps", "api", "python", "-m", "src.s3_bootstrap",
|
||||
"--wait-ready", str(timeout)), capture=True, timeout=timeout + 60)
|
||||
lines = [x for x in (out.stdout or "").splitlines() if x.startswith("{")]
|
||||
return lines[-1] if lines else ""
|
||||
|
||||
|
||||
def cmd_wait_s3(_args):
|
||||
wait_service_healthy("s3", 60)
|
||||
print(s3_warmup(90))
|
||||
|
||||
|
||||
def cmd_s3_check(_args):
|
||||
"""Проверка приватного бакета ВНЕ API: анонимные запросы к S3 из сети storage."""
|
||||
run(compose_cmd("run", "--rm", "-T", "--no-deps", "api", "python", "-m", "src.s3_bootstrap",
|
||||
"--check-only", "--sample-from-db"), show=True, timeout=180)
|
||||
|
||||
|
||||
def cmd_api_fs(_args):
|
||||
"""Доказательство «на API нет локального хранилища оригиналов»."""
|
||||
for c in api_containers():
|
||||
info = json.loads(run(["docker", "inspect", c["id"]], capture=True).stdout)[0]
|
||||
mounts = [m.get("Type") + ":" + m.get("Destination", "") for m in info.get("Mounts", [])]
|
||||
print("%s ReadonlyRootfs=%s Tmpfs=%s Mounts=%s" % (
|
||||
c["name"], info["HostConfig"].get("ReadonlyRootfs"), info["HostConfig"].get("Tmpfs"), mounts or "none"))
|
||||
|
||||
|
||||
def cmd_reconcile(args):
|
||||
run(compose_cmd("run", "--rm", "-T", "--no-deps", "api", "python", "-m", "src.reconcile") + list(args),
|
||||
show=True, timeout=600)
|
||||
|
||||
|
||||
def container_started(service):
|
||||
ids = run(["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=" + PROJECT,
|
||||
"--filter", "label=com.docker.compose.service=" + service], capture=True).stdout.split()
|
||||
if not ids:
|
||||
return "-"
|
||||
return run(["docker", "inspect", "-f", "{{.State.StartedAt}}", ids[0]], capture=True).stdout.strip()[:23]
|
||||
|
||||
|
||||
def cmd_rolling_update(args):
|
||||
"""Поочерёдная замена реплик: +1 новая -> healthy и UP в LB -> graceful stop старой.
|
||||
|
||||
В любой момент в ротации >= N реплик. Миграции — один раз, до замены, и только
|
||||
расширяющие (expand): старая версия продолжает работать на новой схеме.
|
||||
"""
|
||||
t_all = time.monotonic()
|
||||
if [c for c in api_containers() if c["state"] != "running"]:
|
||||
raise SystemExit("some api containers are stopped; run `python scripts/ops.py restore` first")
|
||||
old = running()
|
||||
n = len(old)
|
||||
if n < 1:
|
||||
raise SystemExit("no running api replicas")
|
||||
log("rolling-update: start; replicas=%d old=%s" % (n, [c["short"] for c in old]))
|
||||
if "--no-build" not in args:
|
||||
t = time.monotonic()
|
||||
compose("build", "api", "migrate", timeout=900)
|
||||
log("rolling-update: images built in %.1fs (tag %s)" % (time.monotonic() - t, setting("APP_VERSION", "lab4")))
|
||||
t = time.monotonic()
|
||||
out = compose("run", "--rm", "-T", "migrate", timeout=300).stdout.strip().splitlines()
|
||||
log("rolling-update: migrations once in %.1fs: %s" % (time.monotonic() - t, out[-1] if out else ""))
|
||||
for i, victim in enumerate(old, 1):
|
||||
before = {c["id"] for c in api_containers()}
|
||||
t = time.monotonic()
|
||||
compose("up", "-d", "--no-deps", "--no-recreate", "--scale", "api=%d" % (n + 1), "api", timeout=180)
|
||||
new = [c for c in api_containers() if c["id"] not in before]
|
||||
if len(new) != 1:
|
||||
raise SystemExit("expected exactly one new container, got %d" % len(new))
|
||||
fresh = new[0]
|
||||
wait_healthy([fresh["id"]], timeout=90)
|
||||
wait_until(lambda: lb_up_count() >= n + 1, 30, "new replica UP in HAProxy")
|
||||
t_ready = time.monotonic() - t
|
||||
t = time.monotonic()
|
||||
run(["docker", "stop", "--time", "20", victim["id"]], timeout=40)
|
||||
run(["docker", "rm", victim["id"]])
|
||||
log("rolling-update: step %d/%d new=%s (%s, ready+UP in %.1fs) replaced old=%s (graceful stop %.1fs)"
|
||||
% (i, n, fresh["short"], fresh["image"], t_ready, victim["short"], time.monotonic() - t))
|
||||
wait_stack(n)
|
||||
log("rolling-update: done in %.1fs; replicas now %s" % (time.monotonic() - t_all, [c["short"] for c in running()]))
|
||||
|
||||
|
||||
def cmd_in_network(args):
|
||||
"""Тесты, которым нужен прямой доступ к PostgreSQL/Redis или экземпляр api-short-ttl.
|
||||
|
||||
Запускаются в one-off контейнере образа API внутри сети backend: порты БД и
|
||||
реплик наружу не публикуются. One-off контейнер не получает DNS-имя `api`,
|
||||
поэтому LB его не видит.
|
||||
"""
|
||||
which = args[0] if args else ""
|
||||
mount = "%s:/app/student-tests:ro" % (ROOT / "student-tests")
|
||||
base = compose_cmd("run", "--rm", "-T", "--no-deps", "-v", mount)
|
||||
if which == "storage":
|
||||
for pattern in ("test_storage_*.py", "test_session_cache.py"):
|
||||
run(base + ["api", "python", "-m", "unittest", "discover", "-s", "student-tests", "-p", pattern, "-v"],
|
||||
show=True, timeout=600)
|
||||
elif which == "consistency":
|
||||
prof = compose_cmd("--profile", "faults")
|
||||
faults = ["api-fault-s3", "api-fault-db", "api-fault-crash"]
|
||||
run(prof + ["up", "-d", "--no-recreate"] + faults, show=True, timeout=300)
|
||||
env = ["-e", "BASE_URL=http://lb:8080",
|
||||
"-e", "FAULT_S3_URL=http://api-fault-s3:8080",
|
||||
"-e", "FAULT_DB_URL=http://api-fault-db:8080",
|
||||
"-e", "FAULT_CRASH_URL=http://api-fault-crash:8080"]
|
||||
try:
|
||||
for name in faults:
|
||||
run(base + env + ["api", "python", "student-tests/wait_url.py", "http://%s:8080/health/ready" % name],
|
||||
show=True, timeout=120)
|
||||
run(base + env + ["api", "python", "-m", "unittest", "discover", "-s", "student-tests",
|
||||
"-p", "test_attachment_consistency.py", "-v"], show=True, timeout=600)
|
||||
finally:
|
||||
run(prof + ["rm", "-sf"] + faults, check=False, timeout=120)
|
||||
elif which == "expiry":
|
||||
prof = compose_cmd("--profile", "ttl")
|
||||
run(prof + ["up", "-d", "--no-recreate", "api-short-ttl"], show=True, timeout=300)
|
||||
env = ["-e", "EXPIRY_BASE_URL=http://api-short-ttl:8080", "-e", "BASE_URL=http://lb:8080"]
|
||||
try:
|
||||
run(base + env + ["api", "python", "student-tests/wait_url.py", "http://api-short-ttl:8080/health/ready"],
|
||||
show=True, timeout=120)
|
||||
run(base + env + ["api", "python", "-m", "unittest", "discover", "-s", "student-tests",
|
||||
"-p", "test_expiry.py", "-v"], show=True, timeout=300)
|
||||
finally:
|
||||
run(prof + ["rm", "-sf", "api-short-ttl"], check=False, timeout=120)
|
||||
else:
|
||||
raise SystemExit("usage: python scripts/ops.py in-network storage|expiry|consistency")
|
||||
|
||||
|
||||
COMMANDS = {
|
||||
"wait": cmd_wait,
|
||||
"ps": cmd_ps,
|
||||
"stop-one": cmd_stop_one,
|
||||
"restore": cmd_restore,
|
||||
"restart": cmd_restart,
|
||||
"rolling-update": cmd_rolling_update,
|
||||
"in-network": cmd_in_network,
|
||||
"wait-s3": cmd_wait_s3,
|
||||
"s3-check": cmd_s3_check,
|
||||
"reconcile": cmd_reconcile,
|
||||
"api-fs": cmd_api_fs,
|
||||
}
|
||||
|
||||
|
||||
def main():
|
||||
if len(sys.argv) < 2 or sys.argv[1] not in COMMANDS:
|
||||
print(__doc__)
|
||||
sys.exit(2)
|
||||
COMMANDS[sys.argv[1]](sys.argv[2:])
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,9 @@
|
||||
@echo off
|
||||
rem Windows-вариант restart.sh: API + PostgreSQL + Redis + S3 + LB, volumes сохраняются.
|
||||
rem python tests\resilience.py --mode persistence --action-script scripts\restart.cmd
|
||||
setlocal
|
||||
cd /d "%~dp0.."
|
||||
set PY=python
|
||||
where python >nul 2>nul || set PY=py -3
|
||||
%PY% scripts\ops.py restart
|
||||
exit /b %ERRORLEVEL%
|
||||
@@ -0,0 +1,10 @@
|
||||
#!/bin/sh
|
||||
# Hook для make test-persistence: перезапускает API (все реплики), PostgreSQL,
|
||||
# Redis, S3 (SeaweedFS) и LB, сохраняя volumes pgdata и s3data. Никаких down -v /
|
||||
# flush / повторного seed / пересоздания бакета. После рестарта S3 ждёт, пока
|
||||
# реально работают запись и чтение (прогрев SeaweedFS 15–30 с), затем поднимает API.
|
||||
# Возвращает 0, когда API снова healthy; готовность LB тест ждёт сам.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
PY=$(command -v python3 || command -v python)
|
||||
exec "$PY" scripts/ops.py restart
|
||||
@@ -0,0 +1,93 @@
|
||||
-- Обоснование индекса истории: EXPLAIN (ANALYZE, BUFFERS) на >= 10 000 сообщений.
|
||||
-- Всё выполняется в ОДНОЙ транзакции и откатывается (ROLLBACK): синтетические
|
||||
-- данные и временное удаление индекса не остаются в БД.
|
||||
-- Запуск (compose):
|
||||
-- docker compose exec -T postgres psql -U messenger -d messenger -v ON_ERROR_STOP=1 \
|
||||
-- < scripts/sql/explain_history.sql > evidence/explain_history.txt
|
||||
-- Внимание: DROP INDEX внутри транзакции берёт эксклюзивную блокировку messages
|
||||
-- до ROLLBACK (несколько секунд) — запускать на учебном стенде.
|
||||
|
||||
\set ON_ERROR_STOP 1
|
||||
\timing off
|
||||
SET TimeZone = 'UTC';
|
||||
-- Убираем мёртвые версии строк от прошлых запусков (VACUUM нельзя внутри транзакции).
|
||||
VACUUM (ANALYZE) messages, chat_members, chats, users;
|
||||
BEGIN;
|
||||
|
||||
INSERT INTO users (id, username, display_name, password_hash)
|
||||
VALUES ('00000000-0000-4000-8000-00000000e001', 'explain_alice', 'Explain', 'x'),
|
||||
('00000000-0000-4000-8000-00000000e002', 'explain_bob', 'Explain', 'x');
|
||||
|
||||
-- 1 большой чат (12 000 сообщений) + 40 чатов по 1 000 = 52 000 сообщений.
|
||||
INSERT INTO chats (id, title, created_at)
|
||||
SELECT CASE WHEN g = 0 THEN '00000000-0000-4000-8000-0000000c0000'::uuid ELSE gen_random_uuid() END,
|
||||
'explain-' || g, timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second'
|
||||
FROM generate_series(0, 40) AS g;
|
||||
|
||||
INSERT INTO chat_members (chat_id, user_id, position)
|
||||
SELECT c.id, u.id, u.pos
|
||||
FROM chats c
|
||||
CROSS JOIN (VALUES ('00000000-0000-4000-8000-00000000e001'::uuid, 0),
|
||||
('00000000-0000-4000-8000-00000000e002'::uuid, 1)) AS u(id, pos)
|
||||
WHERE c.title LIKE 'explain-%';
|
||||
|
||||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||||
SELECT gen_random_uuid(), c.id,
|
||||
CASE WHEN g % 2 = 0 THEN '00000000-0000-4000-8000-00000000e001'::uuid
|
||||
ELSE '00000000-0000-4000-8000-00000000e002'::uuid END,
|
||||
'synthetic message ' || g,
|
||||
timestamptz '2026-01-02 00:00:00+00' + g * interval '1 millisecond' + (c.created_at - timestamptz '2026-01-01 00:00:00+00')
|
||||
FROM chats c
|
||||
CROSS JOIN LATERAL generate_series(1, CASE WHEN c.title = 'explain-0' THEN 12000 ELSE 1000 END) AS g
|
||||
WHERE c.title LIKE 'explain-%';
|
||||
|
||||
ANALYZE users, chats, chat_members, messages;
|
||||
|
||||
\echo '=== dataset'
|
||||
SELECT count(*) AS total_messages,
|
||||
count(*) FILTER (WHERE chat_id = '00000000-0000-4000-8000-0000000c0000') AS big_chat_messages
|
||||
FROM messages;
|
||||
|
||||
-- Позиция курсора после 10 000-го сообщения большого чата (как в next_cursor).
|
||||
SELECT created_at AS cur_ts, id AS cur_id
|
||||
FROM messages
|
||||
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
|
||||
ORDER BY created_at, id OFFSET 9999 LIMIT 1 \gset
|
||||
|
||||
\echo '=== 1. first page (no cursor), LIMIT 51 = limit+1'
|
||||
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
|
||||
SELECT id, chat_id, sender_id, text, created_at
|
||||
FROM messages
|
||||
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
|
||||
ORDER BY created_at, id
|
||||
LIMIT 51;
|
||||
|
||||
\echo '=== 2. deep page: keyset cursor after message #10000 (query used by API)'
|
||||
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
|
||||
SELECT id, chat_id, sender_id, text, created_at
|
||||
FROM messages
|
||||
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
|
||||
AND (created_at, id) > (:'cur_ts'::timestamptz, :'cur_id'::uuid)
|
||||
ORDER BY created_at, id
|
||||
LIMIT 51;
|
||||
|
||||
\echo '=== 3. for comparison: OFFSET pagination to the same page (NOT used by API)'
|
||||
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
|
||||
SELECT id, chat_id, sender_id, text, created_at
|
||||
FROM messages
|
||||
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
|
||||
ORDER BY created_at, id
|
||||
OFFSET 10000 LIMIT 51;
|
||||
|
||||
\echo '=== 4. same keyset query WITHOUT messages_chat_created_id_idx (index dropped inside the transaction)'
|
||||
DROP INDEX messages_chat_created_id_idx;
|
||||
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
|
||||
SELECT id, chat_id, sender_id, text, created_at
|
||||
FROM messages
|
||||
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
|
||||
AND (created_at, id) > (:'cur_ts'::timestamptz, :'cur_id'::uuid)
|
||||
ORDER BY created_at, id
|
||||
LIMIT 51;
|
||||
|
||||
ROLLBACK;
|
||||
\echo '=== rolled back: synthetic data removed, index restored'
|
||||
@@ -0,0 +1,9 @@
|
||||
@echo off
|
||||
rem Windows-вариант stop-one.sh: TARGET_INSTANCE_ID -> один контейнер api, остаётся остановленным.
|
||||
rem python tests\resilience.py --mode failover --action-script scripts\stop-one.cmd
|
||||
setlocal
|
||||
cd /d "%~dp0.."
|
||||
set PY=python
|
||||
where python >nul 2>nul || set PY=py -3
|
||||
%PY% scripts\ops.py stop-one
|
||||
exit /b %ERRORLEVEL%
|
||||
@@ -0,0 +1,10 @@
|
||||
#!/bin/sh
|
||||
# Hook для make test-failover: останавливает ОДНУ API-реплику, которую тест передал
|
||||
# в TARGET_INSTANCE_ID (= X-Instance-Id = hostname контейнера = короткий ID), и
|
||||
# оставляет её остановленной. По умолчанию graceful (docker stop: SIGTERM ->
|
||||
# осушение 3 с -> graceful shutdown); STOP_MODE=kill — «падение» (SIGKILL).
|
||||
# БД, Redis, S3, LB и volumes не трогает. Восстановление: python3 scripts/ops.py restore
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
PY=$(command -v python3 || command -v python)
|
||||
exec "$PY" scripts/ops.py stop-one
|
||||
+187
@@ -0,0 +1,187 @@
|
||||
"""Конфигурация из переменных окружения.
|
||||
|
||||
Секреты (строки подключения с паролями) читаются из файлов *_FILE,
|
||||
которые Compose монтирует как secrets в /run/secrets/. Для локального
|
||||
запуска без Docker допускаются и прямые переменные DATABASE_URL / CACHE_URL.
|
||||
"""
|
||||
import os
|
||||
from dataclasses import dataclass
|
||||
from typing import Optional
|
||||
|
||||
|
||||
def _read_secret(name: str) -> Optional[str]:
|
||||
path = os.environ.get(name + "_FILE")
|
||||
if path:
|
||||
with open(path, "r", encoding="utf-8") as handle:
|
||||
value = handle.read().strip()
|
||||
return value or None
|
||||
value = os.environ.get(name, "").strip()
|
||||
return value or None
|
||||
|
||||
|
||||
def _int(name: str, default: int) -> int:
|
||||
raw = os.environ.get(name)
|
||||
if raw is None or raw.strip() == "":
|
||||
return default
|
||||
return int(raw)
|
||||
|
||||
|
||||
def _float(name: str, default: float) -> float:
|
||||
raw = os.environ.get(name)
|
||||
if raw is None or raw.strip() == "":
|
||||
return default
|
||||
return float(raw)
|
||||
|
||||
|
||||
def _bool(name: str, default: bool) -> bool:
|
||||
raw = os.environ.get(name)
|
||||
if raw is None or raw.strip() == "":
|
||||
return default
|
||||
return raw.strip().lower() in {"1", "true", "yes", "on"}
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class Settings:
|
||||
app_env: str
|
||||
app_version: str
|
||||
instance_id: str
|
||||
database_url: str
|
||||
cache_url: Optional[str]
|
||||
session_store: str
|
||||
session_ttl_seconds: int
|
||||
session_cache_ttl_seconds: int
|
||||
db_pool_min: int
|
||||
db_pool_max: int
|
||||
db_pool_timeout: float
|
||||
db_connect_timeout: int
|
||||
db_statement_timeout_ms: int
|
||||
cache_timeout_seconds: float
|
||||
cache_retry_after_seconds: float
|
||||
migrate_wait_seconds: int
|
||||
run_migrations_on_start: bool
|
||||
idempotency_ttl_seconds: int
|
||||
idempotency_cleanup_interval_seconds: int
|
||||
ready_db_timeout_seconds: float
|
||||
drain_seconds: float
|
||||
graceful_timeout_seconds: int
|
||||
keep_alive_seconds: int
|
||||
password_hash_concurrency: int
|
||||
# lab4: S3 и вложения
|
||||
s3_endpoint: Optional[str]
|
||||
s3_region: str
|
||||
s3_bucket: str
|
||||
s3_access_key_id: Optional[str]
|
||||
s3_secret_access_key: Optional[str]
|
||||
s3_connect_timeout_seconds: float
|
||||
s3_read_timeout_seconds: float
|
||||
s3_max_attempts: int
|
||||
s3_download_deadline_seconds: float
|
||||
s3_upload_deadline_seconds: float
|
||||
s3_circuit_open_seconds: float
|
||||
max_upload_bytes: int
|
||||
max_image_pixels: int
|
||||
max_concurrent_uploads: int
|
||||
upload_queue_timeout_seconds: float
|
||||
upload_read_timeout_seconds: float
|
||||
image_decode_concurrency: int
|
||||
attachment_gc_interval_seconds: int
|
||||
attachment_gc_grace_seconds: int
|
||||
orphan_sweep_interval_seconds: int
|
||||
fault_injection: str
|
||||
|
||||
|
||||
# Жёсткие пределы контракта lab4; конфигурация может их только ужесточить.
|
||||
CONTRACT_MAX_UPLOAD_BYTES = 10 * 1024 * 1024
|
||||
CONTRACT_MAX_IMAGE_PIXELS = 40_000_000
|
||||
# Grace period сборщика должен быть заметно больше самой долгой загрузки
|
||||
# (чтение тела + S3 PUT с повтором), см. REPORT.md.
|
||||
MIN_GC_GRACE_SECONDS = 300
|
||||
|
||||
|
||||
def load_settings() -> Settings:
|
||||
database_url = _read_secret("DATABASE_URL")
|
||||
if not database_url:
|
||||
raise RuntimeError("DATABASE_URL or DATABASE_URL_FILE must be set")
|
||||
|
||||
ttl = _int("SESSION_TTL_SECONDS", 3600)
|
||||
if ttl < 1:
|
||||
raise RuntimeError("SESSION_TTL_SECONDS must be positive")
|
||||
|
||||
session_store = os.environ.get("SESSION_STORE", "postgres").strip().lower()
|
||||
# Источник истины для сессий в этой реализации всегда PostgreSQL;
|
||||
# Redis (CACHE_URL) — только кэш проверок токена.
|
||||
if session_store != "postgres":
|
||||
raise RuntimeError("only SESSION_STORE=postgres is supported")
|
||||
|
||||
idem_ttl = _int("IDEMPOTENCY_TTL_SECONDS", 86400)
|
||||
if idem_ttl < 86400:
|
||||
# Контракт: повтор в течение 24 часов возвращает тот же результат.
|
||||
raise RuntimeError("IDEMPOTENCY_TTL_SECONDS must be >= 86400")
|
||||
|
||||
# X-Instance-Id: по умолчанию hostname контейнера (= короткий ID контейнера
|
||||
# Docker), стабилен в пределах жизни процесса. INSTANCE_ID — для запуска без Docker.
|
||||
from .runtime import INSTANCE_ID as instance_id
|
||||
|
||||
max_upload = _int("MAX_UPLOAD_BYTES", CONTRACT_MAX_UPLOAD_BYTES)
|
||||
max_pixels = _int("MAX_IMAGE_PIXELS", CONTRACT_MAX_IMAGE_PIXELS)
|
||||
if not 1 <= max_upload <= CONTRACT_MAX_UPLOAD_BYTES:
|
||||
raise RuntimeError("MAX_UPLOAD_BYTES must be within 1..10485760")
|
||||
if not 1 <= max_pixels <= CONTRACT_MAX_IMAGE_PIXELS:
|
||||
raise RuntimeError("MAX_IMAGE_PIXELS must be within 1..40000000")
|
||||
gc_grace = _int("ATTACHMENT_GC_GRACE_SECONDS", 900)
|
||||
# Меньше минимума — только для явных тестов сверки (ALLOW_SHORT_GC_GRACE=true).
|
||||
if gc_grace < MIN_GC_GRACE_SECONDS and not _bool("ALLOW_SHORT_GC_GRACE", False):
|
||||
raise RuntimeError("ATTACHMENT_GC_GRACE_SECONDS must be >= %d" % MIN_GC_GRACE_SECONDS)
|
||||
|
||||
return Settings(
|
||||
app_env=os.environ.get("APP_ENV", "lab"),
|
||||
app_version=os.environ.get("APP_VERSION", "lab4"),
|
||||
instance_id=instance_id,
|
||||
database_url=database_url,
|
||||
cache_url=_read_secret("CACHE_URL"),
|
||||
session_store=session_store,
|
||||
session_ttl_seconds=ttl,
|
||||
session_cache_ttl_seconds=_int("SESSION_CACHE_TTL_SECONDS", 60),
|
||||
db_pool_min=_int("DB_POOL_MIN", 1),
|
||||
db_pool_max=_int("DB_POOL_MAX", 10),
|
||||
db_pool_timeout=_float("DB_POOL_TIMEOUT_SECONDS", 3.0),
|
||||
db_connect_timeout=_int("DB_CONNECT_TIMEOUT_SECONDS", 3),
|
||||
db_statement_timeout_ms=_int("DB_STATEMENT_TIMEOUT_MS", 5000),
|
||||
cache_timeout_seconds=_float("CACHE_TIMEOUT_SECONDS", 0.25),
|
||||
cache_retry_after_seconds=_float("CACHE_RETRY_AFTER_SECONDS", 5.0),
|
||||
migrate_wait_seconds=_int("MIGRATE_WAIT_SECONDS", 60),
|
||||
# lab3: миграции выполняет отдельный one-shot сервис `migrate`,
|
||||
# реплики API их не запускают (нет гонки N реплик за схему).
|
||||
run_migrations_on_start=_bool("RUN_MIGRATIONS_ON_START", False),
|
||||
idempotency_ttl_seconds=idem_ttl,
|
||||
idempotency_cleanup_interval_seconds=_int("IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS", 300),
|
||||
ready_db_timeout_seconds=_float("READY_DB_TIMEOUT_SECONDS", 1.0),
|
||||
drain_seconds=_float("DRAIN_SECONDS", 3.0),
|
||||
graceful_timeout_seconds=_int("GRACEFUL_TIMEOUT_SECONDS", 10),
|
||||
keep_alive_seconds=_int("KEEP_ALIVE_SECONDS", 30),
|
||||
password_hash_concurrency=_int("PASSWORD_HASH_CONCURRENCY", 4),
|
||||
s3_endpoint=os.environ.get("S3_ENDPOINT", "").strip() or None,
|
||||
s3_region=os.environ.get("S3_REGION", "us-east-1").strip() or "us-east-1",
|
||||
s3_bucket=os.environ.get("S3_BUCKET", "messenger-attachments").strip(),
|
||||
s3_access_key_id=_read_secret("S3_ACCESS_KEY_ID"),
|
||||
s3_secret_access_key=_read_secret("S3_SECRET_ACCESS_KEY"),
|
||||
s3_connect_timeout_seconds=_float("S3_CONNECT_TIMEOUT_SECONDS", 2.0),
|
||||
s3_read_timeout_seconds=_float("S3_READ_TIMEOUT_SECONDS", 10.0),
|
||||
s3_max_attempts=_int("S3_MAX_ATTEMPTS", 2),
|
||||
# Полный бюджет вызова S3 из запроса (DNS + connect + повторы). Скачивание
|
||||
# обязано уложиться в timeout server HAProxy (10 с), загрузка — 10 с (PUT 10 MiB локально ~0.1 с).
|
||||
s3_download_deadline_seconds=_float("S3_DOWNLOAD_DEADLINE_SECONDS", 5.0),
|
||||
s3_upload_deadline_seconds=_float("S3_UPLOAD_DEADLINE_SECONDS", 10.0),
|
||||
s3_circuit_open_seconds=_float("S3_CIRCUIT_OPEN_SECONDS", 5.0),
|
||||
max_upload_bytes=max_upload,
|
||||
max_image_pixels=max_pixels,
|
||||
max_concurrent_uploads=max(1, _int("MAX_CONCURRENT_UPLOADS", 4)),
|
||||
upload_queue_timeout_seconds=_float("UPLOAD_QUEUE_TIMEOUT_SECONDS", 5.0),
|
||||
upload_read_timeout_seconds=_float("UPLOAD_READ_TIMEOUT_SECONDS", 60.0),
|
||||
image_decode_concurrency=max(1, _int("IMAGE_DECODE_CONCURRENCY", 2)),
|
||||
attachment_gc_interval_seconds=_int("ATTACHMENT_GC_INTERVAL_SECONDS", 300),
|
||||
attachment_gc_grace_seconds=gc_grace,
|
||||
orphan_sweep_interval_seconds=_int("ORPHAN_SWEEP_INTERVAL_SECONDS", 3600),
|
||||
# Только для тестового экземпляра api-faults (профиль faults), см. REPORT.md.
|
||||
fault_injection=os.environ.get("FAULT_INJECTION", "").strip().lower(),
|
||||
)
|
||||
@@ -0,0 +1,130 @@
|
||||
"""Пул соединений PostgreSQL и версионируемые миграции."""
|
||||
import logging
|
||||
import time
|
||||
from pathlib import Path
|
||||
from typing import Optional
|
||||
|
||||
import psycopg
|
||||
from psycopg_pool import ConnectionPool
|
||||
|
||||
from .config import Settings
|
||||
|
||||
log = logging.getLogger("messenger.db")
|
||||
|
||||
MIGRATIONS_DIR = Path(__file__).resolve().parent.parent / "migrations"
|
||||
|
||||
# Произвольная константа: один процесс за раз применяет миграции,
|
||||
# даже если одновременно стартуют несколько реплик API (lab3).
|
||||
MIGRATION_LOCK_ID = 2026_0002
|
||||
|
||||
|
||||
def conninfo_kwargs(settings: Settings) -> dict:
|
||||
return {
|
||||
"connect_timeout": settings.db_connect_timeout,
|
||||
# Все timestamptz приходят в UTC; любой запрос ограничен по времени.
|
||||
"options": "-c TimeZone=UTC -c statement_timeout=%d"
|
||||
% settings.db_statement_timeout_ms,
|
||||
"application_name": "messenger-api",
|
||||
}
|
||||
|
||||
|
||||
def create_pool(settings: Settings) -> ConnectionPool:
|
||||
pool = ConnectionPool(
|
||||
conninfo=settings.database_url,
|
||||
kwargs=conninfo_kwargs(settings),
|
||||
min_size=settings.db_pool_min,
|
||||
max_size=settings.db_pool_max,
|
||||
# Сколько запрос ждёт свободное соединение, прежде чем получить 503.
|
||||
timeout=settings.db_pool_timeout,
|
||||
# Битые после рестарта БД соединения отбрасываются при выдаче из пула.
|
||||
check=ConnectionPool.check_connection,
|
||||
max_idle=300,
|
||||
reconnect_timeout=3600,
|
||||
open=False,
|
||||
name="messenger",
|
||||
)
|
||||
# wait=False: процесс поднимается, даже если БД ещё/уже недоступна;
|
||||
# readiness это покажет, а запросы получат 503.
|
||||
pool.open(wait=False)
|
||||
return pool
|
||||
|
||||
|
||||
def _migration_files():
|
||||
files = sorted(MIGRATIONS_DIR.glob("*.sql"))
|
||||
if not files:
|
||||
raise RuntimeError("no migrations found in %s" % MIGRATIONS_DIR)
|
||||
return files
|
||||
|
||||
|
||||
def required_schema_version() -> str:
|
||||
"""Последняя миграция, которую знает этот образ.
|
||||
|
||||
Реплика готова (readiness) только если она уже применена: миграции
|
||||
запускает отдельный сервис `migrate`, а не сама реплика.
|
||||
"""
|
||||
return _migration_files()[-1].stem
|
||||
|
||||
|
||||
def schema_has_version(pool: ConnectionPool, version: str, timeout: float) -> bool:
|
||||
with pool.connection(timeout=timeout) as conn:
|
||||
row = conn.execute(
|
||||
"SELECT to_regclass('schema_migrations') IS NOT NULL"
|
||||
).fetchone()
|
||||
if not row[0]:
|
||||
return False
|
||||
return conn.execute(
|
||||
"SELECT EXISTS (SELECT 1 FROM schema_migrations WHERE version = %s)",
|
||||
(version,),
|
||||
).fetchone()[0]
|
||||
|
||||
|
||||
def apply_migrations(settings: Settings) -> list:
|
||||
"""Применяет недостающие миграции; возвращает список применённых версий."""
|
||||
applied_now = []
|
||||
with psycopg.connect(
|
||||
settings.database_url, autocommit=True, **conninfo_kwargs(settings)
|
||||
) as conn:
|
||||
conn.execute("SELECT pg_advisory_lock(%s)", (MIGRATION_LOCK_ID,))
|
||||
try:
|
||||
conn.execute(
|
||||
"""
|
||||
CREATE TABLE IF NOT EXISTS schema_migrations (
|
||||
version text PRIMARY KEY,
|
||||
applied_at timestamptz NOT NULL DEFAULT now()
|
||||
)
|
||||
"""
|
||||
)
|
||||
done = {
|
||||
row[0]
|
||||
for row in conn.execute("SELECT version FROM schema_migrations")
|
||||
}
|
||||
for path in _migration_files():
|
||||
version = path.stem
|
||||
if version in done:
|
||||
continue
|
||||
sql = path.read_text(encoding="utf-8")
|
||||
# DDL и отметка о версии — одна транзакция: либо всё, либо ничего.
|
||||
with conn.transaction():
|
||||
conn.execute(sql)
|
||||
conn.execute(
|
||||
"INSERT INTO schema_migrations (version) VALUES (%s)",
|
||||
(version,),
|
||||
)
|
||||
applied_now.append(version)
|
||||
log.info("applied migration %s", version)
|
||||
finally:
|
||||
conn.execute("SELECT pg_advisory_unlock(%s)", (MIGRATION_LOCK_ID,))
|
||||
return applied_now
|
||||
|
||||
|
||||
def wait_and_migrate(settings: Settings) -> list:
|
||||
deadline = time.monotonic() + settings.migrate_wait_seconds
|
||||
last_error: Optional[Exception] = None
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
return apply_migrations(settings)
|
||||
except psycopg.OperationalError as exc:
|
||||
last_error = exc
|
||||
log.warning("database not ready for migrations, retrying")
|
||||
time.sleep(1)
|
||||
raise RuntimeError("database unavailable for migrations") from last_error
|
||||
+284
@@ -0,0 +1,284 @@
|
||||
"""Проверка загружаемых изображений по содержимому, с ограниченной памятью.
|
||||
|
||||
Порядок для каждого файла (лимит байт уже применён при чтении тела):
|
||||
1. Сигнатура: PNG (\\x89PNG\\r\\n\\x1a\\n) или JPEG (FF D8 FF). Иное -> 415.
|
||||
2. Сигнатура должна совпасть с заявленным Content-Type (подмена MIME -> 415).
|
||||
3. Размеры читаются из заголовка (PNG IHDR / JPEG SOFn) ДО распаковки пикселей;
|
||||
width*height > MAX_IMAGE_PIXELS -> 413. Распаковка не начинается.
|
||||
4. Целостность без полного декодирования в память:
|
||||
* PNG: обход всех чанков с проверкой CRC, порядка IHDR..IDAT..IEND и
|
||||
потоковая распаковка zlib с выводом кусками по 64 KiB «в никуда»:
|
||||
объём распакованных данных должен в точности равняться ожидаемому
|
||||
(height*(1+rowbytes), с учётом Adam7). Память — O(64 KiB) при любом
|
||||
размере картинки; «zip-бомба» обрывается, как только вывод превысил ожидание.
|
||||
* JPEG: обход маркеров (длины сегментов, SOF до SOS, обязательный EOI).
|
||||
Baseline дополнительно декодируется Pillow в режиме draft (масштаб 1/8,
|
||||
~5 MiB даже для 40 Мп). Progressive Pillow не декодируется: libjpeg держит
|
||||
буфер коэффициентов всего кадра (~120 MiB на 40 Мп, замер в REPORT.md),
|
||||
для него — только структурная проверка.
|
||||
5. Pillow открывает файл независимым парсером: формат и размеры должны совпасть.
|
||||
"""
|
||||
import io
|
||||
import struct
|
||||
import zlib
|
||||
from typing import Tuple
|
||||
|
||||
from PIL import Image, ImageFile
|
||||
|
||||
# Свою проверку пикселей делаем сами (шаг 3) — до вызова Pillow.
|
||||
Image.MAX_IMAGE_PIXELS = None
|
||||
ImageFile.LOAD_TRUNCATED_IMAGES = False
|
||||
|
||||
PNG_SIG = b"\x89PNG\r\n\x1a\n"
|
||||
JPEG_SIG = b"\xff\xd8\xff"
|
||||
INFLATE_CHUNK = 64 * 1024
|
||||
|
||||
PNG_CHANNELS = {0: 1, 2: 3, 3: 1, 4: 2, 6: 4}
|
||||
PNG_DEPTHS = {0: (1, 2, 4, 8, 16), 2: (8, 16), 3: (1, 2, 4, 8), 4: (8, 16), 6: (8, 16)}
|
||||
ADAM7 = ((0, 0, 8, 8), (4, 0, 8, 8), (0, 4, 4, 8), (2, 0, 4, 4), (0, 2, 2, 4), (1, 0, 2, 2), (0, 1, 1, 2))
|
||||
# SOF0..SOF15 без DHT(C4), JPG(C8), DAC(CC)
|
||||
SOF_MARKERS = set(range(0xC0, 0xD0)) - {0xC4, 0xC8, 0xCC}
|
||||
PROGRESSIVE_SOF = {0xC2, 0xC6, 0xCA, 0xCE}
|
||||
|
||||
|
||||
class ImageRejected(Exception):
|
||||
def __init__(self, status: int, code: str, message: str) -> None:
|
||||
super().__init__(message)
|
||||
self.status = status
|
||||
self.code = code
|
||||
self.message = message
|
||||
|
||||
|
||||
def unsupported(message: str = "Unsupported or corrupted image") -> ImageRejected:
|
||||
return ImageRejected(415, "unsupported_media_type", message)
|
||||
|
||||
|
||||
def too_many_pixels() -> ImageRejected:
|
||||
return ImageRejected(413, "payload_too_large", "Image has too many pixels")
|
||||
|
||||
|
||||
def sniff(data) -> str:
|
||||
head = bytes(data[:8])
|
||||
if head.startswith(PNG_SIG):
|
||||
return "image/png"
|
||||
if head.startswith(JPEG_SIG):
|
||||
return "image/jpeg"
|
||||
return ""
|
||||
|
||||
|
||||
# ------------------------------------------------------------------- PNG
|
||||
|
||||
def _png_expected_raw(width: int, height: int, depth: int, color: int, interlace: int) -> int:
|
||||
bpp = depth * PNG_CHANNELS[color]
|
||||
|
||||
def rows(w: int, h: int) -> int:
|
||||
if w == 0 or h == 0:
|
||||
return 0
|
||||
return h * (1 + (w * bpp + 7) // 8)
|
||||
|
||||
if interlace == 0:
|
||||
return rows(width, height)
|
||||
total = 0
|
||||
for x0, y0, dx, dy in ADAM7:
|
||||
pw = (width - x0 + dx - 1) // dx if width > x0 else 0
|
||||
ph = (height - y0 + dy - 1) // dy if height > y0 else 0
|
||||
total += rows(pw, ph)
|
||||
return total
|
||||
|
||||
|
||||
def inspect_png(data, max_pixels: int) -> Tuple[int, int, bool]:
|
||||
view = memoryview(data)
|
||||
size = len(view)
|
||||
pos = 8
|
||||
width = height = 0
|
||||
expected = 0
|
||||
inflater = None
|
||||
produced = 0
|
||||
seen_ihdr = seen_plte = idat_done = False
|
||||
idat_started = False
|
||||
color = 0
|
||||
|
||||
while True:
|
||||
if pos + 12 > size:
|
||||
raise unsupported("Truncated PNG")
|
||||
length, ctype = struct.unpack(">I4s", view[pos:pos + 8])
|
||||
if length > 0x7FFFFFFF or pos + 12 + length > size:
|
||||
raise unsupported("Truncated PNG")
|
||||
if not all(65 <= c <= 90 or 97 <= c <= 122 for c in ctype):
|
||||
raise unsupported("Invalid PNG chunk")
|
||||
body = view[pos + 8:pos + 8 + length]
|
||||
(crc,) = struct.unpack(">I", view[pos + 8 + length:pos + 12 + length])
|
||||
if zlib.crc32(body, zlib.crc32(ctype)) & 0xFFFFFFFF != crc:
|
||||
raise unsupported("PNG CRC mismatch")
|
||||
pos += 12 + length
|
||||
|
||||
if not seen_ihdr:
|
||||
if ctype != b"IHDR" or length != 13:
|
||||
raise unsupported("PNG must start with IHDR")
|
||||
width, height, depth, color, comp, flt, interlace = struct.unpack(">IIBBBBB", body)
|
||||
if not (0 < width <= 0x7FFFFFFF and 0 < height <= 0x7FFFFFFF):
|
||||
raise unsupported("Invalid PNG dimensions")
|
||||
if color not in PNG_DEPTHS or depth not in PNG_DEPTHS[color] or comp or flt or interlace > 1:
|
||||
raise unsupported("Invalid PNG header")
|
||||
# Лимит пикселей — до любой распаковки.
|
||||
if width * height > max_pixels:
|
||||
raise too_many_pixels()
|
||||
expected = _png_expected_raw(width, height, depth, color, interlace)
|
||||
seen_ihdr = True
|
||||
continue
|
||||
|
||||
if ctype == b"IHDR":
|
||||
raise unsupported("Duplicate IHDR")
|
||||
if ctype == b"PLTE":
|
||||
if idat_started:
|
||||
raise unsupported("PLTE after IDAT")
|
||||
seen_plte = True
|
||||
elif ctype == b"IDAT":
|
||||
if idat_done:
|
||||
raise unsupported("Non-contiguous IDAT")
|
||||
if color == 3 and not seen_plte:
|
||||
raise unsupported("Missing PLTE")
|
||||
if not idat_started:
|
||||
idat_started = True
|
||||
inflater = zlib.decompressobj()
|
||||
produced += _inflate(inflater, body, expected - produced)
|
||||
elif ctype == b"IEND":
|
||||
if length != 0 or not idat_started:
|
||||
raise unsupported("Invalid PNG end")
|
||||
produced += _inflate(inflater, b"", expected - produced, final=True)
|
||||
if not inflater.eof or produced != expected:
|
||||
raise unsupported("Corrupted PNG image data")
|
||||
# Данные после IEND не используются декодерами; допускаем.
|
||||
return width, height, bool(interlace)
|
||||
else:
|
||||
if idat_started:
|
||||
idat_done = True
|
||||
if ctype[0] & 0x20 == 0:
|
||||
# Неизвестный КРИТИЧЕСКИЙ чанк (заглавная первая буква): декодер обязан
|
||||
# отказаться от такого файла. Вспомогательные (строчная буква) пропускаем.
|
||||
raise unsupported("Unknown critical PNG chunk")
|
||||
|
||||
|
||||
def _inflate(inflater, data, budget: int, final: bool = False) -> int:
|
||||
"""Распаковать data, не держа в памяти больше ~2 x INFLATE_CHUNK; вернуть объём вывода.
|
||||
|
||||
Вход подаётся срезами memoryview по INFLATE_CHUNK: unconsumed_tail — копия
|
||||
остатка входа, поэтому подача всего IDAT целиком давала бы копию размером с
|
||||
файл на каждом шаге (замер: пик 2x размера файла и квадратичное копирование).
|
||||
"""
|
||||
produced = 0
|
||||
view = memoryview(data)
|
||||
try:
|
||||
for start in range(0, len(view), INFLATE_CHUNK):
|
||||
buf = view[start:start + INFLATE_CHUNK]
|
||||
while True:
|
||||
out = inflater.decompress(buf, INFLATE_CHUNK)
|
||||
produced += len(out)
|
||||
if produced > budget:
|
||||
raise unsupported("Corrupted PNG image data")
|
||||
buf = inflater.unconsumed_tail
|
||||
if not buf:
|
||||
break
|
||||
if final:
|
||||
while True:
|
||||
out = inflater.flush(INFLATE_CHUNK) if not inflater.eof else b""
|
||||
produced += len(out)
|
||||
if produced > budget:
|
||||
raise unsupported("Corrupted PNG image data")
|
||||
if not out:
|
||||
break
|
||||
except zlib.error:
|
||||
raise unsupported("Corrupted PNG image data")
|
||||
return produced
|
||||
|
||||
|
||||
# ------------------------------------------------------------------ JPEG
|
||||
|
||||
def inspect_jpeg(data, max_pixels: int) -> Tuple[int, int, bool]:
|
||||
raw = data if isinstance(data, (bytes, bytearray)) else bytes(data)
|
||||
size = len(raw)
|
||||
pos = 2
|
||||
width = height = 0
|
||||
progressive = False
|
||||
seen_sof = False
|
||||
while True:
|
||||
# Маркер: один или несколько 0xFF, затем код.
|
||||
if pos >= size or raw[pos] != 0xFF:
|
||||
raise unsupported("Corrupted JPEG structure")
|
||||
while pos < size and raw[pos] == 0xFF:
|
||||
pos += 1
|
||||
if pos >= size:
|
||||
raise unsupported("Truncated JPEG")
|
||||
marker = raw[pos]
|
||||
pos += 1
|
||||
if marker == 0xD9: # EOI
|
||||
if not seen_sof:
|
||||
raise unsupported("JPEG without frame")
|
||||
return width, height, progressive
|
||||
if marker == 0x01 or 0xD0 <= marker <= 0xD7:
|
||||
continue
|
||||
if marker == 0xD8 or marker == 0x00:
|
||||
raise unsupported("Corrupted JPEG structure")
|
||||
if pos + 2 > size:
|
||||
raise unsupported("Truncated JPEG")
|
||||
(length,) = struct.unpack(">H", raw[pos:pos + 2])
|
||||
if length < 2 or pos + length > size:
|
||||
raise unsupported("Truncated JPEG")
|
||||
segment = raw[pos + 2:pos + length]
|
||||
pos += length
|
||||
if marker in SOF_MARKERS:
|
||||
if seen_sof or len(segment) < 6:
|
||||
raise unsupported("Invalid JPEG frame")
|
||||
_precision, height, width, ncomp = struct.unpack(">BHHB", segment[:6])
|
||||
if width == 0 or height == 0 or ncomp not in (1, 3, 4) or len(segment) < 6 + 3 * ncomp:
|
||||
raise unsupported("Invalid JPEG frame")
|
||||
if width * height > max_pixels:
|
||||
raise too_many_pixels()
|
||||
progressive = marker in PROGRESSIVE_SOF
|
||||
seen_sof = True
|
||||
elif marker == 0xDA: # SOS: дальше энтропийные данные до следующего маркера
|
||||
if not seen_sof:
|
||||
raise unsupported("JPEG scan before frame")
|
||||
while True:
|
||||
nxt = raw.find(b"\xff", pos)
|
||||
if nxt < 0 or nxt + 1 >= size:
|
||||
raise unsupported("Truncated JPEG")
|
||||
code = raw[nxt + 1]
|
||||
if code == 0x00 or 0xD0 <= code <= 0xD7 or code == 0xFF:
|
||||
pos = nxt + 1 if code == 0xFF else nxt + 2
|
||||
continue
|
||||
pos = nxt
|
||||
break
|
||||
|
||||
|
||||
# -------------------------------------------------------------- common
|
||||
|
||||
def inspect(data, declared_type: str, max_pixels: int) -> Tuple[str, int, int]:
|
||||
"""Вернуть (content_type, width, height) или бросить ImageRejected."""
|
||||
detected = sniff(data)
|
||||
if not detected:
|
||||
raise unsupported("Only PNG and JPEG images are accepted")
|
||||
if detected != declared_type:
|
||||
raise unsupported("Content-Type does not match image content")
|
||||
if detected == "image/png":
|
||||
width, height, _ = inspect_png(data, max_pixels)
|
||||
pil_format = "PNG"
|
||||
decode = False # целостность IDAT уже проверена потоковой распаковкой
|
||||
else:
|
||||
width, height, progressive = inspect_jpeg(data, max_pixels)
|
||||
pil_format = "JPEG"
|
||||
decode = not progressive
|
||||
# Независимый парсер Pillow: только заголовок (open ленивый), затем при
|
||||
# необходимости декодирование уменьшенной копии.
|
||||
try:
|
||||
with Image.open(io.BytesIO(data)) as img:
|
||||
if img.format != pil_format or img.size != (width, height):
|
||||
raise unsupported("Inconsistent image header")
|
||||
if decode:
|
||||
img.draft(None, (max(1, width // 8), max(1, height // 8)))
|
||||
img.load()
|
||||
except ImageRejected:
|
||||
raise
|
||||
except (OSError, SyntaxError, ValueError, struct.error, Image.DecompressionBombError, EOFError):
|
||||
raise unsupported("Corrupted image")
|
||||
return detected, width, height
|
||||
+812
@@ -0,0 +1,812 @@
|
||||
import asyncio
|
||||
import base64
|
||||
import hashlib
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import re
|
||||
import threading
|
||||
import unicodedata
|
||||
import uuid as uuid_mod
|
||||
from contextlib import asynccontextmanager
|
||||
from datetime import datetime
|
||||
from typing import Callable, Dict, Optional, Tuple
|
||||
from uuid import UUID, uuid4
|
||||
|
||||
import psycopg
|
||||
from fastapi import Depends, FastAPI, Query, Request, Response
|
||||
from fastapi.exceptions import RequestValidationError
|
||||
from fastapi.concurrency import run_in_threadpool
|
||||
from fastapi.responses import JSONResponse, StreamingResponse
|
||||
from psycopg_pool import PoolTimeout
|
||||
from starlette.exceptions import HTTPException as StarletteHTTPException
|
||||
from starlette.requests import ClientDisconnect
|
||||
from starlette.middleware.base import BaseHTTPMiddleware
|
||||
|
||||
from .config import load_settings
|
||||
from .db import create_pool, required_schema_version, schema_has_version, wait_and_migrate
|
||||
from .images import ImageRejected, inspect as inspect_image
|
||||
from .models import (
|
||||
Attachment,
|
||||
Chat,
|
||||
ChatCreate,
|
||||
ChatPage,
|
||||
Message,
|
||||
MessageCreate,
|
||||
MessagePage,
|
||||
Session,
|
||||
User,
|
||||
UserCreate,
|
||||
)
|
||||
from .objectstore import ObjectMissing, ObjectStore, ObjectStoreUnavailable
|
||||
from .reconcile import OBJECT_PREFIX, gc_loop
|
||||
from .runtime import DRAIN, INSTANCE_ID
|
||||
from .security import (
|
||||
configure_kdf_concurrency,
|
||||
hash_password,
|
||||
parse_basic,
|
||||
parse_bearer,
|
||||
verify_password,
|
||||
)
|
||||
from .sessions import SessionCache, SessionService
|
||||
from .storage import (
|
||||
AttachmentNotFound,
|
||||
IdempotencyConflict,
|
||||
IdempotencyRace,
|
||||
NotChatMember,
|
||||
Storage,
|
||||
UnknownMember,
|
||||
UsernameTaken,
|
||||
)
|
||||
|
||||
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(name)s %(message)s")
|
||||
log = logging.getLogger("messenger.api")
|
||||
|
||||
BASIC_CHALLENGE = 'Basic realm="messenger", charset="UTF-8"'
|
||||
BEARER_CHALLENGE = 'Bearer realm="messenger"'
|
||||
REQUEST_ID_RE = re.compile(r"^[A-Za-z0-9._:-]{1,128}$")
|
||||
# Контракт lab3: Idempotency-Key — ASCII [A-Za-z0-9._:-]{1,128}.
|
||||
IDEMPOTENCY_KEY_RE = re.compile(r"[A-Za-z0-9._:-]{1,128}")
|
||||
|
||||
|
||||
def _idempotency_cleanup_loop(storage: Storage, interval: float, stop: threading.Event) -> None:
|
||||
"""Фоновая очистка истёкших ключей. Advisory lock — одна реплика за раз."""
|
||||
while not stop.wait(interval):
|
||||
try:
|
||||
deleted = storage.delete_expired_idempotency_keys()
|
||||
if deleted:
|
||||
log.info("deleted %d expired idempotency keys", deleted)
|
||||
except Exception as exc: # БД недоступна — попробуем в следующий раз
|
||||
log.warning("idempotency cleanup skipped: %s", type(exc).__name__)
|
||||
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(app: FastAPI):
|
||||
settings = load_settings()
|
||||
if settings.run_migrations_on_start:
|
||||
# Только для локальной разработки. В compose миграции выполняет
|
||||
# отдельный one-shot сервис `migrate` до старта реплик.
|
||||
applied = wait_and_migrate(settings)
|
||||
log.info("migrations applied at startup: %s", applied or "none")
|
||||
configure_kdf_concurrency(settings.password_hash_concurrency)
|
||||
pool = create_pool(settings)
|
||||
storage = Storage(pool)
|
||||
cache = SessionCache(settings)
|
||||
app.state.settings = settings
|
||||
app.state.storage = storage
|
||||
app.state.cache = cache
|
||||
app.state.sessions = SessionService(storage, cache, settings)
|
||||
app.state.required_schema = required_schema_version()
|
||||
app.state.schema_ok = False
|
||||
stop_cleanup = threading.Event()
|
||||
cleanup = threading.Thread(
|
||||
target=_idempotency_cleanup_loop,
|
||||
args=(storage, settings.idempotency_cleanup_interval_seconds, stop_cleanup),
|
||||
name="idempotency-cleanup",
|
||||
daemon=True,
|
||||
)
|
||||
cleanup.start()
|
||||
# lab4: S3 и ограничители ресурсов загрузок (на реплику).
|
||||
app.state.objects = ObjectStore(settings) if ObjectStore.configured(settings) else None
|
||||
app.state.upload_slots = asyncio.Semaphore(settings.max_concurrent_uploads)
|
||||
app.state.decode_slots = threading.BoundedSemaphore(settings.image_decode_concurrency)
|
||||
if app.state.objects is not None:
|
||||
threading.Thread(
|
||||
target=gc_loop,
|
||||
args=(pool, app.state.objects, settings, stop_cleanup),
|
||||
name="attachment-gc",
|
||||
daemon=True,
|
||||
).start()
|
||||
else:
|
||||
log.warning("S3 is not configured: attachment endpoints return 503")
|
||||
log.info(
|
||||
"attachments: s3=%s bucket=%s max_bytes=%d max_pixels=%d uploads<=%d decode<=%d gc_grace=%ss fault=%s",
|
||||
"on" if app.state.objects is not None else "off",
|
||||
settings.s3_bucket,
|
||||
settings.max_upload_bytes,
|
||||
settings.max_image_pixels,
|
||||
settings.max_concurrent_uploads,
|
||||
settings.image_decode_concurrency,
|
||||
settings.attachment_gc_grace_seconds,
|
||||
settings.fault_injection or "none",
|
||||
)
|
||||
log.info(
|
||||
"started: instance=%s version=%s session_ttl=%ss cache=%s pool=%s..%s schema>=%s",
|
||||
INSTANCE_ID,
|
||||
settings.app_version,
|
||||
settings.session_ttl_seconds,
|
||||
"redis" if cache.client is not None else "disabled",
|
||||
settings.db_pool_min,
|
||||
settings.db_pool_max,
|
||||
app.state.required_schema,
|
||||
)
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
log.info("shutdown: instance=%s closing pool", INSTANCE_ID)
|
||||
stop_cleanup.set()
|
||||
pool.close()
|
||||
if cache.client is not None:
|
||||
cache.client.close()
|
||||
|
||||
|
||||
app = FastAPI(
|
||||
title="MTUSI Messenger (lab4: S3 attachments)",
|
||||
version="4.0.0",
|
||||
lifespan=lifespan,
|
||||
)
|
||||
|
||||
|
||||
# Request ID
|
||||
|
||||
class RequestIdMiddleware(BaseHTTPMiddleware):
|
||||
async def dispatch(self, request: Request, call_next: Callable):
|
||||
incoming = request.headers.get("X-Request-Id", "")
|
||||
request_id = incoming if REQUEST_ID_RE.match(incoming) else str(uuid4())
|
||||
request.state.request_id = request_id
|
||||
response = await call_next(request)
|
||||
response.headers["X-Request-Id"] = request_id
|
||||
response.headers["X-Instance-Id"] = INSTANCE_ID
|
||||
if DRAIN.active:
|
||||
# Во время осушения не держим keep-alive: следующий запрос клиент/LB
|
||||
# откроет новым соединением — уже к другой реплике.
|
||||
response.headers["Connection"] = "close"
|
||||
return response
|
||||
|
||||
|
||||
app.add_middleware(RequestIdMiddleware)
|
||||
|
||||
|
||||
# errors
|
||||
|
||||
class ApiError(Exception):
|
||||
def __init__(self, status_code: int, code: str, message: str, headers: Optional[Dict[str, str]] = None):
|
||||
self.status_code = status_code
|
||||
self.code = code
|
||||
self.message = message
|
||||
self.headers = headers or {}
|
||||
|
||||
|
||||
def unauthorized(challenge: str = BEARER_CHALLENGE) -> ApiError:
|
||||
return ApiError(401, "unauthorized", "Authentication required", {"WWW-Authenticate": challenge})
|
||||
|
||||
|
||||
def bad_request(message: str = "Invalid request") -> ApiError:
|
||||
return ApiError(400, "invalid_request", message)
|
||||
|
||||
|
||||
def not_found() -> ApiError:
|
||||
return ApiError(404, "not_found", "Not found")
|
||||
|
||||
|
||||
def error_response(
|
||||
request: Request,
|
||||
status_code: int,
|
||||
code: str,
|
||||
message: str,
|
||||
headers: Optional[Dict[str, str]] = None,
|
||||
) -> JSONResponse:
|
||||
request_id = getattr(request.state, "request_id", None) or str(uuid4())
|
||||
all_headers = {"X-Request-Id": request_id, "X-Instance-Id": INSTANCE_ID}
|
||||
all_headers.update(headers or {})
|
||||
return JSONResponse(
|
||||
status_code=status_code,
|
||||
content={"error": {"code": code, "message": message, "request_id": request_id}},
|
||||
headers=all_headers,
|
||||
)
|
||||
|
||||
|
||||
@app.exception_handler(ApiError)
|
||||
async def api_error_handler(request: Request, exc: ApiError) -> JSONResponse:
|
||||
return error_response(request, exc.status_code, exc.code, exc.message, exc.headers)
|
||||
|
||||
|
||||
@app.exception_handler(RequestValidationError)
|
||||
async def validation_exception_handler(request: Request, exc: RequestValidationError) -> JSONResponse:
|
||||
return error_response(request, 400, "invalid_request", "Invalid request")
|
||||
|
||||
|
||||
@app.exception_handler(StarletteHTTPException)
|
||||
async def http_exception_handler(request: Request, exc: StarletteHTTPException) -> JSONResponse:
|
||||
status_to_code = {
|
||||
400: "invalid_request",
|
||||
401: "unauthorized",
|
||||
404: "not_found",
|
||||
409: "conflict",
|
||||
413: "payload_too_large",
|
||||
415: "unsupported_media_type",
|
||||
429: "rate_limited",
|
||||
503: "unavailable",
|
||||
}
|
||||
status_code = exc.status_code if exc.status_code in status_to_code else 500
|
||||
code = status_to_code.get(status_code, "internal_error")
|
||||
message = str(exc.detail) if status_code != 500 else "Internal server error"
|
||||
return error_response(request, status_code, code, message)
|
||||
|
||||
|
||||
async def dependency_unavailable(request: Request, exc: Exception) -> JSONResponse:
|
||||
# Наружу — только общий 503, без SQL, адресов и текста драйвера.
|
||||
log.warning("database unavailable: %s", type(exc).__name__)
|
||||
return error_response(request, 503, "unavailable", "Service temporarily unavailable")
|
||||
|
||||
|
||||
app.add_exception_handler(psycopg.OperationalError, dependency_unavailable)
|
||||
app.add_exception_handler(psycopg.InterfaceError, dependency_unavailable)
|
||||
app.add_exception_handler(PoolTimeout, dependency_unavailable)
|
||||
|
||||
|
||||
@app.exception_handler(Exception)
|
||||
async def unexpected_exception_handler(request: Request, exc: Exception) -> JSONResponse:
|
||||
log.exception("unexpected error")
|
||||
return error_response(request, 500, "internal_error", "Internal server error")
|
||||
|
||||
|
||||
# helpers
|
||||
|
||||
def require_json_content_type(request: Request) -> None:
|
||||
content_type = request.headers.get("content-type", "")
|
||||
if not content_type.lower().startswith("application/json"):
|
||||
raise ApiError(415, "unsupported_media_type", "Unsupported media type")
|
||||
|
||||
|
||||
def ensure_not_blank(value: str) -> None:
|
||||
if not value.strip():
|
||||
raise bad_request()
|
||||
|
||||
|
||||
def storage_of(request: Request) -> Storage:
|
||||
return request.app.state.storage
|
||||
|
||||
|
||||
def current_user(request: Request) -> User:
|
||||
"""Только Authorization: Bearer. Basic и X-User-Id здесь не дают доступа."""
|
||||
token = parse_bearer(request.headers.get("Authorization"))
|
||||
if token is None:
|
||||
raise unauthorized()
|
||||
user = request.app.state.sessions.resolve(token)
|
||||
if user is None:
|
||||
raise unauthorized()
|
||||
request.state.token = token
|
||||
return user
|
||||
|
||||
|
||||
def encode_cursor(resource_id: UUID, created_at: datetime, item_id: UUID) -> str:
|
||||
payload = {
|
||||
"resource_id": str(resource_id),
|
||||
"created_at": created_at.isoformat(),
|
||||
"item_id": str(item_id),
|
||||
}
|
||||
raw = json.dumps(payload, separators=(",", ":")).encode("utf-8")
|
||||
return base64.urlsafe_b64encode(raw).decode("ascii").rstrip("=")
|
||||
|
||||
|
||||
def decode_cursor(cursor: Optional[str], expected_resource_id: UUID) -> Optional[Tuple[datetime, UUID]]:
|
||||
if cursor is None:
|
||||
return None
|
||||
try:
|
||||
padding = "=" * (-len(cursor) % 4)
|
||||
raw = base64.urlsafe_b64decode(cursor + padding)
|
||||
payload = json.loads(raw.decode("utf-8"))
|
||||
resource_id = UUID(payload["resource_id"])
|
||||
created_at = datetime.fromisoformat(payload["created_at"])
|
||||
item_id = UUID(payload["item_id"])
|
||||
if created_at.tzinfo is None or created_at.utcoffset() is None:
|
||||
raise ValueError("invalid_cursor")
|
||||
except (ValueError, KeyError, TypeError, AttributeError, json.JSONDecodeError):
|
||||
raise bad_request("Invalid cursor")
|
||||
if resource_id != expected_resource_id:
|
||||
raise bad_request("Invalid cursor")
|
||||
return created_at, item_id
|
||||
|
||||
|
||||
# health
|
||||
|
||||
@app.get("/health/live", response_model=Dict[str, str])
|
||||
def liveness() -> Dict[str, str]:
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@app.get("/health/ready", response_model=Dict[str, str])
|
||||
def readiness(request: Request) -> Dict[str, str]:
|
||||
"""Готовность к обязательному синхронному пути.
|
||||
|
||||
* SIGTERM получен (фаза осушения) -> 503: LB выводит реплику из ротации;
|
||||
* PostgreSQL недоступна за READY_DB_TIMEOUT_SECONDS -> 503;
|
||||
* схема ещё не мигрирована до версии, которую знает образ -> 503
|
||||
(миграции выполняет отдельный сервис `migrate`).
|
||||
Redis не критичен: это кэш с обходом (см. REPORT.md).
|
||||
"""
|
||||
if DRAIN.active:
|
||||
raise ApiError(503, "unavailable", "Instance is shutting down")
|
||||
state = request.app.state
|
||||
timeout = state.settings.ready_db_timeout_seconds
|
||||
try:
|
||||
if state.schema_ok:
|
||||
with state.storage.pool.connection(timeout=timeout) as conn:
|
||||
conn.execute("SELECT 1")
|
||||
elif schema_has_version(state.storage.pool, state.required_schema, timeout):
|
||||
state.schema_ok = True
|
||||
else:
|
||||
raise ApiError(503, "unavailable", "Database schema is not migrated")
|
||||
except (psycopg.Error, PoolTimeout):
|
||||
raise ApiError(503, "unavailable", "Database is not available")
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
# users
|
||||
|
||||
@app.post("/api/v1/users", response_model=User, status_code=201)
|
||||
def register_user(request: Request, data: UserCreate) -> User:
|
||||
require_json_content_type(request)
|
||||
ensure_not_blank(data.display_name)
|
||||
ensure_not_blank(data.password)
|
||||
password_hash = hash_password(data.password)
|
||||
try:
|
||||
return storage_of(request).create_user(data.username, data.display_name, password_hash)
|
||||
except UsernameTaken:
|
||||
raise ApiError(409, "conflict", "Username already exists")
|
||||
|
||||
|
||||
@app.get("/api/v1/users/me", response_model=User)
|
||||
def get_current_user(user: User = Depends(current_user)) -> User:
|
||||
return user
|
||||
|
||||
|
||||
# sessions
|
||||
|
||||
async def require_empty_body(request: Request) -> None:
|
||||
"""Вход — только заголовок Authorization: Basic, без тела (контракт).
|
||||
|
||||
Любые байты в теле (JSON или нет) — 400. Проверка выполняется до
|
||||
дорогой проверки пароля и до создания сессии.
|
||||
"""
|
||||
if await request.body():
|
||||
raise bad_request("Request body is not allowed")
|
||||
|
||||
|
||||
@app.post("/api/v1/auth/sessions", response_model=Session, status_code=201,
|
||||
dependencies=[Depends(require_empty_body)])
|
||||
def create_session(request: Request) -> Session:
|
||||
credentials = parse_basic(request.headers.get("Authorization"))
|
||||
if credentials is None:
|
||||
raise unauthorized(BASIC_CHALLENGE)
|
||||
username, password = credentials
|
||||
found = storage_of(request).get_credentials(username)
|
||||
user, password_hash = found if found else (None, None)
|
||||
# verify_password выполняется и для несуществующего username (с хешем-пустышкой).
|
||||
if not verify_password(password_hash, password) or user is None:
|
||||
raise unauthorized(BASIC_CHALLENGE)
|
||||
token, expires_at = request.app.state.sessions.create(user)
|
||||
return Session(token=token, token_type="Bearer", expires_at=expires_at, user=user)
|
||||
|
||||
|
||||
@app.delete("/api/v1/auth/sessions/current", status_code=204)
|
||||
def delete_current_session(request: Request, user: User = Depends(current_user)) -> Response:
|
||||
if not request.app.state.sessions.revoke(request.state.token):
|
||||
raise unauthorized()
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
# chats
|
||||
|
||||
@app.post("/api/v1/chats", response_model=Chat, status_code=201)
|
||||
def create_chat(request: Request, data: ChatCreate, user: User = Depends(current_user)) -> Chat:
|
||||
require_json_content_type(request)
|
||||
ensure_not_blank(data.title)
|
||||
if len(data.member_ids) != len(set(data.member_ids)):
|
||||
raise bad_request("Duplicate member ids")
|
||||
if user.id not in data.member_ids:
|
||||
raise bad_request("Caller must be a chat member")
|
||||
try:
|
||||
return storage_of(request).create_chat(data.title, data.member_ids)
|
||||
except UnknownMember:
|
||||
raise bad_request("Unknown member")
|
||||
|
||||
|
||||
@app.get("/api/v1/chats", response_model=ChatPage)
|
||||
def list_chats(
|
||||
request: Request,
|
||||
user: User = Depends(current_user),
|
||||
limit: int = Query(default=50, ge=1, le=100),
|
||||
cursor: Optional[str] = Query(default=None, min_length=1),
|
||||
) -> ChatPage:
|
||||
after = decode_cursor(cursor, user.id)
|
||||
items, has_more = storage_of(request).list_user_chats(user.id, limit, after)
|
||||
next_cursor = None
|
||||
if has_more and items:
|
||||
next_cursor = encode_cursor(user.id, items[-1].created_at, items[-1].id)
|
||||
return ChatPage(items=items, next_cursor=next_cursor)
|
||||
|
||||
|
||||
@app.get("/api/v1/chats/{chat_id}", response_model=Chat)
|
||||
def get_chat(request: Request, chat_id: UUID, user: User = Depends(current_user)) -> Chat:
|
||||
chat = storage_of(request).get_chat_for_member(chat_id, user.id)
|
||||
if chat is None:
|
||||
raise not_found()
|
||||
return chat
|
||||
|
||||
|
||||
# messages
|
||||
|
||||
def request_fingerprint(data: MessageCreate) -> bytes:
|
||||
"""SHA-256 канонического JSON тела.
|
||||
|
||||
Канонизация: проверенная модель -> JSON с сортировкой ключей и без пробелов.
|
||||
Поэтому порядок ключей и форматирование исходного JSON не влияют на hash.
|
||||
lab4: attachment_ids имеет значение по умолчанию [], поэтому отсутствующее
|
||||
поле и явный [] дают одинаковый hash (контракт). Порядок id значим.
|
||||
"""
|
||||
canonical = json.dumps(
|
||||
data.model_dump(mode="json"), sort_keys=True, separators=(",", ":"), ensure_ascii=False
|
||||
)
|
||||
return hashlib.sha256(canonical.encode("utf-8")).digest()
|
||||
|
||||
|
||||
@app.post("/api/v1/chats/{chat_id}/messages", response_model=Message, status_code=201)
|
||||
def create_message(
|
||||
request: Request,
|
||||
response: Response,
|
||||
chat_id: UUID,
|
||||
data: MessageCreate,
|
||||
user: User = Depends(current_user),
|
||||
) -> Message:
|
||||
# Порядок: аутентификация (dependency) -> ключ -> тело -> доступ к чату.
|
||||
key = request.headers.get("Idempotency-Key")
|
||||
if key is None or not IDEMPOTENCY_KEY_RE.fullmatch(key):
|
||||
raise bad_request("Missing or invalid Idempotency-Key")
|
||||
require_json_content_type(request)
|
||||
# lab4: пустой/пробельный текст допустим только вместе с вложениями.
|
||||
if not data.attachment_ids:
|
||||
ensure_not_blank(data.text)
|
||||
if len(set(data.attachment_ids)) != len(data.attachment_ids):
|
||||
raise bad_request("Duplicate attachment ids")
|
||||
settings = request.app.state.settings
|
||||
try:
|
||||
message, replayed = storage_of(request).create_message(
|
||||
chat_id,
|
||||
user.id,
|
||||
data.text,
|
||||
key,
|
||||
request_fingerprint(data),
|
||||
settings.idempotency_ttl_seconds,
|
||||
data.attachment_ids,
|
||||
)
|
||||
except (NotChatMember, AttachmentNotFound):
|
||||
# Чужое, неизвестное или ещё не готовое вложение — как и чужой чат: 404.
|
||||
raise not_found()
|
||||
except IdempotencyConflict:
|
||||
raise ApiError(409, "conflict", "Idempotency-Key was used with a different request")
|
||||
except IdempotencyRace:
|
||||
raise ApiError(503, "unavailable", "Please retry with the same Idempotency-Key")
|
||||
if replayed:
|
||||
# Информационный заголовок (не часть контракта): ответ — повтор.
|
||||
response.headers["Idempotency-Replayed"] = "true"
|
||||
return message
|
||||
|
||||
|
||||
@app.get("/api/v1/chats/{chat_id}/messages", response_model=MessagePage)
|
||||
def list_messages(
|
||||
request: Request,
|
||||
chat_id: UUID,
|
||||
user: User = Depends(current_user),
|
||||
limit: int = Query(default=50, ge=1, le=100),
|
||||
cursor: Optional[str] = Query(default=None, min_length=1),
|
||||
) -> MessagePage:
|
||||
after = decode_cursor(cursor, chat_id)
|
||||
result = storage_of(request).list_messages(chat_id, user.id, limit, after)
|
||||
if result is None:
|
||||
raise not_found()
|
||||
items, has_more = result
|
||||
next_cursor = None
|
||||
if has_more and items:
|
||||
next_cursor = encode_cursor(chat_id, items[-1].created_at, items[-1].id)
|
||||
return MessagePage(items=items, next_cursor=next_cursor)
|
||||
|
||||
|
||||
# attachments (lab4)
|
||||
|
||||
ALLOWED_UPLOAD_TYPES = ("image/png", "image/jpeg")
|
||||
UPLOAD_CHUNK = 64 * 1024
|
||||
KNOWN_VARIANTS = ("thumbnail", "crop", "optimized")
|
||||
|
||||
|
||||
async def s3_call(store: ObjectStore, deadline: float, fn, *args):
|
||||
"""Вызов S3 из запроса с жёстким общим дедлайном.
|
||||
|
||||
connect/read timeout boto3 не покрывают DNS: в Docker остановленный
|
||||
контейнер s3 пропадает из DNS, и getaddrinfo висит секундами (замер на
|
||||
Docker Desktop: 10–13 с, у скачивания это давало 504 от HAProxy). Дедлайн
|
||||
ограничивает всё вместе; по истечении — 503 и открытый circuit breaker.
|
||||
Поток с зависшим вызовом доработает в фоне; для PUT это может дать
|
||||
объект-сироту, его уберёт сборщик (src/reconcile.py, проход B).
|
||||
"""
|
||||
try:
|
||||
return await asyncio.wait_for(run_in_threadpool(fn, *args), timeout=deadline)
|
||||
except asyncio.TimeoutError:
|
||||
store.breaker.failure()
|
||||
log.warning("s3 call exceeded %.1fs deadline", deadline)
|
||||
raise ObjectStoreUnavailable()
|
||||
|
||||
|
||||
def objects_of(request: Request) -> ObjectStore:
|
||||
store = request.app.state.objects
|
||||
if store is None:
|
||||
raise ApiError(503, "unavailable", "Attachment storage is not available")
|
||||
return store
|
||||
|
||||
|
||||
def s3_unavailable() -> ApiError:
|
||||
return ApiError(503, "unavailable", "Attachment storage is temporarily unavailable",
|
||||
{"Retry-After": "2"})
|
||||
|
||||
|
||||
def validate_filename(name: Optional[str]) -> str:
|
||||
"""Отображаемое имя: 1–255 code points, без /, \\, NUL и управляющих символов.
|
||||
|
||||
Имя никогда не становится путём или ключом S3; ограничения защищают
|
||||
клиентов, которые покажут/сохранят файл под этим именем.
|
||||
"""
|
||||
if name is None or not name.strip() or len(name) > 255:
|
||||
raise bad_request("Invalid filename")
|
||||
if name in (".", ".."):
|
||||
raise bad_request("Invalid filename")
|
||||
for ch in name:
|
||||
if ch in "/\\\x00" or unicodedata.category(ch) in ("Cc", "Cs") \
|
||||
or ch in "
":
|
||||
raise bad_request("Invalid filename")
|
||||
return name
|
||||
|
||||
|
||||
def upload_media_type(request: Request) -> str:
|
||||
raw = request.headers.get("content-type", "")
|
||||
media = raw.split(";", 1)[0].strip().lower()
|
||||
if media not in ALLOWED_UPLOAD_TYPES:
|
||||
raise ApiError(415, "unsupported_media_type", "Only image/png and image/jpeg are accepted")
|
||||
return media
|
||||
|
||||
|
||||
def declared_length(request: Request) -> Optional[int]:
|
||||
raw = request.headers.get("content-length")
|
||||
if raw is None:
|
||||
return None
|
||||
if not raw.strip().isdigit():
|
||||
raise bad_request("Invalid Content-Length")
|
||||
return int(raw)
|
||||
|
||||
|
||||
async def drain(request: Request, limit: int) -> None:
|
||||
"""Дочитать и выбросить тело (не больше limit байт), чтобы клиент увидел 413,
|
||||
а не обрыв соединения посреди отправки. Память — O(chunk)."""
|
||||
seen = 0
|
||||
try:
|
||||
async for chunk in request.stream():
|
||||
seen += len(chunk)
|
||||
if seen > limit:
|
||||
break
|
||||
except ClientDisconnect:
|
||||
pass
|
||||
|
||||
|
||||
async def read_limited_body(request: Request, limit: int):
|
||||
"""Потоковое чтение тела кусками; не больше limit байт в памяти.
|
||||
|
||||
Возвращает (bytes, md5, sha256). Превышение лимита -> 413 сразу, как только
|
||||
счётчик перешёл limit (остаток тела отбрасывается, не накапливается).
|
||||
"""
|
||||
chunks = []
|
||||
size = 0
|
||||
md5 = hashlib.md5(usedforsecurity=False)
|
||||
sha = hashlib.sha256()
|
||||
async for chunk in request.stream():
|
||||
if not chunk:
|
||||
continue
|
||||
size += len(chunk)
|
||||
if size > limit:
|
||||
chunks.clear()
|
||||
await drain(request, limit)
|
||||
raise ApiError(413, "payload_too_large", "File exceeds %d bytes" % limit)
|
||||
chunks.append(chunk)
|
||||
md5.update(chunk)
|
||||
sha.update(chunk)
|
||||
# Одна склейка в bytes точного размера; список кусков сразу освобождается.
|
||||
# Дальше bytes не копируются: BytesIO(bytes) и memoryview разделяют буфер.
|
||||
data = b"".join(chunks)
|
||||
chunks.clear()
|
||||
return data, md5.digest(), sha.hexdigest()
|
||||
|
||||
|
||||
def _validate_image(request: Request, data: bytes, declared: str):
|
||||
settings = request.app.state.settings
|
||||
with request.app.state.decode_slots: # потолок одновременных разборов на реплику
|
||||
return inspect_image(data, declared, settings.max_image_pixels)
|
||||
|
||||
|
||||
def _inject(settings, point: str) -> None:
|
||||
"""Внедрение отказов — ТОЛЬКО для экземпляра api-faults (профиль compose faults)."""
|
||||
fault = settings.fault_injection
|
||||
if not fault:
|
||||
return
|
||||
if fault == "crash_after_s3_put" and point == "after_put":
|
||||
log.error("FAULT_INJECTION: process exit between S3 PUT and DB COMMIT")
|
||||
os._exit(70)
|
||||
if fault == "db_error_after_s3_put" and point == "after_put":
|
||||
raise psycopg.OperationalError("injected: database failure after S3 PUT")
|
||||
if fault == "s3_error_on_put" and point == "before_put":
|
||||
raise ObjectStoreUnavailable()
|
||||
|
||||
|
||||
@app.post("/api/v1/chats/{chat_id}/attachments", response_model=Attachment, status_code=201)
|
||||
async def upload_attachment(
|
||||
request: Request,
|
||||
chat_id: UUID,
|
||||
filename: Optional[str] = Query(default=None),
|
||||
user: User = Depends(current_user),
|
||||
) -> Attachment:
|
||||
"""Синхронная загрузка оригинала: 201 только после S3 PUT и COMMIT ready.
|
||||
|
||||
Порядок проверок: аутентификация -> filename (400) -> Content-Type (415) ->
|
||||
Content-Length (413 без чтения тела) -> членство в чате (404) -> слот
|
||||
загрузки (503) -> потоковое чтение с лимитом (413) -> содержимое (415/413)
|
||||
-> [1] pending в БД -> [2] S3 PUT -> [3] ready в БД. См. src/reconcile.py.
|
||||
"""
|
||||
settings = request.app.state.settings
|
||||
storage = storage_of(request)
|
||||
name = validate_filename(filename)
|
||||
declared = upload_media_type(request)
|
||||
length = declared_length(request)
|
||||
if length is not None and length > settings.max_upload_bytes:
|
||||
if length <= 2 * settings.max_upload_bytes:
|
||||
await drain(request, length)
|
||||
raise ApiError(413, "payload_too_large", "File exceeds %d bytes" % settings.max_upload_bytes,
|
||||
{"Connection": "close"} if length > 2 * settings.max_upload_bytes else None)
|
||||
if not await run_in_threadpool(storage.is_chat_member, chat_id, user.id):
|
||||
raise not_found()
|
||||
store = objects_of(request)
|
||||
|
||||
slots: asyncio.Semaphore = request.app.state.upload_slots
|
||||
try:
|
||||
await asyncio.wait_for(slots.acquire(), timeout=settings.upload_queue_timeout_seconds)
|
||||
except asyncio.TimeoutError:
|
||||
raise ApiError(503, "unavailable", "Too many concurrent uploads", {"Retry-After": "1"})
|
||||
try:
|
||||
try:
|
||||
data, md5_digest, sha256_hex = await asyncio.wait_for(
|
||||
read_limited_body(request, settings.max_upload_bytes),
|
||||
timeout=settings.upload_read_timeout_seconds,
|
||||
)
|
||||
except asyncio.TimeoutError:
|
||||
raise bad_request("Upload was not completed in time")
|
||||
except ClientDisconnect:
|
||||
# Клиент оборвал загрузку: в БД и S3 ничего не записано.
|
||||
log.info("upload aborted by client before completion")
|
||||
raise bad_request("Upload was interrupted")
|
||||
|
||||
try:
|
||||
content_type, width, height = await run_in_threadpool(_validate_image, request, data, declared)
|
||||
except ImageRejected as exc:
|
||||
raise ApiError(exc.status, exc.code, exc.message)
|
||||
|
||||
attachment_id = uuid_mod.uuid4()
|
||||
# Ключ назначает сервер: случайный, не связан ни с filename, ни с id вложения.
|
||||
object_key = "%s%s" % (OBJECT_PREFIX, uuid_mod.uuid4().hex)
|
||||
# [1] намерение
|
||||
created = await run_in_threadpool(
|
||||
storage.create_pending_attachment, attachment_id, chat_id, user.id, name,
|
||||
content_type, len(data), sha256_hex, width, height, object_key,
|
||||
)
|
||||
if not created:
|
||||
raise not_found()
|
||||
# [2] байты
|
||||
try:
|
||||
_inject(settings, "before_put")
|
||||
await s3_call(store, settings.s3_upload_deadline_seconds,
|
||||
store.put, object_key, data, content_type, md5_digest, sha256_hex)
|
||||
except ObjectStoreUnavailable:
|
||||
await _compensate(storage, store, attachment_id, None)
|
||||
raise s3_unavailable()
|
||||
finally:
|
||||
del data
|
||||
# [3] фиксация
|
||||
try:
|
||||
_inject(settings, "after_put")
|
||||
attachment = await run_in_threadpool(storage.mark_attachment_ready, attachment_id)
|
||||
except (psycopg.Error, PoolTimeout):
|
||||
await _compensate(storage, store, attachment_id, object_key)
|
||||
raise
|
||||
if attachment is None:
|
||||
# Строку уже забрал сборщик (загрузка шла дольше grace) — объект лишний.
|
||||
await _compensate(storage, store, attachment_id, object_key)
|
||||
raise ApiError(503, "unavailable", "Upload expired, please retry")
|
||||
return attachment
|
||||
finally:
|
||||
slots.release()
|
||||
|
||||
|
||||
async def _compensate(storage: Storage, store: ObjectStore, attachment_id: UUID, object_key: Optional[str]) -> None:
|
||||
"""Best-effort откат в рамках запроса. Если не удалось — уберёт сборщик."""
|
||||
if object_key is not None:
|
||||
try:
|
||||
await s3_call(store, 5.0, store.delete, object_key)
|
||||
except Exception as exc:
|
||||
log.warning("compensation: object delete deferred to gc (%s)", type(exc).__name__)
|
||||
try:
|
||||
await run_in_threadpool(storage.delete_pending_attachment, attachment_id)
|
||||
except Exception as exc:
|
||||
log.warning("compensation: pending row left for gc (%s)", type(exc).__name__)
|
||||
|
||||
|
||||
@app.get("/api/v1/attachments/{attachment_id}", response_model=Attachment)
|
||||
def get_attachment(request: Request, attachment_id: UUID, user: User = Depends(current_user)) -> Attachment:
|
||||
found = storage_of(request).get_attachment_for_member(attachment_id, user.id)
|
||||
if found is None:
|
||||
raise not_found()
|
||||
return found[0]
|
||||
|
||||
|
||||
def content_disposition(filename: str) -> str:
|
||||
from urllib.parse import quote
|
||||
ascii_name = "".join(c if 32 <= ord(c) < 127 and c not in ('"', "\\", ";") else "_" for c in filename)
|
||||
return "inline; filename=\"%s\"; filename*=UTF-8''%s" % (ascii_name, quote(filename, safe=""))
|
||||
|
||||
|
||||
@app.get("/api/v1/attachments/{attachment_id}/content")
|
||||
async def download_attachment(
|
||||
request: Request,
|
||||
attachment_id: UUID,
|
||||
variant: Optional[str] = Query(default=None),
|
||||
user: User = Depends(current_user),
|
||||
):
|
||||
"""Байты оригинала через авторизованный API (без redirect), потоком из S3."""
|
||||
if variant is not None and variant != "original" and variant not in KNOWN_VARIANTS:
|
||||
raise bad_request("Invalid variant")
|
||||
found = await run_in_threadpool(storage_of(request).get_attachment_for_member, attachment_id, user.id)
|
||||
if found is None:
|
||||
raise not_found()
|
||||
attachment, object_key = found
|
||||
if variant in KNOWN_VARIANTS:
|
||||
# lab4 не создаёт вариантов (variants=[]): у ready-вложения их нет.
|
||||
raise not_found()
|
||||
store = objects_of(request)
|
||||
try:
|
||||
chunks, length = await s3_call(store, request.app.state.settings.s3_download_deadline_seconds,
|
||||
store.open, object_key)
|
||||
except ObjectStoreUnavailable:
|
||||
raise s3_unavailable()
|
||||
except ObjectMissing:
|
||||
log.error("ready attachment %s has no object in S3 (see python -m src.reconcile)", attachment.id)
|
||||
raise ApiError(500, "internal_error", "Internal server error")
|
||||
if length != attachment.size_bytes:
|
||||
chunks.close() # закрыть поток S3
|
||||
log.error("attachment %s: object size differs from metadata", attachment.id)
|
||||
raise ApiError(500, "internal_error", "Internal server error")
|
||||
return StreamingResponse(
|
||||
chunks,
|
||||
media_type=attachment.content_type,
|
||||
headers={
|
||||
"Content-Length": str(attachment.size_bytes),
|
||||
"Cache-Control": "private, no-store",
|
||||
"X-Content-Type-Options": "nosniff",
|
||||
"Content-Disposition": content_disposition(attachment.filename),
|
||||
"ETag": '"%s"' % attachment.sha256,
|
||||
},
|
||||
)
|
||||
@@ -0,0 +1,25 @@
|
||||
"""Однократный запуск миграций: python -m src.migrate
|
||||
|
||||
lab3: это команда one-shot сервиса `migrate` в compose.yaml. Реплики API
|
||||
миграции не применяют (RUN_MIGRATIONS_ON_START=false) и стартуют только после
|
||||
успешного завершения `migrate` (depends_on: service_completed_successfully).
|
||||
Повторный запуск ничего не меняет; одновременный запуск нескольких копий
|
||||
сериализуется pg_advisory_lock (см. src/db.py).
|
||||
"""
|
||||
import logging
|
||||
|
||||
from .config import load_settings
|
||||
from .db import wait_and_migrate
|
||||
|
||||
|
||||
def main() -> None:
|
||||
logging.basicConfig(level=logging.INFO, format="%(levelname)s %(name)s %(message)s")
|
||||
applied = wait_and_migrate(load_settings())
|
||||
if applied:
|
||||
print("applied migrations: " + ", ".join(applied))
|
||||
else:
|
||||
print("schema is up to date; nothing applied")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
+104
@@ -0,0 +1,104 @@
|
||||
from datetime import datetime
|
||||
from typing import List, Optional
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, ConfigDict, Field
|
||||
|
||||
|
||||
class StrictModel(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
|
||||
class UserCreate(StrictModel):
|
||||
username: str = Field(
|
||||
min_length=3,
|
||||
max_length=32,
|
||||
pattern=r"^[a-z0-9_]{3,32}$",
|
||||
)
|
||||
display_name: str = Field(
|
||||
min_length=1,
|
||||
max_length=100,
|
||||
)
|
||||
# lab2: пароль обязателен; длина в Unicode code points (len() в Python).
|
||||
password: str = Field(
|
||||
min_length=12,
|
||||
max_length=128,
|
||||
)
|
||||
|
||||
|
||||
class User(StrictModel):
|
||||
id: UUID
|
||||
username: str
|
||||
display_name: str
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class Session(StrictModel):
|
||||
token: str
|
||||
token_type: str = "Bearer"
|
||||
expires_at: datetime
|
||||
user: User
|
||||
|
||||
|
||||
class ChatCreate(StrictModel):
|
||||
title: str = Field(
|
||||
min_length=1,
|
||||
max_length=100,
|
||||
)
|
||||
member_ids: List[UUID] = Field(
|
||||
min_length=1,
|
||||
max_length=100,
|
||||
)
|
||||
|
||||
|
||||
class Chat(StrictModel):
|
||||
id: UUID
|
||||
title: str
|
||||
member_ids: List[UUID]
|
||||
created_at: datetime
|
||||
|
||||
|
||||
class MessageCreate(StrictModel):
|
||||
# lab4: text="" допустим, если есть хотя бы одно вложение (проверка в main.py).
|
||||
text: str = Field(
|
||||
min_length=0,
|
||||
max_length=4000,
|
||||
)
|
||||
# Отсутствующее поле == [] (контракт); значение по умолчанию попадает и в
|
||||
# канонический JSON отпечатка идемпотентности.
|
||||
attachment_ids: List[UUID] = Field(default_factory=list, max_length=10)
|
||||
|
||||
|
||||
class Message(StrictModel):
|
||||
id: UUID
|
||||
chat_id: UUID
|
||||
sender_id: UUID
|
||||
text: str
|
||||
created_at: datetime
|
||||
attachment_ids: List[UUID] = Field(default_factory=list)
|
||||
|
||||
|
||||
class Attachment(StrictModel):
|
||||
id: UUID
|
||||
chat_id: UUID
|
||||
owner_id: UUID
|
||||
filename: str
|
||||
content_type: str
|
||||
size_bytes: int
|
||||
sha256: str
|
||||
# lab4: синхронная загрузка, в API видны только готовые вложения.
|
||||
status: str = "ready"
|
||||
variants: List[dict] = Field(default_factory=list)
|
||||
error_code: Optional[str] = None
|
||||
created_at: datetime
|
||||
updated_at: datetime
|
||||
|
||||
|
||||
class ChatPage(StrictModel):
|
||||
items: List[Chat]
|
||||
next_cursor: Optional[str]
|
||||
|
||||
|
||||
class MessagePage(StrictModel):
|
||||
items: List[Message]
|
||||
next_cursor: Optional[str]
|
||||
@@ -0,0 +1,226 @@
|
||||
"""Приватное S3-совместимое хранилище оригиналов (lab4: SeaweedFS).
|
||||
|
||||
API работает с отдельными credentials, у которых есть только Read/Write/List
|
||||
на один бакет (см. infra/seaweedfs/README.md): создать/удалить бакет или
|
||||
прочитать другой бакет этими ключами нельзя. Административные ключи есть
|
||||
только у one-shot сервиса s3-init (src/s3_bootstrap.py).
|
||||
|
||||
Все вызовы ограничены по времени (connect/read timeout, не более
|
||||
S3_MAX_ATTEMPTS попыток), поэтому недоступность S3 превращается в быстрый 503
|
||||
для операций с вложениями, а не в зависший запрос.
|
||||
"""
|
||||
import base64
|
||||
import hashlib
|
||||
import io
|
||||
import logging
|
||||
import threading
|
||||
import time
|
||||
from datetime import datetime
|
||||
from typing import Iterator, List, Optional, Tuple
|
||||
|
||||
import boto3
|
||||
from botocore.config import Config
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
|
||||
from .config import Settings
|
||||
|
||||
log = logging.getLogger("messenger.s3")
|
||||
|
||||
CHUNK = 64 * 1024
|
||||
|
||||
|
||||
class ObjectStoreUnavailable(Exception):
|
||||
"""S3 недоступен, таймаут или 5xx -> 503 для клиента."""
|
||||
|
||||
|
||||
class ObjectMissing(Exception):
|
||||
"""Объекта нет в бакете (404/NoSuchKey)."""
|
||||
|
||||
|
||||
def _code(exc: ClientError) -> str:
|
||||
return str(exc.response.get("Error", {}).get("Code", ""))
|
||||
|
||||
|
||||
def _status(exc: ClientError) -> int:
|
||||
return int(exc.response.get("ResponseMetadata", {}).get("HTTPStatusCode", 0) or 0)
|
||||
|
||||
|
||||
def make_client(endpoint: str, region: str, access_key: str, secret_key: str,
|
||||
connect_timeout: float = 2.0, read_timeout: float = 10.0, max_attempts: int = 2):
|
||||
config = Config(
|
||||
signature_version="s3v4",
|
||||
s3={"addressing_style": "path"},
|
||||
connect_timeout=connect_timeout,
|
||||
read_timeout=read_timeout,
|
||||
retries={"max_attempts": max_attempts, "mode": "standard"},
|
||||
# Соединения на реплику: не больше, чем одновременных загрузок + скачиваний.
|
||||
max_pool_connections=32,
|
||||
)
|
||||
return boto3.client(
|
||||
"s3",
|
||||
endpoint_url=endpoint,
|
||||
region_name=region,
|
||||
aws_access_key_id=access_key,
|
||||
aws_secret_access_key=secret_key,
|
||||
config=config,
|
||||
)
|
||||
|
||||
|
||||
class CircuitBreaker:
|
||||
"""После отказа S3 следующие open_seconds операции сразу получают
|
||||
ObjectStoreUnavailable, не тратя время на DNS/connect/повторы. Затем —
|
||||
одна пробная попытка (half-open): успех закрывает, отказ снова открывает."""
|
||||
|
||||
def __init__(self, open_seconds: float) -> None:
|
||||
self.open_seconds = open_seconds
|
||||
self._lock = threading.Lock()
|
||||
self._open_until = 0.0
|
||||
|
||||
def check(self) -> None:
|
||||
with self._lock:
|
||||
now = time.monotonic()
|
||||
if now < self._open_until:
|
||||
raise ObjectStoreUnavailable()
|
||||
if self._open_until:
|
||||
# half-open: пропускаем одну попытку, остальные пока отклоняем
|
||||
self._open_until = now + self.open_seconds
|
||||
|
||||
def failure(self) -> None:
|
||||
with self._lock:
|
||||
if not self._open_until or time.monotonic() >= self._open_until - self.open_seconds:
|
||||
log.warning("s3 circuit opened for %.1fs", self.open_seconds)
|
||||
self._open_until = time.monotonic() + self.open_seconds
|
||||
|
||||
def success(self) -> None:
|
||||
with self._lock:
|
||||
self._open_until = 0.0
|
||||
|
||||
@property
|
||||
def is_open(self) -> bool:
|
||||
return time.monotonic() < self._open_until
|
||||
|
||||
|
||||
class ObjectStore:
|
||||
def __init__(self, settings: Settings) -> None:
|
||||
self.bucket = settings.s3_bucket
|
||||
self.breaker = CircuitBreaker(settings.s3_circuit_open_seconds)
|
||||
self.client = make_client(
|
||||
settings.s3_endpoint,
|
||||
settings.s3_region,
|
||||
settings.s3_access_key_id,
|
||||
settings.s3_secret_access_key,
|
||||
settings.s3_connect_timeout_seconds,
|
||||
settings.s3_read_timeout_seconds,
|
||||
settings.s3_max_attempts,
|
||||
)
|
||||
|
||||
@staticmethod
|
||||
def configured(settings: Settings) -> bool:
|
||||
return bool(settings.s3_endpoint and settings.s3_access_key_id and settings.s3_secret_access_key)
|
||||
|
||||
def _wrap(self, exc: Exception, op: str) -> Exception:
|
||||
if isinstance(exc, ClientError):
|
||||
code, status = _code(exc), _status(exc)
|
||||
if status == 404 or code in ("NoSuchKey", "NotFound", "404"):
|
||||
self.breaker.success() # S3 ответил — он доступен
|
||||
return ObjectMissing()
|
||||
log.warning("s3 %s failed: %s/%s", op, status, code)
|
||||
else:
|
||||
log.warning("s3 %s failed: %s", op, type(exc).__name__)
|
||||
self.breaker.failure()
|
||||
return ObjectStoreUnavailable()
|
||||
|
||||
def put(self, key: str, data, content_type: str, md5_digest: bytes, sha256_hex: str) -> None:
|
||||
"""PUT с Content-MD5: S3 сам отклонит повреждённую по пути передачу (BadDigest).
|
||||
|
||||
Тело передаётся как BytesIO поверх bytes (без копирования): botocore
|
||||
отправляет файловый объект блоками. С bytes он склеивает заголовки и тело
|
||||
в один буфер — лишняя копия размером с файл на каждую загрузку (замер в REPORT.md).
|
||||
"""
|
||||
self.breaker.check()
|
||||
try:
|
||||
self.client.put_object(
|
||||
Bucket=self.bucket,
|
||||
Key=key,
|
||||
Body=io.BytesIO(data),
|
||||
ContentType=content_type,
|
||||
ContentMD5=base64.b64encode(md5_digest).decode("ascii"),
|
||||
Metadata={"sha256": sha256_hex},
|
||||
)
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
raise self._wrap(exc, "put")
|
||||
self.breaker.success()
|
||||
|
||||
def open(self, key: str) -> Tuple[Iterator[bytes], int]:
|
||||
"""Потоковое чтение: (итератор кусков по 64 KiB, длина). Память — O(chunk)."""
|
||||
self.breaker.check()
|
||||
try:
|
||||
obj = self.client.get_object(Bucket=self.bucket, Key=key)
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
raise self._wrap(exc, "get")
|
||||
self.breaker.success()
|
||||
body = obj["Body"]
|
||||
|
||||
def chunks() -> Iterator[bytes]:
|
||||
try:
|
||||
for chunk in body.iter_chunks(CHUNK):
|
||||
yield chunk
|
||||
finally:
|
||||
body.close()
|
||||
|
||||
return chunks(), int(obj.get("ContentLength", -1))
|
||||
|
||||
def read_all(self, key: str, limit: int) -> bytes:
|
||||
"""Для сверки/тестов: прочитать объект целиком (не больше limit байт)."""
|
||||
it, _ = self.open(key)
|
||||
out = bytearray()
|
||||
for chunk in it:
|
||||
out += chunk
|
||||
if len(out) > limit:
|
||||
raise ValueError("object exceeds limit")
|
||||
return bytes(out)
|
||||
|
||||
def delete(self, key: str) -> None:
|
||||
"""Идемпотентно: удаление отсутствующего объекта — не ошибка."""
|
||||
self.breaker.check()
|
||||
try:
|
||||
self.client.delete_object(Bucket=self.bucket, Key=key)
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
err = self._wrap(exc, "delete")
|
||||
if not isinstance(err, ObjectMissing):
|
||||
raise err
|
||||
|
||||
def head(self, key: str) -> Optional[dict]:
|
||||
self.breaker.check()
|
||||
try:
|
||||
return self.client.head_object(Bucket=self.bucket, Key=key)
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
err = self._wrap(exc, "head")
|
||||
if isinstance(err, ObjectMissing):
|
||||
return None
|
||||
raise err
|
||||
|
||||
def list_page(self, prefix: str, token: Optional[str] = None,
|
||||
page_size: int = 1000) -> Tuple[List[Tuple[str, datetime, int]], Optional[str]]:
|
||||
kwargs = {"Bucket": self.bucket, "Prefix": prefix, "MaxKeys": page_size}
|
||||
if token:
|
||||
kwargs["ContinuationToken"] = token
|
||||
self.breaker.check()
|
||||
try:
|
||||
resp = self.client.list_objects_v2(**kwargs)
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
raise self._wrap(exc, "list")
|
||||
items = [(o["Key"], o["LastModified"], int(o.get("Size", 0))) for o in resp.get("Contents", [])]
|
||||
next_token = resp.get("NextContinuationToken") if resp.get("IsTruncated") else None
|
||||
return items, next_token
|
||||
|
||||
def ping(self) -> bool:
|
||||
try:
|
||||
self.client.head_bucket(Bucket=self.bucket)
|
||||
return True
|
||||
except (ClientError, BotoCoreError):
|
||||
return False
|
||||
|
||||
|
||||
def md5_and_sha256(data: bytes) -> Tuple[bytes, str]:
|
||||
return hashlib.md5(data).digest(), hashlib.sha256(data).hexdigest()
|
||||
@@ -0,0 +1,237 @@
|
||||
"""Согласованность PostgreSQL (метаданные) и S3 (байты): сборка мусора и сверка.
|
||||
|
||||
Почему неучтённых объектов «навсегда» не бывает (подробно — REPORT.md):
|
||||
|
||||
загрузка: [1] INSERT attachments(state=pending, object_key) COMMIT
|
||||
[2] S3 PUT object_key
|
||||
[3] UPDATE state=ready WHERE state=pending COMMIT -> 201
|
||||
Ключ объекта записан в БД ДО того, как объект появится в бакете.
|
||||
|
||||
Сбой/обрыв между шагами:
|
||||
после [1] -> строка pending без объекта;
|
||||
после [2] -> строка pending + объект (S3 прошёл, COMMIT [3] — нет);
|
||||
ошибка S3 в [2] -> API сам компенсирует: DELETE pending;
|
||||
ошибка БД в [3] -> API сам компенсирует: DELETE object (pending уберёт GC).
|
||||
Процесс может умереть в любой точке, поэтому компенсация в запросе —
|
||||
оптимизация, а гарантию даёт сборщик:
|
||||
|
||||
A. stale pending: строки pending старше GRACE. Сначала строка удаляется
|
||||
(DELETE ... WHERE state='pending' RETURNING object_key — атомарный захват:
|
||||
если запрос всё-таки успел сделать [3], строка уже ready и не удаляется),
|
||||
затем удаляется объект. Если удаление объекта не удалось — объект стал
|
||||
«сиротой» и будет убран проходом B.
|
||||
B. orphan objects: объекты в бакете (префикс originals/), для ключа которых
|
||||
в БД нет строки, и LastModified старше GRACE. Строка всегда создаётся
|
||||
раньше объекта и после удаления не возрождается (ключ одноразовый),
|
||||
поэтому «нет строки» + «старше GRACE» = объект не принадлежит живой загрузке.
|
||||
C. missing objects: строки ready без объекта (или с другим размером) — только
|
||||
отчёт: восстановить байты нельзя, удалять метаданные автоматически опасно.
|
||||
|
||||
GRACE (ATTACHMENT_GC_GRACE_SECONDS, по умолчанию 900 с, минимум 300 с) много
|
||||
больше самой долгой загрузки: чтение тела <= UPLOAD_READ_TIMEOUT_SECONDS (60 с)
|
||||
+ проверка + S3 PUT (connect 2 с + read 10 с) x S3_MAX_ATTEMPTS (2).
|
||||
Строки ready и вложения, на которые ссылаются сообщения, сборщик не трогает
|
||||
никогда (FK message_attachments -> attachments ON DELETE RESTRICT).
|
||||
|
||||
CLI (по умолчанию dry-run, ничего не меняет):
|
||||
python -m src.reconcile # отчёт
|
||||
python -m src.reconcile --apply # исправить A и B
|
||||
python -m src.reconcile --apply --grace-seconds 0 # только на учебном стенде
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import logging
|
||||
import time
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from typing import Dict, List, Optional
|
||||
|
||||
from psycopg_pool import ConnectionPool
|
||||
|
||||
from .objectstore import ObjectStore, ObjectStoreUnavailable
|
||||
|
||||
log = logging.getLogger("messenger.reconcile")
|
||||
|
||||
OBJECT_PREFIX = "originals/"
|
||||
GC_LOCK_ID = 2026_0004
|
||||
BATCH = 500
|
||||
|
||||
|
||||
def _try_lock(conn) -> bool:
|
||||
return conn.execute("SELECT pg_try_advisory_lock(%s)", (GC_LOCK_ID,)).fetchone()[0]
|
||||
|
||||
|
||||
def _unlock(conn) -> None:
|
||||
conn.execute("SELECT pg_advisory_unlock(%s)", (GC_LOCK_ID,))
|
||||
|
||||
|
||||
def collect_stale_pending(pool: ConnectionPool, store: ObjectStore, grace_seconds: int,
|
||||
apply: bool, report: Dict) -> None:
|
||||
"""Проход A. dry-run: только подсчёт; apply: строка -> затем объект."""
|
||||
with pool.connection() as conn:
|
||||
rows = conn.execute(
|
||||
"""
|
||||
SELECT id, object_key FROM attachments
|
||||
WHERE state = 'pending' AND created_at < clock_timestamp() - make_interval(secs => %s)
|
||||
ORDER BY created_at LIMIT %s
|
||||
""",
|
||||
(grace_seconds, BATCH),
|
||||
).fetchall()
|
||||
report["stale_pending"] = len(rows)
|
||||
report["stale_pending_ids"] = [str(r[0]) for r in rows[:20]]
|
||||
if not apply:
|
||||
return
|
||||
deleted_rows = deleted_objects = 0
|
||||
for att_id, _key in rows:
|
||||
with pool.connection() as conn:
|
||||
claimed = conn.execute(
|
||||
"""
|
||||
DELETE FROM attachments
|
||||
WHERE id = %s AND state = 'pending'
|
||||
AND created_at < clock_timestamp() - make_interval(secs => %s)
|
||||
RETURNING object_key
|
||||
""",
|
||||
(att_id, grace_seconds),
|
||||
).fetchone()
|
||||
if claimed is None:
|
||||
continue # загрузка успела завершиться (ready) — не трогаем
|
||||
deleted_rows += 1
|
||||
try:
|
||||
store.delete(claimed[0])
|
||||
deleted_objects += 1
|
||||
except ObjectStoreUnavailable:
|
||||
# Объект стал сиротой без строки; его уберёт проход B.
|
||||
log.warning("gc: object delete deferred to orphan sweep")
|
||||
report["stale_pending_rows_deleted"] = deleted_rows
|
||||
report["stale_pending_object_deletes"] = deleted_objects
|
||||
|
||||
|
||||
def sweep_orphans(pool: ConnectionPool, store: ObjectStore, grace_seconds: int,
|
||||
apply: bool, report: Dict, verify_ready: bool = True) -> None:
|
||||
"""Проходы B и C: полный обход префикса бакета страницами по 1000."""
|
||||
cutoff = datetime.now(timezone.utc) - timedelta(seconds=grace_seconds)
|
||||
token: Optional[str] = None
|
||||
listed = orphans = orphans_young = deleted = 0
|
||||
seen_keys: List[str] = []
|
||||
orphan_sample: List[str] = []
|
||||
started = time.monotonic()
|
||||
while True:
|
||||
items, token = store.list_page(OBJECT_PREFIX, token)
|
||||
listed += len(items)
|
||||
if items:
|
||||
keys = [k for k, _, _ in items]
|
||||
with pool.connection() as conn:
|
||||
known = {r[0] for r in conn.execute(
|
||||
"SELECT object_key FROM attachments WHERE object_key = ANY(%s)", (keys,)
|
||||
).fetchall()}
|
||||
for key, modified, _size in items:
|
||||
if key in known:
|
||||
if verify_ready:
|
||||
seen_keys.append(key)
|
||||
continue
|
||||
orphans += 1
|
||||
if modified > cutoff:
|
||||
orphans_young += 1 # возможно, живая загрузка или ещё не истёк grace
|
||||
continue
|
||||
if len(orphan_sample) < 20:
|
||||
orphan_sample.append(key)
|
||||
if apply:
|
||||
# Повторная проверка непосредственно перед удалением.
|
||||
with pool.connection() as conn:
|
||||
again = conn.execute(
|
||||
"SELECT 1 FROM attachments WHERE object_key = %s", (key,)
|
||||
).fetchone()
|
||||
if again is None:
|
||||
store.delete(key)
|
||||
deleted += 1
|
||||
if not token:
|
||||
break
|
||||
report["objects_listed"] = listed
|
||||
report["orphan_objects"] = orphans
|
||||
report["orphan_objects_within_grace"] = orphans_young
|
||||
report["orphan_objects_sample"] = orphan_sample
|
||||
if apply:
|
||||
report["orphan_objects_deleted"] = deleted
|
||||
report["bucket_scan_seconds"] = round(time.monotonic() - started, 3)
|
||||
|
||||
if verify_ready:
|
||||
# C: ready-строки, для которых объекта нет в листинге (или не тот размер).
|
||||
present = set(seen_keys)
|
||||
with pool.connection() as conn:
|
||||
rows = conn.execute(
|
||||
"SELECT id, object_key, size_bytes FROM attachments WHERE state = 'ready'"
|
||||
).fetchall()
|
||||
missing = [str(r[0]) for r in rows if r[1] not in present]
|
||||
report["ready_rows"] = len(rows)
|
||||
report["missing_objects"] = len(missing)
|
||||
report["missing_object_ids"] = missing[:20]
|
||||
|
||||
|
||||
def run_once(pool: ConnectionPool, store: ObjectStore, grace_seconds: int, apply: bool,
|
||||
orphan_sweep: bool = True) -> Optional[Dict]:
|
||||
"""Один проход под advisory lock. None — сейчас работает другая реплика."""
|
||||
report: Dict = {"mode": "apply" if apply else "dry-run", "grace_seconds": grace_seconds}
|
||||
with pool.connection() as lock_conn:
|
||||
lock_conn.autocommit = True
|
||||
if not _try_lock(lock_conn):
|
||||
return None
|
||||
try:
|
||||
collect_stale_pending(pool, store, grace_seconds, apply, report)
|
||||
if orphan_sweep:
|
||||
sweep_orphans(pool, store, grace_seconds, apply, report)
|
||||
finally:
|
||||
_unlock(lock_conn)
|
||||
# Соединение вернётся в общий пул — режим транзакций как у остальных.
|
||||
lock_conn.autocommit = False
|
||||
return report
|
||||
|
||||
|
||||
def gc_loop(pool: ConnectionPool, store: ObjectStore, settings, stop) -> None:
|
||||
"""Фон в каждой реплике: проход A каждые N с, проход B — реже. Lock — одна реплика."""
|
||||
last_sweep = time.monotonic()
|
||||
while not stop.wait(settings.attachment_gc_interval_seconds):
|
||||
try:
|
||||
sweep = time.monotonic() - last_sweep >= settings.orphan_sweep_interval_seconds
|
||||
report = run_once(pool, store, settings.attachment_gc_grace_seconds, apply=True,
|
||||
orphan_sweep=sweep)
|
||||
if report is None:
|
||||
continue
|
||||
if sweep:
|
||||
last_sweep = time.monotonic()
|
||||
if report.get("stale_pending") or report.get("orphan_objects_deleted") or report.get("missing_objects"):
|
||||
log.info("attachment gc: %s", json.dumps(report, ensure_ascii=False))
|
||||
except Exception as exc: # БД/S3 недоступны — следующий проход повторит
|
||||
log.warning("attachment gc skipped: %s", type(exc).__name__)
|
||||
|
||||
|
||||
def main() -> None:
|
||||
parser = argparse.ArgumentParser(description="Reconcile attachments metadata (PostgreSQL) with S3 objects")
|
||||
parser.add_argument("--apply", action="store_true", help="delete stale pending rows and orphan objects")
|
||||
parser.add_argument("--grace-seconds", type=int, default=None,
|
||||
help="override ATTACHMENT_GC_GRACE_SECONDS (values < 300 only for lab tests)")
|
||||
parser.add_argument("--no-orphan-sweep", action="store_true", help="skip bucket listing")
|
||||
args = parser.parse_args()
|
||||
logging.basicConfig(level=logging.INFO, format="%(levelname)s %(name)s %(message)s")
|
||||
|
||||
from .config import load_settings
|
||||
from .db import create_pool
|
||||
|
||||
settings = load_settings()
|
||||
if not ObjectStore.configured(settings):
|
||||
raise SystemExit("S3 is not configured")
|
||||
grace = settings.attachment_gc_grace_seconds if args.grace_seconds is None else args.grace_seconds
|
||||
pool = create_pool(settings)
|
||||
pool.wait(timeout=15)
|
||||
store = ObjectStore(settings)
|
||||
try:
|
||||
started = time.monotonic()
|
||||
report = run_once(pool, store, grace, args.apply, orphan_sweep=not args.no_orphan_sweep)
|
||||
if report is None:
|
||||
raise SystemExit("another reconciler holds the lock; retry later")
|
||||
report["total_seconds"] = round(time.monotonic() - started, 3)
|
||||
print(json.dumps(report, ensure_ascii=False, indent=2))
|
||||
finally:
|
||||
pool.close()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,39 @@
|
||||
"""Состояние процесса, общее для middleware, readiness и сервера.
|
||||
|
||||
INSTANCE_ID — значение X-Instance-Id. По умолчанию hostname контейнера:
|
||||
Docker задаёт его равным короткому ID контейнера, поэтому scripts/ops.py
|
||||
однозначно сопоставляет заголовок конкретному контейнеру (stop-one).
|
||||
Значение не меняется в течение жизни процесса.
|
||||
|
||||
DRAIN — фаза «осушения» после SIGTERM (см. src/server.py): процесс ещё
|
||||
обслуживает запросы, но /health/ready уже отвечает 503, и балансировщик
|
||||
выводит реплику из ротации до того, как она перестанет принимать соединения.
|
||||
"""
|
||||
import os
|
||||
import socket
|
||||
import threading
|
||||
import time
|
||||
from typing import Optional
|
||||
|
||||
INSTANCE_ID = os.environ.get("INSTANCE_ID", "").strip() or socket.gethostname()
|
||||
|
||||
|
||||
class Drain:
|
||||
def __init__(self) -> None:
|
||||
self._event = threading.Event()
|
||||
self.started_at: Optional[float] = None
|
||||
|
||||
def begin(self) -> bool:
|
||||
"""True, если осушение началось этим вызовом."""
|
||||
if self._event.is_set():
|
||||
return False
|
||||
self.started_at = time.monotonic()
|
||||
self._event.set()
|
||||
return True
|
||||
|
||||
@property
|
||||
def active(self) -> bool:
|
||||
return self._event.is_set()
|
||||
|
||||
|
||||
DRAIN = Drain()
|
||||
@@ -0,0 +1,226 @@
|
||||
"""Bootstrap и проверка приватного бакета: python -m src.s3_bootstrap
|
||||
|
||||
Запускается one-shot сервисом `s3-init` до старта API (depends_on
|
||||
service_completed_successfully). Идемпотентно: повторный запуск не меняет
|
||||
данные — BucketAlreadyOwnedByYou считается успехом.
|
||||
|
||||
Проверки (любое нарушение -> exit 1, API не стартует):
|
||||
* API-ключи могут PUT/GET/DELETE в своём бакете (проба в префиксе _bootstrap/,
|
||||
который сборщик мусора не обходит);
|
||||
* API-ключи НЕ могут создать бакет (нет прав администратора);
|
||||
* анонимный GET объекта и анонимный листинг бакета -> 403;
|
||||
* административные HTTP-порты SeaweedFS (master 9333, filer 8888,
|
||||
volume 8080) не слушают в общей сети — доступен только S3 API.
|
||||
|
||||
python -m src.s3_bootstrap # s3-init: создать бакет + проверки
|
||||
python -m src.s3_bootstrap --check-only # только проверки (без admin-ключей)
|
||||
python -m src.s3_bootstrap --check-only --sample-from-db
|
||||
# + анонимный GET реального объекта последнего ready-вложения -> 403,
|
||||
# GET тем же ключом с API-credentials -> 200 и совпадает SHA-256.
|
||||
python -m src.s3_bootstrap --wait-ready 90
|
||||
# прогрев после рестарта: ждать, пока запись/чтение пробного объекта и
|
||||
# чтение СУЩЕСТВУЮЩЕГО объекта занимают < 2 с. SeaweedFS отвечает /healthz
|
||||
# сразу, но первые чтение/запись после рестарта блокируются на 15–30 с
|
||||
# (выборы Raft-лидера master, heartbeat volume-сервера; замер в REPORT.md).
|
||||
Значения ключей не печатаются.
|
||||
"""
|
||||
import argparse
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import socket
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
from urllib.parse import quote, urlparse
|
||||
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
|
||||
from .config import _read_secret
|
||||
from .objectstore import make_client
|
||||
|
||||
ADMIN_PORTS = (9333, 8888, 8080, 19333, 18888)
|
||||
|
||||
|
||||
def anonymous_status(url: str) -> int:
|
||||
req = urllib.request.Request(url, method="GET")
|
||||
try:
|
||||
with urllib.request.urlopen(req, timeout=5) as resp:
|
||||
return resp.status
|
||||
except urllib.error.HTTPError as exc:
|
||||
return exc.code
|
||||
|
||||
|
||||
def port_open(host: str, port: int) -> bool:
|
||||
try:
|
||||
with socket.create_connection((host, port), timeout=1.5):
|
||||
return True
|
||||
except OSError:
|
||||
return False
|
||||
|
||||
|
||||
def wait_ready(timeout: float) -> int:
|
||||
"""Ждать, пока S3 быстро (< 2 с на операцию) выполняет запись, чтение и удаление
|
||||
пробного объекта и чтение реального (самого старого ready) объекта, если он есть."""
|
||||
import psycopg
|
||||
endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/")
|
||||
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
|
||||
client = make_client(endpoint, os.environ.get("S3_REGION", "us-east-1"), _read_secret("S3_ACCESS_KEY_ID"),
|
||||
_read_secret("S3_SECRET_ACCESS_KEY"), 1, 2, 1)
|
||||
started = time.monotonic()
|
||||
key = None
|
||||
looked_up = False
|
||||
while time.monotonic() - started < timeout:
|
||||
try:
|
||||
if not looked_up and _read_secret("DATABASE_URL"):
|
||||
with psycopg.connect(_read_secret("DATABASE_URL"), connect_timeout=3) as conn:
|
||||
row = conn.execute("SELECT object_key FROM attachments WHERE state = 'ready' "
|
||||
"ORDER BY created_at LIMIT 1").fetchone()
|
||||
key = row[0] if row else None
|
||||
looked_up = True
|
||||
t = time.monotonic()
|
||||
probe = "_bootstrap/warmup-%s" % uuid.uuid4().hex
|
||||
client.put_object(Bucket=bucket, Key=probe, Body=b"warmup")
|
||||
client.get_object(Bucket=bucket, Key=probe)["Body"].read()
|
||||
client.delete_object(Bucket=bucket, Key=probe)
|
||||
if key:
|
||||
client.get_object(Bucket=bucket, Key=key)["Body"].read()
|
||||
print(json.dumps({"s3_ready_after_s": round(time.monotonic() - started, 2),
|
||||
"last_cycle_s": round(time.monotonic() - t, 3),
|
||||
"existing_object_read": bool(key)}))
|
||||
return 0
|
||||
except (ClientError, BotoCoreError, OSError, psycopg.Error):
|
||||
time.sleep(0.5)
|
||||
print("S3 did not become ready for reads/writes within %.0fs" % timeout, file=sys.stderr)
|
||||
return 1
|
||||
|
||||
|
||||
def main() -> int:
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("--check-only", action="store_true")
|
||||
parser.add_argument("--sample-from-db", action="store_true")
|
||||
parser.add_argument("--wait-ready", type=float, default=0.0, metavar="SECONDS")
|
||||
args = parser.parse_args()
|
||||
if args.wait_ready:
|
||||
return wait_ready(args.wait_ready)
|
||||
|
||||
endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/")
|
||||
region = os.environ.get("S3_REGION", "us-east-1")
|
||||
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
|
||||
wait_seconds = int(os.environ.get("S3_BOOTSTRAP_WAIT_SECONDS", "90"))
|
||||
report = {"endpoint_host": urlparse(endpoint).hostname, "bucket": bucket, "checks": []}
|
||||
ok = True
|
||||
|
||||
def check(name, condition, detail=""):
|
||||
nonlocal ok
|
||||
ok = ok and bool(condition)
|
||||
report["checks"].append({"check": name, "ok": bool(condition), "detail": detail})
|
||||
|
||||
api_key = _read_secret("S3_ACCESS_KEY_ID")
|
||||
api_secret = _read_secret("S3_SECRET_ACCESS_KEY")
|
||||
if not (api_key and api_secret):
|
||||
print("S3 API credentials are not configured", file=sys.stderr)
|
||||
return 2
|
||||
api = make_client(endpoint, region, api_key, api_secret, 2, 10, 2)
|
||||
|
||||
if not args.check_only:
|
||||
admin_key = _read_secret("S3_ADMIN_ACCESS_KEY_ID")
|
||||
admin_secret = _read_secret("S3_ADMIN_SECRET_ACCESS_KEY")
|
||||
if not (admin_key and admin_secret):
|
||||
print("S3 admin credentials are not configured", file=sys.stderr)
|
||||
return 2
|
||||
admin = make_client(endpoint, region, admin_key, admin_secret, 2, 10, 1)
|
||||
deadline = time.monotonic() + wait_seconds
|
||||
while True:
|
||||
try:
|
||||
admin.list_buckets()
|
||||
break
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
if time.monotonic() > deadline:
|
||||
print("S3 is not reachable: %s" % type(exc).__name__, file=sys.stderr)
|
||||
return 1
|
||||
time.sleep(1)
|
||||
try:
|
||||
admin.create_bucket(Bucket=bucket)
|
||||
report["bucket_action"] = "created"
|
||||
except ClientError as exc:
|
||||
code = exc.response.get("Error", {}).get("Code")
|
||||
if code in ("BucketAlreadyOwnedByYou", "BucketAlreadyExists"):
|
||||
report["bucket_action"] = "already exists (idempotent no-op)"
|
||||
else:
|
||||
print("create_bucket failed: %s" % code, file=sys.stderr)
|
||||
return 1
|
||||
|
||||
# Проба API-ключами.
|
||||
probe_key = "_bootstrap/probe-%s" % uuid.uuid4().hex
|
||||
body = b"probe " + uuid.uuid4().bytes
|
||||
try:
|
||||
api.put_object(Bucket=bucket, Key=probe_key, Body=body)
|
||||
got = api.get_object(Bucket=bucket, Key=probe_key)["Body"].read()
|
||||
check("api credentials: put/get own bucket", got == body)
|
||||
except (ClientError, BotoCoreError) as exc:
|
||||
check("api credentials: put/get own bucket", False, type(exc).__name__)
|
||||
got = None
|
||||
|
||||
status = anonymous_status("%s/%s/%s" % (endpoint, bucket, quote(probe_key)))
|
||||
check("anonymous GET object is denied", status in (401, 403), "HTTP %d" % status)
|
||||
status = anonymous_status("%s/%s?list-type=2" % (endpoint, bucket))
|
||||
check("anonymous list bucket is denied", status in (401, 403), "HTTP %d" % status)
|
||||
status = anonymous_status(endpoint + "/")
|
||||
check("anonymous list buckets is denied", status in (401, 403), "HTTP %d" % status)
|
||||
|
||||
other = "forbidden-%s" % uuid.uuid4().hex[:12]
|
||||
try:
|
||||
api.create_bucket(Bucket=other)
|
||||
check("api credentials cannot create buckets", False, "bucket was created")
|
||||
try:
|
||||
api.delete_bucket(Bucket=other)
|
||||
except (ClientError, BotoCoreError):
|
||||
pass
|
||||
except ClientError as exc:
|
||||
code = exc.response.get("Error", {}).get("Code")
|
||||
check("api credentials cannot create buckets", code == "AccessDenied", code)
|
||||
try:
|
||||
api.delete_bucket(Bucket=bucket)
|
||||
check("api credentials cannot delete the bucket", False, "bucket deleted")
|
||||
except ClientError as exc:
|
||||
code = exc.response.get("Error", {}).get("Code")
|
||||
check("api credentials cannot delete the bucket", code in ("AccessDenied", "BucketNotEmpty"), code)
|
||||
|
||||
try:
|
||||
api.delete_object(Bucket=bucket, Key=probe_key)
|
||||
except (ClientError, BotoCoreError):
|
||||
pass
|
||||
|
||||
host = urlparse(endpoint).hostname
|
||||
exposed = [p for p in ADMIN_PORTS if port_open(host, p)]
|
||||
check("SeaweedFS admin/UI ports are not reachable on the shared network", not exposed,
|
||||
"open: %s" % exposed if exposed else "checked %s" % list(ADMIN_PORTS))
|
||||
|
||||
if args.sample_from_db:
|
||||
import psycopg
|
||||
dsn = _read_secret("DATABASE_URL")
|
||||
with psycopg.connect(dsn, connect_timeout=5) as conn:
|
||||
row = conn.execute(
|
||||
"SELECT object_key, sha256 FROM attachments WHERE state = 'ready' "
|
||||
"ORDER BY created_at DESC LIMIT 1"
|
||||
).fetchone()
|
||||
if row is None:
|
||||
check("sample ready attachment exists in DB", False, "upload an attachment first (make test)")
|
||||
else:
|
||||
key, sha = row
|
||||
status = anonymous_status("%s/%s/%s" % (endpoint, bucket, quote(key)))
|
||||
check("anonymous GET of a real attachment object is denied", status in (401, 403), "HTTP %d" % status)
|
||||
data = api.get_object(Bucket=bucket, Key=key)["Body"].read()
|
||||
check("same object is readable with API credentials and matches sha256",
|
||||
hashlib.sha256(data).hexdigest() == sha, "%d bytes" % len(data))
|
||||
|
||||
report["ok"] = ok
|
||||
print(json.dumps(report, ensure_ascii=False, indent=2))
|
||||
return 0 if ok else 1
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
@@ -0,0 +1,97 @@
|
||||
"""Пароли, разбор Basic/Bearer и генерация токенов."""
|
||||
import base64
|
||||
import binascii
|
||||
import hashlib
|
||||
import re
|
||||
import secrets
|
||||
import threading
|
||||
from typing import Optional, Tuple
|
||||
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import InvalidHashError, VerificationError, VerifyMismatchError
|
||||
|
||||
USERNAME_RE = re.compile(r"^[a-z0-9_]{3,32}$")
|
||||
|
||||
# Argon2id (библиотека argon2-cffi). Параметры — рекомендация OWASP для
|
||||
# Argon2id: m=19 MiB, t=2, p=1. Пароль хешируется целиком в UTF-8, без усечения.
|
||||
_hasher = PasswordHasher(time_cost=2, memory_cost=19 * 1024, parallelism=1)
|
||||
|
||||
# Хеш-«пустышка»: проверка для несуществующего пользователя стоит столько же,
|
||||
# сколько для существующего, — время ответа не выдаёт наличие username.
|
||||
_DUMMY_HASH = _hasher.hash("dummy-password-for-timing-equalization")
|
||||
|
||||
# 32 байта случайности = 256 бит энтропии; base64url без padding = 43 символа.
|
||||
TOKEN_BYTES = 32
|
||||
MAX_TOKEN_LENGTH = 256
|
||||
|
||||
|
||||
# lab3: у каждой реплики лимит памяти (deploy.resources.limits). Один хеш Argon2id
|
||||
# занимает 19 MiB, а sync-обработчики FastAPI выполняются в threadpool до 40 потоков.
|
||||
# Без ограничения всплеск входов мог бы занять 40 x 19 MiB и привести к OOM-kill
|
||||
# реплики. Семафор ограничивает число одновременных хешей (PASSWORD_HASH_CONCURRENCY).
|
||||
_kdf_slots = threading.BoundedSemaphore(4)
|
||||
|
||||
|
||||
def configure_kdf_concurrency(limit: int) -> None:
|
||||
global _kdf_slots
|
||||
_kdf_slots = threading.BoundedSemaphore(max(1, limit))
|
||||
|
||||
|
||||
def hash_password(password: str) -> str:
|
||||
with _kdf_slots:
|
||||
return _hasher.hash(password)
|
||||
|
||||
|
||||
def verify_password(password_hash: Optional[str], password: str) -> bool:
|
||||
try:
|
||||
with _kdf_slots:
|
||||
return _hasher.verify(password_hash or _DUMMY_HASH, password) and bool(
|
||||
password_hash
|
||||
)
|
||||
except (VerifyMismatchError, VerificationError, InvalidHashError):
|
||||
return False
|
||||
|
||||
|
||||
def new_token() -> str:
|
||||
return secrets.token_urlsafe(TOKEN_BYTES)
|
||||
|
||||
|
||||
def token_digest(token: str) -> bytes:
|
||||
"""Токен высокоэнтропийный, поэтому для поиска достаточно быстрого SHA-256.
|
||||
|
||||
В отличие от пароля, перебор 256-битного токена невозможен, и KDF здесь
|
||||
только замедлил бы каждый запрос.
|
||||
"""
|
||||
return hashlib.sha256(token.encode("ascii")).digest()
|
||||
|
||||
|
||||
def parse_basic(header: Optional[str]) -> Optional[Tuple[str, str]]:
|
||||
"""Authorization: Basic base64(username:password) -> (username, password)."""
|
||||
if not header:
|
||||
return None
|
||||
scheme, _, value = header.strip().partition(" ")
|
||||
if scheme.lower() != "basic" or not value.strip():
|
||||
return None
|
||||
try:
|
||||
raw = base64.b64decode(value.strip(), validate=True)
|
||||
decoded = raw.decode("utf-8")
|
||||
except (binascii.Error, ValueError, UnicodeDecodeError):
|
||||
return None
|
||||
username, sep, password = decoded.partition(":") # двоеточие в пароле допустимо
|
||||
if not sep or not USERNAME_RE.match(username):
|
||||
return None
|
||||
if not 12 <= len(password) <= 128:
|
||||
return None
|
||||
return username, password
|
||||
|
||||
|
||||
def parse_bearer(header: Optional[str]) -> Optional[str]:
|
||||
if not header:
|
||||
return None
|
||||
scheme, _, value = header.strip().partition(" ")
|
||||
token = value.strip()
|
||||
if scheme.lower() != "bearer" or not token or len(token) > MAX_TOKEN_LENGTH:
|
||||
return None
|
||||
if not token.isascii() or any(ch.isspace() for ch in token):
|
||||
return None
|
||||
return token
|
||||
@@ -0,0 +1,65 @@
|
||||
"""Точка входа контейнера: Uvicorn с фазой осушения (drain) перед остановкой.
|
||||
|
||||
Последовательность при SIGTERM (docker stop / rolling update / stop-one):
|
||||
|
||||
t=0 SIGTERM. Реплика ПРОДОЛЖАЕТ принимать и обслуживать запросы,
|
||||
но /health/ready -> 503 и ответы идут с Connection: close.
|
||||
t<=~1.5 с HAProxy (inter 1s, fastinter 500ms, fall 2) помечает реплику DOWN
|
||||
и больше не отправляет ей новые запросы.
|
||||
t=DRAIN_SECONDS (3 с)
|
||||
Uvicorn закрывает listening-сокет, дожидается завершения запросов
|
||||
в обработке (не дольше GRACEFUL_TIMEOUT_SECONDS = 10 с), закрывает
|
||||
пул PostgreSQL и выходит.
|
||||
stop_grace_period 20 с > 3 + 10 — Docker не успевает прислать SIGKILL.
|
||||
|
||||
Повторный SIGTERM/SIGINT во время осушения — немедленный переход к остановке.
|
||||
Запуск: python -m src.server (CMD в Dockerfile, процесс — PID 1).
|
||||
"""
|
||||
import logging
|
||||
import os
|
||||
import threading
|
||||
|
||||
import uvicorn
|
||||
|
||||
from .runtime import DRAIN, INSTANCE_ID
|
||||
|
||||
log = logging.getLogger("messenger.server")
|
||||
|
||||
|
||||
class DrainingServer(uvicorn.Server):
|
||||
drain_seconds = 3.0
|
||||
|
||||
def handle_exit(self, sig, frame): # вызывается из обработчика сигнала
|
||||
if self.should_exit or not DRAIN.begin():
|
||||
# Второй сигнал (или уже останавливаемся) — без ожидания.
|
||||
return super().handle_exit(sig, frame)
|
||||
log.info(
|
||||
"signal %s: instance %s draining for %.1fs (readiness=503), then graceful stop",
|
||||
sig, INSTANCE_ID, self.drain_seconds,
|
||||
)
|
||||
timer = threading.Timer(self.drain_seconds, super().handle_exit, args=(sig, frame))
|
||||
timer.daemon = True
|
||||
timer.start()
|
||||
|
||||
|
||||
def main() -> None:
|
||||
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(name)s %(message)s")
|
||||
config = uvicorn.Config(
|
||||
"src.main:app",
|
||||
host=os.environ.get("APP_HOST", "0.0.0.0"),
|
||||
port=int(os.environ.get("APP_PORT", "8080")),
|
||||
# Дольше, чем HAProxy держит простаивающие соединения к серверу
|
||||
# (pool-purge-delay 5s): соединение закрывает LB, а не сервер под запросом.
|
||||
timeout_keep_alive=int(os.environ.get("KEEP_ALIVE_SECONDS", "30")),
|
||||
timeout_graceful_shutdown=int(os.environ.get("GRACEFUL_TIMEOUT_SECONDS", "10")),
|
||||
access_log=False,
|
||||
server_header=False,
|
||||
log_config=None,
|
||||
)
|
||||
server = DrainingServer(config)
|
||||
server.drain_seconds = float(os.environ.get("DRAIN_SECONDS", "3"))
|
||||
server.run()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user