Author SHA1 Message Date
scarletsky 1757517600 Лабораторная работа 4 2026-11-04 17:43:29 +03:00
127 changed files with 13079 additions and 32 deletions
+55 -4
View File
@@ -1,20 +1,71 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env. # Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md. # Секреты сюда НЕ пишутся: их создаёт scripts/init_secrets.py в каталоге secrets/.
APP_HOST=0.0.0.0 APP_HOST=0.0.0.0
# Публичный порт LB на 127.0.0.1 (единственная точка входа API)
APP_PORT=8080 APP_PORT=8080
# Страница состояния HAProxy (UP/DOWN реплик) на 127.0.0.1, только чтение
LB_STATS_PORT=8404
APP_ENV=lab APP_ENV=lab
# Тег образа API
APP_VERSION=lab4
SESSION_TTL_SECONDS=3600 SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values. # TTL экземпляра api-short-ttl (профиль ttl) для автотеста истечения
SHORT_SESSION_TTL_SECONDS=2
# Файлы с секретами внутри контейнера (Compose secrets)
DATABASE_URL_FILE=/run/secrets/database_url DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey: # Источник истины для сессий — PostgreSQL; Redis — общий кэш проверок токена
SESSION_STORE=postgres SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url CACHE_URL_FILE=/run/secrets/cache_url
SESSION_CACHE_TTL_SECONDS=60
# Число реплик API за балансировщиком (HAProxy держит до 6 слотов)
API_REPLICAS=2 API_REPLICAS=2
# Хранение результата Idempotency-Key, не меньше 24 ч по контракту
IDEMPOTENCY_TTL_SECONDS=86400 IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000 # Пул соединений и таймауты (на реплику)
DB_POOL_MIN=1
DB_POOL_MAX=10
DB_POOL_TIMEOUT_SECONDS=3
DB_CONNECT_TIMEOUT_SECONDS=3
DB_STATEMENT_TIMEOUT_MS=5000
CACHE_TIMEOUT_SECONDS=0.25
CACHE_RETRY_AFTER_SECONDS=5
# Readiness и остановка (согласованы с HAProxy: inter 1s, fall 2, timeout check 1.5s)
READY_DB_TIMEOUT_SECONDS=1
DRAIN_SECONDS=3
GRACEFUL_TIMEOUT_SECONDS=10
KEEP_ALIVE_SECONDS=30
# Одновременных хешей Argon2id на реплику (19 MiB каждый, лимит памяти 256M)
PASSWORD_HASH_CONCURRENCY=4
# lab4: S3 и вложения
# Закреплённая версия образа chrislusf/seaweedfs (не latest)
SEAWEEDFS_VERSION=4.50
S3_ENDPOINT=http://s3:8333
S3_REGION=us-east-1 S3_REGION=us-east-1
S3_BUCKET=messenger-attachments S3_BUCKET=messenger-attachments
# Ключи — файлы в secrets/ (создаёт scripts/init_secrets.py), внутри контейнера:
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
# Таймауты клиента S3: недоступность S3 -> быстрый 503 только для файловых операций
S3_CONNECT_TIMEOUT_SECONDS=2
S3_READ_TIMEOUT_SECONDS=10
S3_MAX_ATTEMPTS=2
# Общий бюджет вызова S3 из запроса, включая DNS (скачивание < timeout server HAProxy 10 с)
S3_DOWNLOAD_DEADLINE_SECONDS=5
S3_UPLOAD_DEADLINE_SECONDS=10
# После отказа S3 файловые запросы N секунд сразу получают 503 (circuit breaker)
S3_CIRCUIT_OPEN_SECONDS=5
# Лимиты контракта (можно только уменьшить)
MAX_UPLOAD_BYTES=10485760 MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000 MAX_IMAGE_PIXELS=40000000
# Одновременных загрузок на реплику (остальные ждут слот, затем 503 + Retry-After)
MAX_CONCURRENT_UPLOADS=4
UPLOAD_QUEUE_TIMEOUT_SECONDS=5
# Максимальное время приёма тела загрузки (медленный/зависший клиент -> 400)
UPLOAD_READ_TIMEOUT_SECONDS=60
# Одновременных разборов изображения на реплику
IMAGE_DECODE_CONCURRENCY=2
# Сборщик незавершённых загрузок (pending) и объектов-сирот, см. src/reconcile.py
ATTACHMENT_GC_INTERVAL_SECONDS=300
ATTACHMENT_GC_GRACE_SECONDS=900
ORPHAN_SWEEP_INTERVAL_SECONDS=3600
+10
View File
@@ -0,0 +1,10 @@
# Скрипты и конфиги, которые выполняются внутри Linux-контейнеров или sh, — всегда LF,
# даже при checkout на Windows (иначе HAProxy/sh спотыкаются о CRLF).
*.sh text eol=lf
*.cfg text eol=lf
*.sql text eol=lf
*.py text eol=lf
*.yaml text eol=lf
Dockerfile text eol=lf
# Пакетные файлы Windows — CRLF.
*.cmd text eol=crlf
+14 -14
View File
@@ -1,18 +1,18 @@
## Лабораторная 4 ## Лабораторная 4
Автор / группа: TODO Автор / группа: Попов Константин Дмитриевич, БВТ2303
Целевая оценка (3/4/5): TODO Целевая оценка (3/4/5): 4
Трек 5, если заявлен: TODO Трек 5, если заявлен: —
Что реализовано и что перенесено: TODO Что реализовано и что перенесено: перенесено всё API и инфраструктура lab3 (HAProxy, 2+ реплики, идемпотентность, drain, rolling update). Добавлены приватное S3-хранилище SeaweedFS 4.50 с идемпотентным bootstrap бакета и отдельными ограниченными ключами API; вложения (миграция 004, составные FK «файл и сообщение из одного чата»); синхронная загрузка с потоковым лимитом 10 MiB, проверкой PNG/JPEG по содержимому без полной распаковки, лимитом 40 Мп и безопасными именами; авторизованное потоковое скачивание; компенсация и сборщик для согласованности БД/S3 (dry-run/apply); лимит одновременных загрузок; тесты уровня 4 и эксперимент памяти.
Команды запуска из чистого clone: TODO Команды запуска из чистого clone: `python scripts/init_secrets.py`, `cp .env.example .env`, `docker compose --env-file .env up -d --build`, `python scripts/ops.py wait`, `python scripts/ops.py wait-s3`; проверки — `python scripts/collect_evidence.py` (см. REPORT.md).
Результаты проверок и ссылка на REPORT.md: TODO Результаты проверок и ссылка на REPORT.md: REPORT.md, разделы «Доказательства критериев» и «Эксперименты»; evidence/SUMMARY.txt, evidence/.
Ограничения / известные ошибки: TODO Ограничения / известные ошибки: один host/БД/S3 без репликации; тело загрузки до 10 MiB × 4 слота в памяти (измерено); progressive JPEG проверяется структурно; прогрев SeaweedFS 15–30 с после рестарта (hooks его ждут). Подробно — REPORT.md.
Источники и использование ИИ: TODO Источники и использование ИИ: REPORT.md.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены. - [x] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод. - [x] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+38
View File
@@ -0,0 +1,38 @@
# Lab4: API мессенджера (FastAPI + PostgreSQL + Redis + S3/SeaweedFS), реплики за HAProxy.
FROM python:3.12.7-slim-bookworm
# lab4: настройки glibc malloc — меньше арен на потоки и возврат больших буферов
# ОС сразу после загрузки (замер: базовый RSS 124 -> 88 MiB, см. REPORT.md).
ENV PYTHONDONTWRITEBYTECODE=1 \
PYTHONUNBUFFERED=1 \
APP_HOST=0.0.0.0 \
APP_PORT=8080 \
APP_ENV=lab \
MALLOC_ARENA_MAX=2 \
MALLOC_MMAP_THRESHOLD_=1048576 \
MALLOC_TRIM_THRESHOLD_=1048576
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir --disable-pip-version-check -r requirements.txt
COPY src ./src
COPY migrations ./migrations
RUN useradd --create-home --shell /usr/sbin/nologin appuser \
&& chown -R appuser:appuser /app
USER appuser
EXPOSE 8080
# Готовность (а не только жизнь процесса): БД доступна, схема мигрирована,
# реплика не в фазе осушения. Интервалы в compose.yaml переопределяют эти.
HEALTHCHECK --interval=10s --timeout=3s --start-period=20s --retries=3 \
CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).read()" || exit 1
# exec-форма: Python — PID 1 и получает SIGTERM напрямую.
# src/server.py: SIGTERM -> осушение DRAIN_SECONDS (readiness 503) -> graceful stop.
STOPSIGNAL SIGTERM
CMD ["python", "-m", "src.server"]
+102 -1
View File
@@ -4,10 +4,16 @@ CA_FILE ?=
ACTION_SCRIPT ?= ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover .PHONY: help check validate test load test-persistence test-failover \
secrets up wait ps down migrate restore rolling-update logs-lb \
test-student test-idempotency test-failover-series test-failover-series-kill \
test-rolling test-storage test-expiry test-failures test-revocation explain evidence \
test-attachments test-consistency test-s3-outage test-upload-memory s3-check wait-s3 reconcile reconcile-apply
help: help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes" @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@echo "up/wait/ps/down/restore/rolling-update: stand; test-*: own checks (see REPORT.md)"
@echo "lab4: test-attachments test-consistency test-s3-outage test-upload-memory s3-check reconcile"
check: check:
$(PYTHON) scripts/check_contract.py $(PYTHON) scripts/check_contract.py
@@ -28,3 +34,98 @@ test-persistence:
test-failover: test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2) @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) $(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
# ---------------------------------------------------------------- Решение
COMPOSE ?= docker compose --env-file .env
secrets:
$(PYTHON) scripts/init_secrets.py
@test -f .env || cp .env.example .env
up: secrets
$(COMPOSE) config --quiet
$(COMPOSE) up -d --build
$(PYTHON) scripts/ops.py wait
$(PYTHON) scripts/ops.py wait-s3
wait:
$(PYTHON) scripts/ops.py wait
ps:
$(PYTHON) scripts/ops.py ps
# Безопасная остановка: volumes (PostgreSQL pgdata и S3 s3data) сохраняются.
down:
$(COMPOSE) --profile ttl --profile faults down
migrate:
$(COMPOSE) run --rm -T migrate
restore:
$(PYTHON) scripts/ops.py restore
rolling-update:
$(PYTHON) scripts/ops.py rolling-update
logs-lb:
$(COMPOSE) logs --tail 50 lb
test-student:
$(PYTHON) student-tests/run_all.py --base-url "$(BASE_URL)"
test-idempotency:
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_idempotency.py -v
test-failover-series:
$(PYTHON) student-tests/failover_series.py --base-url "$(BASE_URL)" --output evidence/failover_series.json
test-failover-series-kill:
$(PYTHON) student-tests/failover_series.py --base-url "$(BASE_URL)" --mode kill --output evidence/failover_series_kill.json
test-rolling:
$(PYTHON) student-tests/rolling_update_load.py --base-url "$(BASE_URL)" --output evidence/rolling_update.json
test-storage:
$(PYTHON) scripts/ops.py in-network storage
test-expiry:
$(PYTHON) scripts/ops.py in-network expiry
test-failures:
$(PYTHON) student-tests/dependency_failure.py --base-url "$(BASE_URL)" --output evidence/dependency_failure.json
test-revocation:
$(PYTHON) student-tests/revocation_partition.py --base-url "$(BASE_URL)" | tee evidence/revocation_partition.txt
explain:
$(COMPOSE) exec -T postgres psql -U messenger -d messenger -v ON_ERROR_STOP=1 < scripts/sql/explain_history.sql > evidence/explain_history.txt
@echo "saved evidence/explain_history.txt"
# Все проверки на compose-стенде с записью результатов в evidence/ (~6-8 минут).
evidence:
$(PYTHON) scripts/collect_evidence.py
# ---------------------------------------------------------------- lab4: вложения и S3
test-attachments:
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_attachments.py -v
test-consistency:
$(PYTHON) scripts/ops.py in-network consistency
test-s3-outage:
$(PYTHON) student-tests/s3_outage.py --base-url "$(BASE_URL)" --output evidence/s3_outage.json
test-upload-memory:
$(PYTHON) student-tests/upload_memory.py --base-url "$(BASE_URL)" --concurrency 10 --rounds 3 --docker --output evidence/upload_memory_c10.json
s3-check:
$(PYTHON) scripts/ops.py s3-check
wait-s3:
$(PYTHON) scripts/ops.py wait-s3
reconcile:
$(PYTHON) scripts/ops.py reconcile
reconcile-apply:
$(PYTHON) scripts/ops.py reconcile --apply
+247 -13
View File
@@ -1,37 +1,271 @@
# Отчёт — лабораторная 4 # Отчёт — лабораторная 4
- Автор, группа: TODO - Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: TODO - Целевая оценка: **4**; трек 5 не заявляется
- Commit/PR: TODO после публикации - Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO - Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0, **boto3 1.35.99**, **Pillow 11.1.0**; PostgreSQL 16.4, Redis 7.4.1, HAProxy 2.8.30, **SeaweedFS 4.50**. Документация: Amazon S3 (PutObject, Content-MD5, ListObjectsV2), SeaweedFS wiki (Amazon S3 API, S3 credentials/identities, `weed server`), спецификация PNG (ISO/IEC 15948: чанки, CRC, Adam7), JPEG (ITU T.81: маркеры SOF/SOS/EOI), Pillow (`Image.open`, `draft`), glibc `mallopt` (MALLOC_ARENA_MAX, MALLOC_MMAP_THRESHOLD_). Помощь ИИ (Claude) — при проектировании схемы согласованности БД/S3, проверки изображений, тестов, экспериментов и при написании отчёта.
Решения lab3 (балансировщик, реплики, идемпотентность, drain, rolling update) перенесены без изменений семантики; их отчёт и доказательства сохранены в [docs/lab3/REPORT.md](docs/lab3/REPORT.md).
## Запуск из чистого clone ## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. **Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`; **`chrislusf/seaweedfs:4.50`** (тег задаётся `SEAWEEDFS_VERSION` в `.env`, не `latest`). Нужны Docker Engine / Docker Desktop с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Оркестрация — **Compose + HAProxy** (Swarm не используется).
```sh
# 1. Секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
python scripts/init_secrets.py # + 4 файла S3-ключей и secrets/s3_config.json
cp .env.example .env # Windows: copy .env.example .env
# 2. Сборка и запуск: postgres+redis -> migrate; s3 -> s3-init (bucket) -> api x2 -> lb
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# 3. Готовность: 2 реплики healthy и UP в HAProxy; S3 реально пишет/читает
python scripts/ops.py wait
python scripts/ops.py wait-s3
python scripts/ops.py ps
```
Прогрев: первая сборка 1–3 мин, далее стенд готов за ~30–40 с (healthcheck PostgreSQL и SeaweedFS, миграции, bootstrap бакета, `start_period` API, `rise 2` в HAProxy).
```sh
# Публичные проверки
python scripts/check_contract.py
python tests/smoke.py --base-url http://localhost:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.sh # Windows: scripts\restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.sh # Windows: scripts\stop-one.cmd
python scripts/ops.py restore # вернуть реплику, затем failover повторить для второй
# Собственные проверки уровня 4 (lab4)
python student-tests/run_all.py --base-url http://localhost:8080 # lab2-3 + test_attachments.py (17 тестов)
python scripts/ops.py in-network consistency # БД<->S3: сборщик, сироты, обрыв загрузки, внедрённые отказы
python scripts/ops.py s3-check # приватный бакет вне API, права ключей, закрытые админ-порты
python scripts/ops.py reconcile # сверка БД<->S3, dry-run (--apply — исправить)
python student-tests/s3_outage.py --output evidence/s3_outage.json
python student-tests/upload_memory.py --concurrency 10 --docker --output evidence/upload_memory_c10.json
# Всё перечисленное (и проверки lab3) одной командой с записью в evidence/:
python scripts/collect_evidence.py # ~12–15 мин; --quick ~7–8 мин
```
**Остановка.** Безопасная (данные PostgreSQL и S3 сохраняются): `docker compose --env-file .env --profile ttl --profile faults down`. Намеренное удаление всех учебных данных (volumes `pgdata`, `s3data`) — только вручную: `docker compose --env-file .env --profile ttl --profile faults down -v`. Hooks и тесты volumes не удаляют.
**Действия оператора.** Создать секреты до первого запуска (пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` существующие файлы не перезаписывает; S3-ключи не связаны с данными и могут быть заменены — см. docstring скрипта). После `stop-one` вернуть реплику `python scripts/ops.py restore`. Если тег `chrislusf/seaweedfs:4.50` недоступен в вашем registry-зеркале, укажите соседний проверенный тег в `SEAWEEDFS_VERSION`.
## Архитектура и решения ## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. ```
127.0.0.1:8080 (единственная публичная точка входа)
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки /health/ready
│ POST .../attachments: timeout server 90 s, остальное 10 s
▼ сеть backend
┌──────── api x2 (read-only rootfs, tmpfs /tmp 16m, 0.5 CPU / 320M) ────────┐
│ загрузка: поток -> лимит 10 MiB -> проверка PNG/JPEG -> [1] pending в БД │
│ -> [2] S3 PUT (Content-MD5) -> [3] ready в БД -> 201 │
│ скачивание: проверка членства -> поток из S3 (64 KiB) -> клиент │
│ фон: сборщик pending/сирот (advisory lock, одна реплика за раз) │
└──────┬───────────────────────┬────────────────────────────┬───────────────┘
▼ backend ▼ backend ▼ storage (internal: true)
postgres 16 (pgdata) redis 7 (кэш сессий) s3: SeaweedFS 4.50 (s3data)
users, chats, messages, только S3 API :8333 в сети storage;
sessions, idempotency_keys, master/filer/volume UI — 127.0.0.1
attachments, message_attachments внутри контейнера; без анонимов
▲ ▲
migrate (one-shot) s3-init (one-shot, admin-ключи):
бакет + проверки прав и приватности
```
Порядок старта: `postgres`, `redis` (healthy) → `migrate`; `s3` (healthy) → `s3-init` (оба `service_completed_successfully`) → `api` (healthy) → `lb`.
**Источник истины.** PostgreSQL — для всех метаданных, включая вложения (владелец, чат, имя, тип, размер, SHA-256, размеры в пикселях, ключ объекта, состояние). Байты оригинала — только в приватном бакете `messenger-attachments`. На API нет ни volume, ни каталога для файлов: rootfs read-only, `/tmp` — tmpfs 16 MiB (тело загрузки держится в памяти процесса до записи в S3, не на диске; `python scripts/ops.py api-fs`).
### Выбор S3-сервера: SeaweedFS
MinIO с осени 2025 г. не публикует community-образы и бинарники для свежих релизов, а консоль администратора у него встроена в тот же процесс. SeaweedFS (Apache-2.0): версия закрепляется тегом, S3-identities с правами на конкретный бакет задаются статическим JSON-конфигом (`-s3.config`), а все административные HTTP-интерфейсы (master 9333, filer 8888, volume 8080) привязываются к 127.0.0.1 внутри контейнера (`-ip.bind=127.0.0.1`), наружу в сеть `storage` выставлен только S3 (`-s3.ip.bind=0.0.0.0`). Встроенный IAM API отключён (`-s3.iam=false`), автосоздание бакетов — тоже (`-s3.autoCreateBucket=false`).
| Роль | Сервис | Образ | Health/readiness | Volume | Сеть / порт | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| LB | `lb` | haproxy:2.8.30-alpine | `/lb-health`; бэкенды по `/health/ready` | — | backend; 127.0.0.1:8080, :8404 | — |
| API ×2 | `api` | сборка `Dockerfile` | `/health/ready` (PostgreSQL + схема) | нет (read-only) | backend + storage; без ports | secrets: database_url, cache_url, s3_access_key_id, s3_secret_access_key |
| БД | `postgres` | postgres:16.4-alpine | `pg_isready` | `pgdata` | backend | postgres_password |
| Кэш сессий | `redis` | redis:7.4.1-alpine | `redis-cli ping` | нет (только кэш) | backend | redis_password |
| S3 | `s3` | chrislusf/seaweedfs:4.50 | `wget /healthz` (+ `ops.py wait-s3`) | `s3data` | storage (internal); только :8333 | secret s3_config (identities) |
| Миграции | `migrate` | сборка | one-shot | — | backend | database_url |
| Bucket bootstrap | `s3-init` | сборка | one-shot | — | storage | admin + api S3-ключи |
| Тестовые отказы | `api-fault-*` (профиль `faults`) | образ API | `/health/ready` | — | backend + storage | как у api |
### Модель данных (`migrations/004_attachments.sql`)
- `attachments(id, chat_id, owner_id, filename, content_type, size_bytes, sha256, width, height, object_key UNIQUE, state pending|ready, created_at, updated_at)`. CHECK-ограничения повторяют контракт: имя 1–255, тип png/jpeg, размер 1..10 485 760, `width*height ≤ 40 000 000`, sha256 в нижнем регистре.
- `object_key = "originals/" + случайный UUID`. Он **не** совпадает с `id` вложения, не содержит `filename` и не раскрывается в API.
- `message_attachments(message_id, attachment_id, chat_id, position)`: порядок `attachment_ids` сохраняется. **Составные внешние ключи** `(message_id, chat_id) → messages(id, chat_id)` и `(attachment_id, chat_id) → attachments(id, chat_id)` на уровне БД запрещают привязать файл чужого чата. `ON DELETE RESTRICT` не даёт удалить вложение, на которое ссылается сообщение.
- `messages_text_len` расширен до 0..4000: `text=""` допустим только вместе с вложениями (проверяет API). Миграция только расширяющая — реплики lab3 работают на новой схеме (rolling update).
### Загрузка, `201` и границы транзакций
`POST /api/v1/chats/{id}/attachments?filename=…` (сырые bytes, `src/main.py`):
1. Дешёвые проверки до чтения тела: аутентификация → `filename` (400) → `Content-Type` только `image/png|image/jpeg` (415) → `Content-Length > 10 MiB` → 413 без чтения → членство в чате (404) → слот загрузки (`MAX_CONCURRENT_UPLOADS=4` на реплику; ожидание ≤ 5 с, иначе 503 + `Retry-After`).
2. Тело читается потоком; как только счётчик превысил 10 MiB — 413 (и для chunked без `Content-Length`). Остаток тела (до 10 MiB) дочитывается в никуда, чтобы клиент получил 413, а не обрыв. Общий дедлайн приёма — `UPLOAD_READ_TIMEOUT_SECONDS=60` (медленный клиент → 400). Обрыв клиентом → ничего не записано.
3. Проверка содержимого (`src/images.py`, ≤ 2 одновременных на реплику):
- сигнатура PNG/JPEG; **сигнатура должна совпасть с заявленным Content-Type** (подмена MIME → 415);
- размеры из IHDR / SOFn **до** распаковки: > 40 Мп → 413 (pixel bomb 8000×6000 размером ~50 КБ отклоняется за миллисекунды);
- PNG: все CRC, порядок IHDR…IDAT…IEND, допустимые bit depth/color type, **потоковая распаковка zlib с выводом кусками по 64 KiB «в никуда»**: объём должен в точности совпасть с ожидаемым (с учётом Adam7). Так обнаруживаются обрезанные и испорченные данные, а zip-бомба обрывается, как только вывод превысил ожидание; память O(64 KiB) при любом размере картинки;
- JPEG: обход маркеров (длины сегментов, SOF до SOS, обязательный EOI → обрезанный файл = 415). Baseline дополнительно декодируется Pillow в режиме `draft` (1/8 масштаба). Progressive Pillow не декодирует: libjpeg держит коэффициенты всего кадра, замер — **119 MiB** на 39.7 Мп против **4.9 MiB** у baseline;
- независимый парсер Pillow должен увидеть тот же формат и размеры.
4. `[1]` `INSERT attachments … state='pending'` (с проверкой членства в том же операторе) — **COMMIT до S3**.
5. `[2]` S3 `PutObject` с `Content-MD5` (S3 сам отклоняет повреждённую передачу — BadDigest; проверено) и `x-amz-meta-sha256`.
6. `[3]` `UPDATE … SET state='ready' WHERE id=… AND state='pending'` — **COMMIT** → `201 Attachment {status: ready, variants: [], error_code: null}`.
**Когда честно вернуть 201:** только после шага `[3]`. Байты к этому моменту записаны в S3 (PUT подтверждён с проверкой MD5), а метаданные зафиксированы в PostgreSQL. Ответ 201 до любого из этих событий означал бы, что «готовое» вложение может не скачаться.
**S3 PUT прошёл, а COMMIT `[3]` — нет.** Остаются строка `pending` (не видна в API, прикрепить нельзя) и объект. При ошибке БД API сразу компенсирует: удаляет объект и пытается удалить строку, клиент получает 503. Если процесс умер (компенсации нет), строку и объект уберёт сборщик после grace period. Обе ветки проверены внедрением отказа (`api-fault-db`, `api-fault-crash`).
### Согласованность БД и S3: компенсация + сборщик (`src/reconcile.py`)
Главный инвариант: **ключ объекта записан в БД раньше, чем объект появится в бакете.** Поэтому объект без строки может появиться только после того, как строку удалили. Ключ одноразовый, удалённая строка не возрождается.
| Ситуация | Кто исправляет | Как |
| --- | --- | --- |
| Ошибка S3 в `[2]` | запрос | DELETE своей pending-строки, 503 |
| Ошибка БД в `[3]` | запрос | DELETE объекта (+ попытка DELETE строки), 503 |
| Процесс умер между `[1]`/`[2]`/`[3]`, обрыв, сеть | сборщик, проход A | pending старше grace: **сначала** `DELETE … WHERE state='pending' RETURNING object_key` (атомарный захват; если запрос успел `[3]`, строка уже ready и не трогается), **потом** DELETE объекта |
| Объект без строки (сбой удаления в A, ручная запись) | сборщик, проход B | листинг `originals/` страницами; нет строки **и** `LastModified` старше grace → повторная проверка → DELETE |
| ready-строка без объекта | только отчёт (C) | байты не восстановить; авто-удаление метаданных опасно — `missing_objects` в отчёте |
- **Grace period** `ATTACHMENT_GC_GRACE_SECONDS=900` (минимум 300, конфиг меньше не примет). Это намного больше самой долгой загрузки: чтение ≤ 60 с + проверка + S3 PUT (connect 2 с + read 10 с) × 2 попытки ≈ 90 с. Если загрузка всё же переживёт grace, `[3]` вернёт 0 строк → API удалит свой объект и ответит 503.
- **Свежие и используемые вложения не удаляются:** сборщик трогает только `pending` старше grace. ready-строки не удаляет никогда, а на используемые ещё и стоит FK RESTRICT. Тесты: `test_fresh_pending_is_kept`, `test_ready_and_referenced_are_never_collected` (прямой `DELETE` получает ForeignKeyViolation), `test_pending_cannot_be_attached`.
- Фоновый проход A — каждые 300 с, полный обход бакета B — раз в час. Выполняет одна реплика за раз (`pg_try_advisory_lock`). Ручной запуск: `python scripts/ops.py reconcile` (**dry-run** по умолчанию, ничего не меняет) и `… reconcile --apply`. Повторный `--apply` — no-op (проверено). Стоимость обхода на стенде: 238 объектов — 0.036 с (листинг + один `SELECT … = ANY` на страницу из 1000 ключей).
### Ограничение памяти и потоковая обработка
- Лимит байт применяется **во время** чтения (на 10 MiB + 1 байт). В памяти одной загрузки — тело (≤ 10 MiB) + кратковременно куски до склейки. Проверка PNG — O(64 KiB), JPEG baseline — ≤ ~5 MiB. Тело уходит в S3 как `BytesIO` поверх тех же bytes, без копии.
- Одновременно на реплику ≤ 4 загрузки (`MAX_CONCURRENT_UPLOADS`). Остальные ждут слот ≤ 5 с **до чтения тела**, поэтому их байты не накапливаются в памяти. Скачивание идёт потоком из S3 кусками по 64 KiB (`StreamingResponse`), без буферизации файла.
- Найдено и исправлено замерами (см. «Эксперименты»): `zlib.unconsumed_tail` копировал остаток IDAT на каждом шаге (пик 2× файла и квадратичное копирование), а botocore склеивал заголовки с телом `bytes` в один буфер. В образе также настроен glibc malloc (`MALLOC_ARENA_MAX=2`, фиксированный порог mmap 1 MiB), чтобы большие буферы возвращались ОС сразу.
### Безопасность бакета и ключей
- **Bootstrap идемпотентен** (`src/s3_bootstrap.py`, сервис `s3-init`): `CreateBucket` → `BucketAlreadyOwnedByYou` считается успехом (`evidence/sandbox/s3_bootstrap.txt`: повторный запуск — `already exists (idempotent no-op)`). После создания бакета s3-init проверяет права ключей и приватность; при нарушении он завершается с ошибкой, и API не стартует.
- **Отдельные ключи API** (`messenger_api`) имеют только `Read/Write/List` на `messenger-attachments`. `CreateBucket`/`DeleteBucket` → AccessDenied. Admin-ключи (`bootstrap_admin`) смонтированы только в `s3-init`. Identity `anonymous` не объявлена.
- **Проверка приватности вне API** (`python scripts/ops.py s3-check`): из сети `storage`, без подписи, к S3 напрямую. Анонимный GET реального объекта последнего вложения → 403, анонимный листинг бакета и списка бакетов → 403. Тот же объект с ключами API → 200 и совпадающий SHA-256.
- **Админ-консоль не открыта в общей сети:** порты 9333/8888/8080/19333/18888 с адреса `s3` закрыты (проверка в том же скрипте). Сеть `storage` — `internal: true`. LB в неё не входит, порты S3 на хост не публикуются.
- **Случайный ключ и приватный бакет не заменяют ACL приложения:** доступ к `GET /attachments/{id}` и `/content` проверяется по членству в чате на каждый запрос (посторонний → 404 без раскрытия существования). Download идёт через API без redirect и без подписанных URL. Ответ содержит `X-Content-Type-Options: nosniff`, `Cache-Control: private, no-store`, `Content-Disposition` с безопасно закодированным именем.
### Недоступность S3 и readiness
S3 **не входит** в readiness: если бы реплики при падении S3 становились not-ready, LB вывел бы обе, и вместе с файлами пропали бы чат и вход. Вместо этого файловые операции быстро отвечают `503 unavailable` + `Retry-After` (таймауты клиента S3: connect 2 с, read 10 с, ≤ 2 попытки), а всё остальное работает. Критичные зависимости readiness — по-прежнему PostgreSQL и мигрированная схема.
Таймауты boto3 не покрывают DNS: в Docker остановленный контейнер `s3` пропадает из DNS, и разрешение имени висит секундами. В первом прогоне на Docker Desktop загрузка ждала 12–13 с, а скачивание превысило `timeout server` HAProxy (10 с) и получило **504 от LB** вместо 503. Исправление (`src/main.py`, `s3_call`; `src/objectstore.py`, `CircuitBreaker`):
- у каждого вызова S3 из запроса есть общий дедлайн: скачивание 5 с, загрузка 10 с;
- после отказа circuit breaker 5 с сразу отвечает 503, затем делает одну пробную попытку;
- у API в compose `dns_opt: timeout:1, attempts:1`.
Проверено на худшем случае — S3, который принимает соединение и молчит: upload 503 за 10.0 с, download 503 за 5.0 с (`evidence/sandbox/s3_outage_hang.json`). При S3, который сразу отказывает: 1.8–2.3 с и 0.01 с (breaker открыт).
**Особенность SeaweedFS после рестарта** (замер): `/healthz` отвечает сразу, но первые операции блокируются. Первое чтение после рестарта шло ~15 с, первая запись ~29 с: выборы Raft-лидера (`electionTimeout` 10 с), затем heartbeat volume-сервера. С `-master.electionTimeout=2s` первая запись — ~19 с. Поэтому restart-hook и `ops.py wait-s3` ждут **реальной** готовности: проба put/get/delete и чтение существующего объекта, каждая операция < 2 с (`s3_bootstrap.py --wait-ready`); на стенде готовность наступала через 14.5–17.1 с. Штатная остановка SeaweedFS длится ~22 с, поэтому `stop_grace_period: 10s` (как у Docker по умолчанию) и затем SIGKILL. Подтверждённые записи к этому моменту уже в page cache ОС; тест сохранности после такого рестарта проходит.
### Что перенесено из lab3 и что изменено
Перенесены без изменения семантики: всё API lab2–3, HAProxy-конфигурация (обнаружение реплик через DNS, drain, `retries`/`redispatch`), идемпотентность, миграции one-shot, rolling update, hooks и собственные тесты lab2–3 (47 HTTP-тестов + 12 тестов хранилища проходят на lab4).
Изменено в lab4:
1. Переход контракта 3 → 4: поля `attachment_ids` в запросе и ответе сообщения (отсутствие = `[]` и для отпечатка идемпотентности; порядок значим), три новых endpoint.
2. Сервисы `s3`, `s3-init`, volume `s3data`, сеть `storage`; секреты S3; профиль `faults`.
3. HAProxy: для `POST …/attachments` — `timeout server 90s` (`http-request set-timeout`), остальным запросам — прежние 10 с.
4. Лимит памяти API 256M → 320M (4 загрузки по 10 MiB, замер ниже); glibc malloc tuning в `Dockerfile`.
5. `scripts/ops.py`: restart включает S3 и ждёт его прогрева; новые `wait-s3`, `s3-check`, `reconcile`, `api-fs`, `in-network consistency`. `collect_evidence.py` дополнен проверками lab4.
### Соответствие `.env.example` и реальной конфигурации
Переменные lab3 — без изменений (см. [docs/lab3/REPORT.md](docs/lab3/REPORT.md)). Новые:
| Переменная | Значение | Где используется |
| --- | --- | --- |
| `SEAWEEDFS_VERSION` | 4.50 | тег образа `s3` |
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | http://s3:8333, us-east-1, messenger-attachments | api, s3-init, `src/config.py` |
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | /run/secrets/… | ключи API (compose secrets) |
| `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `S3_MAX_ATTEMPTS` | 2, 10, 2 | `src/objectstore.py` |
| `S3_DOWNLOAD_DEADLINE_SECONDS`, `S3_UPLOAD_DEADLINE_SECONDS`, `S3_CIRCUIT_OPEN_SECONDS` | 5, 10, 5 | общий бюджет вызова S3 (вкл. DNS), circuit breaker |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | 10485760, 40000000 | не выше контракта (иначе API не стартует) |
| `MAX_CONCURRENT_UPLOADS`, `UPLOAD_QUEUE_TIMEOUT_SECONDS` | 4, 5 | слоты загрузки на реплику |
| `UPLOAD_READ_TIMEOUT_SECONDS` | 60 | дедлайн приёма тела |
| `IMAGE_DECODE_CONCURRENCY` | 2 | разборов изображения на реплику |
| `ATTACHMENT_GC_INTERVAL_SECONDS`, `ATTACHMENT_GC_GRACE_SECONDS`, `ORPHAN_SWEEP_INTERVAL_SECONDS` | 300, 900, 3600 | `src/reconcile.py` |
| `FAULT_INJECTION` | пусто | только сервисы `api-fault-*` |
## Доказательства критериев ## Доказательства критериев
**Где получены результаты.** Код проверен на стенде из тех же компонентов, запущенных нативными процессами: PostgreSQL 16, Redis 7, SeaweedFS 4.50 (тот же бинарник, те же флаги), HAProxy 2.8.30 с этим `haproxy.cfg` (статические серверы вместо DNS-шаблона) и 2 реплики API. Среда: Windows 10, Ryzen 5 7500f, 32 GB, Python 3.12, без cgroup-лимитов. Результаты — в `evidence/`.
### Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- | | --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO | | Публичный smoke | `make test` | PASS: файл → сообщение с attachment_ids → download Бобом, SHA-256 совпал, Ева 404 | evidence/sandbox/smoke.txt; evidence/smoke.txt |
| Остальные пункты уровня 3 | TODO | TODO | TODO | | Возможности lab3 сохранены | `run_all.py`, `in-network storage`, failover, persistence | 47 HTTP + 12 DB-тестов lab2–3 OK; failover/persistence PASS | evidence/sandbox/student-tests.txt |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | | S3 в общем стенде; метаданные в PostgreSQL, байты в приватном бакете | `compose.yaml`, `ops.py api-fs`, `s3-check` | API без volumes, read-only rootfs; объекты только в `s3data` | evidence/s3_private.txt |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO | | 201 ready после сохранения; оригинал побайтно | `test_png_roundtrip…`, `test_exactly_max_size_is_accepted` | 201, `status=ready`, `variants=[]`; SHA-256 и Content-Length совпадают (вкл. ровно 10 485 760 байт) | evidence/sandbox/student-tests.txt |
| Message с attachment_ids, посторонний без доступа | smoke, `test_message_with_attachments…` | порядок id сохранён; Ева: 404 на метаданные и bytes | там же |
| PNG/JPEG ≤10 MiB, ≤40 Мп; MIME по содержимому; опасные имена; лимиты до распаковки | `test_too_large_*`, `test_too_many_pixels`, `test_mime_spoofing_is_415`, `test_dangerous_filenames_are_400` | 413/413/415/400; 48 Мп файл 50 КБ → 413 без распаковки | там же |
| Upload → стоп обслужившей реплики → download через другую | `make test-failover` ×2 | PASS, 138–139 записей, 0 ошибок; файл скачан после остановки | evidence/sandbox/failover.txt |
| Restart стенда сохраняет метаданные и оригинал | `make test-persistence` | PASS; сменились PID PostgreSQL, SeaweedFS и обеих реплик; файл скачан со старым токеном | evidence/sandbox/persistence.txt |
| Недоступность S3, чужой чат, restart | `s3_outage.py`; `test_attachment_from_other_chat…`; persistence | 503 за 1.0–1.7 с, чат работает; 404; PASS | evidence/sandbox/s3_outage.json |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. ### Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `student-tests/test_attachments.py` (17 тестов) | 413 (Content-Length и chunked), 415 (обрезанный PNG/JPEG, неверный CRC, неверный объём IDAT, мусор, пустое тело, GIF), 415 (6 подмен MIME), 404 (чужое/неизвестное id, файл другого чата, Ева в своём чате), 400 (12 опасных имён); каждый негативный ответ < 500 в общем формате | evidence/sandbox/student-tests.txt |
| Обрыв загрузки и отказ между S3/БД не оставляют вечных объектов; компенсация/сверка с grace | `test_attachment_consistency.py` (10 тестов) в сети стенда | обрыв → 0 строк, 0 объектов; ошибка S3 → 503 + нет строки; ошибка БД после PUT → 503 + объект удалён; **падение процесса после PUT** → pending + объект → сборщик удаляет оба; dry-run ничего не меняет; повтор no-op; свежие/ready/используемые не удаляются | evidence/sandbox/consistency.txt; evidence/consistency.txt |
| Лимиты/таймауты/потоковая обработка; ≥10 одновременных загрузок с замером пика | `upload_memory.py --concurrency 10/20` | 10×9.5 MiB ×3 волны: 30/30 201, пик RSS 156–166 MiB на реплику (база 88–95); при 20 одновременных пик тот же (159–162); без лимитера 262–291 MiB | evidence/sandbox/upload_memory_*.json |
| Bootstrap идемпотентен | повторный `s3-init` | `already exists (idempotent no-op)`, все проверки ok | evidence/sandbox/s3_bootstrap.txt |
| Отдельные S3 credentials с ограниченными правами | `s3_bootstrap` проверки | API-ключи: put/get своего бакета — ok; CreateBucket/DeleteBucket — AccessDenied | evidence/sandbox/s3_private.txt |
| Админ-консоль не в общей сети | `ops.py s3-check` | 9333/8888/8080/19333/18888 закрыты, S3 :8333 — единственный | там же |
| Private bucket вне API | `ops.py s3-check` | анонимный GET реального объекта → 403, листинг → 403; с ключами API тот же объект → 200, SHA-256 совпал | там же |
## Эксперименты и отказы ## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. **Стенд замеров:** Windows 10, Ryzen 5 7500f, 32 GB; все процессы (2 реплики API, HAProxy, PostgreSQL, Redis, SeaweedFS, генератор нагрузки) на одном хосте. Реплика: 1 процесс Uvicorn, threadpool по умолчанию. Файлы — синтетический шум, PNG без сжатия, 9.5 MiB (несжимаемые, проверка проходит по полной программе). Память — VmRSS процесса реплики (опрос каждые 20 мс) и пик RSS, который считает ядро (VmHWM, обнуляется перед прогоном). Загрузки через LB (roundrobin по двум репликам), повторы — волнами.
**Гипотеза:** пик памяти реплики ≈ база + `MAX_CONCURRENT_UPLOADS` × (~2 × размер файла) и не зависит от числа одновременных клиентов; без лимитера память растёт линейно с конкуренцией.
| Прогон | Одновременно | Загрузок | 201 / SHA ok | p50 / p95, с | База → пик RSS, MiB (реплика 1 / 2) |
| --- | --- | --- | --- | --- | --- |
| до исправлений (zlib tail, bytes в botocore) | 10 | 30 | 30 / 30 | 2.01 / 2.29 | 124 → 237 / 124 → 244 |
| исправления кода, malloc по умолчанию | 10 | 30 | 30 / 30 | 1.20 / 1.34 | 124 → 187 / 124 → 187 |
| + MALLOC_ARENA_MAX=2, mmap ≥ 1 MiB (**итог**) | 10 | 30 | 30 / 30 | 1.32 / 2.07 | 95 → 163 / 95 → 156 (пик ядра VmHWM 166 / 165) |
| итог, вдвое больше клиентов | 20 | 40 | 40 / 40 | 2.16 / 3.08 | 115 → 162 / 97 → 159 |
| лимитер выключен (`MAX_CONCURRENT_UPLOADS=64`) | 20 | 40 | 40 / 40 | 2.90 / 3.03 | 88 → 262 / 89 → 291 |
Вывод: гипотеза подтверждена. Прирост ~61–72 MiB ≈ 4 слота × 2 × 9.5 MiB. При удвоении клиентов пик не растёт (лишние ждут слот, их тело ещё не прочитано), растёт только задержка. Без лимитера пик +170–200 MiB при той же пропускной способности: при лимите 256 MiB контейнер был бы убит OOM. Поэтому лимит API — 320M, запас ~155 MiB. Микрозамеры (tracemalloc, 9.5 MiB PNG): проверка 19 MiB → 1.5 MiB и 0.17 → 0.06 с; `put_object(bytes)` 25 MiB → `BytesIO` 0.1 MiB. Ограничения: один хост и общий CPU для клиента и сервера; RSS не включает page cache; в Docker тот же скрипт (`--docker`) читает VmHWM процесса API внутри контейнера, `docker stats` и cgroup `memory.peak`.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- | | --- | --- | --- | --- |
| TODO | TODO | TODO | TODO | | SIGTERM обслужившей реплики (public failover ×2) | записи идут через другую, файл скачивается | 138/139 записей, 0 ошибок, файл совпал | первая запись после hook ≤ 4.5 с (hook ждёт drain 3 с); потерь нет |
| Каждая реплика по очереди под нагрузкой (`failover_series.py`) | 0 ошибок, LB DOWN < 2 с | DOWN 1.30 / 1.53 с, 0 ошибок, RPS 318 → 239 / 283 → 243 | возврат в ротацию 2.9 / 3.1 с; данные целы |
| Рестарт API + PostgreSQL + Redis + S3 + LB | данные, сессия и файл сохранены | PASS, PID всех процессов сменились | ~38 с hook (из них прогрев S3 16 с); потерь нет |
| Остановка S3 | файлы → 503 быстро, остальное работает | upload 503 за 1.0–1.7 с, download 503 за 1.0 с, readiness 200, сообщения 201 | после старта S3 прогрев 17 с; старый файл побайтно цел |
| S3 «висит» (принимает соединение, не отвечает) | 503 в пределах дедлайна, не 504 | upload 503 за 10.0 с, download 503 за 5.0 с | прогрев 16 с; старый файл цел |
| Ошибка S3 PUT (`api-fault-s3`) | 503, строки нет | 503, 0 строк | сразу |
| Ошибка БД после PUT (`api-fault-db`) | 503, объект удалён | 503, 0 строк, число объектов не изменилось | сразу |
| Падение процесса после PUT (`api-fault-crash`) | pending + объект, убирает сборщик | 1 pending + объект → после grace (сдвинутого в тесте) 0 / 0 | ≤ grace + интервал (900 + 300 с по умолчанию) |
| Обрыв клиентом на 0.2 из 5 MiB | ничего не записано | 0 строк, объектов столько же | сразу |
| Нагрузка lab3 (`tests/load.py`, 20 с, c=4) | без регрессии | 276 RPS, 0 ошибок, p50/p95/p99 13/24/33 мс | — |
## Ограничения и следующие шаги ## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. - Один Docker-host, один PostgreSQL, один процесс SeaweedFS без репликации: отказ host/БД/S3 не переживается. S3 недоступен → файловые операции 503 (остальное работает). Восстановление S3 занимает 15–30 с прогрева.
- Тело загрузки держится в памяти процесса (≤ 10 MiB × 4 слота). Это ограничено и измерено, но не «настоящий» стриминг в S3. Следующий шаг — multipart upload кусками по 5 MiB с проверкой по частям или presigned upload (трек 1).
- Progressive JPEG проверяется структурно (маркеры, EOI), без декодирования пикселей: экономия ~115 MiB на 40 Мп. Испорченные энтропийные данные внутри структурно целого progressive-файла не обнаруживаются (их увидит lab5 при создании thumbnail → `failed`).
- `missing_objects` (ready без байтов) сборщик только сообщает; решение о судьбе метаданных — за оператором.
- Ключи идемпотентности, созданные репликой lab3 до обновления, имели отпечаток без `attachment_ids`; повтор такого ключа на lab4 даст 409 (окно 24 ч после rolling update).
- SIGKILL SeaweedFS через 10 с при остановке: безопасно для подтверждённых записей при живом ядре ОС, не при потере питания.
- Docker-прогон (`collect_evidence.py`) выполняется на машине студента. Нативный прогон подтверждает код, HAProxy-конфиг и флаги SeaweedFS, но не compose-обвязку.
## Вопросы защиты — кратко
- **Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?** Volume привязан к одному контейнеру и host. Другая реплика его не видит, поэтому после остановки загрузившей реплики файл недоступен (тест failover это и проверяет). У volume нет общего API доступа, ключей с правами и проверки целостности (Content-MD5), он не масштабируется независимо от API, а с read-only rootfs его пришлось бы ещё и открывать на запись. S3 — общий сервис с собственными ACL, его читают все реплики.
- **Когда можно честно вернуть 201?** Только после того, как S3 подтвердил PUT (с проверкой MD5) **и** COMMIT перевёл строку в `ready`. Раньше — нельзя: «готовое» вложение могло бы не скачаться.
- **S3 PUT прошёл, COMMIT — нет?** Остаются невидимая pending-строка и объект. Ошибку БД API компенсирует сам (удаляет объект, 503). Если процесс умер, сборщик после grace сначала атомарно удаляет pending-строку, потом объект. Объект без строки убирает проход по бакету. Строка всегда создаётся раньше объекта, поэтому «вечных» объектов нет.
- **Почему случайный ключ и приватный бакет не заменяют ACL приложения?** Приватный бакет защищает от анонимного доступа к S3, но клиенты в него и не ходят: все запросы идут через API с ключами API, которые читают **любой** объект бакета. Кто из пользователей что может скачать, знает только приложение (членство в чате). Случайный ключ — защита «неугадываемостью»: он может утечь (лог, ссылка), а доступ после выхода из чата или для чужого пользователя он не ограничивает. Поэтому каждый запрос проверяет членство и отвечает 404 постороннему.
+396
View File
@@ -0,0 +1,396 @@
# Лабораторная 4: HAProxy -> API x N (по умолчанию 2) -> PostgreSQL (метаданные) + Redis (кэш сессий)
# + SeaweedFS S3 (приватный бакет с байтами вложений).
# Сети: backend — lb, api, postgres, redis; storage (internal) — api, s3, s3-init.
# LB не видит S3, S3 не видит PostgreSQL; наружу (127.0.0.1) опубликован только LB.
name: messenger-lab4
x-api-env: &api-env
APP_ENV: ${APP_ENV:-lab}
APP_VERSION: ${APP_VERSION:-lab4}
SESSION_STORE: postgres
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
DB_POOL_MIN: ${DB_POOL_MIN:-1}
DB_POOL_MAX: ${DB_POOL_MAX:-10}
DB_POOL_TIMEOUT_SECONDS: ${DB_POOL_TIMEOUT_SECONDS:-3}
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
CACHE_TIMEOUT_SECONDS: ${CACHE_TIMEOUT_SECONDS:-0.25}
CACHE_RETRY_AFTER_SECONDS: ${CACHE_RETRY_AFTER_SECONDS:-5}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
READY_DB_TIMEOUT_SECONDS: ${READY_DB_TIMEOUT_SECONDS:-1}
DRAIN_SECONDS: ${DRAIN_SECONDS:-3}
GRACEFUL_TIMEOUT_SECONDS: ${GRACEFUL_TIMEOUT_SECONDS:-10}
KEEP_ALIVE_SECONDS: ${KEEP_ALIVE_SECONDS:-30}
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-4}
# Реплики НЕ применяют миграции — это делает сервис migrate.
RUN_MIGRATIONS_ON_START: "false"
# lab4: S3 (credentials API — отдельные, только Read/Write/List одного бакета)
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-2}
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-10}
S3_MAX_ATTEMPTS: ${S3_MAX_ATTEMPTS:-2}
# Общий бюджет вызова S3 (вкл. DNS) и circuit breaker — см. src/main.py s3_call
S3_DOWNLOAD_DEADLINE_SECONDS: ${S3_DOWNLOAD_DEADLINE_SECONDS:-5}
S3_UPLOAD_DEADLINE_SECONDS: ${S3_UPLOAD_DEADLINE_SECONDS:-10}
S3_CIRCUIT_OPEN_SECONDS: ${S3_CIRCUIT_OPEN_SECONDS:-5}
# Лимиты загрузки (не выше контракта: 10 MiB, 40 Мп)
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
MAX_CONCURRENT_UPLOADS: ${MAX_CONCURRENT_UPLOADS:-4}
UPLOAD_QUEUE_TIMEOUT_SECONDS: ${UPLOAD_QUEUE_TIMEOUT_SECONDS:-5}
UPLOAD_READ_TIMEOUT_SECONDS: ${UPLOAD_READ_TIMEOUT_SECONDS:-60}
IMAGE_DECODE_CONCURRENCY: ${IMAGE_DECODE_CONCURRENCY:-2}
# Сборщик незавершённых загрузок и объектов-сирот (src/reconcile.py)
ATTACHMENT_GC_INTERVAL_SECONDS: ${ATTACHMENT_GC_INTERVAL_SECONDS:-300}
ATTACHMENT_GC_GRACE_SECONDS: ${ATTACHMENT_GC_GRACE_SECONDS:-900}
ORPHAN_SWEEP_INTERVAL_SECONDS: ${ORPHAN_SWEEP_INTERVAL_SECONDS:-3600}
x-api-healthcheck: &api-healthcheck
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).read()"]
interval: 3s
timeout: 2s
retries: 2
start_period: 20s
x-api-limits: &api-limits
limits:
cpus: "0.50"
# lab4: 4 одновременные загрузки по 10 MiB; замер пика — evidence/upload_memory*.json
memory: 320M
x-api-secrets: &api-secrets
- database_url
- cache_url
- s3_access_key_id
- s3_secret_access_key
services:
postgres:
image: postgres:16.4-alpine
restart: unless-stopped
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
# (API_REPLICAS + 1 при rolling update) x DB_POOL_MAX + migrate + запас < 100
command: ["postgres", "-c", "max_connections=100"]
secrets:
- postgres_password
volumes:
- pgdata:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger -h 127.0.0.1"]
interval: 3s
timeout: 3s
retries: 20
start_period: 10s
networks: [backend]
stop_grace_period: 30s
deploy:
resources:
limits:
cpus: "1.00"
memory: 512M
redis:
image: redis:7.4.1-alpine
restart: unless-stopped
user: redis
# Только кэш проверок сессии: без RDB/AOF, ограничение памяти и LRU.
command:
- sh
- -c
- exec redis-server --requirepass "$$(cat /run/secrets/redis_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru
secrets:
- redis_password
healthcheck:
test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/redis_password)\" redis-cli ping | grep -q PONG"]
interval: 3s
timeout: 3s
retries: 20
networks: [backend]
deploy:
resources:
limits:
cpus: "0.25"
memory: 96M
# lab4: S3-совместимое хранилище SeaweedFS (master + volume + filer + S3 gateway в
# одном процессе `weed server`). Наружу НЕ публикуется. Административные HTTP-порты
# (master 9333, filer 8888, volume 8080) слушают только 127.0.0.1 ВНУТРИ контейнера
# (-ip.bind), в сеть storage выставлен только S3 API (8333). Анонимного доступа нет:
# identities из secrets/s3_config (bootstrap-admin и messenger-api с правами
# Read/Write/List только на свой бакет). Bucket создаёт s3-init.
s3:
image: chrislusf/seaweedfs:${SEAWEEDFS_VERSION:-4.50}
restart: unless-stopped
entrypoint: ["/usr/bin/weed"]
command:
- server
- -dir=/data
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
- -s3
- -s3.port=8333
- -s3.ip.bind=0.0.0.0
- -s3.config=/run/secrets/s3_config
- -s3.iam=false
- -s3.port.iceberg=0
- -s3.port.lance=0
- -s3.autoCreateBucket=false
- -master.volumeSizeLimitMB=256
- -master.electionTimeout=2s
- -master.telemetry=false
- -volume.max=0
secrets:
- s3_config
volumes:
- s3data:/data
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
interval: 3s
timeout: 3s
retries: 20
start_period: 10s
networks: [storage]
# Штатная остановка SeaweedFS длится ~20 с; Docker ждёт 10 с и шлёт SIGKILL.
# Подтверждённые записи уже в page cache ОС, том консистентен (см. REPORT.md).
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "1.00"
memory: 512M
# Идемпотентный bootstrap бакета + проверка приватности и прав API-ключей.
# Повторный запуск: "already exists (idempotent no-op)". Admin-ключи есть только здесь.
s3-init:
build: .
command: ["python", "-m", "src.s3_bootstrap"]
restart: "no"
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
secrets:
- s3_admin_access_key_id
- s3_admin_secret_access_key
- s3_access_key_id
- s3_secret_access_key
depends_on:
s3:
condition: service_healthy
networks: [storage]
healthcheck:
disable: true
deploy:
resources:
limits:
cpus: "0.50"
memory: 192M
# Однократные миграции до старта реплик. Повтор — no-op (schema_migrations),
# параллельный запуск сериализуется pg_advisory_lock.
migrate:
build: .
command: ["python", "-m", "src.migrate"]
restart: "no"
environment:
DATABASE_URL_FILE: /run/secrets/database_url
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
# DDL может идти дольше обычного запроса API
DB_STATEMENT_TIMEOUT_MS: "60000"
MIGRATE_WAIT_SECONDS: "60"
secrets:
- database_url
depends_on:
postgres:
condition: service_healthy
networks: [backend]
healthcheck:
disable: true
deploy:
resources:
limits:
cpus: "0.50"
memory: 256M
api:
build: .
image: messenger-api:${APP_VERSION:-lab4}
restart: unless-stopped
environment: *api-env
secrets: *api-secrets
depends_on:
postgres:
condition: service_healthy
redis:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
# Порт только внутри сети backend — в обход LB API недоступен.
expose:
- "8080"
healthcheck: *api-healthcheck
# SIGTERM -> осушение DRAIN_SECONDS (3 с) -> graceful shutdown (<= 10 с).
stop_signal: SIGTERM
stop_grace_period: 20s
read_only: true
tmpfs:
- /tmp:size=16m
networks: [backend, storage]
# Остановленный s3 исчезает из Docker DNS; короткий таймаут резолвера.
dns_opt: ["timeout:1", "attempts:1"]
deploy:
replicas: ${API_REPLICAS:-2}
resources: *api-limits
# Экземпляр с коротким TTL — только для автотеста истечения сессии (профиль ttl).
# Не входит в LB (другое DNS-имя), портов наружу не публикует: тест запускается
# внутри сети командой `make test-expiry`
api-short-ttl:
image: messenger-api:${APP_VERSION:-lab4}
profiles: [ttl]
restart: "no"
environment:
<<: *api-env
SESSION_TTL_SECONDS: ${SHORT_SESSION_TTL_SECONDS:-2}
secrets: *api-secrets
depends_on:
api:
condition: service_healthy
expose:
- "8080"
healthcheck: *api-healthcheck
stop_grace_period: 20s
read_only: true
tmpfs:
- /tmp:size=16m
networks: [backend, storage]
deploy:
resources: *api-limits
# lab4: экземпляры с ВНЕДРЁННЫМИ отказами пути загрузки (профиль faults), только для
# student-tests/test_attachment_consistency.py. Не входят в LB (другие DNS-имена),
# порты не публикуют. Запуск: python scripts/ops.py in-network consistency
api-fault-s3:
image: messenger-api:${APP_VERSION:-lab4}
profiles: [faults]
restart: "no"
environment:
<<: *api-env
FAULT_INJECTION: s3_error_on_put
secrets: *api-secrets
depends_on:
api:
condition: service_healthy
expose: ["8080"]
read_only: true
tmpfs: ["/tmp:size=16m"]
networks: [backend, storage]
deploy:
resources: *api-limits
api-fault-db:
image: messenger-api:${APP_VERSION:-lab4}
profiles: [faults]
restart: "no"
environment:
<<: *api-env
FAULT_INJECTION: db_error_after_s3_put
secrets: *api-secrets
depends_on:
api:
condition: service_healthy
expose: ["8080"]
read_only: true
tmpfs: ["/tmp:size=16m"]
networks: [backend, storage]
deploy:
resources: *api-limits
# Процесс завершается (os._exit) между S3 PUT и COMMIT — «падение» реплики.
api-fault-crash:
image: messenger-api:${APP_VERSION:-lab4}
profiles: [faults]
restart: "no"
environment:
<<: *api-env
FAULT_INJECTION: crash_after_s3_put
secrets: *api-secrets
depends_on:
api:
condition: service_healthy
expose: ["8080"]
read_only: true
tmpfs: ["/tmp:size=16m"]
networks: [backend, storage]
deploy:
resources: *api-limits
lb:
image: haproxy:2.8.30-alpine
restart: unless-stopped
ports:
- "127.0.0.1:${APP_PORT:-8080}:8080"
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
depends_on:
api:
condition: service_healthy
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8404/lb-health"]
interval: 5s
timeout: 2s
retries: 3
stop_grace_period: 5s
networks: [backend]
deploy:
resources:
limits:
cpus: "0.50"
memory: 128M
volumes:
pgdata:
s3data:
networks:
backend:
# Внутренняя сеть хранилища объектов: без выхода наружу и без LB.
storage:
internal: true
secrets:
postgres_password:
file: ./secrets/postgres_password
redis_password:
file: ./secrets/redis_password
database_url:
file: ./secrets/database_url
cache_url:
file: ./secrets/cache_url
s3_config:
file: ./secrets/s3_config.json
s3_admin_access_key_id:
file: ./secrets/s3_admin_access_key_id
s3_admin_secret_access_key:
file: ./secrets/s3_admin_secret_access_key
s3_access_key_id:
file: ./secrets/s3_access_key_id
s3_secret_access_key:
file: ./secrets/s3_secret_access_key
+231
View File
@@ -0,0 +1,231 @@
# Отчёт — лабораторная 3
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка: **4**; трек 5 не заявляется
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0; PostgreSQL 16, Redis 7, HAProxy 2.8 LTS. Документация: Docker Compose (services, deploy, depends_on, healthcheck), HAProxy 2.8 Configuration Manual (server-template, resolvers, http-check, retries/redispatch, http-error), PostgreSQL (INSERT … ON CONFLICT, deferrable constraints, advisory locks), Uvicorn (graceful shutdown). Помощь ИИ (Claude) использовалась при проектировании схемы идемпотентности и drain-фазы, написании скриптов стенда, тестов и формулировке отчёта; решения проверены тестами, приведёнными ниже.
## Запуск из чистого clone
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`. Зависимости Python закреплены в `requirements.txt`. Нужны Docker Desktop / Docker Engine с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Вариант оркестрации — **Compose + HAProxy** (Swarm не используется).
```powershell
$env:PYTHONUTF8 = "1"
# 1. Локальные секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
python scripts/init_secrets.py
copy .env.example .env # Linux/macOS: cp .env.example .env
# 2. Проверка, сборка и запуск: postgres+redis -> migrate (однократно) -> api x2 -> lb
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# 3. Ожидание готовности: 2 реплики healthy, обе UP в HAProxy, /health/ready через LB = 200
python scripts/ops.py wait
python scripts/ops.py ps # X-Instance-Id <-> контейнер <-> статус в LB
```
Время прогрева: первая сборка образа 1–2 мин; дальше стенд готов примерно через 20–30 с (healthcheck PostgreSQL, миграции, `start_period` API, `rise 2` в HAProxy).
```powershell
# Публичные проверки (Linux/macOS: make check / make test / make test-persistence ... )
python scripts/check_contract.py
python tests/smoke.py --base-url http://localhost:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd # Linux/macOS: scripts/restart.sh
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd # Linux/macOS: scripts/stop-one.sh
python scripts/ops.py restore # вернуть остановленную реплику; затем повторить failover для другой
# Собственные проверки уровня 4
python student-tests/run_all.py --base-url http://localhost:8080 # API, auth, идемпотентность через реплики, race
python scripts/ops.py in-network storage # тесты с прямым доступом к БД (внутри compose-сети)
python scripts/ops.py in-network expiry # истечение сессии (api-short-ttl, TTL 2 с)
python student-tests/failover_series.py --output evidence/failover_series.json # каждая реплика по очереди, SIGTERM
python student-tests/failover_series.py --mode kill --output evidence/failover_series_kill.json # то же, SIGKILL
python student-tests/rolling_update_load.py --output evidence/rolling_update.json # rolling update под нагрузкой
python tests/load.py --duration 30 --concurrency 8 --output evidence/load.json
# Всё перечисленное одной командой с записью результатов в evidence/ (~8–10 мин):
python scripts/collect_evidence.py
```
**Rolling update.** Задать новый тег `APP_VERSION` (например, `lab3.1`) в `.env` или в окружении и выполнить `python scripts/ops.py rolling-update`: сборка образа, однократные миграции (`docker compose run --rm migrate`), затем для каждой старой реплики: +1 новая → healthy и UP в HAProxy → graceful stop старой → удаление.
**Остановка.** Безопасная, данные сохраняются: `docker compose --env-file .env --profile ttl down` (volume `pgdata` остаётся). Намеренное удаление всех учебных данных — только вручную: `docker compose --env-file .env --profile ttl down -v`. Hooks и тесты никогда не удаляют volumes.
**Действия оператора:** создать секреты до первого запуска; пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` не перезаписывает существующие файлы. После `stop-one`/тестов отказа вернуть реплику `python scripts/ops.py restore`.
## Архитектура и решения
```
127.0.0.1:8080 (единственная публичная точка входа API)
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки GET /health/ready
│ 127.0.0.1:8404 — страница состояния (UP/DOWN реплик), только чтение
│ обнаружение реплик: Docker DNS имени `api` -> server-template api1..api6
▼
┌───────── api (deploy.replicas = 2, без ports, без container_name) ─────────┐
│ api-1: X-Instance-Id = hostname = короткий ID контейнера 0.5 CPU / 256M │
│ api-2: ... 0.5 CPU / 256M │
└──────┬──────────────────────────────────────────────────────────┬──────────┘
▼ ▼
postgres 16 (1 CPU / 512M, volume pgdata) redis 7 (0.25 CPU / 96M)
источник истины: users, chats, messages, общий кэш проверок токена,
sessions, idempotency_keys, schema_migrations без persistence
▲
migrate (one-shot): python -m src.migrate — до старта реплик, один раз
```
Порядок старта задаётся `depends_on`: `postgres`, `redis` (healthy) → `migrate` (`service_completed_successfully`) → `api` (healthy) → `lb`. API-реплики не публикуют порты: `expose: 8080` только внутри сети `backend`. Наружу (на 127.0.0.1) опубликован только `lb`.
### Почему HAProxy, а не Nginx
В open-source Nginx нет активных health checks: он узнаёт об отказе только по ошибкам живых запросов (`max_fails`). HAProxy сам опрашивает `/health/ready` с заданным периодом. Поэтому время обнаружения отказа можно указать числом, а фаза осушения при SIGTERM действительно выводит реплику из ротации до остановки. `server-template` + `resolvers` синхронизируют список реплик с DNS-записями сервиса `api` каждые 2 с. Масштабирование и rolling update поэтому не требуют перезапуска или перечитывания конфига LB. Sticky sessions не используются (`balance roundrobin`, без cookie).
### Что перенесено из lab2 и что изменено
Перенесены без изменения семантики: модели и валидация, формат ошибок, keyset-пагинация, Argon2id, Basic → Bearer, сессии в PostgreSQL + кэш в Redis с надёжной инвалидацией (`session_cache_invalidations`), собственные тесты lab2. Схема lab2 уже рассчитана на несколько реплик: сессии лежат в общей БД, кэш — в общем Redis, а долг инвалидации перечитывается всеми репликами не реже раза в секунду.
Изменено в lab3:
1. **Переход 2 → 3 по контракту:** `X-Instance-Id` во всех ответах API, включая ошибки и health (middleware + `error_response`). Обязательный `Idempotency-Key` для `POST /chats/{id}/messages`.
2. **Общая идемпотентность** — таблица `idempotency_keys` (миграция `003`), подробности ниже.
3. **Миграции вынесены из реплик** в one-shot сервис `migrate` (`RUN_MIGRATIONS_ON_START=false`). Реплика готова только когда в `schema_migrations` есть последняя версия, которую знает её образ.
4. **Graceful shutdown с осушением** (`src/server.py`): по SIGTERM реплика сразу отвечает 503 на readiness, но ещё 3 с обслуживает запросы, затем штатно останавливается.
5. **Лимит одновременных хешей Argon2id** (`PASSWORD_HASH_CONCURRENCY=4`). У реплики лимит 256M, а threadpool FastAPI — до 40 потоков; без лимита всплеск входов мог бы занять 40 × 19 MiB и привести к OOM-kill.
6. **Readiness** использует отдельный короткий таймаут БД (`READY_DB_TIMEOUT_SECONDS=1`) меньше `timeout check` HAProxy.
7. Тесты lab2 адаптированы к переходу: при отправке сообщения добавляется `Idempotency-Key`, имя проекта сменилось на `messenger-lab3`. Тест истечения сессии и тесты хранилища теперь идут внутри compose-сети, без публикации портов в обход LB.
### Идемпотентность отправки сообщения (`src/storage.py`, `migrations/003_idempotency_keys.sql`)
- Ключ: `PRIMARY KEY (user_id, method, chat_id, idem_key)` — ровно область из контракта «пользователь + метод + путь чата + ключ». В строке хранятся SHA-256 канонического JSON тела (`sort_keys`, без пробелов: порядок ключей и форматирование не важны), `message_id`, `expires_at = now + IDEMPOTENCY_TTL_SECONDS (86400)`.
- **Одна транзакция READ COMMITTED:**
1. `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE expires_at <= now() RETURNING`. Конкурентная транзакция с тем же ключом **ждёт на уникальном индексе**, пока первая не сделает COMMIT/ROLLBACK. Это и даёт «ровно одно сообщение» при одновременных повторах через разные реплики: арбитр — PostgreSQL, а не память процесса.
2. Ключ наш → `INSERT messages … WHERE EXISTS (членство)` с заранее выбранным id. FK `message_id → messages` объявлен `DEFERRABLE INITIALLY DEFERRED` и проверяется при COMMIT, поэтому `message_id NOT NULL` с первого шага.
3. Ключ уже подтверждён → снова проверяется членство (и сессия — dependency `current_user`). Hash совпал → 201 и то же сообщение (+ информационный заголовок `Idempotency-Replayed: true`); не совпал → 409.
- Любая ошибка или обрыв до COMMIT откатывает и ключ, и сообщение: транзиентный 5xx не фиксируется. 404 и 400 ключ не «сжигают». Истёкший, но ещё не удалённый ключ можно занять заново. Фоновая очистка раз в 5 мин удаляет истёкшие ключи пачками под `pg_try_advisory_xact_lock`, то есть одной репликой за раз.
- Порядок проверок: аутентификация → ключ (нет/неверный → 400) → тело → доступ к чату (404).
### Readiness, таймауты и остановка — согласованные значения
| Параметр | Значение | Почему |
| --- | --- | --- |
| HAProxy `inter` / `fastinter` / `fall` / `rise` | 1 с / 0.5 с / 2 / 2 | DOWN после 2 неудачных проверок подряд, вторая — через 0.5 с |
| HAProxy `timeout check` | 1.5 с | больше `READY_DB_TIMEOUT_SECONDS` = 1 с |
| HAProxy `timeout connect`, `retries`, `option redispatch 1` | 1 с, 2, да | несостоявшееся соединение повторяется на другой реплике; запрос ещё не отправлен — безопасно и для POST |
| HAProxy `timeout server` | 10 с | > максимум запроса API: пул 3 с + `statement_timeout` 5 с |
| `resolvers` hold valid/obsolete | 2 с / 2 с | новые/исчезнувшие контейнеры попадают в LB за ≤ ~2–3 с |
| API `DRAIN_SECONDS` | 3 с | > худшее обнаружение DOWN при ответах 503 (≈ 1 + 0.5 с + задержка проверок) |
| API `GRACEFUL_TIMEOUT_SECONDS` | 10 с | дождаться запросов в обработке (≤ 8 с) |
| compose `stop_grace_period` (api) | 20 с | > 3 + 10 — SIGKILL не прилетает во время graceful stop |
| Docker healthcheck api | 3 с / timeout 2 с / retries 2 / start_period 20 с | для `depends_on` и `ops.py` (rolling update ждёт healthy) |
| Uvicorn keep-alive | 30 с | дольше, чем LB держит простаивающие соединения к серверу |
**Максимальное время обнаружения отказа балансировщиком:** graceful stop (сразу 503) и падение процесса (соединение отклонено) — до ≈ 1.5–2 с; зависшая реплика без ответа — до 1 + 1.5 + 0.5 + 1.5 = **4.5 с**. Пока реплика не помечена DOWN, запрос к ней, не сумевший соединиться за 1 с, уходит на другую. **Измерено** (`evidence/failover_series*.json`, `evidence/shutdown_timeline.txt`): DOWN через 0.96–1.41 с после SIGTERM и через 1.10–1.28 с после SIGKILL.
**Временная шкала graceful stop** (`evidence/shutdown_timeline.txt`): SIGTERM → +0.01 с readiness 503 → +1.30 с HAProxy DOWN (новые запросы больше не приходят) → +3.02 с закрыт listening-сокет → +3.12 с процесс завершён. LB выводит реплику из ротации на ~1.7 с раньше, чем она перестаёт принимать соединения, поэтому graceful stop не даёт ошибок клиенту.
**Критичные зависимости readiness:** PostgreSQL (и наличие мигрированной схемы). Redis не критичен — это кэш с обходом (circuit breaker 5 с), как в lab2. Если ни одна реплика не готова, LB сам отвечает `503` в общем JSON-формате ошибок с тем же `X-Request-Id` (`http-error`, `evidence/lb_errors.txt`). `X-Instance-Id` в таком ответе нет — контракт это допускает.
### Миграции и совместимость с работающей версией
- `migrate` выполняется **один раз** до старта реплик. Повтор — no-op (`schema_migrations`); две одновременные копии сериализуются `pg_advisory_lock` (`evidence/migrations.txt`: копия B применила 3 миграции, копия A — `nothing applied`). Реплики миграции не запускают и не готовы, пока схема не мигрирована: на пустой БД readiness = 503 `Database schema is not migrated`, после `migrate` — 200 без рестарта.
- Rolling update применяет миграции **до** замены реплик, поэтому допускаются только **расширяющие** (expand) миграции, совместимые со старой версией. `003` только добавляет таблицу. Проверено: код lab2 (старая версия) проходит smoke lab2 на схеме lab3 одновременно с репликами lab3 (`evidence/migrations.txt`).
- Ограничение: смешанный парк «lab2 + lab3» во время обновления формально совместим по схеме, но реплики lab2 не требуют и не записывают `Idempotency-Key`. Поэтому гарантия идемпотентности действует только когда все реплики уже lab3. Удаляющие/переименовывающие миграции нужно делить на expand → переключение кода → contract отдельным релизом.
### Соответствие `.env.example` и реальной конфигурации
| Переменная | Где используется |
| --- | --- |
| `APP_HOST`, `APP_PORT` | внутри контейнера Uvicorn слушает `0.0.0.0:8080`; `APP_PORT` — публикуемый порт LB `127.0.0.1:${APP_PORT}` |
| `LB_STATS_PORT` | страница состояния HAProxy `127.0.0.1:8404` (`ops.py`, тесты отказов) |
| `APP_ENV`, `APP_VERSION` | `APP_VERSION` — тег образа `messenger-api:${APP_VERSION}` (rolling update) и строка в логе старта |
| `SESSION_TTL_SECONDS`, `SHORT_SESSION_TTL_SECONDS` | TTL сессий; второй — для `api-short-ttl` (профиль `ttl`) |
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Compose secrets `/run/secrets/database_url`, `/run/secrets/cache_url` |
| `SESSION_STORE` | `postgres` — источник истины сессий; Redis — общий кэш |
| `SESSION_CACHE_TTL_SECONDS` | TTL записи кэша и «надгробия» logout |
| `API_REPLICAS` | `deploy.replicas` сервиса `api` (2); ожидаемое число реплик в `ops.py` |
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения результата ключа (≥ 86400, иначе API не стартует) |
| `DB_POOL_*`, `DB_*_TIMEOUT*` | пул (1..10 на реплику), ожидание соединения 3 с, connect 3 с, statement 5 с |
| `CACHE_TIMEOUT_SECONDS`, `CACHE_RETRY_AFTER_SECONDS` | таймаут Redis 250 мс и обход кэша на 5 с после ошибки |
| `READY_DB_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `GRACEFUL_TIMEOUT_SECONDS`, `KEEP_ALIVE_SECONDS` | readiness и остановка — таблица выше |
| `PASSWORD_HASH_CONCURRENCY` | одновременных хешей Argon2id на реплику |
`max_connections=100` у PostgreSQL ≥ (2 реплики + 1 во время rolling update) × 10 + migrate + api-short-ttl + запас.
### Инфраструктура
| Роль | Service | Версия | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
| --- | --- | --- | --- | --- | --- | --- | --- |
| load_balancer | `lb` | `haproxy:2.8.30-alpine` | `wget /lb-health` (monitor-uri) | — (конфиг ro bind) | `backend`; **127.0.0.1:8080**, 127.0.0.1:8404 | — | 0.5 CPU / 128M |
| api × 2 | `api` | сборка `Dockerfile`, `python:3.12.7-slim-bookworm` | `/health/ready` (БД + схема + не в drain) | нет, `read_only` + tmpfs `/tmp` | `backend`, `expose 8080` (наружу нет) | secrets `database_url`, `cache_url` | 0.5 CPU / 256M |
| миграции | `migrate` | тот же Dockerfile | one-shot, exit 0 | — | `backend` | secret `database_url` | 0.5 CPU / 256M |
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | `backend`, наружу нет | secret `postgres_password` | 1 CPU / 512M |
| redis | `redis` | `redis:7.4.1-alpine`, user `redis` | `redis-cli ping` | нет (кэш) | `backend`, наружу нет | secret `redis_password` | 0.25 CPU / 96M |
| тест TTL | `api-short-ttl` (профиль `ttl`) | образ api | `/health/ready` | — | `backend`, не в LB, портов нет | как api | 0.5 CPU / 256M |
`container_name` нигде не задан. Секреты общие только там, где нужны: пароль PostgreSQL есть только у `postgres`, пароль Redis — у `redis`, строки подключения — у `api`/`migrate`. Bootstrap: схема создаётся сервисом `migrate` на пустом volume; повтор безопасен. Hooks: `scripts/restart.sh|.cmd` → `ops.py restart` (stop lb+api → restart postgres+redis → start api → healthy → start lb); `scripts/stop-one.sh|.cmd` → `ops.py stop-one` (одна реплика по `TARGET_INSTANCE_ID`, остаётся остановленной). Каждое действие пишется в `evidence/ops.log`.
## Доказательства критериев
**Стенд, на котором сняты приложенные результаты.** Windows 10, Ryzen 5 7500f, 32 GB RAM. PostgreSQL 16, Redis 7 и HAProxy **2.8.30**, Docker Desktop. Код приложения, миграции и **тот же `infra/haproxy/haproxy.cfg`** использованы как есть. Только `server-template` + DNS заменены на 6 статических слотов, реплики запущены как `python -m src.server` (2 процесса), CPU/RAM-лимитов нет. Compose-файл проверен `docker compose config`, конфиг HAProxy — `haproxy -c` той же версии 2.8.30, что в образе. `scripts/ops.py` прогнан против заглушки `docker`.
### Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
| Контракт | `make check`, `make validate`, `docker compose config --quiet`, `haproxy -c` | все PASS / valid | `evidence/check.txt` |
| Стенд в `compose.yaml`, ≥ 2 реплики, одна точка входа, общая БД и хранилище сессий | `compose.yaml`; `python scripts/ops.py ps` | `api` × 2 без `ports`; публикуется только `lb`; одна `postgres`, один `redis` | `compose.yaml`, `evidence/stand.txt` (после `collect_evidence.py`) |
| Разные запросы одного пользователя — разными репликами без повторного входа | 20 × `GET /users/me` с одним токеном через LB | чередование двух `X-Instance-Id`, все 200 | `evidence/instances.txt` |
| Остановка любой одной реплики: ≤ 10 с, чтение/запись продолжаются, подтверждённые доступны | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` × 2 (вторая реплика после восстановления первой) + SIGKILL | PASS ×3; `failed_attempts: 0`; запись не прерывалась (первая запись после возврата hook — 3.3 с = длительность graceful hook; при SIGKILL — 0.11 с); остановлены разные реплики | `evidence/failover.txt` |
| Какой процесс реально остановлен | журнал hook | `SIGTERM nat-api-4` в прогоне 1, `SIGTERM nat-api-3` в прогоне 2 (в compose — `evidence/ops.log`: имя контейнера, IP, состояние после) | `evidence/failover.txt` |
| Повтор POST с тем же ключом не создаёт дубль, в т.ч. конкурентно и при смене реплики | smoke; `test_idempotency.py` (24 параллельных POST, Barrier); failover-тест повторяет неопределённые POST тем же ключом | 24 × 201, один `id`, ответы через **обе** реплики, в истории 1 сообщение; дублей нет ни в одном сценарии отказа | `evidence/student-tests.txt`, `evidence/failover*.txt` |
| Persistence: рестарт стенда с volumes и тем же токеном | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; PID до/после: postgres 1469→2901, redis 1479→2911, api 2846→2917 и 2866→2925, HAProxy перезапущен | `evidence/persistence.txt` |
| Миграции отдельно и согласованно | сервис `migrate`; readiness проверяет схему | реплики не мигрируют; повтор no-op; гонка двух `migrate` безопасна | `evidence/migrations.txt` |
### Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Health/readiness, timeouts и SIGTERM согласованы; LB исключает недоступный backend; период проверок и макс. время обнаружения | `infra/haproxy/haproxy.cfg`, `src/server.py`; замер шкалы остановки | проверки каждые 1 с (0.5 с после первой неудачи), fall 2; обнаружение ≤ 1.5–2 с (503/RST), ≤ 4.5 с (зависание). Замер: 503 на readiness через 0.01 с, DOWN через 1.30 с, приём прекращён через 3.02 с | таблица выше, `evidence/shutdown_timeline.txt`, `evidence/lb_log_sample.txt` |
| Последовательно остановить каждую реплику (восстанавливая предыдущую); RPS, ошибки, время восстановления | `failover_series.py` (4 писателя + 2 читателя, timeout клиента 2 с) | **SIGTERM:** 0 ошибок; DOWN в LB через 1.41 / 0.96 с; RPS 407 → 324 (одна реплика) → 354 после restore; p95 30–31 мс; реплика снова в ротации через 3.0 / 2.6 с после restore. **SIGKILL:** 6 / 3 оборванных запроса (502) в окне ≤ 0.21 с после kill, все записи повторены тем же ключом без дублей; DOWN через 1.28 / 1.10 с | `evidence/failover_series.json`, `evidence/failover_series_kill.json`, `evidence/failover_series.txt` |
| Общая идемпотентность параллельными запросами с одним ключом | `test_idempotency.py`, `test_storage_idempotency.py` | 24 параллельных → 1 сообщение через 2 реплики; 12 разных тел с одним ключом → один победитель, остальные 409; 16 потоков на уровне хранилища → одна вставка; сбой после вставки ключа и сообщения → ни ключа, ни сообщения, повтор успешен | `evidence/student-tests.txt` |
| CPU/RAM-лимиты; API без портов в обход LB; секреты/хранилища общие только где нужно; нет `container_name` | `compose.yaml` | лимиты у всех сервисов (api 0.5 CPU / 256M); у `api` только `expose`; `container_name` отсутствует; RSS реплики под нагрузкой 132 MB < 256M | `compose.yaml`, `evidence/load.txt` |
| Rolling update под нагрузкой | `rolling_update_load.py` → `ops.py rolling-update` (на нативном стенде — тот же алгоритм) | замена 2 реплик за 11.8 с, **0 ошибок**, RPS 388 → 381 во время → 385 после, p95 31 → 34 мс; после — только новые реплики; 5709 подтверждённых сообщений на месте, дублей нет | `evidence/rolling_update.json`, `evidence/rolling_update.txt` |
| Миграции однократно и совместимы с работающей версией | сервис `migrate`; код lab2 на схеме lab3 | см. раздел «Миграции»; ограничение смешанного парка описано | `evidence/migrations.txt` |
| Возможности lab2 сохранены | `run_all.py` (47 тестов + race), `test_expiry` на экземпляре с TTL 2 с | все PASS (1 skip — expiry в общем прогоне, запускается отдельно и проходит) | `evidence/student-tests.txt` |
## Эксперименты и отказы
**Гипотеза.** Если всё состояние, от которого зависит корректность (данные, сессии, ключи идемпотентности), лежит в общем PostgreSQL, а LB активно проверяет готовность и реплика по SIGTERM сначала выходит из ротации, то: (1) graceful-остановка любой реплики и rolling update проходят без ошибок для клиента; (2) падение реплики даёт только кратковременные ошибки запросов, которые были в обработке, и клиент безопасно повторяет их с тем же ключом; (3) дублей и потерь подтверждённых сообщений нет. Подтверждено измерениями ниже.
**Методика.** Генератор `student-tests/loadgen.py`: 4 писателя (POST с `Idempotency-Key`; при обрыве, timeout или 5xx — повтор с тем же ключом и телом до 201) и 2 читателя (история, `/users/me`); timeout клиента 2 с; опрос страницы HAProxy каждые 100 мс. Каждый раунд: 5 с прогрева → действие → 15 с без реплики → restore → 3 с. После раунда — полный обход истории и сверка со всеми подтверждёнными ответами. Стенд — см. «Доказательства»: клиент на той же машине, без лимитов. Повторов для статистики нет: разброс RPS между раундами ±5–8 %.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| SIGTERM реплики 1 под нагрузкой | 0 ошибок, LB выводит до остановки | 0 ошибок; DOWN через 1.41 с; реплика отвечала ещё 1.34 с (до DOWN) | hook 3.3 с; RPS 407 → 324 → 354; возврат в ротацию 3.0 с после restore; потерь нет |
| SIGTERM реплики 2 | то же | 0 ошибок; DOWN через 0.96 с | hook 3.4 с; RPS 393 → 304 → 348; возврат 2.6 с; потерь нет |
| SIGKILL реплики 1 | ошибки только у запросов в обработке, повтор без дублей | 6 × 502 в окне 0.21 с, 4 повтора записи тем же ключом; DOWN через 1.28 с | новые запросы успешны сразу (redispatch); возврат 2.8 с; дублей нет |
| SIGKILL реплики 2 | то же | 3 × 502 в окне 0.14 с, 1 повтор записи; DOWN через 1.10 с | возврат 2.7 с; дублей нет |
| Публичный failover (×2 graceful, ×1 kill) | PASS, ≤ 10 с | PASS; 0 failed attempts | первая запись после hook: 3.3 с / 3.4 с / 0.11 с |
| Rolling update 2 реплик под нагрузкой | 0 ошибок, после — только новые | 0 ошибок; `[api1,api2] → [api1,api2,api3] → [api2,api3] → … → [api3,api4]` | 11.8 с; RPS не просел (388 / 381 / 385) |
| Рестарт API + PostgreSQL + Redis + LB | данные и сессия сохраняются | PASS, тот же токен | потерь нет |
| Все реплики недоступны | LB отвечает 503 в формате контракта | JSON 503 с `request_id` = `X-Request-Id` | — |
**Нагрузка** (`tests/load.py`, closed-loop POST, без retry): 30 с, concurrency 8 → 10 955 успешных, 0 ошибок, **364 RPS**, p50 19.9 мс, p95 42.8 мс, p99 53.4 мс (только успешные); набор данных — один чат, ~11 тыс. новых сообщений. RSS каждой реплики 132 MB, 14 потоков. Во время отказа одной реплики RPS падает примерно на 20 %: при 2 vCPU на машину одна реплика (один процесс Uvicorn) упирается в CPU. Это пропускная способность HTTP-подтверждений в данном профиле, а не максимум системы; с лимитами 0.5 CPU на реплику в Docker цифры будут ниже.
## Ограничения и следующие шаги
- **Отказы, которые выдерживаются:** остановка или падение любой одной API-реплики, rolling update реплик, рестарт всего стенда с volumes. **Не выдерживаются:** отказ `lb`, `postgres` (единственная копия, без репликации) и Docker-host — это SPOF. Отказ `redis` не влияет на корректность (обход кэша, как в lab2).
- При падении (SIGKILL) запросы, которые реплика обрабатывала в этот момент, завершаются ошибкой 502. LB не повторяет уже отправленные POST — по контракту это делает клиент с тем же `Idempotency-Key`. Для `POST /users` и `POST /chats` повтор после неопределённого результата может создать второй объект (контракт этого не запрещает и прозрачных повторов не требует).
- HAProxy держит до 6 слотов реплик (`server-template api 1-6`). Больше — поменять число в конфиге.
- Страница состояния HAProxy на 127.0.0.1:8404 без аутентификации, только чтение и только localhost.
- Приложенные результаты сняты на нативном эквиваленте стенда (см. «Доказательства»), без CPU/RAM-лимитов и без Docker DNS. Перед защитой их нужно повторить `python scripts/collect_evidence.py` на Docker; конкретные цифры на ноутбуке будут другими.
- Время обнаружения на Docker дополнительно включает DNS-синхронизацию (до ~2 с на появление новой реплики в LB). На отказ это не влияет: остановленную реплику исключают активные проверки раньше, чем DNS.
- Идемпотентность гарантирована, только когда все реплики — lab3 (см. «Миграции»).
- HTTP без TLS — допустимо только на локальном учебном стенде. Пароль Redis передаётся `redis-server` аргументом внутри контейнера (как в lab2).
## Вопросы защиты — кратко
- **Отказ процесса vs отказ узла.** Процесс (контейнер реплики) падает, остальные реплики на том же host живы, общие PostgreSQL/Redis/LB целы — это и проверяет лаба. При отказе узла пропадает всё, что на нём: здесь это весь стенд, включая LB и единственную БД. Защита от него — несколько host, репликация БД, LB с переносом адреса (трек 2 уровня 5, не заявлен).
- **Почему depends_on/healthcheck — не балансировщик.** `depends_on` управляет только порядком старта, а Docker healthcheck лишь меняет статус контейнера. Ни один из них не перенаправляет трафик и не выводит больную реплику из ротации. Это делает LB своими проверками (здесь — HAProxy `http-check` каждые 1 с).
- **Какие POST можно повторять после timeout.** Только те, что защищены ключом идемпотентности: здесь `POST /chats/{id}/messages` с тем же `Idempotency-Key` и тем же телом. Ключ защищает от дубля, если ответ потерялся после COMMIT: повтор вернёт исходное сообщение, а не создаст второе. `POST /users`, `POST /chats`, `POST /auth/sessions` после неопределённого результата повторять «вслепую» нельзя — создастся новый объект или новая сессия.
- **Сессии в локальной памяти при росте числа реплик.** Токен, выданный репликой A, неизвестен реплике B: каждый второй запрос получит 401, logout на одной реплике не отзовёт сессию на другой, рестарт реплики разлогинит её пользователей. «Чинить» это sticky sessions — значит терять сессии при отказе реплики. Поэтому сессии лежат в общем PostgreSQL (кэш — общий Redis), а ключи идемпотентности — в общей БД.
+25
View File
@@ -0,0 +1,25 @@
# Доказательства
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
## Файлы этой работы (lab3)
`python scripts/collect_evidence.py` на compose-стенде перезаписывает их результатами Docker; `SUMMARY.txt` — итог по шагам.
| Файл | Что доказывает |
| --- | --- |
| `check.txt` | make check / validate, `docker compose config`, `haproxy -c` |
| `smoke.txt` | публичный smoke lab3 через LB |
| `instances.txt` | одна сессия обслуживается разными репликами (X-Instance-Id) |
| `student-tests.txt` | собственные тесты: lab2 + идемпотентность через реплики + хранилище + expiry |
| `failover.txt` | публичный failover для обеих реплик и SIGKILL; какой процесс/контейнер остановлен |
| `failover_series*.json/.txt` | уровень 4: каждая реплика по очереди под нагрузкой — RPS, ошибки, обнаружение, восстановление |
| `rolling_update*.json/.txt` | уровень 4: rolling update под нагрузкой |
| `persistence.txt` | рестарт API + PostgreSQL + Redis + LB с тем же токеном |
| `migrations.txt` | миграции однократно, readiness ждёт схему, совместимость со старой версией |
| `shutdown_timeline.txt` | SIGTERM → readiness 503 → DOWN в LB → выход процесса |
| `lb_errors.txt`, `lb_log_sample.txt` | ответы и журнал балансировщика |
| `load.json`, `load.txt` | нагрузка 30 с, RSS реплик |
| `ops.log` | журнал scripts/ops.py (реальные контейнеры — после прогона на Docker) |
+34
View File
@@ -0,0 +1,34 @@
# 2026-10-26 19:35:57 UTC
OK Контракт (offline) evidence/check.txt
OK Compose config evidence/check.txt
OK Стенд: контейнеры evidence/stand.txt
OK Стенд: реплики и статус в LB evidence/stand.txt
OK Стенд: лимиты CPU/RAM evidence/stand.txt
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
OK Публичный smoke evidence/smoke.txt
OK Собственные тесты (HTTP через LB) evidence/student-tests.txt
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
OK Failover #1: реплики до evidence/failover.txt
OK Failover #1: make test-failover evidence/failover.txt
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #1: restore evidence/failover.txt
OK Failover #2: реплики до evidence/failover.txt
OK Failover #2: make test-failover evidence/failover.txt
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #2: restore evidence/failover.txt
OK Failover #3: реплики до evidence/failover.txt
OK Failover #3: make test-failover evidence/failover.txt
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #3: restore evidence/failover.txt
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
OK Rolling update lab3 -> lab3.1 под нагрузкой evidence/rolling_update.txt
OK Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой evidence/rolling_update.txt
OK Реплики после обновлений evidence/rolling_update.txt
OK Persistence: контейнеры до evidence/persistence.txt
OK Persistence: make test-persistence evidence/persistence.txt
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
OK CPU/RAM после нагрузки evidence/load.txt
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
+7
View File
@@ -0,0 +1,7 @@
# 2026-10-26 19:29:57 UTC | Контракт (offline) | exit 0 | 0.1s
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-10-26 19:29:57 UTC | Compose config | exit 0 | 0.2s
$ docker compose --env-file .env config --quiet
+66
View File
@@ -0,0 +1,66 @@
# 2026-10-26 19:30:28 UTC | Failover #1: реплики до | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:30:44 UTC | Failover #1: make test-failover | exit 0 | 16.4s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 4.672}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:30:44 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
# 2026-10-26 19:30:51 UTC | Failover #1: restore | exit 0 | 6.4s
$ python scripts/ops.py restore
2026-10-26T19:30:51.183Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 6.3s
# 2026-10-26 19:30:51 UTC | Failover #2: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:31:07 UTC | Failover #2: make test-failover | exit 0 | 16.2s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.094}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:31:07 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
# 2026-10-26 19:31:13 UTC | Failover #2: restore | exit 0 | 6.0s
$ python scripts/ops.py restore
2026-10-26T19:31:13.832Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 5.9s
# 2026-10-26 19:31:14 UTC | Failover #3: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:31:30 UTC | Failover #3: make test-failover | exit 0 | 16.4s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.766}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:31:30 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 exited unhealthy messenger-api:lab3 - -
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:31:37 UTC | Failover #3: restore | exit 0 | 6.4s
$ python scripts/ops.py restore
2026-10-26T19:31:37.160Z restore: started ['messenger-lab3-api-1']; 2 replicas healthy and UP in LB after 6.3s
# остановленные публичным тестом реплики: ['a21409fffeec', 'a21409fffeec', 'c4c5ae5b0949']
+294
View File
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"a21409fffeec",
"c4c5ae5b0949"
],
"rounds": [
{
"target_instance": "a21409fffeec",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.09,
"lb_detect_down_seconds": 1.77,
"target_last_served_after_stop_seconds": 1.67,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 6.7,
"lb_back_up_seconds": 1.39,
"target_back_in_rotation_seconds": 6.69,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1322,
"ok": 1322,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 264.4,
"write_ok_rps": 159.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 63.0,
"p99": 109.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 1059,
"ok": 1059,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 105.9,
"write_ok_rps": 64.0,
"latency_ms_ok": {
"p50": 47.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 439,
"ok": 439,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 87.8,
"write_ok_rps": 53.4,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"c4c5ae5b0949"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.0,
"requests": 1618,
"ok": 1618,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 161.8,
"write_ok_rps": 96.7,
"latency_ms_ok": {
"p50": 16.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
6.77,
[
"api1"
]
],
[
21.39,
[
"api1",
"api2"
]
],
[
21.77,
[
"api1"
]
],
[
24.28,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2674,
"stored_messages": 2674,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "c4c5ae5b0949",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.03,
"lb_detect_down_seconds": 0.97,
"target_last_served_after_stop_seconds": 0.91,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 6.56,
"lb_back_up_seconds": 0.67,
"target_back_in_rotation_seconds": 6.56,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1353,
"ok": 1353,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 269.7,
"write_ok_rps": 158.3,
"latency_ms_ok": {
"p50": 16.0,
"p95": 63.0,
"p99": 109.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.02,
"to_s": 15.02,
"requests": 990,
"ok": 990,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 99.0,
"write_ok_rps": 59.2,
"latency_ms_ok": {
"p50": 62.0,
"p95": 156.0,
"p99": 203.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.02,
"to_s": 20.03,
"requests": 410,
"ok": 410,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 81.8,
"write_ok_rps": 49.1,
"latency_ms_ok": {
"p50": 93.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"a21409fffeec"
]
},
"after_restore": {
"from_s": 20.03,
"to_s": 29.86,
"requests": 1602,
"ok": 1601,
"errors": 1,
"error_ratio": 0.0006,
"ok_rps": 162.9,
"write_ok_rps": 98.7,
"latency_ms_ok": {
"p50": 16.0,
"p95": 109.0,
"p99": 187.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
5.98,
[
"api2"
]
],
[
20.7,
[
"api1",
"api2"
]
],
[
20.94,
[
"api2"
]
],
[
23.47,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2604,
"stored_messages": 2604,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
# 2026-10-26 19:32:39 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 61.9s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
-- stopping a21409fffeec (mode=stop) under load
hook 4.09s | LB DOWN after 1.77 s | errors 0 (-) | RPS before 264.4, outage 105.9, after restore 161.8 | p95 outage 110.0 ms | back in rotation 6.69 s | data ok=True
-- stopping c4c5ae5b0949 (mode=stop) under load
hook 4.03s | LB DOWN after 0.97 s | errors 0 (-) | RPS before 269.7, outage 99.0, after restore 162.9 | p95 outage 156.0 ms | back in rotation 6.56 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
# 2026-10-26 19:33:42 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.1s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
-- stopping a21409fffeec (mode=kill) under load
hook 1.01s | LB DOWN after 2.53 s | errors 0 (-) | RPS before 235.6, outage 76.1, after restore 146.5 | p95 outage 187.0 ms | back in rotation 7.06 s | data ok=True
-- stopping c4c5ae5b0949 (mode=kill) under load
hook 0.92s | LB DOWN after 2.38 s | errors 0 (-) | RPS before 270.1, outage 78.3, after restore 149.7 | p95 outage 187.0 ms | back in rotation 7.19 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"a21409fffeec",
"c4c5ae5b0949"
],
"rounds": [
{
"target_instance": "a21409fffeec",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.01,
"lb_detect_down_seconds": 2.53,
"target_last_served_after_stop_seconds": 0.5,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.09,
"lb_back_up_seconds": 1.45,
"target_back_in_rotation_seconds": 7.06,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1178,
"ok": 1178,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 235.6,
"write_ok_rps": 137.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 110.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 761,
"ok": 761,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 76.1,
"write_ok_rps": 46.0,
"latency_ms_ok": {
"p50": 78.0,
"p95": 187.0,
"p99": 1015.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.01,
"requests": 454,
"ok": 454,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 90.5,
"write_ok_rps": 53.8,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"c4c5ae5b0949"
]
},
"after_restore": {
"from_s": 20.01,
"to_s": 30.44,
"requests": 1527,
"ok": 1527,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 146.5,
"write_ok_rps": 85.9,
"latency_ms_ok": {
"p50": 16.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
7.53,
[
"api1"
]
],
[
21.47,
[
"api1",
"api2"
]
],
[
21.94,
[
"api1"
]
],
[
24.48,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2318,
"stored_messages": 2318,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "c4c5ae5b0949",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 0.92,
"lb_detect_down_seconds": 2.38,
"target_last_served_after_stop_seconds": 0.44,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.25,
"lb_back_up_seconds": 1.45,
"target_back_in_rotation_seconds": 7.19,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1355,
"ok": 1355,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 270.1,
"write_ok_rps": 156.9,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 109.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.02,
"to_s": 15.02,
"requests": 783,
"ok": 783,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 78.3,
"write_ok_rps": 47.5,
"latency_ms_ok": {
"p50": 78.0,
"p95": 187.0,
"p99": 1016.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.02,
"to_s": 20.02,
"requests": 439,
"ok": 439,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 87.8,
"write_ok_rps": 52.4,
"latency_ms_ok": {
"p50": 78.0,
"p95": 125.0,
"p99": 203.0
},
"instances": [
"a21409fffeec"
]
},
"after_restore": {
"from_s": 20.02,
"to_s": 30.56,
"requests": 1579,
"ok": 1579,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 149.7,
"write_ok_rps": 89.7,
"latency_ms_ok": {
"p50": 16.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
7.39,
[
"api2"
]
],
[
21.47,
[
"api1",
"api2"
]
],
[
21.58,
[
"api2"
]
],
[
24.11,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2474,
"stored_messages": 2474,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+22
View File
@@ -0,0 +1,22 @@
# 2026-10-26 19:29:59 UTC | одна сессия, 20 запросов GET /users/me через LB
1 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C08C-1F90-6ADFAA37167-088A-0008
2 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C09C-1F90-6ADFAA37189-088B-0008
3 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A0-1F90-6ADFAA371A4-088C-0008
4 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0A4-1F90-6ADFAA371B1-088D-0008
5 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A6-1F90-6ADFAA371B5-088E-0008
6 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0AA-1F90-6ADFAA371B8-088F-0008
7 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0B2-1F90-6ADFAA371D0-0890-0008
8 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0BE-1F90-6ADFAA371E0-0891-0008
9 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0C6-1F90-6ADFAA371E3-0892-0008
10 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0CE-1F90-6ADFAA371FE-0893-0008
11 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0D6-1F90-6ADFAA37202-0894-0008
12 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0E4-1F90-6ADFAA3721D-0895-0008
13 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0EC-1F90-6ADFAA37220-0896-0008
14 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0FC-1F90-6ADFAA3723C-0897-0008
15 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C106-1F90-6ADFAA3724B-0898-0008
16 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C10E-1F90-6ADFAA3724D-0899-0008
17 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C11A-1F90-6ADFAA37268-089A-0008
18 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C126-1F90-6ADFAA3726B-089C-0008
19 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C130-1F90-6ADFAA37286-089D-0008
20 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C140-1F90-6ADFAA3728A-089E-0008
разных реплик: 2
+17
View File
@@ -0,0 +1,17 @@
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker)
# все реплики остановлены -> ответ формирует сам HAProxy (http-error): общий JSON-формат ошибок, X-Request-Id совпадает с request_id; X-Instance-Id нет (контракт это допускает)
$ curl -si http://127.0.0.1:8080/api/v1/users/me
HTTP/1.1 503 Service Unavailable
x-request-id: 7F000001CD38-1F90-6ADCA7141E5-336F-0B75
content-length: 128
content-type: application/json
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"7F000001CD38-1F90-6ADCA7141E5-336F-0B75"}}
$ curl -si -H "X-Request-Id: demo-123" http://127.0.0.1:8080/health/ready
HTTP/1.1 503 Service Unavailable
x-request-id: demo-123
content-length: 97
content-type: application/json
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"demo-123"}}
+62
View File
@@ -0,0 +1,62 @@
# 2026-10-26 19:35:57 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.2s
$ docker compose --env-file .env logs --no-color --tail 60 lb
lb-1 | 172.18.0.1:34156 [26/Oct/2026:19:35:54.564] public api/api1 0/0/0/7/7 201 401 ---- 8/8/7/1/0 0/0 rid=AC120001856C-1F90-6ADFAB9A234-1128-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34116 [26/Oct/2026:19:35:54.563] public api/api1 0/0/0/10/10 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018544-1F90-6ADFAB9A233-1126-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34168 [26/Oct/2026:19:35:54.578] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018578-1F90-6ADFAB9A242-1129-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34064 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/58/59 201 401 ---- 8/8/7/7/0 0/0 rid=AC1200018510-1F90-6ADFAB9A218-111F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34040 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/62/62 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000184F8-1F90-6ADFAB9A218-111D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34098 [26/Oct/2026:19:35:54.537] public api/api2 0/0/0/61/62 201 401 ---- 6/6/5/5/0 0/0 rid=AC1200018532-1F90-6ADFAB9A219-1121-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34100 [26/Oct/2026:19:35:54.538] public api/api2 0/0/0/63/63 201 401 ---- 6/6/5/4/0 0/0 rid=AC1200018534-1F90-6ADFAB9A21A-1123-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34162 [26/Oct/2026:19:35:54.578] public api/api2 0/0/0/27/28 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018572-1F90-6ADFAB9A242-112A-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34186 [26/Oct/2026:19:35:54.600] public api/api1 0/0/0/7/7 201 401 ---- 6/6/3/0/0 0/0 rid=AC120001858A-1F90-6ADFAB9A258-112C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34128 [26/Oct/2026:19:35:54.563] public api/api2 0/0/0/44/44 201 401 ---- 5/5/2/2/0 0/0 rid=AC1200018550-1F90-6ADFAB9A233-1125-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34182 [26/Oct/2026:19:35:54.587] public api/api2 0/0/0/21/21 201 401 ---- 4/4/1/1/0 0/0 rid=AC1200018586-1F90-6ADFAB9A24B-112B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34142 [26/Oct/2026:19:35:54.564] public api/api2 0/0/0/45/45 201 401 ---- 3/3/0/0/0 0/0 rid=AC120001855E-1F90-6ADFAB9A234-1127-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34198 [26/Oct/2026:19:35:54.614] public api/api1 0/0/0/14/14 201 401 ---- 8/8/6/2/0 0/0 rid=AC1200018596-1F90-6ADFAB9A25F-112E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34230 [26/Oct/2026:19:35:54.621] public api/api1 0/0/0/10/11 201 401 ---- 7/7/5/1/0 0/0 rid=AC12000185B6-1F90-6ADFAB9A26A-1130-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34242 [26/Oct/2026:19:35:54.622] public api/api1 0/0/0/9/9 201 401 ---- 6/6/4/0/0 0/0 rid=AC12000185C2-1F90-6ADFAB9A26E-1132-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34270 [26/Oct/2026:19:35:54.638] public api/api1 0/0/0/6/7 201 401 ---- 8/8/6/1/0 0/0 rid=AC12000185DE-1F90-6ADFAB9A27D-1134-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34266 [26/Oct/2026:19:35:54.640] public api/api1 0/0/0/6/6 201 401 ---- 7/7/5/0/0 0/0 rid=AC12000185DA-1F90-6ADFAB9A26E-1136-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34278 [26/Oct/2026:19:35:54.656] public api/api1 0/0/0/5/5 201 401 ---- 8/8/6/0/0 0/0 rid=AC12000185E6-1F90-6ADFAB9A27F-1138-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34302 [26/Oct/2026:19:35:54.686] public api/api1 0/0/0/6/6 201 401 ---- 8/8/7/0/0 0/0 rid=AC12000185FE-1F90-6ADFAB9A299-113A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34282 [26/Oct/2026:19:35:54.639] public api/api2 0/0/0/66/66 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185EA-1F90-6ADFAB9A27F-1135-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34254 [26/Oct/2026:19:35:54.622] public api/api2 0/0/0/83/84 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000185CE-1F90-6ADFAB9A26E-1133-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34294 [26/Oct/2026:19:35:54.671] public api/api2 0/0/0/36/36 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000185F6-1F90-6ADFAB9A28C-1139-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34338 [26/Oct/2026:19:35:54.715] public api/api1 0/0/0/5/5 201 401 ---- 8/8/5/0/0 0/0 rid=AC1200018622-1F90-6ADFAB9A2CB-113C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34346 [26/Oct/2026:19:35:54.734] public api/api1 0/0/1/6/7 201 401 ---- 8/8/7/0/0 0/0 rid=AC120001862A-1F90-6ADFAB9A2CC-113E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34360 [26/Oct/2026:19:35:54.745] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018638-1F90-6ADFAB9A2E9-1140-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34290 [26/Oct/2026:19:35:54.652] public api/api2 0/0/0/56/123 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185F2-1F90-6ADFAB9A28C-1137-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34192 [26/Oct/2026:19:35:54.609] public api/api2 0/0/0/171/172 201 401 ---- 8/8/7/6/0 0/0 rid=AC1200018590-1F90-6ADFAB9A25E-112D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34240 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/159/160 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000185C0-1F90-6ADFAB9A26C-1131-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34214 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/160/161 201 401 ---- 6/6/5/4/0 0/0 rid=AC12000185A6-1F90-6ADFAB9A269-112F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34312 [26/Oct/2026:19:35:54.698] public api/api2 0/0/0/87/87 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018608-1F90-6ADFAB9A2BA-113B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34374 [26/Oct/2026:19:35:54.779] public api/api1 0/0/0/8/8 201 401 ---- 4/4/3/0/0 0/0 rid=AC1200018646-1F90-6ADFAB9A30B-1142-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34364 [26/Oct/2026:19:35:54.755] public api/api2 0/0/0/35/35 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001863C-1F90-6ADFAB9A2F3-1141-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34326 [26/Oct/2026:19:35:54.734] public api/api2 0/0/0/59/59 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018616-1F90-6ADFAB9A2CB-113F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34354 [26/Oct/2026:19:35:54.725] public api/api2 0/0/0/68/68 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018632-1F90-6ADFAB9A2D5-113D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34384 [26/Oct/2026:19:35:54.801] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC1200018650-1F90-6ADFAB9A31B-1144-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34426 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/15/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC120001867A-1F90-6ADFAB9A322-1148-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34392 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018658-1F90-6ADFAB9A31D-1146-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34440 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 5/5/4/0/0 0/0 rid=AC1200018688-1F90-6ADFAB9A322-114A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34390 [26/Oct/2026:19:35:54.799] public api/api2 0/0/1/18/20 201 401 ---- 4/4/3/3/0 0/0 rid=AC1200018656-1F90-6ADFAB9A31C-1143-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34382 [26/Oct/2026:19:35:54.801] public api/api2 0/0/0/18/18 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001864E-1F90-6ADFAB9A31B-1145-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34408 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/17/17 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018668-1F90-6ADFAB9A322-1147-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34422 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/18/18 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018676-1F90-6ADFAB9A322-1149-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34462 [26/Oct/2026:19:35:54.837] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC120001869E-1F90-6ADFAB9A344-114E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34508 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC12000186CC-1F90-6ADFAB9A346-1152-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34450 [26/Oct/2026:19:35:54.834] public api/api1 0/0/0/20/20 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018692-1F90-6ADFAB9A33F-114C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34490 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/17 201 401 ---- 5/5/4/0/0 0/0 rid=AC12000186BA-1F90-6ADFAB9A346-1150-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34534 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/10/10 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186E6-1F90-6ADFAB9A361-1156-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34530 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/12/12 201 401 ---- 7/7/6/0/0 0/0 rid=AC12000186E2-1F90-6ADFAB9A361-1155-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34446 [26/Oct/2026:19:35:54.834] public api/api2 0/0/0/59/59 201 401 ---- 8/8/6/6/0 0/0 rid=AC120001868E-1F90-6ADFAB9A337-114B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34458 [26/Oct/2026:19:35:54.836] public api/api2 0/0/0/62/62 201 401 ---- 8/8/6/5/0 0/0 rid=AC120001869A-1F90-6ADFAB9A343-114D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34538 [26/Oct/2026:19:35:54.897] public api/api1 0/0/1/8/9 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186EA-1F90-6ADFAB9A372-1158-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34478 [26/Oct/2026:19:35:54.837] public api/api2 0/0/0/71/71 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000186AE-1F90-6ADFAB9A345-114F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34570 [26/Oct/2026:19:35:54.904] public api/api1 0/0/0/9/9 201 401 ---- 8/8/5/0/0 0/0 rid=AC120001870A-1F90-6ADFAB9A388-115A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34594 [26/Oct/2026:19:35:54.934] public api/api1 0/0/1/5/6 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018722-1F90-6ADFAB9A391-115D-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34498 [26/Oct/2026:19:35:54.838] public api/api2 0/0/0/71/136 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000186C2-1F90-6ADFAB9A346-1151-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34522 [26/Oct/2026:19:35:54.856] public api/api2 0/0/0/121/121 201 401 ---- 5/5/4/4/0 0/0 rid=AC12000186DA-1F90-6ADFAB9A358-1153-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34536 [26/Oct/2026:19:35:54.882] public api/api2 0/0/0/96/96 201 401 ---- 4/4/3/3/0 0/0 rid=AC12000186E8-1F90-6ADFAB9A372-1157-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34528 [26/Oct/2026:19:35:54.865] public api/api2 0/0/0/114/115 201 401 ---- 3/3/2/2/0 0/0 rid=AC12000186E0-1F90-6ADFAB9A361-1154-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34556 [26/Oct/2026:19:35:54.899] public api/api2 0/0/0/86/86 201 401 ---- 2/2/1/1/0 0/0 rid=AC12000186FC-1F90-6ADFAB9A383-1159-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34586 [26/Oct/2026:19:35:54.934] public api/api2 0/0/1/51/53 201 401 ---- 1/1/0/0/0 0/0 rid=AC120001871A-1F90-6ADFAB9A391-115C-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.093,
"concurrency": 8,
"successful_requests": 4367,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 145.117,
"successful_latency_ms": {
"p50": 32.0,
"p95": 157.0,
"p99": 203.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+28
View File
@@ -0,0 +1,28 @@
# 2026-10-26 19:35:55 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.4s
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.093,
"concurrency": 8,
"successful_requests": 4367,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 145.117,
"successful_latency_ms": {
"p50": 32.0,
"p95": 157.0,
"p99": 203.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
# 2026-10-26 19:35:57 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab3-api-6 19.92% 89.26MiB / 256MiB 34.87%
messenger-lab3-api-5 0.67% 89.33MiB / 256MiB 34.89%
messenger-lab3-lb-1 0.14% 14.34MiB / 128MiB 11.20%
messenger-lab3-postgres-1 11.42% 68.96MiB / 512MiB 13.47%
messenger-lab3-redis-1 2.36% 4.148MiB / 96MiB 4.32%
+26
View File
@@ -0,0 +1,26 @@
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
## 1. Реплика не готова, пока схема не мигрирована; migrate однократный, повтор — no-op; две копии одновременно — advisory lock
$ # реплика против ПУСТОЙ БД, миграции ещё не выполнялись (RUN_MIGRATIONS_ON_START=false)
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready
{"error":{"code":"unavailable","message":"Database schema is not migrated","request_id":"1f3109e3-a934-4c1b-bfbd-22350e35e05d"}} 503
$ psql -c "select to_regclass('schema_migrations')"
NULL
$ python -m src.migrate # = сервис migrate (one-shot)
applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
$ python -m src.migrate # повтор: no-op
schema is up to date; nothing applied
$ # две копии migrate одновременно (advisory lock) на ещё одной пустой БД
NOTICE: database "messenger_race" does not exist, skipping
copy A: schema is up to date; nothing applied
copy B: applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
schema_migrations rows: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready # та же реплика, без рестарта
{"status":"ok"} 200
## 2. Совместимость миграции 003 со старой версией (rolling update): код lab2 работает на схеме lab3 одновременно с репликами lab3
$ # старая версия: код lab2 (без Idempotency-Key/X-Instance-Id) против БД, мигрированной до 003
migrations applied at startup: none
$ cd lab2 && python tests/smoke.py --base-url http://127.0.0.1:18098 # контракт lab2
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
$ cd lab3 && python tests/smoke.py --base-url http://127.0.0.1:8080 # одновременно реплики lab3 за LB
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+24
View File
@@ -0,0 +1,24 @@
# 2026-10-26 19:35:10 UTC | Persistence: контейнеры до | exit 0 | 0.3s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab3-api-5 Up 31 seconds (healthy) 32 seconds ago
messenger-lab3-api-6 Up 21 seconds (healthy) 22 seconds ago
messenger-lab3-lb-1 Up 18 minutes (healthy) 44 minutes ago
messenger-lab3-migrate-1 Exited (0) 4 minutes ago 44 minutes ago
messenger-lab3-postgres-1 Up 18 minutes (healthy) 44 minutes ago
messenger-lab3-redis-1 Up 18 minutes (healthy) 44 minutes ago
# 2026-10-26 19:35:24 UTC | Persistence: make test-persistence | exit 0 | 14.1s
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:35:24 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.3s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab3-api-5 Up 7 seconds (healthy) 46 seconds ago
messenger-lab3-api-6 Up 7 seconds (healthy) 36 seconds ago
messenger-lab3-lb-1 Up Less than a second (health: starting) 44 minutes ago
messenger-lab3-migrate-1 Exited (0) 5 minutes ago 44 minutes ago
messenger-lab3-postgres-1 Up 7 seconds (healthy) 44 minutes ago
messenger-lab3-redis-1 Up 7 seconds (healthy) 44 minutes ago
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 27.69,
"replicas_before": [
"6e2f0c643449",
"b6e350f043f3"
],
"replicas_after": [
"c38982836a1d",
"ecaa2acc2a0a"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1342,
"ok": 1342,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 267.5,
"write_ok_rps": 159.5,
"latency_ms_ok": {
"p50": 16.0,
"p95": 63.0,
"p99": 94.0
},
"instances": [
"6e2f0c643449",
"b6e350f043f3"
]
},
"during_update": {
"from_s": 5.02,
"to_s": 32.7,
"requests": 6993,
"ok": 6993,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 252.6,
"write_ok_rps": 149.3,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 140.0
},
"instances": [
"6e2f0c643449",
"b6e350f043f3",
"c38982836a1d",
"ecaa2acc2a0a"
]
},
"after": {
"from_s": 32.7,
"to_s": 40.77,
"requests": 2045,
"ok": 2045,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 253.6,
"write_ok_rps": 152.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 94.0
},
"instances": [
"c38982836a1d",
"ecaa2acc2a0a"
]
}
},
"lb_timeline": [
[
0.02,
[
"api1",
"api3"
]
],
[
11.42,
[
"api1",
"api2",
"api3"
]
],
[
12.23,
[
"api1",
"api3"
]
],
[
14.77,
[
"api1",
"api2",
"api3"
]
],
[
19.16,
[
"api1",
"api2"
]
],
[
25.72,
[
"api1",
"api2",
"api3"
]
],
[
29.66,
[
"api2",
"api3"
]
]
],
"data": {
"confirmed_writes": 6166,
"stored_messages": 6166,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 28.38,
"replicas_before": [
"a21409fffeec",
"c4c5ae5b0949"
],
"replicas_after": [
"6e2f0c643449",
"b6e350f043f3"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1161,
"ok": 1161,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 232.2,
"write_ok_rps": 136.2,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 187.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"during_update": {
"from_s": 5.0,
"to_s": 33.38,
"requests": 6950,
"ok": 6950,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 244.9,
"write_ok_rps": 145.0,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 156.0
},
"instances": [
"6e2f0c643449",
"a21409fffeec",
"b6e350f043f3",
"c4c5ae5b0949"
]
},
"after": {
"from_s": 33.38,
"to_s": 41.41,
"requests": 2008,
"ok": 2008,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 250.0,
"write_ok_rps": 147.6,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 110.0
},
"instances": [
"6e2f0c643449",
"b6e350f043f3"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
12.5,
[
"api1",
"api2",
"api3"
]
],
[
12.73,
[
"api1",
"api2"
]
],
[
15.25,
[
"api1",
"api2",
"api3"
]
],
[
19.28,
[
"api2",
"api3"
]
],
[
25.73,
[
"api1",
"api2",
"api3"
]
],
[
29.34,
[
"api1",
"api3"
]
]
],
"data": {
"confirmed_writes": 5981,
"stored_messages": 5981,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+29
View File
@@ -0,0 +1,29 @@
# 2026-10-26 19:34:26 UTC | Rolling update lab3 -> lab3.1 под нагрузкой | exit 0 | 44.1s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
replicas before: ['a21409fffeec', 'c4c5ae5b0949']
2026-10-26T19:33:48.176Z rolling-update: start; replicas=2 old=['c4c5ae5b0949', 'a21409fffeec']
2026-10-26T19:33:51.770Z rolling-update: images built in 3.6s (tag lab3.1)
2026-10-26T19:33:53.990Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
2026-10-26T19:34:04.788Z rolling-update: step 1/2 new=6e2f0c643449 (messenger-api:lab3.1, ready+UP in 6.8s) replaced old=c4c5ae5b0949 (graceful stop 3.8s)
2026-10-26T19:34:15.884Z rolling-update: step 2/2 new=b6e350f043f3 (messenger-api:lab3.1, ready+UP in 6.7s) replaced old=a21409fffeec (graceful stop 4.3s)
2026-10-26T19:34:16.330Z rolling-update: done in 28.1s; replicas now ['6e2f0c643449', 'b6e350f043f3']
update 28.4s rc=0 | replicas ['a21409fffeec', 'c4c5ae5b0949'] -> ['6e2f0c643449', 'b6e350f043f3'] | errors during update 0 (-) | RPS before 232.2, during 244.9, after 250.0 | p95 during 93.0 ms | data ok=True
PASS: rolling update under load
# 2026-10-26 19:35:09 UTC | Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой | exit 0 | 43.4s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
replicas before: ['6e2f0c643449', 'b6e350f043f3']
2026-10-26T19:34:32.642Z rolling-update: start; replicas=2 old=['6e2f0c643449', 'b6e350f043f3']
2026-10-26T19:34:35.497Z rolling-update: images built in 2.9s (tag lab3)
2026-10-26T19:34:37.818Z rolling-update: migrations once in 2.3s: schema is up to date; nothing applied
2026-10-26T19:34:48.605Z rolling-update: step 1/2 new=c38982836a1d (messenger-api:lab3, ready+UP in 7.0s) replaced old=6e2f0c643449 (graceful stop 3.7s)
2026-10-26T19:34:59.414Z rolling-update: step 2/2 new=ecaa2acc2a0a (messenger-api:lab3, ready+UP in 6.8s) replaced old=b6e350f043f3 (graceful stop 3.9s)
2026-10-26T19:34:59.817Z rolling-update: done in 27.4s; replicas now ['c38982836a1d', 'ecaa2acc2a0a']
update 27.7s rc=0 | replicas ['6e2f0c643449', 'b6e350f043f3'] -> ['c38982836a1d', 'ecaa2acc2a0a'] | errors during update 0 (-) | RPS before 267.5, during 252.6, after 253.6 | p95 during 78.0 ms | data ok=True
PASS: rolling update under load
# 2026-10-26 19:35:09 UTC | Реплики после обновлений | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c38982836a1d messenger-lab3-api-5 running healthy messenger-api:lab3 api2 UP
ecaa2acc2a0a messenger-lab3-api-6 running healthy messenger-api:lab3 api3 UP
+17
View File
@@ -0,0 +1,17 @@
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
# Настройки: HAProxy inter 1s / fastinter 500ms / fall 2 / rise 2 / timeout check 1.5s; API DRAIN_SECONDS=3, GRACEFUL_TIMEOUT_SECONDS=10
# graceful stop timeline, t=0 — начало наблюдения; интервал опроса 50 мс
+0.02s (от SIGTERM -0.48s) LB api3: UP
+0.02s (от SIGTERM -0.48s) nat-api-3 /health/ready -> 200
+0.50s (от SIGTERM -0.00s) SIGTERM -> nat-api-3 (pid 3196)
+0.51s (от SIGTERM +0.01s) nat-api-3 /health/ready -> 503
+1.26s (от SIGTERM +0.76s) LB api3: UP 1/2
+1.80s (от SIGTERM +1.30s) LB api3: DOWN
+3.52s (от SIGTERM +3.02s) nat-api-3 /health/ready -> connection refused
+3.62s (от SIGTERM +3.12s) nat-api-3 process exited
# лог реплики:
2026-10-24 15:39:19,576 INFO messenger.server signal 15: instance nat-api-3 draining for 3.0s (readiness=503), then graceful stop
2026-10-24 15:39:22,580 INFO uvicorn.error Shutting down
2026-10-24 15:39:22,681 INFO messenger.api shutdown: instance=nat-api-3 closing pool
2026-10-24 15:39:22,682 INFO uvicorn.error Finished server process [3196]
+3
View File
@@ -0,0 +1,3 @@
# 2026-10-26 19:30:00 UTC | Публичный smoke | exit 0 | 0.9s
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+33
View File
@@ -0,0 +1,33 @@
# 2026-10-26 19:29:57 UTC | Стенд: контейнеры | exit 0 | 0.2s
$ docker compose --env-file .env ps -a
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab3-api-1 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 12 minutes (healthy) 8080/tcp
messenger-lab3-api-2 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 13 minutes (healthy) 8080/tcp
messenger-lab3-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 39 minutes ago Up 13 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m src.migra…" migrate 39 minutes ago Exited (0) 13 minutes ago
messenger-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 39 minutes ago Up 13 minutes (healthy) 5432/tcp
messenger-lab3-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 39 minutes ago Up 13 minutes (healthy) 6379/tcp
# 2026-10-26 19:29:57 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:29:59 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.2s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab3-lb-1 1.87% 12.87MiB / 128MiB 10.06%
messenger-lab3-api-2 16.79% 204.4MiB / 256MiB 79.86%
messenger-lab3-api-1 0.31% 222.9MiB / 256MiB 87.07%
messenger-lab3-postgres-1 2.23% 58.11MiB / 512MiB 11.35%
messenger-lab3-redis-1 0.22% 4.559MiB / 96MiB 4.75%
# 2026-10-26 19:29:59 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.3s
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
SERVICE PORTS
api 8080/tcp
api 8080/tcp
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
postgres 5432/tcp
redis 6379/tcp
+134
View File
@@ -0,0 +1,134 @@
# 2026-10-26 19:30:06 UTC | Собственные тесты (HTTP через LB) | exit 0 | 6.2s
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests) ... ok
test_password_never_returned (test_api.ApiBehaviorTests) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests) ... ok
test_login_with_body_rejected (test_auth.AuthTests)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests) ... ok
test_malformed_basic_headers (test_auth.AuthTests) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests) ... ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests) ... ok
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 47 tests in 4.640s
OK (skipped=13)
24 parallel POSTs, one key -> 1 message; replicas: ['a21409fffeec', 'c4c5ae5b0949']
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
# 2026-10-26 19:30:14 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.5s
$ python scripts/ops.py in-network storage
Container messenger-lab3-api-run-bdc116a8fd34 Creating
Container messenger-lab3-api-run-bdc116a8fd34 Created
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.223s
OK
Container messenger-lab3-api-run-630b208e9588 Creating
Container messenger-lab3-api-run-630b208e9588 Created
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
ok
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
ok
----------------------------------------------------------------------
Ran 3 tests in 1.864s
OK
# 2026-10-26 19:30:27 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 13.7s
$ python scripts/ops.py in-network expiry
Container messenger-lab3-redis-1 Running
Container messenger-lab3-postgres-1 Running
Container messenger-lab3-api-1 Running
Container messenger-lab3-api-2 Running
Container messenger-lab3-api-short-ttl-1 Creating
Container messenger-lab3-api-short-ttl-1 Created
Container messenger-lab3-postgres-1 Waiting
Container messenger-lab3-postgres-1 Healthy
Container messenger-lab3-migrate-1 Starting
Container messenger-lab3-migrate-1 Started
Container messenger-lab3-migrate-1 Waiting
Container messenger-lab3-postgres-1 Waiting
Container messenger-lab3-redis-1 Waiting
Container messenger-lab3-redis-1 Healthy
Container messenger-lab3-postgres-1 Healthy
Container messenger-lab3-migrate-1 Exited
Container messenger-lab3-api-2 Waiting
Container messenger-lab3-api-1 Waiting
Container messenger-lab3-api-2 Healthy
Container messenger-lab3-api-1 Healthy
Container messenger-lab3-api-short-ttl-1 Starting
Container messenger-lab3-api-short-ttl-1 Started
Container messenger-lab3-api-run-a36baf72714e Creating
Container messenger-lab3-api-run-a36baf72714e Created
ready: http://api-short-ttl:8080/health/ready
Container messenger-lab3-api-run-c445a7ef00cd Creating
Container messenger-lab3-api-run-c445a7ef00cd Created
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
----------------------------------------------------------------------
Ran 1 test in 3.620s
OK
+6
View File
@@ -3,3 +3,9 @@
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
## Что лежит здесь (lab4)
- `sandbox/` — результаты, полученные при разработке на стенде из тех же компонентов, запущенных нативными процессами (PostgreSQL 16, Redis 7, SeaweedFS 4.50, HAProxy 2.8.30, 2 реплики API; без Docker). Как получены — REPORT.md, раздел «Доказательства критериев».
- Остальные файлы создаёт `python scripts/collect_evidence.py` на compose-стенде (сводка — `SUMMARY.txt`). Токены и пароли в файлы не пишутся.
- Доказательства lab3 сохранены в `docs/lab3/evidence/`.
+46
View File
@@ -0,0 +1,46 @@
# 2026-11-04 14:12:25 UTC
OK Контракт (offline) evidence/check.txt
OK Compose config evidence/check.txt
OK Стенд: контейнеры evidence/stand.txt
OK Стенд: реплики и статус в LB evidence/stand.txt
OK Стенд: лимиты CPU/RAM evidence/stand.txt
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
OK Образ SeaweedFS (закреплённая версия) evidence/stand.txt
OK S3 bootstrap: лог первого запуска s3-init evidence/s3_bootstrap.txt
OK S3 bootstrap: повторный запуск (идемпотентность) evidence/s3_bootstrap.txt
OK Публичный smoke evidence/smoke.txt
OK Собственные тесты (HTTP через LB, включая test_attachments.py) evidence/student-tests.txt
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
OK Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) evidence/consistency.txt
OK Сверка БД <-> S3 (dry-run) evidence/reconcile.txt
OK Приватный бакет вне API, права ключей, закрытые админ-порты evidence/s3_private.txt
OK На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes evidence/s3_private.txt
OK API: файлы в /tmp (tmpfs) после загрузок evidence/s3_private.txt
OK Пик памяти: 10 одновременных загрузок по 9.5 MiB evidence/upload_memory.txt
OK Пик памяти: 20 одновременных загрузок evidence/upload_memory.txt
OK Failover #1: реплики до evidence/failover.txt
OK Failover #1: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #1: restore evidence/failover.txt
OK Failover #2: реплики до evidence/failover.txt
OK Failover #2: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #2: restore evidence/failover.txt
OK Failover #3: реплики до evidence/failover.txt
OK Failover #3: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #3: restore evidence/failover.txt
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
OK Недоступность S3 и восстановление evidence/s3_outage.txt
OK Rolling update lab4 -> lab4.1 под нагрузкой evidence/rolling_update.txt
OK Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой evidence/rolling_update.txt
OK Реплики после обновлений evidence/rolling_update.txt
OK Persistence: контейнеры до evidence/persistence.txt
OK Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) evidence/persistence.txt
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
OK Persistence: сверка БД <-> S3 после рестарта evidence/persistence.txt
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
OK CPU/RAM после нагрузки evidence/load.txt
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
+7
View File
@@ -0,0 +1,7 @@
# 2026-11-04 14:03:55 UTC | Контракт (offline) | exit 0 | 0.1s
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-11-04 14:03:55 UTC | Compose config | exit 0 | 0.2s
$ docker compose --env-file .env config --quiet
+75
View File
@@ -0,0 +1,75 @@
# 2026-11-04 14:04:49 UTC | Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) | exit 0 | 15.8s
$ python scripts/ops.py in-network consistency
Container messenger-lab4-redis-1 Running
Container messenger-lab4-s3-1 Running
Container messenger-lab4-postgres-1 Running
Container messenger-lab4-api-1 Running
Container messenger-lab4-api-2 Running
Container messenger-lab4-api-fault-s3-1 Creating
Container messenger-lab4-api-fault-db-1 Creating
Container messenger-lab4-api-fault-crash-1 Creating
Container messenger-lab4-api-fault-db-1 Created
Container messenger-lab4-api-fault-s3-1 Created
Container messenger-lab4-api-fault-crash-1 Created
Container messenger-lab4-s3-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-s3-1 Healthy
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-s3-init-1 Starting
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-s3-init-1 Started
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-s3-init-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-redis-1 Waiting
Container messenger-lab4-redis-1 Healthy
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-s3-init-1 Exited
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-fault-crash-1 Starting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-fault-s3-1 Starting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-fault-db-1 Starting
Container messenger-lab4-api-fault-crash-1 Started
Container messenger-lab4-api-fault-s3-1 Started
Container messenger-lab4-api-fault-db-1 Started
Container messenger-lab4-api-run-46322fbc844a Creating
Container messenger-lab4-api-run-46322fbc844a Created
ready: http://api-fault-s3:8080/health/ready
Container messenger-lab4-api-run-ff8a88e550db Creating
Container messenger-lab4-api-run-ff8a88e550db Created
ready: http://api-fault-db:8080/health/ready
Container messenger-lab4-api-run-476fc515a8f0 Creating
Container messenger-lab4-api-run-476fc515a8f0 Created
ready: http://api-fault-crash:8080/health/ready
Container messenger-lab4-api-run-9b2dce8846fe Creating
Container messenger-lab4-api-run-9b2dce8846fe Created
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... /usr/local/lib/python3.12/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
datetime_now = datetime.datetime.utcnow()
ok
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
----------------------------------------------------------------------
Ran 10 tests in 4.224s
OK
+66
View File
@@ -0,0 +1,66 @@
# 2026-11-04 14:05:30 UTC | Failover #1: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:05:46 UTC | Failover #1: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.4s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.187}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:05:46 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
# 2026-11-04 14:05:52 UTC | Failover #1: restore | exit 0 | 6.3s
$ python scripts/ops.py restore
2026-11-04T14:05:52.981Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.2s
# 2026-11-04 14:05:53 UTC | Failover #2: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:06:09 UTC | Failover #2: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 123, "failed_attempts": 0, "first_recovery_seconds": 4.203}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:06:09 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
# 2026-11-04 14:06:16 UTC | Failover #2: restore | exit 0 | 6.6s
$ python scripts/ops.py restore
2026-11-04T14:06:16.514Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.5s
# 2026-11-04 14:06:16 UTC | Failover #3: реплики до | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:06:33 UTC | Failover #3: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.203}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:06:33 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 exited unhealthy messenger-api:lab4 - -
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:06:40 UTC | Failover #3: restore | exit 0 | 6.7s
$ python scripts/ops.py restore
2026-11-04T14:06:40.028Z restore: started ['messenger-lab4-api-1']; 2 replicas healthy and UP in LB after 6.6s
# остановленные публичным тестом реплики: ['4fc3ad11e268', '4fc3ad11e268', 'c9fab9c9e2c1']
+294
View File
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"rounds": [
{
"target_instance": "4fc3ad11e268",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.12,
"lb_detect_down_seconds": 1.56,
"target_last_served_after_stop_seconds": 1.56,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.62,
"lb_back_up_seconds": 1.28,
"target_back_in_rotation_seconds": 7.62,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1155,
"ok": 1155,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 231.0,
"write_ok_rps": 137.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 125.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 1010,
"ok": 1010,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 101.0,
"write_ok_rps": 61.4,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 588,
"ok": 588,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 117.6,
"write_ok_rps": 43.8,
"latency_ms_ok": {
"p50": 31.0,
"p95": 187.0,
"p99": 219.0
},
"instances": [
"c9fab9c9e2c1"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.92,
"requests": 1531,
"ok": 1531,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 140.2,
"write_ok_rps": 82.4,
"latency_ms_ok": {
"p50": 31.0,
"p95": 110.0,
"p99": 187.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
6.56,
[
"api1"
]
],
[
21.28,
[
"api1",
"api2"
]
],
[
21.61,
[
"api1"
]
],
[
24.17,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2426,
"stored_messages": 2426,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "c9fab9c9e2c1",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.83,
"lb_detect_down_seconds": 1.55,
"target_last_served_after_stop_seconds": 1.39,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.0,
"lb_back_up_seconds": 1.62,
"target_back_in_rotation_seconds": 6.99,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1015,
"ok": 1015,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 203.0,
"write_ok_rps": 121.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 172.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 833,
"ok": 833,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 83.3,
"write_ok_rps": 49.3,
"latency_ms_ok": {
"p50": 78.0,
"p95": 187.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 371,
"ok": 371,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 74.2,
"write_ok_rps": 44.2,
"latency_ms_ok": {
"p50": 93.0,
"p95": 187.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.27,
"requests": 1496,
"ok": 1496,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 145.7,
"write_ok_rps": 86.8,
"latency_ms_ok": {
"p50": 31.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
6.55,
[
"api2"
]
],
[
21.62,
[
"api1",
"api2"
]
],
[
22.58,
[
"api2"
]
],
[
25.03,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2215,
"stored_messages": 2215,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
# 2026-11-04 14:07:43 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 63.4s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
-- stopping 4fc3ad11e268 (mode=stop) under load
hook 4.12s | LB DOWN after 1.56 s | errors 0 (-) | RPS before 231.0, outage 101.0, after restore 140.2 | p95 outage 110.0 ms | back in rotation 7.62 s | data ok=True
-- stopping c9fab9c9e2c1 (mode=stop) under load
hook 4.83s | LB DOWN after 1.55 s | errors 0 (-) | RPS before 203.0, outage 83.3, after restore 145.7 | p95 outage 187.0 ms | back in rotation 6.99 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
# 2026-11-04 14:08:46 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 62.7s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
-- stopping 4fc3ad11e268 (mode=kill) under load
hook 1.09s | LB DOWN after 1.97 s | errors 6 (502) | RPS before 244.2, outage 77.1, after restore 119.5 | p95 outage 187.0 ms | back in rotation 7.52 s | data ok=True
-- stopping c9fab9c9e2c1 (mode=kill) under load
hook 1.14s | LB DOWN after 2.59 s | errors 6 (502) | RPS before 186.8, outage 82.9, after restore 134.8 | p95 outage 188.0 ms | back in rotation 6.83 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
+298
View File
@@ -0,0 +1,298 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"rounds": [
{
"target_instance": "4fc3ad11e268",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.09,
"lb_detect_down_seconds": 1.97,
"target_last_served_after_stop_seconds": 0.47,
"target_served_after_hook_returned": false,
"errors_during_outage": 6,
"error_kinds": [
"502"
],
"error_window_seconds": 0.56,
"restore_hook_seconds": 7.53,
"lb_back_up_seconds": 2.0,
"target_back_in_rotation_seconds": 7.52,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1221,
"ok": 1221,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 244.2,
"write_ok_rps": 145.6,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 109.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 777,
"ok": 771,
"errors": 6,
"error_ratio": 0.0077,
"ok_rps": 77.1,
"write_ok_rps": 40.7,
"latency_ms_ok": {
"p50": 63.0,
"p95": 187.0,
"p99": 1015.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 565,
"ok": 565,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 113.0,
"write_ok_rps": 44.8,
"latency_ms_ok": {
"p50": 31.0,
"p95": 187.0,
"p99": 281.0
},
"instances": [
"c9fab9c9e2c1"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.84,
"requests": 1296,
"ok": 1296,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 119.5,
"write_ok_rps": 68.1,
"latency_ms_ok": {
"p50": 31.0,
"p95": 172.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
6.97,
[
"api1"
]
],
[
22.0,
[
"api1",
"api2"
]
],
[
22.45,
[
"api1"
]
],
[
24.97,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2100,
"stored_messages": 2100,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 4,
"ok": true
}
},
{
"target_instance": "c9fab9c9e2c1",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.14,
"lb_detect_down_seconds": 2.59,
"target_last_served_after_stop_seconds": 0.51,
"target_served_after_hook_returned": false,
"errors_during_outage": 6,
"error_kinds": [
"502"
],
"error_window_seconds": 0.59,
"restore_hook_seconds": 6.83,
"lb_back_up_seconds": 1.61,
"target_back_in_rotation_seconds": 6.83,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 934,
"ok": 934,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 186.8,
"write_ok_rps": 111.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 187.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 835,
"ok": 829,
"errors": 6,
"error_ratio": 0.0072,
"ok_rps": 82.9,
"write_ok_rps": 40.8,
"latency_ms_ok": {
"p50": 32.0,
"p95": 188.0,
"p99": 1000.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 541,
"ok": 541,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 108.2,
"write_ok_rps": 37.6,
"latency_ms_ok": {
"p50": 31.0,
"p95": 203.0,
"p99": 282.0
},
"instances": [
"4fc3ad11e268"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.16,
"requests": 1369,
"ok": 1369,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 134.8,
"write_ok_rps": 77.6,
"latency_ms_ok": {
"p50": 31.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
7.59,
[
"api2"
]
],
[
21.61,
[
"api1",
"api2"
]
],
[
21.95,
[
"api2"
]
],
[
24.53,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 1941,
"stored_messages": 1941,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 4,
"ok": true
}
}
],
"pass": true
}
+22
View File
@@ -0,0 +1,22 @@
# 2026-11-04 14:04:00 UTC | одна сессия, 20 запросов GET /users/me через LB
1 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001993A-1F90-6AEB3B50162-0571-0008
2 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019944-1F90-6AEB3B50169-0572-0008
3 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001994A-1F90-6AEB3B5017C-0573-0008
4 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019958-1F90-6AEB3B50199-0574-0008
5 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001995E-1F90-6AEB3B5019C-0575-0008
6 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019960-1F90-6AEB3B501B7-0576-0008
7 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019966-1F90-6AEB3B501C6-0577-0008
8 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019974-1F90-6AEB3B501C9-0578-0008
9 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019978-1F90-6AEB3B501E5-0579-0008
10 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019980-1F90-6AEB3B501F4-057A-0008
11 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019984-1F90-6AEB3B50205-057B-0008
12 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019988-1F90-6AEB3B50209-057C-0008
13 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019998-1F90-6AEB3B5020C-057D-0008
14 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC120001999C-1F90-6AEB3B50223-057E-0008
15 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001999E-1F90-6AEB3B50226-057F-0008
16 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199AE-1F90-6AEB3B50241-0580-0008
17 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199BA-1F90-6AEB3B50245-0581-0008
18 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199CA-1F90-6AEB3B50260-0582-0008
19 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199D2-1F90-6AEB3B50263-0584-0008
20 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199DE-1F90-6AEB3B50266-0585-0008
разных реплик: 2
+62
View File
@@ -0,0 +1,62 @@
# 2026-11-04 14:12:25 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.3s
$ docker compose --env-file .env logs --no-color --tail 60 lb
lb-1 | 172.18.0.1:56696 [04/Nov/2026:14:12:22.325] public api/api2 0/0/0/11/11 201 421 ---- 8/8/7/2/0 0/0 rid=AC120001DD78-1F90-6AEB3D46145-0F07-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56712 [04/Nov/2026:14:12:22.328] public api/api2 0/0/0/10/11 201 421 ---- 8/8/6/1/0 0/0 rid=AC120001DD88-1F90-6AEB3D46148-0F09-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56732 [04/Nov/2026:14:12:22.330] public api/api2 0/0/0/9/9 201 421 ---- 7/7/5/0/0 0/0 rid=AC120001DD9C-1F90-6AEB3D4614A-0F0B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56746 [04/Nov/2026:14:12:22.340] public api/api2 0/0/0/6/6 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DDAA-1F90-6AEB3D46154-0F0D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56734 [04/Nov/2026:14:12:22.349] public api/api2 0/0/1/6/7 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DD9E-1F90-6AEB3D46152-0F0F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56764 [04/Nov/2026:14:12:22.365] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDBC-1F90-6AEB3D4615C-0F11-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56666 [04/Nov/2026:14:12:22.308] public api/api1 0/0/0/88/89 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD5A-1F90-6AEB3D46134-0F04-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56788 [04/Nov/2026:14:12:22.398] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDD4-1F90-6AEB3D4618E-0F13-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56688 [04/Nov/2026:14:12:22.324] public api/api1 0/0/0/84/85 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD70-1F90-6AEB3D46144-0F06-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56802 [04/Nov/2026:14:12:22.410] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE2-1F90-6AEB3D4619A-0F15-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56698 [04/Nov/2026:14:12:22.325] public api/api1 0/0/0/99/100 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD7A-1F90-6AEB3D46145-0F08-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56808 [04/Nov/2026:14:12:22.427] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE8-1F90-6AEB3D461AB-0F17-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56748 [04/Nov/2026:14:12:22.341] public api/api1 0/0/0/156/157 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DDAC-1F90-6AEB3D46155-0F0E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56768 [04/Nov/2026:14:12:22.358] public api/api1 0/0/0/140/140 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DDC0-1F90-6AEB3D46166-0F10-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56784 [04/Nov/2026:14:12:22.395] public api/api1 0/0/0/103/104 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DDD0-1F90-6AEB3D46174-0F12-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56678 [04/Nov/2026:14:12:22.334] public api/api1 0/0/1/164/166 201 421 ---- 8/8/4/4/0 0/0 rid=AC120001DD66-1F90-6AEB3D4613D-0F0C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56728 [04/Nov/2026:14:12:22.328] public api/api1 0/0/0/171/172 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DD98-1F90-6AEB3D46148-0F0A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56800 [04/Nov/2026:14:12:22.406] public api/api1 0/0/0/96/96 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE0-1F90-6AEB3D46196-0F14-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56806 [04/Nov/2026:14:12:22.418] public api/api1 0/0/0/88/88 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE6-1F90-6AEB3D461A2-0F16-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56846 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE0E-1F90-6AEB3D461F5-0F1A-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56856 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/12/12 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE18-1F90-6AEB3D461F5-0F1C-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56872 [04/Nov/2026:14:12:22.502] public api/api1 0/0/0/12/12 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DE28-1F90-6AEB3D461F6-0F1D-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56824 [04/Nov/2026:14:12:22.434] public api/api1 0/0/0/84/84 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DDF8-1F90-6AEB3D461B2-0F18-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56840 [04/Nov/2026:14:12:22.501] public api/api1 0/0/0/17/18 201 421 ---- 7/7/2/1/0 0/0 rid=AC120001DE08-1F90-6AEB3D461F5-0F1B-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56898 [04/Nov/2026:14:12:22.512] public api/api2 0/0/0/6/6 201 421 ---- 6/6/1/0/0 0/0 rid=AC120001DE42-1F90-6AEB3D46200-0F1E-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56860 [04/Nov/2026:14:12:22.518] public api/api2 0/0/1/11/12 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DE1C-1F90-6AEB3D461F6-0F20-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56926 [04/Nov/2026:14:12:22.521] public api/api2 0/0/0/12/12 201 421 ---- 8/8/5/1/0 0/0 rid=AC120001DE5E-1F90-6AEB3D46209-0F24-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56888 [04/Nov/2026:14:12:22.519] public api/api2 0/0/0/14/14 201 421 ---- 7/7/4/0/0 0/0 rid=AC120001DE38-1F90-6AEB3D461FD-0F22-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56874 [04/Nov/2026:14:12:22.519] public api/api1 0/0/0/15/16 201 421 ---- 6/6/5/3/0 0/0 rid=AC120001DE2A-1F90-6AEB3D461F8-0F21-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56916 [04/Nov/2026:14:12:22.520] public api/api1 0/0/0/14/14 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DE54-1F90-6AEB3D46208-0F23-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56904 [04/Nov/2026:14:12:22.516] public api/api1 0/0/0/19/20 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DE48-1F90-6AEB3D46204-0F1F-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56956 [04/Nov/2026:14:12:22.536] public api/api2 0/0/0/12/12 201 421 ---- 8/8/7/3/0 0/0 rid=AC120001DE7C-1F90-6AEB3D46218-0F2B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56942 [04/Nov/2026:14:12:22.535] public api/api2 0/0/0/15/16 201 421 ---- 8/8/6/2/0 0/0 rid=AC120001DE6E-1F90-6AEB3D46217-0F29-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56930 [04/Nov/2026:14:12:22.534] public api/api2 0/0/0/17/17 201 421 ---- 7/7/5/1/0 0/0 rid=AC120001DE62-1F90-6AEB3D46209-0F27-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56984 [04/Nov/2026:14:12:22.538] public api/api2 0/0/0/15/15 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DE98-1F90-6AEB3D4621A-0F2D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57024 [04/Nov/2026:14:12:22.564] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/1/0 0/0 rid=AC120001DEC0-1F90-6AEB3D4622A-0F30-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56998 [04/Nov/2026:14:12:22.565] public api/api2 0/0/0/8/8 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEA6-1F90-6AEB3D46227-0F2F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57044 [04/Nov/2026:14:12:22.596] public api/api2 0/0/0/6/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DED4-1F90-6AEB3D4623E-0F33-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56934 [04/Nov/2026:14:12:22.533] public api/api1 0/0/0/80/80 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DE66-1F90-6AEB3D46215-0F26-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57066 [04/Nov/2026:14:12:22.615] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEEA-1F90-6AEB3D46267-0F35-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56952 [04/Nov/2026:14:12:22.535] public api/api1 0/0/0/88/88 201 421 ---- 8/8/6/6/0 0/0 rid=AC120001DE78-1F90-6AEB3D46217-0F2A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56900 [04/Nov/2026:14:12:22.534] public api/api1 0/0/1/88/90 201 421 ---- 7/7/5/5/0 0/0 rid=AC120001DE44-1F90-6AEB3D46202-0F28-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56970 [04/Nov/2026:14:12:22.537] public api/api1 0/0/0/87/87 201 421 ---- 6/6/4/4/0 0/0 rid=AC120001DE8A-1F90-6AEB3D46219-0F2C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57018 [04/Nov/2026:14:12:22.565] public api/api1 0/0/0/62/63 201 421 ---- 8/8/6/5/0 0/0 rid=AC120001DEBA-1F90-6AEB3D46229-0F31-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57036 [04/Nov/2026:14:12:22.572] public api/api1 0/0/0/55/55 201 421 ---- 7/7/5/4/0 0/0 rid=AC120001DECC-1F90-6AEB3D4623C-0F32-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57014 [04/Nov/2026:14:12:22.553] public api/api1 0/0/0/74/75 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DEB6-1F90-6AEB3D46229-0F2E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57052 [04/Nov/2026:14:12:22.604] public api/api1 0/0/0/23/24 201 421 ---- 5/5/3/2/0 0/0 rid=AC120001DEDC-1F90-6AEB3D4625C-0F34-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57114 [04/Nov/2026:14:12:22.626] public api/api2 0/0/0/7/7 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DF1A-1F90-6AEB3D46272-0F37-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57138 [04/Nov/2026:14:12:22.629] public api/api2 0/0/0/9/9 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DF32-1F90-6AEB3D46275-0F39-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57142 [04/Nov/2026:14:12:22.630] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/0/0 0/0 rid=AC120001DF36-1F90-6AEB3D46276-0F3B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57156 [04/Nov/2026:14:12:22.641] public api/api2 0/0/0/5/5 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF44-1F90-6AEB3D46276-0F3D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57170 [04/Nov/2026:14:12:22.648] public api/api2 0/0/0/4/4 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF52-1F90-6AEB3D46288-0F3F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57168 [04/Nov/2026:14:12:22.657] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DF50-1F90-6AEB3D46282-0F41-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57096 [04/Nov/2026:14:12:22.625] public api/api1 0/0/0/86/86 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DF08-1F90-6AEB3D46271-0F36-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57108 [04/Nov/2026:14:12:22.626] public api/api1 0/0/0/89/89 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DF14-1F90-6AEB3D46272-0F38-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57160 [04/Nov/2026:14:12:22.656] public api/api1 0/0/0/61/61 201 421 ---- 5/5/4/4/0 0/0 rid=AC120001DF48-1F90-6AEB3D4627B-0F42-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57122 [04/Nov/2026:14:12:22.630] public api/api1 0/0/0/91/91 201 421 ---- 4/4/3/3/0 0/0 rid=AC120001DF22-1F90-6AEB3D46276-0F3A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57082 [04/Nov/2026:14:12:22.642] public api/api1 0/0/0/81/81 201 421 ---- 3/3/2/2/0 0/0 rid=AC120001DEFA-1F90-6AEB3D4626F-0F3E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57164 [04/Nov/2026:14:12:22.640] public api/api1 0/0/0/83/83 201 421 ---- 2/2/1/1/0 0/0 rid=AC120001DF4C-1F90-6AEB3D46280-0F3C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57180 [04/Nov/2026:14:12:22.654] public api/api1 0/0/0/69/70 201 421 ---- 1/1/0/0/0 0/0 rid=AC120001DF5C-1F90-6AEB3D4628E-0F40-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.156,
"concurrency": 8,
"successful_requests": 3821,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 126.708,
"successful_latency_ms": {
"p50": 31.0,
"p95": 187.0,
"p99": 266.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+29
View File
@@ -0,0 +1,29 @@
# 2026-11-04 14:12:22 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.6s
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.156,
"concurrency": 8,
"successful_requests": 3821,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 126.708,
"successful_latency_ms": {
"p50": 31.0,
"p95": 187.0,
"p99": 266.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
# 2026-11-04 14:12:24 UTC | CPU/RAM после нагрузки | exit 0 | 2.1s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab4-api-6 17.48% 88.79MiB / 320MiB 27.75%
messenger-lab4-api-5 17.67% 89.4MiB / 320MiB 27.94%
messenger-lab4-lb-1 2.18% 14.14MiB / 128MiB 11.05%
messenger-lab4-postgres-1 0.14% 68.93MiB / 512MiB 13.46%
messenger-lab4-redis-1 2.43% 4.82MiB / 96MiB 5.02%
messenger-lab4-s3-1 0.31% 97.91MiB / 512MiB 19.12%
+48
View File
@@ -0,0 +1,48 @@
# 2026-11-04 14:11:03 UTC | Persistence: контейнеры до | exit 0 | 0.3s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab4-api-5 Up 32 seconds (healthy) 32 seconds ago
messenger-lab4-api-6 Up 20 seconds (healthy) 21 seconds ago
messenger-lab4-lb-1 Up 11 minutes (healthy) 13 minutes ago
messenger-lab4-migrate-1 Exited (0) 6 minutes ago 13 minutes ago
messenger-lab4-postgres-1 Up 12 minutes (healthy) 13 minutes ago
messenger-lab4-redis-1 Up 12 minutes (healthy) 13 minutes ago
messenger-lab4-s3-1 Up About a minute (healthy) 13 minutes ago
messenger-lab4-s3-init-1 Exited (0) 6 minutes ago 13 minutes ago
# 2026-11-04 14:11:49 UTC | Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) | exit 0 | 45.6s
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:11:49 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.2s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab4-api-5 Up 7 seconds (healthy) About a minute ago
messenger-lab4-api-6 Up 7 seconds (healthy) About a minute ago
messenger-lab4-lb-1 Up 1 second (health: starting) 14 minutes ago
messenger-lab4-migrate-1 Exited (0) 7 minutes ago 14 minutes ago
messenger-lab4-postgres-1 Up 38 seconds (healthy) 14 minutes ago
messenger-lab4-redis-1 Up 39 seconds (healthy) 14 minutes ago
messenger-lab4-s3-1 Up 28 seconds (healthy) 14 minutes ago
messenger-lab4-s3-init-1 Exited (0) 7 minutes ago 14 minutes ago
# 2026-11-04 14:11:52 UTC | Persistence: сверка БД <-> S3 после рестарта | exit 0 | 2.4s
$ python scripts/ops.py reconcile
Container messenger-lab4-api-run-e029350f1930 Creating
Container messenger-lab4-api-run-e029350f1930 Created
{
"mode": "dry-run",
"grace_seconds": 900,
"stale_pending": 0,
"stale_pending_ids": [],
"objects_listed": 182,
"orphan_objects": 0,
"orphan_objects_within_grace": 0,
"orphan_objects_sample": [],
"bucket_scan_seconds": 0.062,
"ready_rows": 182,
"missing_objects": 0,
"missing_object_ids": [],
"total_seconds": 0.073
}
+19
View File
@@ -0,0 +1,19 @@
# 2026-11-04 14:04:52 UTC | Сверка БД <-> S3 (dry-run) | exit 0 | 2.2s
$ python scripts/ops.py reconcile
Container messenger-lab4-api-run-fb929425df7f Creating
Container messenger-lab4-api-run-fb929425df7f Created
{
"mode": "dry-run",
"grace_seconds": 900,
"stale_pending": 0,
"stale_pending_ids": [],
"objects_listed": 107,
"orphan_objects": 0,
"orphan_objects_within_grace": 0,
"orphan_objects_sample": [],
"bucket_scan_seconds": 0.014,
"ready_rows": 107,
"missing_objects": 0,
"missing_object_ids": [],
"total_seconds": 0.025
}
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 28.28,
"replicas_before": [
"1c20a55eebeb",
"ee285aa5856f"
],
"replicas_after": [
"4749f3b4b256",
"7d965c2245c9"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1026,
"ok": 1026,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 205.2,
"write_ok_rps": 123.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 157.0
},
"instances": [
"1c20a55eebeb",
"ee285aa5856f"
]
},
"during_update": {
"from_s": 5.0,
"to_s": 33.28,
"requests": 5808,
"ok": 5808,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 205.4,
"write_ok_rps": 122.2,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 172.0
},
"instances": [
"1c20a55eebeb",
"4749f3b4b256",
"7d965c2245c9",
"ee285aa5856f"
]
},
"after": {
"from_s": 33.28,
"to_s": 41.34,
"requests": 1492,
"ok": 1492,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 185.1,
"write_ok_rps": 111.0,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 187.0
},
"instances": [
"4749f3b4b256",
"7d965c2245c9"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api3"
]
],
[
11.78,
[
"api1",
"api2",
"api3"
]
],
[
12.7,
[
"api1",
"api3"
]
],
[
15.26,
[
"api1",
"api2",
"api3"
]
],
[
18.2,
[
"api1",
"api2"
]
],
[
25.8,
[
"api1",
"api2",
"api3"
]
],
[
29.51,
[
"api2",
"api3"
]
]
],
"data": {
"confirmed_writes": 4970,
"stored_messages": 4970,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 29.38,
"replicas_before": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"replicas_after": [
"1c20a55eebeb",
"ee285aa5856f"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1180,
"ok": 1180,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 236.0,
"write_ok_rps": 140.6,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 125.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"during_update": {
"from_s": 5.0,
"to_s": 34.38,
"requests": 6657,
"ok": 6657,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 226.6,
"write_ok_rps": 133.9,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 157.0
},
"instances": [
"1c20a55eebeb",
"4fc3ad11e268",
"c9fab9c9e2c1",
"ee285aa5856f"
]
},
"after": {
"from_s": 34.38,
"to_s": 42.45,
"requests": 1674,
"ok": 1674,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 207.2,
"write_ok_rps": 121.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 110.0
},
"instances": [
"1c20a55eebeb",
"ee285aa5856f"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
12.44,
[
"api1",
"api2",
"api3"
]
],
[
13.16,
[
"api1",
"api2"
]
],
[
15.72,
[
"api1",
"api2",
"api3"
]
],
[
19.44,
[
"api2",
"api3"
]
],
[
26.94,
[
"api1",
"api2",
"api3"
]
],
[
31.47,
[
"api1",
"api3"
]
]
],
"data": {
"confirmed_writes": 5617,
"stored_messages": 5617,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+29
View File
@@ -0,0 +1,29 @@
# 2026-11-04 14:10:19 UTC | Rolling update lab4 -> lab4.1 под нагрузкой | exit 0 | 44.8s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
replicas before: ['4fc3ad11e268', 'c9fab9c9e2c1']
2026-11-04T14:09:41.527Z rolling-update: start; replicas=2 old=['c9fab9c9e2c1', '4fc3ad11e268']
2026-11-04T14:09:45.307Z rolling-update: images built in 3.8s (tag lab4.1)
2026-11-04T14:09:47.489Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
2026-11-04T14:09:59.096Z rolling-update: step 1/2 new=1c20a55eebeb (messenger-api:lab4.1, ready+UP in 7.0s) replaced old=c9fab9c9e2c1 (graceful stop 4.4s)
2026-11-04T14:10:09.967Z rolling-update: step 2/2 new=ee285aa5856f (messenger-api:lab4.1, ready+UP in 6.6s) replaced old=4fc3ad11e268 (graceful stop 4.0s)
2026-11-04T14:10:10.389Z rolling-update: done in 29.1s; replicas now ['1c20a55eebeb', 'ee285aa5856f']
update 29.4s rc=0 | replicas ['4fc3ad11e268', 'c9fab9c9e2c1'] -> ['1c20a55eebeb', 'ee285aa5856f'] | errors during update 0 (-) | RPS before 236.0, during 226.6, after 207.2 | p95 during 93.0 ms | data ok=True
PASS: rolling update under load
# 2026-11-04 14:11:03 UTC | Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой | exit 0 | 43.8s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
replicas before: ['1c20a55eebeb', 'ee285aa5856f']
2026-11-04T14:10:26.009Z rolling-update: start; replicas=2 old=['1c20a55eebeb', 'ee285aa5856f']
2026-11-04T14:10:28.537Z rolling-update: images built in 2.5s (tag lab4)
2026-11-04T14:10:30.771Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
2026-11-04T14:10:42.303Z rolling-update: step 1/2 new=4749f3b4b256 (messenger-api:lab4, ready+UP in 7.2s) replaced old=1c20a55eebeb (graceful stop 4.1s)
2026-11-04T14:10:53.630Z rolling-update: step 2/2 new=7d965c2245c9 (messenger-api:lab4, ready+UP in 7.0s) replaced old=ee285aa5856f (graceful stop 4.2s)
2026-11-04T14:10:54.052Z rolling-update: done in 28.0s; replicas now ['4749f3b4b256', '7d965c2245c9']
update 28.3s rc=0 | replicas ['1c20a55eebeb', 'ee285aa5856f'] -> ['4749f3b4b256', '7d965c2245c9'] | errors during update 0 (-) | RPS before 205.2, during 205.4, after 185.1 | p95 during 94.0 ms | data ok=True
PASS: rolling update under load
# 2026-11-04 14:11:03 UTC | Реплики после обновлений | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4749f3b4b256 messenger-lab4-api-5 running healthy messenger-api:lab4 api2 UP
7d965c2245c9 messenger-lab4-api-6 running healthy messenger-api:lab4 api3 UP
+225
View File
@@ -0,0 +1,225 @@
# 2026-11-04 14:03:57 UTC | S3 bootstrap: лог первого запуска s3-init | exit 0 | 0.3s
$ docker compose --env-file .env logs --no-color s3-init
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
# 2026-11-04 14:04:00 UTC | S3 bootstrap: повторный запуск (идемпотентность) | exit 0 | 2.3s
$ docker compose --env-file .env run --rm -T s3-init
Container messenger-lab4-s3-1 Running
Container messenger-lab4-s3-1 Waiting
Container messenger-lab4-s3-1 Healthy
Container messenger-lab4-s3-init-run-8fa89d92841c Creating
Container messenger-lab4-s3-init-run-8fa89d92841c Created
{
"endpoint_host": "s3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
}
],
"bucket_action": "already exists (idempotent no-op)",
"ok": true
}
+98
View File
@@ -0,0 +1,98 @@
{
"scenario": "S3 outage and recovery",
"max_fail_seconds": 15.0,
"s3_warmup_seconds": 20.34,
"checks": [
{
"check": "baseline upload 201",
"ok": true,
"detail": "201"
},
{
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
"ok": true,
"detail": "200"
},
{
"check": "text message 201 during S3 outage",
"ok": true,
"detail": "201"
},
{
"check": "history 200 during S3 outage",
"ok": true,
"detail": "200"
},
{
"check": "attachment metadata 200 (PostgreSQL only)",
"ok": true,
"detail": "200"
},
{
"check": "message referencing existing attachment 201",
"ok": true,
"detail": "201"
},
{
"check": "upload #1 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 6.53s"
},
{
"check": "upload #1 failed fast (<= 15s)",
"ok": true,
"detail": "6.53s"
},
{
"check": "upload #1 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "upload #2 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 6.31s"
},
{
"check": "upload #2 failed fast (<= 15s)",
"ok": true,
"detail": "6.31s"
},
{
"check": "upload #2 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "download -> 503 during outage",
"ok": true,
"detail": "503 in 3.66s"
},
{
"check": "download failed fast",
"ok": true,
"detail": "3.66s"
},
{
"check": "session still valid",
"ok": true,
"detail": "200"
},
{
"check": "S3 read/write warm-up after start",
"ok": true,
"detail": "20.34s"
},
{
"check": "old file downloads byte-for-byte after recovery",
"ok": true,
"detail": "200 0.02s"
},
{
"check": "new upload 201 after recovery (same token, no API restart)",
"ok": true,
"detail": "201"
}
],
"pass": true
}
+24
View File
@@ -0,0 +1,24 @@
# 2026-11-04 14:09:34 UTC | Недоступность S3 и восстановление | exit 0 | 48.7s
$ python student-tests/s3_outage.py --base-url http://127.0.0.1:8080 --output evidence/s3_outage.json
PASS baseline upload 201 — 201
$ docker compose --env-file .env stop s3
PASS readiness stays 200 while S3 is down (S3 is not a readiness dependency) — 200
PASS text message 201 during S3 outage — 201
PASS history 200 during S3 outage — 200
PASS attachment metadata 200 (PostgreSQL only) — 200
PASS message referencing existing attachment 201 — 201
PASS upload #1 -> 503 unavailable — 503 unavailable in 6.53s
PASS upload #1 failed fast (<= 15s) — 6.53s
PASS upload #1 has Retry-After
PASS upload #2 -> 503 unavailable — 503 unavailable in 6.31s
PASS upload #2 failed fast (<= 15s) — 6.31s
PASS upload #2 has Retry-After
PASS download -> 503 during outage — 503 in 3.66s
PASS download failed fast — 3.66s
PASS session still valid — 200
$ docker compose --env-file .env start s3
$ C:\Users\mrend\AppData\Local\Programs\Python\Python312\python.exe scripts/ops.py wait-s3
PASS S3 read/write warm-up after start — 20.34s
PASS old file downloads byte-for-byte after recovery — 200 0.02s
PASS new upload 201 after recovery (same token, no API restart) — 201
PASS
+67
View File
@@ -0,0 +1,67 @@
# 2026-11-04 14:04:54 UTC | Приватный бакет вне API, права ключей, закрытые админ-порты | exit 0 | 2.3s
$ python scripts/ops.py s3-check
Container messenger-lab4-api-run-33922d9bc56f Creating
Container messenger-lab4-api-run-33922d9bc56f Created
{
"endpoint_host": "s3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
},
{
"check": "anonymous GET of a real attachment object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "same object is readable with API credentials and matches sha256",
"ok": true,
"detail": "111817 bytes"
}
],
"ok": true
}
# 2026-11-04 14:04:54 UTC | На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes | exit 0 | 0.5s
$ python scripts/ops.py api-fs
messenger-lab4-api-1 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
messenger-lab4-api-2 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
# 2026-11-04 14:04:55 UTC | API: файлы в /tmp (tmpfs) после загрузок | exit 0 | 0.3s
$ docker compose --env-file .env exec -T api sh -c df -h /tmp; echo files_in_tmp=$(find /tmp -type f | wc -l)
Filesystem Size Used Avail Use% Mounted on
tmpfs 16M 0 16M 0% /tmp
files_in_tmp=0
+6
View File
@@ -0,0 +1,6 @@
# 2026-11-02T13:36:48Z | offline contract
$ python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-11-02T13:36:48Z | full OpenAPI validation
$ python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+17
View File
@@ -0,0 +1,17 @@
# 2026-11-02T13:37:02Z | DB<->S3 consistency, aborted upload, injected faults (api-11 s3_error_on_put, api-12 db_error_after_s3_put, api-13 crash_after_s3_put)
$ BASE_URL=... FAULT_*_URL=... python -m unittest discover -s student-tests -p test_attachment_consistency.py -v
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... ok
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
----------------------------------------------------------------------
Ran 10 tests in 4.391s
OK
+12
View File
@@ -0,0 +1,12 @@
# 2026-11-02T13:28:02Z failover run 1: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 138, "failed_attempts": 0, "first_recovery_seconds": 4.468}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
2026-11-02T13:27:47Z stop-one api-1 pid 7684
restored; next run
# 2026-11-02T13:28:23Z failover run 2: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 139, "failed_attempts": 0, "first_recovery_seconds": 4.475}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
2026-11-02T13:28:08Z stop-one api-1 pid 7937
restored; next run
+268
View File
@@ -0,0 +1,268 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"api-1",
"api-2"
],
"rounds": [
{
"target_instance": "api-1",
"mode": "stop",
"lb_up_before": [
"api-1",
"api-2"
],
"stop_hook_seconds": 5.0,
"lb_detect_down_seconds": 1.3,
"target_last_served_after_stop_seconds": 1.31,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 1.86,
"lb_back_up_seconds": 2.91,
"target_back_in_rotation_seconds": 2.87,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1597,
"ok": 1597,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 318.1,
"write_ok_rps": 187.8,
"latency_ms_ok": {
"p50": 16.7,
"p95": 38.6,
"p99": 50.6
},
"instances": [
"api-1",
"api-2"
]
},
"outage_first_10s": {
"from_s": 5.02,
"to_s": 15.02,
"requests": 2392,
"ok": 2392,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 239.2,
"write_ok_rps": 140.9,
"latency_ms_ok": {
"p50": 24.4,
"p95": 39.5,
"p99": 48.8
},
"instances": [
"api-1",
"api-2"
]
},
"outage_rest": {
"from_s": 15.02,
"to_s": 20.02,
"requests": 1057,
"ok": 1057,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 211.4,
"write_ok_rps": 124.2,
"latency_ms_ok": {
"p50": 27.6,
"p95": 44.5,
"p99": 54.8
},
"instances": [
"api-2"
]
},
"after_restore": {
"from_s": 20.02,
"to_s": 26.15,
"requests": 1671,
"ok": 1671,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 272.8,
"write_ok_rps": 160.7,
"latency_ms_ok": {
"p50": 21.2,
"p95": 39.0,
"p99": 49.4
},
"instances": [
"api-1",
"api-2"
]
}
},
"lb_timeline": [
[
0.02,
[
"api-1",
"api-2"
]
],
[
6.32,
[
"api-2"
]
],
[
22.93,
[
"api-1",
"api-2"
]
]
],
"data": {
"confirmed_writes": 3957,
"stored_messages": 3957,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "api-2",
"mode": "stop",
"lb_up_before": [
"api-1",
"api-2"
],
"stop_hook_seconds": 5.23,
"lb_detect_down_seconds": 1.53,
"target_last_served_after_stop_seconds": 1.47,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 1.45,
"lb_back_up_seconds": 3.05,
"target_back_in_rotation_seconds": 3.05,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.01,
"requests": 1416,
"ok": 1416,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 282.9,
"write_ok_rps": 164.8,
"latency_ms_ok": {
"p50": 19.4,
"p95": 41.3,
"p99": 53.4
},
"instances": [
"api-1",
"api-2"
]
},
"outage_first_10s": {
"from_s": 5.01,
"to_s": 15.01,
"requests": 2431,
"ok": 2431,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 243.1,
"write_ok_rps": 142.8,
"latency_ms_ok": {
"p50": 24.8,
"p95": 39.6,
"p99": 46.3
},
"instances": [
"api-1",
"api-2"
]
},
"outage_rest": {
"from_s": 15.01,
"to_s": 20.01,
"requests": 1154,
"ok": 1154,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 230.7,
"write_ok_rps": 136.0,
"latency_ms_ok": {
"p50": 25.4,
"p95": 39.9,
"p99": 46.5
},
"instances": [
"api-1"
]
},
"after_restore": {
"from_s": 20.01,
"to_s": 26.3,
"requests": 1851,
"ok": 1851,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 293.9,
"write_ok_rps": 172.6,
"latency_ms_ok": {
"p50": 19.8,
"p95": 35.8,
"p99": 42.1
},
"instances": [
"api-1",
"api-2"
]
}
},
"lb_timeline": [
[
0.01,
[
"api-1",
"api-2"
]
],
[
6.53,
[
"api-1"
]
],
[
23.06,
[
"api-1",
"api-2"
]
]
],
"data": {
"confirmed_writes": 4020,
"stored_messages": 4020,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 20.0,
"elapsed_seconds": 20.055,
"concurrency": 4,
"successful_requests": 5544,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 276.435,
"successful_latency_ms": {
"p50": 13.241,
"p95": 23.756,
"p99": 32.552
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+7
View File
@@ -0,0 +1,7 @@
# 2026-11-02T13:24:54Z native sandbox: python3 tests/resilience.py --mode persistence --action-script <restart hook>
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# hook log: PIDs before/after (postgres, seaweedfs, api x2) + S3 warm-up
2026-11-02T13:24:15Z restart begin pg=6347 s3=6937 api=6405,6525
{"s3_ready_after_s": 16.4, "last_cycle_s": 1.028, "existing_object_read": true}
2026-11-02T13:24:53Z restart end pg=7134 s3=7149 api=7195,7219
+17
View File
@@ -0,0 +1,17 @@
# 2026-11-02T13:37:06Z | reconcile dry-run
$ python -m src.reconcile
{
"mode": "dry-run",
"grace_seconds": 900,
"stale_pending": 0,
"stale_pending_ids": [],
"objects_listed": 238,
"orphan_objects": 0,
"orphan_objects_within_grace": 0,
"orphan_objects_sample": [],
"bucket_scan_seconds": 0.036,
"ready_rows": 238,
"missing_objects": 0,
"missing_object_ids": [],
"total_seconds": 0.045
}
+45
View File
@@ -0,0 +1,45 @@
# 2026-11-02T13:36:49Z | S3 bootstrap, 2nd run on existing bucket (idempotent)
$ python -m src.s3_bootstrap
{
"endpoint_host": "127.0.0.3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
}
],
"bucket_action": "already exists (idempotent no-op)",
"ok": true
}
+98
View File
@@ -0,0 +1,98 @@
{
"scenario": "S3 outage and recovery",
"max_fail_seconds": 15.0,
"s3_warmup_seconds": 16.42,
"checks": [
{
"check": "baseline upload 201",
"ok": true,
"detail": "201"
},
{
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
"ok": true,
"detail": "200"
},
{
"check": "text message 201 during S3 outage",
"ok": true,
"detail": "201"
},
{
"check": "history 200 during S3 outage",
"ok": true,
"detail": "200"
},
{
"check": "attachment metadata 200 (PostgreSQL only)",
"ok": true,
"detail": "200"
},
{
"check": "message referencing existing attachment 201",
"ok": true,
"detail": "201"
},
{
"check": "upload #1 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 1.75s"
},
{
"check": "upload #1 failed fast (<= 15s)",
"ok": true,
"detail": "1.75s"
},
{
"check": "upload #1 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "upload #2 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 2.31s"
},
{
"check": "upload #2 failed fast (<= 15s)",
"ok": true,
"detail": "2.31s"
},
{
"check": "upload #2 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "download -> 503 during outage",
"ok": true,
"detail": "503 in 0.01s"
},
{
"check": "download failed fast",
"ok": true,
"detail": "0.01s"
},
{
"check": "session still valid",
"ok": true,
"detail": "200"
},
{
"check": "S3 read/write warm-up after start",
"ok": true,
"detail": "16.42s"
},
{
"check": "old file downloads byte-for-byte after recovery",
"ok": true,
"detail": "200 0.01s"
},
{
"check": "new upload 201 after recovery (same token, no API restart)",
"ok": true,
"detail": "201"
}
],
"pass": true
}
+98
View File
@@ -0,0 +1,98 @@
{
"scenario": "S3 outage and recovery",
"max_fail_seconds": 15.0,
"s3_warmup_seconds": 16.09,
"checks": [
{
"check": "baseline upload 201",
"ok": true,
"detail": "201"
},
{
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
"ok": true,
"detail": "200"
},
{
"check": "text message 201 during S3 outage",
"ok": true,
"detail": "201"
},
{
"check": "history 200 during S3 outage",
"ok": true,
"detail": "200"
},
{
"check": "attachment metadata 200 (PostgreSQL only)",
"ok": true,
"detail": "200"
},
{
"check": "message referencing existing attachment 201",
"ok": true,
"detail": "201"
},
{
"check": "upload #1 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 10.02s"
},
{
"check": "upload #1 failed fast (<= 15s)",
"ok": true,
"detail": "10.02s"
},
{
"check": "upload #1 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "upload #2 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 10.01s"
},
{
"check": "upload #2 failed fast (<= 15s)",
"ok": true,
"detail": "10.01s"
},
{
"check": "upload #2 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "download -> 503 during outage",
"ok": true,
"detail": "503 in 5.01s"
},
{
"check": "download failed fast",
"ok": true,
"detail": "5.01s"
},
{
"check": "session still valid",
"ok": true,
"detail": "200"
},
{
"check": "S3 read/write warm-up after start",
"ok": true,
"detail": "16.09s"
},
{
"check": "old file downloads byte-for-byte after recovery",
"ok": true,
"detail": "200 0.02s"
},
{
"check": "new upload 201 after recovery (same token, no API restart)",
"ok": true,
"detail": "201"
}
],
"pass": true
}
+54
View File
@@ -0,0 +1,54 @@
# 2026-11-02T13:37:07Z | private bucket outside API (anonymous S3 requests), key permissions, admin ports
$ python -m src.s3_bootstrap --check-only --sample-from-db
{
"endpoint_host": "127.0.0.3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
},
{
"check": "anonymous GET of a real attachment object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "same object is readable with API credentials and matches sha256",
"ok": true,
"detail": "111817 bytes"
}
],
"ok": true
}
+3
View File
@@ -0,0 +1,3 @@
# 2026-11-02T13:36:50Z | public smoke
$ python3 tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+120
View File
@@ -0,0 +1,120 @@
# 2026-11-02T13:37:16Z | student tests over HTTP via LB (lab2-4); DB-level tests skip here and run below with DB access
$ python3 student-tests/run_all.py --base-url http://127.0.0.1:8080
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ...
24 parallel POSTs, one key -> 1 message; replicas: ['api-1', 'api-2']
ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 74 tests in 6.028s
OK (skipped=23)
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
# DB-level tests (lab2-3) with direct DB access
$ python -m unittest discover -s student-tests -p "test_storage_*.py"; ... -p test_session_cache.py
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.022s
OK
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
ok
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
ok
----------------------------------------------------------------------
Ran 3 tests in 1.564s
OK
+43
View File
@@ -0,0 +1,43 @@
{
"label": "final code; peak via VmHWM and 20ms sampling",
"date_utc": "2026-11-02T13:41:45Z",
"host": "Linux x86_64, 2 CPU",
"source": "/proc VmRSS (20 ms)",
"concurrency": 10,
"rounds": 3,
"file_mib": 9.5,
"uploads": 30,
"statuses": {
"201": 30
},
"sha256_ok": 30,
"instances": [
"api-1",
"api-2"
],
"duration_s": 5.06,
"latency_201_s": {
"p50": 1.316,
"p95": 2.069,
"max": 2.088280546000078,
"mean": 1.407
},
"memory": {
"pid-9293": {
"baseline_mib": 95.5,
"peak_mib": 163.4,
"growth_mib": 67.9,
"samples": 356
},
"pid-9364": {
"baseline_mib": 95.4,
"peak_mib": 156.1,
"growth_mib": 60.6,
"samples": 356
}
},
"process_peak_rss_mib": {
"pid-9293": 165.8,
"pid-9364": 165.3
}
}
@@ -0,0 +1,39 @@
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-02T13:11:09Z",
"host": "Linux x86_64, 2 CPU",
"source": "/proc VmRSS (20 ms)",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 40
},
"sha256_ok": 40,
"instances": [
"api-1",
"api-2"
],
"duration_s": 6.14,
"latency_201_s": {
"p50": 2.159,
"p95": 3.077,
"max": 3.089563180000141,
"mean": 2.079
},
"memory": {
"pid-3762": {
"baseline_mib": 114.5,
"peak_mib": 161.7,
"growth_mib": 47.2,
"samples": 387
},
"pid-3834": {
"baseline_mib": 96.5,
"peak_mib": 159.1,
"growth_mib": 62.6,
"samples": 387
}
}
}
@@ -0,0 +1,39 @@
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=64 (limiter effectively off)",
"date_utc": "2026-11-02T13:11:34Z",
"host": "Linux x86_64, 2 CPU",
"source": "/proc VmRSS (20 ms)",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 40
},
"sha256_ok": 40,
"instances": [
"api-1",
"api-2"
],
"duration_s": 6.06,
"latency_201_s": {
"p50": 2.901,
"p95": 3.031,
"max": 3.03438846999984,
"mean": 2.702
},
"memory": {
"pid-4062": {
"baseline_mib": 88.2,
"peak_mib": 261.6,
"growth_mib": 173.4,
"samples": 400
},
"pid-4133": {
"baseline_mib": 88.7,
"peak_mib": 291.4,
"growth_mib": 202.8,
"samples": 400
}
}
}
+3
View File
@@ -0,0 +1,3 @@
# 2026-11-04 14:04:01 UTC | Публичный smoke | exit 0 | 0.8s
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+42
View File
@@ -0,0 +1,42 @@
# 2026-11-04 14:03:55 UTC | Стенд: контейнеры | exit 0 | 0.2s
$ docker compose --env-file .env ps -a
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab4-api-1 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
messenger-lab4-api-2 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
messenger-lab4-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 6 minutes ago Up 4 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
messenger-lab4-migrate-1 messenger-lab4-migrate "python -m src.migra…" migrate 6 minutes ago Exited (0) 2 minutes ago
messenger-lab4-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 6 minutes ago Up 5 minutes (healthy) 5432/tcp
messenger-lab4-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 6 minutes ago Up 5 minutes (healthy) 6379/tcp
messenger-lab4-s3-1 chrislusf/seaweedfs:4.50 "/usr/bin/weed serve…" s3 6 minutes ago Up About a minute (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
messenger-lab4-s3-init-1 messenger-lab4-s3-init "python -m src.s3_bo…" s3-init 6 minutes ago Exited (0) 2 minutes ago
# 2026-11-04 14:03:55 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:03:57 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.4s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab4-lb-1 0.14% 13.6MiB / 128MiB 10.63%
messenger-lab4-api-2 0.26% 90.05MiB / 320MiB 28.14%
messenger-lab4-api-1 0.30% 106MiB / 320MiB 33.13%
messenger-lab4-postgres-1 0.13% 71.34MiB / 512MiB 13.93%
messenger-lab4-redis-1 2.31% 5.629MiB / 96MiB 5.86%
messenger-lab4-s3-1 0.21% 508.3MiB / 512MiB 99.28%
# 2026-11-04 14:03:57 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.2s
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
SERVICE PORTS
api 8080/tcp
api 8080/tcp
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
postgres 5432/tcp
redis 6379/tcp
s3 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
# 2026-11-04 14:03:57 UTC | Образ SeaweedFS (закреплённая версия) | exit 0 | 0.3s
$ docker compose --env-file .env images s3
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
messenger-lab4-s3-1 chrislusf/seaweedfs 4.50 linux/amd64 c2658820e763 197MB 10 days ago
+168
View File
@@ -0,0 +1,168 @@
# 2026-11-04 14:04:10 UTC | Собственные тесты (HTTP через LB, включая test_attachments.py) | exit 0 | 9.4s
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ... ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 74 tests in 7.352s
OK (skipped=23)
24 parallel POSTs, one key -> 1 message; replicas: ['4fc3ad11e268', 'c9fab9c9e2c1']
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
# 2026-11-04 14:04:18 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.9s
$ python scripts/ops.py in-network storage
Container messenger-lab4-api-run-7c01226dcaba Creating
Container messenger-lab4-api-run-7c01226dcaba Created
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.302s
OK
Container messenger-lab4-api-run-b6f4e53090a5 Creating
Container messenger-lab4-api-run-b6f4e53090a5 Created
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
ok
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
ok
----------------------------------------------------------------------
Ran 3 tests in 1.860s
OK
# 2026-11-04 14:04:33 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 15.2s
$ python scripts/ops.py in-network expiry
Container messenger-lab4-redis-1 Running
Container messenger-lab4-s3-1 Running
Container messenger-lab4-postgres-1 Running
Container messenger-lab4-api-1 Running
Container messenger-lab4-api-2 Running
Container messenger-lab4-api-short-ttl-1 Creating
Container messenger-lab4-api-short-ttl-1 Created
Container messenger-lab4-s3-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-s3-1 Healthy
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-s3-init-1 Starting
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-s3-init-1 Started
Container messenger-lab4-s3-init-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-redis-1 Waiting
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-redis-1 Healthy
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-s3-init-1 Exited
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-short-ttl-1 Starting
Container messenger-lab4-api-short-ttl-1 Started
Container messenger-lab4-api-run-ae85ff205e89 Creating
Container messenger-lab4-api-run-ae85ff205e89 Created
ready: http://api-short-ttl:8080/health/ready
Container messenger-lab4-api-run-87803f7efa19 Creating
Container messenger-lab4-api-run-87803f7efa19 Created
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
----------------------------------------------------------------------
Ran 1 test in 3.644s
OK
+108
View File
@@ -0,0 +1,108 @@
# 2026-11-04 14:05:09 UTC | Пик памяти: 10 одновременных загрузок по 9.5 MiB | exit 0 | 14.2s
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 10 --rounds 3 --docker --label c=10, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c10.json
{
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:09Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 10,
"rounds": 3,
"file_mib": 9.5,
"uploads": 30,
"statuses": {
"201": 30
},
"sha256_ok": 30,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 7.44,
"latency_201_s": {
"p50": 2.016,
"p95": 3.75,
"max": 3.75,
"mean": 2.007
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 119.7,
"peak_mib": 153.5,
"growth_mib": 33.8,
"samples": 6
},
"messenger-lab4-api-1": {
"baseline_mib": 117.6,
"peak_mib": 149.7,
"growth_mib": 32.1,
"samples": 6
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 172.1,
"messenger-lab4-api-1": 175.4
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 158.0,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
}
}
# 2026-11-04 14:05:29 UTC | Пик памяти: 20 одновременных загрузок | exit 0 | 20.4s
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 20 --rounds 2 --docker --label c=20, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c20.json
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:29Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 39,
"503": 1
},
"sha256_ok": 39,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 13.24,
"latency_201_s": {
"p50": 4.609,
"p95": 7.312,
"max": 7.421999999998661,
"mean": 4.437
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 113.6,
"peak_mib": 160.9,
"growth_mib": 47.3,
"samples": 9
},
"messenger-lab4-api-1": {
"baseline_mib": 109.6,
"peak_mib": 158.9,
"growth_mib": 49.3,
"samples": 9
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 174.2,
"messenger-lab4-api-1": 176.6
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 176.2,
"messenger-lab4-api-1": 183.2
}
}
+51
View File
@@ -0,0 +1,51 @@
{
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:09Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 10,
"rounds": 3,
"file_mib": 9.5,
"uploads": 30,
"statuses": {
"201": 30
},
"sha256_ok": 30,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 7.44,
"latency_201_s": {
"p50": 2.016,
"p95": 3.75,
"max": 3.75,
"mean": 2.007
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 119.7,
"peak_mib": 153.5,
"growth_mib": 33.8,
"samples": 6
},
"messenger-lab4-api-1": {
"baseline_mib": 117.6,
"peak_mib": 149.7,
"growth_mib": 32.1,
"samples": 6
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 172.1,
"messenger-lab4-api-1": 175.4
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 158.0,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
}
}
+52
View File
@@ -0,0 +1,52 @@
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:29Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 39,
"503": 1
},
"sha256_ok": 39,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 13.24,
"latency_201_s": {
"p50": 4.609,
"p95": 7.312,
"max": 7.421999999998661,
"mean": 4.437
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 113.6,
"peak_mib": 160.9,
"growth_mib": 47.3,
"samples": 9
},
"messenger-lab4-api-1": {
"baseline_mib": 109.6,
"peak_mib": 158.9,
"growth_mib": 49.3,
"samples": 9
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 174.2,
"messenger-lab4-api-1": 176.6
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 176.2,
"messenger-lab4-api-1": 183.2
}
}
+7
View File
@@ -5,3 +5,10 @@
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд. В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику. Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
## Решение (lab4)
- `haproxy/haproxy.cfg` — балансировщик (из lab3) + длинный `timeout server` только для `POST …/attachments`.
- SeaweedFS настраивается флагами в `compose.yaml` (сервис `s3`) и файлом identities `secrets/s3_config.json`, который генерирует `scripts/init_secrets.py` (две identity: `bootstrap_admin` — только для `s3-init`; `messenger_api` — `Read/Write/List` одного бакета; анонимного доступа нет).
- Bootstrap бакета и проверки приватности: `src/s3_bootstrap.py` (сервис `s3-init`, повтор — no-op).
- Таблица «роль → сервис → версия → health → volume → сеть/порт → credentials» — в REPORT.md, раздел «Выбор S3-сервера».
+104
View File
@@ -0,0 +1,104 @@
# HAProxy 2.8 LTS — единственная публичная точка входа (lab3, дополнено в lab4).
#
# Обнаружение реплик: Docker DNS (127.0.0.11) отдаёт по имени сервиса `api`
# A-записи ВСЕХ запущенных контейнеров сервиса. server-template держит до 6 слотов
# и каждые 2 с синхронизирует их с DNS: новый контейнер (scale / rolling update)
# появляется сам, остановленный исчезает. Перезапуск LB при масштабировании не нужен.
#
# Исключение недоступного backend (активные проверки):
# GET /health/ready каждые inter=1s; после первой неудачи — fastinter=500ms;
# fall=2 неудачи подряд -> DOWN; rise=2 удачи -> UP; timeout check 1500ms.
# Время обнаружения:
# * graceful stop (реплика сразу отвечает 503): <= 1 с + 0.5 с ~ 1.5 с
# * crash / kill (соединение отклонено/сброшено): ~1.5 с
# * зависание без ответа: <= 1 + 1.5 + 0.5 + 1.5 = 4.5 с
# Пока реплика ещё не помечена DOWN, запрос к ней, не сумевший СОЕДИНИТЬСЯ
# (timeout connect 1s), повторяется на другой реплике (retries 2 + redispatch).
# Повторяются только ошибки установления соединения (retry-on conn-failure по
# умолчанию): запрос ещё не был отправлен, поэтому это безопасно и для POST.
# Уже отправленные POST LB не повторяет — это делает клиент с тем же
# Idempotency-Key (контракт запрещает прозрачные повторы POST /users, /chats).
#
# Согласование таймаутов:
# API: пул БД 3 с + statement_timeout 5 с = максимум ~8 с на запрос
# -> timeout server 10s; graceful shutdown API 10 с; drain API 3 с > 1.5 с.
# lab4: загрузка вложения (POST .../attachments) — до UPLOAD_READ_TIMEOUT_SECONDS
# 60 с чтения тела + очередь 5 с + S3 PUT (2 попытки по ~12 с) -> для этого
# пути timeout server 90s (http-request set-timeout), остальные — прежние 10 с.
# Скачивание идёт потоком, timeout server — это пауза между пакетами, не общая длительность.
# Docker stop_grace_period 20 с > drain 3 с + graceful 10 с.
global
log stdout format raw local0 info
maxconn 2000
resolvers docker
nameserver dns1 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 2s
hold obsolete 2s
hold nx 2s
hold other 2s
hold refused 2s
hold timeout 2s
# 8 КБ: в ответ DNS помещаются A-записи всех слотов.
accepted_payload_size 8192
defaults
mode http
log global
option httplog
option dontlognull
option redispatch 1
retries 2
timeout connect 1s
timeout client 30s
timeout server 10s
timeout http-request 10s
timeout http-keep-alive 10s
timeout queue 3s
timeout check 1500ms
default-server inter 1s fastinter 500ms downinter 2s fall 2 rise 2
frontend public
bind :8080
# Сквозной идентификатор запроса: HAProxy генерирует X-Request-Id, если клиент
# не прислал свой; API отражает его в ответе и в теле ошибок, LB — в логе.
unique-id-format %{+X}o\ %ci%cp-%fp-%Ts%ms-%rt-%pid
http-request set-header X-Request-Id %[unique-id] unless { req.hdr(X-Request-Id) -m found }
log-format "%ci:%cp [%tr] %ft %b/%s %TR/%Tw/%Tc/%Tr/%Ta %ST %B %tsc %ac/%fc/%bc/%sc/%rc %sq/%bq rid=%[capture.req.hdr(0)] inst=%[capture.res.hdr(0)] \"%HM %HPO\""
http-request capture req.hdr(X-Request-Id) len 64
declare capture response len 32
http-response capture res.hdr(X-Instance-Id) id 0
default_backend api
backend api
balance roundrobin
# lab4: только загрузка вложения получает длинный timeout server (см. выше).
acl is_upload method POST
acl is_upload_path path_reg ^/api/v1/chats/[^/]+/attachments$
http-request set-timeout server 90s if is_upload is_upload_path
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host lb
http-check expect status 200
# Ответы, которые формирует сам LB (нет ни одной готовой реплики, таймаут),
# — в общем JSON-формате ошибок контракта, с тем же X-Request-Id.
http-error status 503 content-type application/json hdr X-Request-Id "%[req.hdr(X-Request-Id)]" lf-string "{\"error\":{\"code\":\"unavailable\",\"message\":\"No API instance is available\",\"request_id\":\"%[req.hdr(X-Request-Id)]\"}}"
http-error status 504 content-type application/json hdr X-Request-Id "%[req.hdr(X-Request-Id)]" lf-string "{\"error\":{\"code\":\"unavailable\",\"message\":\"API instance timeout\",\"request_id\":\"%[req.hdr(X-Request-Id)]\"}}"
http-error status 502 content-type application/json hdr X-Request-Id "%[req.hdr(X-Request-Id)]" lf-string "{\"error\":{\"code\":\"unavailable\",\"message\":\"Bad gateway\",\"request_id\":\"%[req.hdr(X-Request-Id)]\"}}"
# До 6 реплик (в т.ч. N+1 во время rolling update). init-addr none: LB стартует,
# даже если реплик ещё нет; слоты без адреса находятся в MAINT.
server-template api 1-6 api:8080 check resolvers docker init-addr none resolve-prefer ipv4
# Внутренняя страница состояния (UP/DOWN по репликам) — только чтение.
# Публикуется на 127.0.0.1:8404 хоста; используется scripts/ops.py.
frontend stats
bind :8404
monitor-uri /lb-health
stats enable
stats uri /stats
stats refresh 2s
stats show-legends
http-request set-log-level silent
+66
View File
@@ -0,0 +1,66 @@
-- 001_init: базовая схема мессенджера lab2.
-- Применяется src/migrate.py ровно один раз (таблица schema_migrations),
-- внутри одной транзакции; повторный запуск миграций ничего не дублирует.
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL,
display_name text NOT NULL,
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT users_username_key UNIQUE (username),
CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'),
CONSTRAINT users_display_name_len CHECK (char_length(display_name) BETWEEN 1 AND 100)
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT chats_title_len CHECK (char_length(title) BETWEEN 1 AND 100)
);
-- Список чатов пользователя: WHERE user_id = ? ORDER BY (created_at, id)
CREATE INDEX chats_created_at_id_idx ON chats (created_at, id);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE,
user_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT,
position smallint NOT NULL,
PRIMARY KEY (chat_id, user_id),
CONSTRAINT chat_members_position_key UNIQUE (chat_id, position)
);
-- "В каких чатах состоит пользователь" (GET /chats)
CREATE INDEX chat_members_user_id_idx ON chat_members (user_id, chat_id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE,
sender_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT,
text text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT messages_text_len CHECK (char_length(text) BETWEEN 1 AND 4000)
);
-- История чата с keyset-пагинацией:
-- WHERE chat_id = $1 AND (created_at, id) > ($2, $3)
-- ORDER BY created_at, id LIMIT $4
-- Обоснование и EXPLAIN (ANALYZE, BUFFERS): evidence/explain_history.txt
CREATE INDEX messages_chat_created_id_idx ON messages (chat_id, created_at, id);
-- Серверные сессии. Источник истины для сессий — PostgreSQL;
-- Redis хранит только кэш проверок токена (см. REPORT.md).
-- Хранится SHA-256 от токена, сам токен в БД не попадает.
CREATE TABLE sessions (
token_hash bytea PRIMARY KEY,
user_id uuid NOT NULL REFERENCES users (id) ON DELETE CASCADE,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
expires_at timestamptz NOT NULL,
revoked_at timestamptz,
CONSTRAINT sessions_token_hash_len CHECK (octet_length(token_hash) = 32),
CONSTRAINT sessions_expiry_after_create CHECK (expires_at > created_at)
);
CREATE INDEX sessions_user_id_idx ON sessions (user_id);
CREATE INDEX sessions_expires_at_idx ON sessions (expires_at);
@@ -0,0 +1,13 @@
-- 002: надёжная инвалидация кэша сессий.
-- Строка вставляется В ТОЙ ЖЕ транзакции, что и sessions.revoked_at, и удаляется
-- только после того, как в Redis записано «надгробие» для этого токена.
-- Пока в таблице есть строки, API не доверяет положительным записям кэша
-- и проверяет каждый токен в PostgreSQL (см. src/sessions.py).
CREATE TABLE session_cache_invalidations (
token_hash bytea PRIMARY KEY,
revoked_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT session_cache_invalidations_hash_len CHECK (octet_length(token_hash) = 32)
);
CREATE INDEX session_cache_invalidations_revoked_at_idx
ON session_cache_invalidations (revoked_at);
+40
View File
@@ -0,0 +1,40 @@
-- 003 (lab3): общая идемпотентность POST /chats/{chat_id}/messages.
--
-- Область уникальности по контракту: пользователь + HTTP-метод + путь чата + ключ.
-- Путь однозначно задаётся chat_id, метод сейчас всегда POST (колонка оставлена,
-- чтобы область ключа была записана явно и расширялась без смены PK).
--
-- Атомарность: строка ключа и сообщение пишутся ОДНОЙ транзакцией.
-- 1. INSERT ключа (ON CONFLICT ...) — конкурентный повтор с тем же ключом
-- ждёт на уникальном индексе, пока первая транзакция не завершится;
-- 2. INSERT сообщения с заранее выбранным id;
-- 3. COMMIT. FK message_id -> messages проверяется в момент COMMIT
-- (DEFERRABLE INITIALLY DEFERRED), поэтому message_id NOT NULL с первого шага.
-- Ошибка/откат на любом шаге не оставляет ни сообщения, ни ключа:
-- транзиентный 5xx не фиксируется как окончательный результат.
--
-- Совместимость с работающей версией (rolling update): миграция только
-- добавляет новую таблицу, старые таблицы и запросы не меняются.
CREATE TABLE idempotency_keys (
user_id uuid NOT NULL REFERENCES users (id) ON DELETE CASCADE,
method text NOT NULL DEFAULT 'POST',
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE,
idem_key text NOT NULL,
request_hash bytea NOT NULL,
message_id uuid NOT NULL
REFERENCES messages (id) ON DELETE CASCADE
DEFERRABLE INITIALLY DEFERRED,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
expires_at timestamptz NOT NULL,
PRIMARY KEY (user_id, method, chat_id, idem_key),
CONSTRAINT idempotency_keys_key_format CHECK (idem_key ~ '^[A-Za-z0-9._:-]{1,128}$'),
CONSTRAINT idempotency_keys_method CHECK (method IN ('POST')),
CONSTRAINT idempotency_keys_hash_len CHECK (octet_length(request_hash) = 32),
CONSTRAINT idempotency_keys_expiry_after_create CHECK (expires_at > created_at)
);
-- Периодическая очистка истёкших ключей (src/idempotency.py).
CREATE INDEX idempotency_keys_expires_at_idx ON idempotency_keys (expires_at);
-- ON DELETE CASCADE от messages без полного скана.
CREATE INDEX idempotency_keys_message_id_idx ON idempotency_keys (message_id);
+68
View File
@@ -0,0 +1,68 @@
-- 004 (lab4): вложения. Метаданные — в PostgreSQL, байты — в приватном S3-бакете.
--
-- Жизненный цикл строки attachments (внутреннее поле state, в API не видно):
-- pending — намерение записано ДО S3 PUT (одна короткая транзакция);
-- ready — объект записан в S3, затем UPDATE ... WHERE state='pending'.
-- Наружу (GET, ссылки из сообщений) доступны только ready. Строки pending,
-- оставшиеся после сбоя между S3 и COMMIT, удаляет сборщик (src/reconcile.py)
-- после grace period; сначала удаляется строка (атомарный «захват»), потом объект.
-- Миграция только расширяющая (expand): реплики lab3 продолжают работать.
-- Сообщение с вложениями может иметь пустой текст (text = "").
-- Запрет «пустой текст без вложений» проверяет приложение.
ALTER TABLE messages DROP CONSTRAINT messages_text_len;
ALTER TABLE messages ADD CONSTRAINT messages_text_len CHECK (char_length(text) BETWEEN 0 AND 4000);
-- Цель составного внешнего ключа message_attachments (message_id, chat_id).
ALTER TABLE messages ADD CONSTRAINT messages_id_chat_key UNIQUE (id, chat_id);
CREATE TABLE attachments (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE RESTRICT,
owner_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT,
-- Только отображаемое имя. Никогда не используется как путь или ключ S3.
filename text NOT NULL,
content_type text NOT NULL,
size_bytes bigint NOT NULL,
sha256 text NOT NULL,
width integer NOT NULL,
height integer NOT NULL,
-- Ключ объекта назначает сервер (случайный UUID), он не равен id вложения
-- и не раскрывается в API.
object_key text NOT NULL,
state text NOT NULL DEFAULT 'pending',
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT attachments_object_key_key UNIQUE (object_key),
CONSTRAINT attachments_id_chat_key UNIQUE (id, chat_id),
CONSTRAINT attachments_filename_len CHECK (char_length(filename) BETWEEN 1 AND 255),
CONSTRAINT attachments_content_type CHECK (content_type IN ('image/png', 'image/jpeg')),
CONSTRAINT attachments_size CHECK (size_bytes BETWEEN 1 AND 10485760),
CONSTRAINT attachments_sha256 CHECK (sha256 ~ '^[a-f0-9]{64}$'),
CONSTRAINT attachments_pixels CHECK (width > 0 AND height > 0 AND width::bigint * height <= 40000000),
CONSTRAINT attachments_state CHECK (state IN ('pending', 'ready'))
);
-- Сборщик незавершённых загрузок: WHERE state = 'pending' AND created_at < ...
CREATE INDEX attachments_pending_created_idx ON attachments (created_at) WHERE state = 'pending';
CREATE INDEX attachments_chat_idx ON attachments (chat_id);
-- Связь сообщение -> вложения (порядок attachment_ids сохраняется в position).
-- Составные внешние ключи гарантируют НА УРОВНЕ БД, что вложение и сообщение
-- принадлежат одному чату. ON DELETE RESTRICT: строку вложения, на которую
-- ссылается сообщение, нельзя удалить (сборщик удаляет только pending, а
-- pending прикрепить нельзя — двойная защита).
CREATE TABLE message_attachments (
message_id uuid NOT NULL,
attachment_id uuid NOT NULL,
chat_id uuid NOT NULL,
position smallint NOT NULL,
PRIMARY KEY (message_id, attachment_id),
CONSTRAINT message_attachments_position_key UNIQUE (message_id, position),
CONSTRAINT message_attachments_position CHECK (position BETWEEN 0 AND 9),
CONSTRAINT message_attachments_message_fk FOREIGN KEY (message_id, chat_id)
REFERENCES messages (id, chat_id) ON DELETE CASCADE,
CONSTRAINT message_attachments_attachment_fk FOREIGN KEY (attachment_id, chat_id)
REFERENCES attachments (id, chat_id) ON DELETE RESTRICT
);
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id);
+10
View File
@@ -0,0 +1,10 @@
fastapi==0.115.6
uvicorn==0.34.0
pydantic==2.10.4
psycopg[binary]==3.2.3
psycopg-pool==3.2.4
redis==5.2.1
argon2-cffi==23.1.0
# lab4: S3-клиент и независимый парсер изображений
boto3==1.35.99
Pillow==11.1.0
+204
View File
@@ -0,0 +1,204 @@
#!/usr/bin/env python3
"""Прогон всех проверок lab4 на запущенном compose-стенде с записью в evidence/.
python scripts/collect_evidence.py # ~12-15 минут
python scripts/collect_evidence.py --quick # ~7-8 минут: без kill-серии, rolling update и нагрузки
Перед запуском: стенд поднят (`docker compose --env-file .env up -d --build`,
`python scripts/ops.py wait`). Скрипт останавливает и восстанавливает реплики,
перезапускает хранилища и S3 (volumes сохраняются), останавливает S3 и делает
rolling update lab4 -> lab4.1 -> lab4 (откат), поэтому запускайте его только на учебном стенде.
Токены и пароли в файлы не пишутся (тесты держат их в памяти).
"""
import argparse
import json
import os
import subprocess
import sys
import time
from datetime import datetime, timezone
from pathlib import Path
from urllib.request import Request, urlopen
ROOT = Path(__file__).resolve().parents[1]
EV = ROOT / "evidence"
PY = sys.executable or "python"
WIN = os.name == "nt"
HOOK_STOP = str(ROOT / "scripts" / ("stop-one.cmd" if WIN else "stop-one.sh"))
HOOK_RESTART = str(ROOT / "scripts" / ("restart.cmd" if WIN else "restart.sh"))
BASE = "http://127.0.0.1:" + os.environ.get("APP_PORT", "8080")
RESULTS = []
try:
sys.stdout.reconfigure(errors="replace")
except AttributeError:
pass
def stamp():
return datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S UTC")
def step(title, cmd, out_file, append=False, env=None, timeout=900):
"""Выполнить команду, сохранить «$ команда + вывод» в evidence/<out_file>."""
print("\n== %s\n$ %s" % (title, " ".join(cmd)), flush=True)
started = time.monotonic()
try:
proc = subprocess.run(cmd, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True,
timeout=timeout, env=dict(os.environ, **(env or {})),
encoding="utf-8", errors="replace")
output, rc = proc.stdout, proc.returncode
except subprocess.TimeoutExpired as exc:
output, rc = (exc.stdout or "") + "\nTIMEOUT", 124
elapsed = time.monotonic() - started
shown = " ".join(c if c != PY else "python" for c in cmd).replace(str(ROOT) + os.sep, "")
text = "# %s | %s | exit %d | %.1fs\n$ %s\n%s\n" % (stamp(), title, rc, elapsed, shown, output.rstrip())
path = EV / out_file
with path.open("a" if append else "w", encoding="utf-8") as f:
f.write(text + ("\n" if append else ""))
print(output.rstrip()[-1500:], flush=True)
RESULTS.append((title, rc, out_file))
return rc, output
def instances_through_lb(n=20):
"""Одна сессия, n запросов через LB -> какие реплики отвечали."""
import base64
import uuid
name = "inst_" + uuid.uuid4().hex[:12]
pw = "Inst-" + uuid.uuid4().hex
body = json.dumps({"username": name, "display_name": "Inst", "password": pw}).encode()
urlopen(Request(BASE + "/api/v1/users", data=body, headers={"Content-Type": "application/json"}), timeout=10)
cred = base64.b64encode((name + ":" + pw).encode()).decode()
sess = json.loads(urlopen(Request(BASE + "/api/v1/auth/sessions", data=b"", method="POST",
headers={"Authorization": "Basic " + cred}), timeout=10).read())
lines = []
for i in range(n):
with urlopen(Request(BASE + "/api/v1/users/me", headers={"Authorization": "Bearer " + sess["token"]}), timeout=5) as r:
lines.append("%2d %s X-Instance-Id=%s X-Request-Id=%s" % (
i + 1, r.status, r.headers.get("X-Instance-Id"), r.headers.get("X-Request-Id")))
return lines
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--quick", action="store_true", help="без SIGKILL-серии, rolling update и нагрузки")
args = ap.parse_args()
EV.mkdir(exist_ok=True)
(EV / "ops.log").write_text("", encoding="utf-8")
dc = ["docker", "compose", "--env-file", ".env"]
step("Контракт (offline)", [PY, "scripts/check_contract.py"], "check.txt")
step("Compose config", dc + ["config", "--quiet"], "check.txt", append=True)
step("Стенд: контейнеры", dc + ["ps", "-a"], "stand.txt")
step("Стенд: реплики и статус в LB", [PY, "scripts/ops.py", "ps"], "stand.txt", append=True)
step("Стенд: лимиты CPU/RAM", ["docker", "stats", "--no-stream", "--format",
"table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"], "stand.txt", append=True)
step("Стенд: опубликованные порты (только lb)", dc + ["ps", "--format", "table {{.Service}}\t{{.Ports}}"],
"stand.txt", append=True)
step("Образ SeaweedFS (закреплённая версия)", dc + ["images", "s3"], "stand.txt", append=True)
# Bucket bootstrap: первый запуск был при up; повтор — no-op.
step("S3 bootstrap: лог первого запуска s3-init", dc + ["logs", "--no-color", "s3-init"], "s3_bootstrap.txt")
step("S3 bootstrap: повторный запуск (идемпотентность)", dc + ["run", "--rm", "-T", "s3-init"],
"s3_bootstrap.txt", append=True)
lines = instances_through_lb()
(EV / "instances.txt").write_text("# %s | одна сессия, 20 запросов GET /users/me через LB\n%s\nразных реплик: %d\n"
% (stamp(), "\n".join(lines), len({l.split("X-Instance-Id=")[1].split()[0] for l in lines})),
encoding="utf-8")
print("\n".join(lines))
step("Публичный smoke", [PY, "tests/smoke.py", "--base-url", BASE], "smoke.txt")
step("Собственные тесты (HTTP через LB, включая test_attachments.py)",
[PY, "student-tests/run_all.py", "--base-url", BASE], "student-tests.txt")
step("Тесты с доступом к БД (внутри compose-сети)", [PY, "scripts/ops.py", "in-network", "storage"],
"student-tests.txt", append=True)
step("Истечение сессии (api-short-ttl, TTL 2 с)", [PY, "scripts/ops.py", "in-network", "expiry"],
"student-tests.txt", append=True)
step("Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*)",
[PY, "scripts/ops.py", "in-network", "consistency"], "consistency.txt")
step("Сверка БД <-> S3 (dry-run)", [PY, "scripts/ops.py", "reconcile"], "reconcile.txt")
step("Приватный бакет вне API, права ключей, закрытые админ-порты", [PY, "scripts/ops.py", "s3-check"],
"s3_private.txt")
step("На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes",
[PY, "scripts/ops.py", "api-fs"], "s3_private.txt", append=True)
step("API: файлы в /tmp (tmpfs) после загрузок",
dc + ["exec", "-T", "api", "sh", "-c", "df -h /tmp; echo files_in_tmp=$(find /tmp -type f | wc -l)"],
"s3_private.txt", append=True)
step("Пик памяти: 10 одновременных загрузок по 9.5 MiB",
[PY, "student-tests/upload_memory.py", "--base-url", BASE, "--concurrency", "10", "--rounds", "3",
"--docker", "--label", "c=10, MAX_CONCURRENT_UPLOADS=4", "--output", "evidence/upload_memory_c10.json"],
"upload_memory.txt")
step("Пик памяти: 20 одновременных загрузок",
[PY, "student-tests/upload_memory.py", "--base-url", BASE, "--concurrency", "20", "--rounds", "2",
"--docker", "--label", "c=20, MAX_CONCURRENT_UPLOADS=4", "--output", "evidence/upload_memory_c20.json"],
"upload_memory.txt", append=True)
# Публичный тест останавливает реплику, обслужившую его первое сообщение.
# Round-robin детерминирован, поэтому для второй реплики сдвигаем очередь
# лишними запросами, пока цель не окажется другой (README: «повторить для второй»).
targets = []
for i in range(1, 5):
if len(set(targets)) >= 2:
break
for _ in range(i - 1):
urlopen(BASE + "/health/live", timeout=5).read()
step("Failover #%d: реплики до" % i, [PY, "scripts/ops.py", "ps"], "failover.txt", append=i > 1)
step("Failover #%d: make test-failover (вкл. скачивание файла через другую реплику)" % i,
[PY, "tests/resilience.py", "--mode", "failover", "--action-script", HOOK_STOP, "--base-url", BASE],
"failover.txt", append=True)
step("Failover #%d: реплики после (остановлена именно цель теста)" % i, [PY, "scripts/ops.py", "ps"],
"failover.txt", append=True)
step("Failover #%d: restore" % i, [PY, "scripts/ops.py", "restore"], "failover.txt", append=True)
stops = [l for l in (EV / "ops.log").read_text(encoding="utf-8").splitlines() if "stop-one: mode=" in l]
if stops:
targets.append(stops[-1].split("target=")[1].split()[0])
with (EV / "failover.txt").open("a", encoding="utf-8") as f:
f.write("# остановленные публичным тестом реплики: %s\n" % targets)
step("Серия отказов: каждая реплика, graceful stop", [PY, "student-tests/failover_series.py", "--base-url", BASE,
"--output", "evidence/failover_series.json"], "failover_series.txt")
if not args.quick:
step("Серия отказов: каждая реплика, SIGKILL", [PY, "student-tests/failover_series.py", "--base-url", BASE,
"--mode", "kill", "--output", "evidence/failover_series_kill.json"],
"failover_series.txt", append=True)
step("Недоступность S3 и восстановление", [PY, "student-tests/s3_outage.py", "--base-url", BASE,
"--output", "evidence/s3_outage.json"], "s3_outage.txt")
if not args.quick:
step("Rolling update lab4 -> lab4.1 под нагрузкой",
[PY, "student-tests/rolling_update_load.py", "--base-url", BASE, "--output", "evidence/rolling_update.json"],
"rolling_update.txt", env={"APP_VERSION": "lab4.1"})
step("Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой",
[PY, "student-tests/rolling_update_load.py", "--base-url", BASE, "--output", "evidence/rolling_back.json"],
"rolling_update.txt", append=True, env={"APP_VERSION": "lab4"})
step("Реплики после обновлений", [PY, "scripts/ops.py", "ps"], "rolling_update.txt", append=True)
fmt = ["ps", "-a", "--format", "table {{.Name}}\t{{.Status}}\t{{.RunningFor}}"]
step("Persistence: контейнеры до", dc + fmt, "persistence.txt")
step("Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB)",
[PY, "tests/resilience.py", "--mode", "persistence", "--action-script", HOOK_RESTART, "--base-url", BASE],
"persistence.txt", append=True)
step("Persistence: контейнеры после (Status = Up N seconds)", dc + fmt, "persistence.txt", append=True)
step("Persistence: сверка БД <-> S3 после рестарта", [PY, "scripts/ops.py", "reconcile"], "persistence.txt",
append=True)
if not args.quick:
step("Нагрузка 30 с, concurrency 8", [PY, "tests/load.py", "--base-url", BASE, "--duration", "30",
"--concurrency", "8", "--output", "evidence/load.json"], "load.txt")
step("CPU/RAM после нагрузки", ["docker", "stats", "--no-stream", "--format",
"table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"], "load.txt", append=True)
step("Лог LB (последние строки, без секретов)", dc + ["logs", "--no-color", "--tail", "60", "lb"], "lb_log_sample.txt")
summary = ["# %s" % stamp()] + ["%-4s %-70s evidence/%s" % ("OK" if rc == 0 else "FAIL", t, f) for t, rc, f in RESULTS]
(EV / "SUMMARY.txt").write_text("\n".join(summary) + "\n", encoding="utf-8")
print("\n" + "\n".join(summary))
sys.exit(0 if all(rc == 0 for _, rc, _ in RESULTS) else 1)
if __name__ == "__main__":
main()
+78
View File
@@ -0,0 +1,78 @@
#!/usr/bin/env python3
"""Создаёт локальные учебные секреты в ./secrets (каталог в .gitignore).
Повторный запуск ничего не перезаписывает: пароль PostgreSQL задаётся только
при первой инициализации volume, и смена файла сломала бы подключение.
Значения секретов не печатаются.
lab4: две пары S3-ключей — bootstrap-admin (только для one-shot s3-init) и
messenger-api (Read/Write/List одного бакета). s3_config.json — identities
SeaweedFS, собирается из этих ключей (пересоздаётся, если удалён: ключи S3 не
привязаны к данным в volume, их можно сменить: удалить 5 файлов s3_* и
перезапустить init_secrets.py + docker compose up -d --force-recreate s3 s3-init api).
"""
import json
import os
import secrets
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
DIR = ROOT / "secrets"
def write(name: str, value: str) -> None:
path = DIR / name
if path.exists():
print("keep secrets/%s" % name)
return
path.write_text(value + "\n", encoding="utf-8")
# Каталог 0700, файлы 0644: внутри контейнера их читают непривилегированные
# пользователи (appuser, redis), а на хосте каталог закрыт.
os.chmod(path, 0o644)
print("create secrets/%s" % name)
def read(name: str) -> str:
return (DIR / name).read_text(encoding="utf-8").strip()
def main() -> None:
DIR.mkdir(exist_ok=True)
try:
os.chmod(DIR, 0o700)
except OSError:
pass
write("postgres_password", secrets.token_hex(24))
write("redis_password", secrets.token_hex(24))
write("database_url", "postgresql://messenger:%s@postgres:5432/messenger" % read("postgres_password"))
write("cache_url", "redis://:%s@redis:6379/0" % read("redis_password"))
# lab4: S3 (SeaweedFS). Access key — ASCII 20 символов, secret — 40 (как у AWS).
write("s3_admin_access_key_id", "ADM" + secrets.token_hex(8).upper() + "X")
write("s3_admin_secret_access_key", secrets.token_urlsafe(30)[:40])
write("s3_access_key_id", "API" + secrets.token_hex(8).upper() + "X")
write("s3_secret_access_key", secrets.token_urlsafe(30)[:40])
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
config = {
"identities": [
{
"name": "bootstrap_admin",
"credentials": [{"accessKey": read("s3_admin_access_key_id"),
"secretKey": read("s3_admin_secret_access_key")}],
"actions": ["Admin", "Read", "List", "Tagging", "Write"],
},
{
# Только свой бакет: чтение, запись/удаление объектов, листинг.
# Создать/удалить бакет или прочитать чужой этими ключами нельзя.
"name": "messenger_api",
"credentials": [{"accessKey": read("s3_access_key_id"),
"secretKey": read("s3_secret_access_key")}],
"actions": ["Read:" + bucket, "Write:" + bucket, "List:" + bucket],
},
]
# Identity "anonymous" не объявлена -> анонимные запросы получают 403.
}
write("s3_config.json", json.dumps(config, indent=2))
if __name__ == "__main__":
main()
+473
View File
@@ -0,0 +1,473 @@
#!/usr/bin/env python3
"""Операции над compose-стендом lab4. Python 3.9+, только стандартная библиотека.
Работает одинаково в Windows (PowerShell/cmd), Linux и macOS: вызывает
`docker compose` и `docker` без shell-интерполяции. Секреты не печатает.
python scripts/ops.py wait # дождаться N здоровых реплик и LB
python scripts/ops.py ps # реплики: контейнер, X-Instance-Id, health, статус в LB
python scripts/ops.py stop-one # TARGET_INSTANCE_ID=<X-Instance-Id>; оставляет остановленной
python scripts/ops.py restore # запустить остановленные реплики и дождаться UP в LB
python scripts/ops.py restart # hook persistence: API + PostgreSQL + Redis + S3 + LB, volumes целы
python scripts/ops.py wait-s3 # дождаться, пока S3 реально читает/пишет (прогрев после рестарта)
python scripts/ops.py s3-check # приватность бакета вне API, права ключей, закрытые админ-порты
python scripts/ops.py reconcile [--apply] # сверка БД <-> S3 (по умолчанию dry-run)
python scripts/ops.py api-fs # у API read-only rootfs, только tmpfs, без volumes
python scripts/ops.py rolling-update # поочерёдная замена реплик без остановки сервиса
python scripts/ops.py in-network storage # тесты с прямым доступом к БД — внутри compose-сети
python scripts/ops.py in-network expiry # истечение сессии на api-short-ttl (TTL 2 с)
python scripts/ops.py in-network consistency # БД<->S3: сборщик, сироты, обрыв загрузки, внедрённые отказы
Переменные окружения:
COMPOSE_PROJECT_NAME имя проекта (по умолчанию messenger-lab4, как `name:` в compose.yaml)
ENV_FILE файл переменных (по умолчанию .env, если существует)
API_REPLICAS ожидаемое число реплик (по умолчанию из .env, иначе 2)
APP_PORT, LB_STATS_PORT опубликованные на 127.0.0.1 порты LB (8080, 8404)
STOP_MODE stop-one: stop (SIGTERM, graceful, по умолчанию) | kill (SIGKILL, «падение»)
Каждое действие дописывается в evidence/ops.log (время, контейнер, результат) —
это доказательство того, какой контейнер реально остановлен/заменён.
"""
import csv
import io
import json
import os
import subprocess
import sys
import time
import urllib.error
import urllib.request
from datetime import datetime, timezone
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
OPS_LOG = ROOT / "evidence" / "ops.log"
try: # консоль Windows может быть не в UTF-8
sys.stdout.reconfigure(errors="replace")
sys.stderr.reconfigure(errors="replace")
except AttributeError:
pass
# ---------------------------------------------------------------- settings
def _dotenv():
path = Path(os.environ.get("ENV_FILE", str(ROOT / ".env")))
values = {}
if path.is_file():
for line in path.read_text(encoding="utf-8").splitlines():
line = line.strip()
if line and not line.startswith("#") and "=" in line:
k, v = line.split("=", 1)
values[k.strip()] = v.strip().strip('"').strip("'")
return path if path.is_file() else None, values
ENV_PATH, DOTENV = _dotenv()
def setting(name, default):
return os.environ.get(name) or DOTENV.get(name) or default
PROJECT = setting("COMPOSE_PROJECT_NAME", "messenger-lab4")
REPLICAS = int(setting("API_REPLICAS", "2"))
APP_PORT = int(setting("APP_PORT", "8080"))
STATS_PORT = int(setting("LB_STATS_PORT", "8404"))
LB_URL = "http://127.0.0.1:%d" % APP_PORT
STATS_URL = "http://127.0.0.1:%d/stats;csv" % STATS_PORT
def now_iso():
return datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%S.%f")[:-3] + "Z"
def log(msg):
line = "%s %s" % (now_iso(), msg)
print(line, flush=True)
try:
OPS_LOG.parent.mkdir(exist_ok=True)
with OPS_LOG.open("a", encoding="utf-8") as f:
f.write(line + "\n")
except OSError:
pass
# ---------------------------------------------------------------- docker
def compose_cmd(*args):
cmd = ["docker", "compose", "-p", PROJECT]
if ENV_PATH:
cmd += ["--env-file", str(ENV_PATH)]
return cmd + list(args)
def run(cmd, check=True, capture=False, timeout=300, show=False):
"""capture: вернуть вывод; show: показать вывод в консоли; иначе — тихо."""
out = None if show else (subprocess.PIPE if capture else subprocess.DEVNULL)
result = subprocess.run(
cmd, cwd=ROOT, check=False, timeout=timeout,
stdout=out, stderr=out, text=True,
)
if check and result.returncode != 0:
detail = (result.stderr or "").strip()[-400:] if capture else ""
raise SystemExit("command failed (%d): %s %s" % (result.returncode, " ".join(cmd[:4]), detail))
return result
def compose(*args, timeout=300):
return run(compose_cmd(*args), timeout=timeout, capture=True)
def api_containers(include_stopped=True):
"""[{id, short, name, state, health, image, ip}] — только сервис api, без one-off."""
cmd = ["docker", "ps", "--no-trunc", "--format", "{{.ID}}",
"--filter", "label=com.docker.compose.project=" + PROJECT,
"--filter", "label=com.docker.compose.service=api",
"--filter", "label=com.docker.compose.oneoff=False"]
if include_stopped:
cmd.insert(2, "-a")
ids = [x for x in run(cmd, capture=True).stdout.split() if x]
if not ids:
return []
raw = run(["docker", "inspect"] + ids, capture=True).stdout
result = []
for item in json.loads(raw):
state = item["State"]
nets = item.get("NetworkSettings", {}).get("Networks") or {}
ips = [n.get("IPAddress") for n in nets.values() if n.get("IPAddress")]
result.append({
"id": item["Id"],
"short": item["Id"][:12],
"hostname": item["Config"].get("Hostname", ""),
"name": item["Name"].lstrip("/"),
"state": state.get("Status"),
"health": (state.get("Health") or {}).get("Status", "-"),
"image": item["Config"].get("Image"),
"ip": ips[0] if ips else "",
"created": item.get("Created", "")[:19],
})
result.sort(key=lambda c: c["name"])
return result
def running(containers=None):
return [c for c in (containers if containers is not None else api_containers()) if c["state"] == "running"]
# ---------------------------------------------------------------- load balancer
def lb_servers():
"""[{name, status, addr}] backend api из CSV-статистики HAProxy (слоты с адресом)."""
data = urllib.request.urlopen(STATS_URL, timeout=2).read().decode("utf-8", "replace")
rows = csv.DictReader(io.StringIO(data.lstrip("# ")))
servers = []
for r in rows:
if r.get("pxname") != "api" or r.get("svname") in ("BACKEND", "FRONTEND"):
continue
addr = r.get("addr") or ""
status = r.get("status", "")
if status.startswith("MAINT") and not addr:
continue # пустой слот server-template
servers.append({"name": r["svname"], "status": status, "addr": addr})
return servers
def lb_up_count():
return sum(1 for s in lb_servers() if s["status"].startswith("UP"))
def lb_ready():
try:
with urllib.request.urlopen(LB_URL + "/health/ready", timeout=2) as r:
return r.status == 200
except (urllib.error.URLError, OSError):
return False
def wait_until(predicate, timeout, what, interval=0.3):
deadline = time.monotonic() + timeout
last_exc = None
while time.monotonic() < deadline:
try:
if predicate():
return True
except (urllib.error.URLError, OSError, ValueError, KeyError) as exc:
last_exc = exc
time.sleep(interval)
raise SystemExit("timeout after %ss waiting for %s%s" % (
timeout, what, (" (%s)" % type(last_exc).__name__) if last_exc else ""))
def wait_healthy(ids, timeout=90):
def ok():
states = {c["id"]: c for c in api_containers()}
return all(states.get(i, {}).get("health") == "healthy" for i in ids)
wait_until(ok, timeout, "containers healthy: " + ", ".join(i[:12] for i in ids))
def wait_stack(replicas, timeout=120):
wait_until(lambda: len([c for c in running() if c["health"] == "healthy"]) >= replicas,
timeout, "%d healthy api replicas" % replicas)
wait_until(lambda: lb_up_count() >= replicas, 30, "%d replicas UP in HAProxy" % replicas)
wait_until(lb_ready, 30, "LB /health/ready = 200")
# ---------------------------------------------------------------- commands
def cmd_wait(_args):
t0 = time.monotonic()
wait_stack(REPLICAS)
print("ready: %d api replicas healthy and UP in LB (%.1fs)" % (REPLICAS, time.monotonic() - t0))
def cmd_ps(_args):
containers = api_containers()
try:
by_addr = {s["addr"].rsplit(":", 1)[0]: s for s in lb_servers()}
except (urllib.error.URLError, OSError):
by_addr = {}
print("%-14s %-28s %-9s %-10s %-22s %-6s %s" % ("X-Instance-Id", "container", "state", "health", "image", "lb", "lb_status"))
for c in containers:
s = by_addr.get(c["ip"], {})
print("%-14s %-28s %-9s %-10s %-22s %-6s %s" % (
c["hostname"], c["name"], c["state"], c["health"], c["image"], s.get("name", "-"), s.get("status", "-")))
def find_target(target):
for c in api_containers():
# X-Instance-Id = hostname контейнера = первые 12 символов его ID.
if target and (c["hostname"] == target or c["id"].startswith(target)):
return c
return None
def cmd_stop_one(_args):
target = os.environ.get("TARGET_INSTANCE_ID", "").strip()
if not target:
raise SystemExit("TARGET_INSTANCE_ID is required (X-Instance-Id of the replica to stop)")
mode = os.environ.get("STOP_MODE", "stop").strip().lower()
c = find_target(target)
if c is None:
raise SystemExit("no api container of project %s matches X-Instance-Id %s" % (PROJECT, target))
if c["state"] != "running":
raise SystemExit("container %s is already %s" % (c["name"], c["state"]))
t0 = time.monotonic()
log("stop-one: mode=%s target=%s container=%s ip=%s" % (mode, target, c["name"], c["ip"]))
if mode == "kill":
# «Падение» процесса. Политику restart снимаем, чтобы Docker не поднял
# контейнер сам: тест требует, чтобы реплика оставалась остановленной.
run(["docker", "update", "--restart", "no", c["id"]])
run(["docker", "kill", "--signal", "KILL", c["id"]])
else:
# SIGTERM -> осушение 3 с (readiness 503) -> graceful stop; SIGKILL не позже 20 с.
run(["docker", "stop", "--time", "20", c["id"]], timeout=40)
after = find_target(target) or {}
log("stop-one: container=%s state=%s after %.2fs; left stopped (restore: python scripts/ops.py restore)"
% (c["name"], after.get("state", "removed"), time.monotonic() - t0))
def cmd_restore(_args):
t0 = time.monotonic()
stopped = [c for c in api_containers() if c["state"] != "running"]
for c in stopped: # вернуть политику, снятую в режиме kill
run(["docker", "update", "--restart", "unless-stopped", c["id"]], check=False)
# --no-recreate: не пересоздавать работающие; up запускает остановленные
# и добирает число контейнеров до deploy.replicas.
compose("up", "-d", "--no-deps", "--no-recreate", "api")
wait_stack(REPLICAS)
log("restore: started %s; %d replicas healthy and UP in LB after %.1fs"
% ([c["name"] for c in stopped] or "nothing", REPLICAS, time.monotonic() - t0))
def cmd_restart(_args):
"""Hook для make test-persistence: перезапуск API, ВСЕХ хранилищ (PostgreSQL,
Redis, S3) и LB.
Volumes не удаляются, данные не пересоздаются, bucket не создаётся заново.
Порядок: сначала LB и API (новые записи не принимаются), затем хранилища,
затем ожидание реальной готовности S3 к чтению/записи (SeaweedFS отвечает
/healthz сразу, но первые операции после рестарта ждут 15–30 с), затем API и LB.
"""
t0 = time.monotonic()
before = {c["name"]: c["short"] for c in running()}
started_before = {svc: container_started(svc) for svc in ("postgres", "redis", "s3")}
compose("stop", "lb", "api", timeout=120)
compose("restart", "postgres", "redis", "s3", timeout=120)
wait_service_healthy("s3", 60)
t_warm = time.monotonic()
warm = s3_warmup(70)
log("restart: s3 read/write ready %.1fs after container healthy (%s)" % (time.monotonic() - t_warm, warm))
compose("start", "api", timeout=120)
wait_until(lambda: len([c for c in running() if c["health"] == "healthy"]) >= REPLICAS,
80, "api healthy after restart")
compose("start", "lb", timeout=60)
log("restart: started_at postgres %s -> %s; redis %s -> %s; s3 %s -> %s; api %s restarted; lb restarted; %.1fs"
% (started_before["postgres"], container_started("postgres"), started_before["redis"],
container_started("redis"), started_before["s3"], container_started("s3"),
sorted(before), time.monotonic() - t0))
def wait_service_healthy(service, timeout):
def ok():
ids = run(["docker", "ps", "-q", "--filter", "label=com.docker.compose.project=" + PROJECT,
"--filter", "label=com.docker.compose.service=" + service], capture=True).stdout.split()
if not ids:
return False
out = run(["docker", "inspect", "-f", "{{.State.Health.Status}}", ids[0]], capture=True).stdout.strip()
return out == "healthy"
wait_until(ok, timeout, service + " healthy")
def s3_warmup(timeout=70):
"""One-off контейнер образа API в сетях стенда: put/get/delete пробы + чтение старого объекта."""
out = run(compose_cmd("run", "--rm", "-T", "--no-deps", "api", "python", "-m", "src.s3_bootstrap",
"--wait-ready", str(timeout)), capture=True, timeout=timeout + 60)
lines = [x for x in (out.stdout or "").splitlines() if x.startswith("{")]
return lines[-1] if lines else ""
def cmd_wait_s3(_args):
wait_service_healthy("s3", 60)
print(s3_warmup(90))
def cmd_s3_check(_args):
"""Проверка приватного бакета ВНЕ API: анонимные запросы к S3 из сети storage."""
run(compose_cmd("run", "--rm", "-T", "--no-deps", "api", "python", "-m", "src.s3_bootstrap",
"--check-only", "--sample-from-db"), show=True, timeout=180)
def cmd_api_fs(_args):
"""Доказательство «на API нет локального хранилища оригиналов»."""
for c in api_containers():
info = json.loads(run(["docker", "inspect", c["id"]], capture=True).stdout)[0]
mounts = [m.get("Type") + ":" + m.get("Destination", "") for m in info.get("Mounts", [])]
print("%s ReadonlyRootfs=%s Tmpfs=%s Mounts=%s" % (
c["name"], info["HostConfig"].get("ReadonlyRootfs"), info["HostConfig"].get("Tmpfs"), mounts or "none"))
def cmd_reconcile(args):
run(compose_cmd("run", "--rm", "-T", "--no-deps", "api", "python", "-m", "src.reconcile") + list(args),
show=True, timeout=600)
def container_started(service):
ids = run(["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=" + PROJECT,
"--filter", "label=com.docker.compose.service=" + service], capture=True).stdout.split()
if not ids:
return "-"
return run(["docker", "inspect", "-f", "{{.State.StartedAt}}", ids[0]], capture=True).stdout.strip()[:23]
def cmd_rolling_update(args):
"""Поочерёдная замена реплик: +1 новая -> healthy и UP в LB -> graceful stop старой.
В любой момент в ротации >= N реплик. Миграции — один раз, до замены, и только
расширяющие (expand): старая версия продолжает работать на новой схеме.
"""
t_all = time.monotonic()
if [c for c in api_containers() if c["state"] != "running"]:
raise SystemExit("some api containers are stopped; run `python scripts/ops.py restore` first")
old = running()
n = len(old)
if n < 1:
raise SystemExit("no running api replicas")
log("rolling-update: start; replicas=%d old=%s" % (n, [c["short"] for c in old]))
if "--no-build" not in args:
t = time.monotonic()
compose("build", "api", "migrate", timeout=900)
log("rolling-update: images built in %.1fs (tag %s)" % (time.monotonic() - t, setting("APP_VERSION", "lab4")))
t = time.monotonic()
out = compose("run", "--rm", "-T", "migrate", timeout=300).stdout.strip().splitlines()
log("rolling-update: migrations once in %.1fs: %s" % (time.monotonic() - t, out[-1] if out else ""))
for i, victim in enumerate(old, 1):
before = {c["id"] for c in api_containers()}
t = time.monotonic()
compose("up", "-d", "--no-deps", "--no-recreate", "--scale", "api=%d" % (n + 1), "api", timeout=180)
new = [c for c in api_containers() if c["id"] not in before]
if len(new) != 1:
raise SystemExit("expected exactly one new container, got %d" % len(new))
fresh = new[0]
wait_healthy([fresh["id"]], timeout=90)
wait_until(lambda: lb_up_count() >= n + 1, 30, "new replica UP in HAProxy")
t_ready = time.monotonic() - t
t = time.monotonic()
run(["docker", "stop", "--time", "20", victim["id"]], timeout=40)
run(["docker", "rm", victim["id"]])
log("rolling-update: step %d/%d new=%s (%s, ready+UP in %.1fs) replaced old=%s (graceful stop %.1fs)"
% (i, n, fresh["short"], fresh["image"], t_ready, victim["short"], time.monotonic() - t))
wait_stack(n)
log("rolling-update: done in %.1fs; replicas now %s" % (time.monotonic() - t_all, [c["short"] for c in running()]))
def cmd_in_network(args):
"""Тесты, которым нужен прямой доступ к PostgreSQL/Redis или экземпляр api-short-ttl.
Запускаются в one-off контейнере образа API внутри сети backend: порты БД и
реплик наружу не публикуются. One-off контейнер не получает DNS-имя `api`,
поэтому LB его не видит.
"""
which = args[0] if args else ""
mount = "%s:/app/student-tests:ro" % (ROOT / "student-tests")
base = compose_cmd("run", "--rm", "-T", "--no-deps", "-v", mount)
if which == "storage":
for pattern in ("test_storage_*.py", "test_session_cache.py"):
run(base + ["api", "python", "-m", "unittest", "discover", "-s", "student-tests", "-p", pattern, "-v"],
show=True, timeout=600)
elif which == "consistency":
prof = compose_cmd("--profile", "faults")
faults = ["api-fault-s3", "api-fault-db", "api-fault-crash"]
run(prof + ["up", "-d", "--no-recreate"] + faults, show=True, timeout=300)
env = ["-e", "BASE_URL=http://lb:8080",
"-e", "FAULT_S3_URL=http://api-fault-s3:8080",
"-e", "FAULT_DB_URL=http://api-fault-db:8080",
"-e", "FAULT_CRASH_URL=http://api-fault-crash:8080"]
try:
for name in faults:
run(base + env + ["api", "python", "student-tests/wait_url.py", "http://%s:8080/health/ready" % name],
show=True, timeout=120)
run(base + env + ["api", "python", "-m", "unittest", "discover", "-s", "student-tests",
"-p", "test_attachment_consistency.py", "-v"], show=True, timeout=600)
finally:
run(prof + ["rm", "-sf"] + faults, check=False, timeout=120)
elif which == "expiry":
prof = compose_cmd("--profile", "ttl")
run(prof + ["up", "-d", "--no-recreate", "api-short-ttl"], show=True, timeout=300)
env = ["-e", "EXPIRY_BASE_URL=http://api-short-ttl:8080", "-e", "BASE_URL=http://lb:8080"]
try:
run(base + env + ["api", "python", "student-tests/wait_url.py", "http://api-short-ttl:8080/health/ready"],
show=True, timeout=120)
run(base + env + ["api", "python", "-m", "unittest", "discover", "-s", "student-tests",
"-p", "test_expiry.py", "-v"], show=True, timeout=300)
finally:
run(prof + ["rm", "-sf", "api-short-ttl"], check=False, timeout=120)
else:
raise SystemExit("usage: python scripts/ops.py in-network storage|expiry|consistency")
COMMANDS = {
"wait": cmd_wait,
"ps": cmd_ps,
"stop-one": cmd_stop_one,
"restore": cmd_restore,
"restart": cmd_restart,
"rolling-update": cmd_rolling_update,
"in-network": cmd_in_network,
"wait-s3": cmd_wait_s3,
"s3-check": cmd_s3_check,
"reconcile": cmd_reconcile,
"api-fs": cmd_api_fs,
}
def main():
if len(sys.argv) < 2 or sys.argv[1] not in COMMANDS:
print(__doc__)
sys.exit(2)
COMMANDS[sys.argv[1]](sys.argv[2:])
if __name__ == "__main__":
main()
+9
View File
@@ -0,0 +1,9 @@
@echo off
rem Windows-вариант restart.sh: API + PostgreSQL + Redis + S3 + LB, volumes сохраняются.
rem python tests\resilience.py --mode persistence --action-script scripts\restart.cmd
setlocal
cd /d "%~dp0.."
set PY=python
where python >nul 2>nul || set PY=py -3
%PY% scripts\ops.py restart
exit /b %ERRORLEVEL%
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
# Hook для make test-persistence: перезапускает API (все реплики), PostgreSQL,
# Redis, S3 (SeaweedFS) и LB, сохраняя volumes pgdata и s3data. Никаких down -v /
# flush / повторного seed / пересоздания бакета. После рестарта S3 ждёт, пока
# реально работают запись и чтение (прогрев SeaweedFS 15–30 с), затем поднимает API.
# Возвращает 0, когда API снова healthy; готовность LB тест ждёт сам.
set -eu
cd "$(dirname "$0")/.."
PY=$(command -v python3 || command -v python)
exec "$PY" scripts/ops.py restart
+93
View File
@@ -0,0 +1,93 @@
-- Обоснование индекса истории: EXPLAIN (ANALYZE, BUFFERS) на >= 10 000 сообщений.
-- Всё выполняется в ОДНОЙ транзакции и откатывается (ROLLBACK): синтетические
-- данные и временное удаление индекса не остаются в БД.
-- Запуск (compose):
-- docker compose exec -T postgres psql -U messenger -d messenger -v ON_ERROR_STOP=1 \
-- < scripts/sql/explain_history.sql > evidence/explain_history.txt
-- Внимание: DROP INDEX внутри транзакции берёт эксклюзивную блокировку messages
-- до ROLLBACK (несколько секунд) — запускать на учебном стенде.
\set ON_ERROR_STOP 1
\timing off
SET TimeZone = 'UTC';
-- Убираем мёртвые версии строк от прошлых запусков (VACUUM нельзя внутри транзакции).
VACUUM (ANALYZE) messages, chat_members, chats, users;
BEGIN;
INSERT INTO users (id, username, display_name, password_hash)
VALUES ('00000000-0000-4000-8000-00000000e001', 'explain_alice', 'Explain', 'x'),
('00000000-0000-4000-8000-00000000e002', 'explain_bob', 'Explain', 'x');
-- 1 большой чат (12 000 сообщений) + 40 чатов по 1 000 = 52 000 сообщений.
INSERT INTO chats (id, title, created_at)
SELECT CASE WHEN g = 0 THEN '00000000-0000-4000-8000-0000000c0000'::uuid ELSE gen_random_uuid() END,
'explain-' || g, timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second'
FROM generate_series(0, 40) AS g;
INSERT INTO chat_members (chat_id, user_id, position)
SELECT c.id, u.id, u.pos
FROM chats c
CROSS JOIN (VALUES ('00000000-0000-4000-8000-00000000e001'::uuid, 0),
('00000000-0000-4000-8000-00000000e002'::uuid, 1)) AS u(id, pos)
WHERE c.title LIKE 'explain-%';
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), c.id,
CASE WHEN g % 2 = 0 THEN '00000000-0000-4000-8000-00000000e001'::uuid
ELSE '00000000-0000-4000-8000-00000000e002'::uuid END,
'synthetic message ' || g,
timestamptz '2026-01-02 00:00:00+00' + g * interval '1 millisecond' + (c.created_at - timestamptz '2026-01-01 00:00:00+00')
FROM chats c
CROSS JOIN LATERAL generate_series(1, CASE WHEN c.title = 'explain-0' THEN 12000 ELSE 1000 END) AS g
WHERE c.title LIKE 'explain-%';
ANALYZE users, chats, chat_members, messages;
\echo '=== dataset'
SELECT count(*) AS total_messages,
count(*) FILTER (WHERE chat_id = '00000000-0000-4000-8000-0000000c0000') AS big_chat_messages
FROM messages;
-- Позиция курсора после 10 000-го сообщения большого чата (как в next_cursor).
SELECT created_at AS cur_ts, id AS cur_id
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
ORDER BY created_at, id OFFSET 9999 LIMIT 1 \gset
\echo '=== 1. first page (no cursor), LIMIT 51 = limit+1'
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
SELECT id, chat_id, sender_id, text, created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
ORDER BY created_at, id
LIMIT 51;
\echo '=== 2. deep page: keyset cursor after message #10000 (query used by API)'
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
SELECT id, chat_id, sender_id, text, created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
AND (created_at, id) > (:'cur_ts'::timestamptz, :'cur_id'::uuid)
ORDER BY created_at, id
LIMIT 51;
\echo '=== 3. for comparison: OFFSET pagination to the same page (NOT used by API)'
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
SELECT id, chat_id, sender_id, text, created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
ORDER BY created_at, id
OFFSET 10000 LIMIT 51;
\echo '=== 4. same keyset query WITHOUT messages_chat_created_id_idx (index dropped inside the transaction)'
DROP INDEX messages_chat_created_id_idx;
EXPLAIN (ANALYZE, BUFFERS, COSTS, TIMING)
SELECT id, chat_id, sender_id, text, created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-0000000c0000'
AND (created_at, id) > (:'cur_ts'::timestamptz, :'cur_id'::uuid)
ORDER BY created_at, id
LIMIT 51;
ROLLBACK;
\echo '=== rolled back: synthetic data removed, index restored'
+9
View File
@@ -0,0 +1,9 @@
@echo off
rem Windows-вариант stop-one.sh: TARGET_INSTANCE_ID -> один контейнер api, остаётся остановленным.
rem python tests\resilience.py --mode failover --action-script scripts\stop-one.cmd
setlocal
cd /d "%~dp0.."
set PY=python
where python >nul 2>nul || set PY=py -3
%PY% scripts\ops.py stop-one
exit /b %ERRORLEVEL%
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
# Hook для make test-failover: останавливает ОДНУ API-реплику, которую тест передал
# в TARGET_INSTANCE_ID (= X-Instance-Id = hostname контейнера = короткий ID), и
# оставляет её остановленной. По умолчанию graceful (docker stop: SIGTERM ->
# осушение 3 с -> graceful shutdown); STOP_MODE=kill — «падение» (SIGKILL).
# БД, Redis, S3, LB и volumes не трогает. Восстановление: python3 scripts/ops.py restore
set -eu
cd "$(dirname "$0")/.."
PY=$(command -v python3 || command -v python)
exec "$PY" scripts/ops.py stop-one
View File
+187
View File
@@ -0,0 +1,187 @@
"""Конфигурация из переменных окружения.
Секреты (строки подключения с паролями) читаются из файлов *_FILE,
которые Compose монтирует как secrets в /run/secrets/. Для локального
запуска без Docker допускаются и прямые переменные DATABASE_URL / CACHE_URL.
"""
import os
from dataclasses import dataclass
from typing import Optional
def _read_secret(name: str) -> Optional[str]:
path = os.environ.get(name + "_FILE")
if path:
with open(path, "r", encoding="utf-8") as handle:
value = handle.read().strip()
return value or None
value = os.environ.get(name, "").strip()
return value or None
def _int(name: str, default: int) -> int:
raw = os.environ.get(name)
if raw is None or raw.strip() == "":
return default
return int(raw)
def _float(name: str, default: float) -> float:
raw = os.environ.get(name)
if raw is None or raw.strip() == "":
return default
return float(raw)
def _bool(name: str, default: bool) -> bool:
raw = os.environ.get(name)
if raw is None or raw.strip() == "":
return default
return raw.strip().lower() in {"1", "true", "yes", "on"}
@dataclass(frozen=True)
class Settings:
app_env: str
app_version: str
instance_id: str
database_url: str
cache_url: Optional[str]
session_store: str
session_ttl_seconds: int
session_cache_ttl_seconds: int
db_pool_min: int
db_pool_max: int
db_pool_timeout: float
db_connect_timeout: int
db_statement_timeout_ms: int
cache_timeout_seconds: float
cache_retry_after_seconds: float
migrate_wait_seconds: int
run_migrations_on_start: bool
idempotency_ttl_seconds: int
idempotency_cleanup_interval_seconds: int
ready_db_timeout_seconds: float
drain_seconds: float
graceful_timeout_seconds: int
keep_alive_seconds: int
password_hash_concurrency: int
# lab4: S3 и вложения
s3_endpoint: Optional[str]
s3_region: str
s3_bucket: str
s3_access_key_id: Optional[str]
s3_secret_access_key: Optional[str]
s3_connect_timeout_seconds: float
s3_read_timeout_seconds: float
s3_max_attempts: int
s3_download_deadline_seconds: float
s3_upload_deadline_seconds: float
s3_circuit_open_seconds: float
max_upload_bytes: int
max_image_pixels: int
max_concurrent_uploads: int
upload_queue_timeout_seconds: float
upload_read_timeout_seconds: float
image_decode_concurrency: int
attachment_gc_interval_seconds: int
attachment_gc_grace_seconds: int
orphan_sweep_interval_seconds: int
fault_injection: str
# Жёсткие пределы контракта lab4; конфигурация может их только ужесточить.
CONTRACT_MAX_UPLOAD_BYTES = 10 * 1024 * 1024
CONTRACT_MAX_IMAGE_PIXELS = 40_000_000
# Grace period сборщика должен быть заметно больше самой долгой загрузки
# (чтение тела + S3 PUT с повтором), см. REPORT.md.
MIN_GC_GRACE_SECONDS = 300
def load_settings() -> Settings:
database_url = _read_secret("DATABASE_URL")
if not database_url:
raise RuntimeError("DATABASE_URL or DATABASE_URL_FILE must be set")
ttl = _int("SESSION_TTL_SECONDS", 3600)
if ttl < 1:
raise RuntimeError("SESSION_TTL_SECONDS must be positive")
session_store = os.environ.get("SESSION_STORE", "postgres").strip().lower()
# Источник истины для сессий в этой реализации всегда PostgreSQL;
# Redis (CACHE_URL) — только кэш проверок токена.
if session_store != "postgres":
raise RuntimeError("only SESSION_STORE=postgres is supported")
idem_ttl = _int("IDEMPOTENCY_TTL_SECONDS", 86400)
if idem_ttl < 86400:
# Контракт: повтор в течение 24 часов возвращает тот же результат.
raise RuntimeError("IDEMPOTENCY_TTL_SECONDS must be >= 86400")
# X-Instance-Id: по умолчанию hostname контейнера (= короткий ID контейнера
# Docker), стабилен в пределах жизни процесса. INSTANCE_ID — для запуска без Docker.
from .runtime import INSTANCE_ID as instance_id
max_upload = _int("MAX_UPLOAD_BYTES", CONTRACT_MAX_UPLOAD_BYTES)
max_pixels = _int("MAX_IMAGE_PIXELS", CONTRACT_MAX_IMAGE_PIXELS)
if not 1 <= max_upload <= CONTRACT_MAX_UPLOAD_BYTES:
raise RuntimeError("MAX_UPLOAD_BYTES must be within 1..10485760")
if not 1 <= max_pixels <= CONTRACT_MAX_IMAGE_PIXELS:
raise RuntimeError("MAX_IMAGE_PIXELS must be within 1..40000000")
gc_grace = _int("ATTACHMENT_GC_GRACE_SECONDS", 900)
# Меньше минимума — только для явных тестов сверки (ALLOW_SHORT_GC_GRACE=true).
if gc_grace < MIN_GC_GRACE_SECONDS and not _bool("ALLOW_SHORT_GC_GRACE", False):
raise RuntimeError("ATTACHMENT_GC_GRACE_SECONDS must be >= %d" % MIN_GC_GRACE_SECONDS)
return Settings(
app_env=os.environ.get("APP_ENV", "lab"),
app_version=os.environ.get("APP_VERSION", "lab4"),
instance_id=instance_id,
database_url=database_url,
cache_url=_read_secret("CACHE_URL"),
session_store=session_store,
session_ttl_seconds=ttl,
session_cache_ttl_seconds=_int("SESSION_CACHE_TTL_SECONDS", 60),
db_pool_min=_int("DB_POOL_MIN", 1),
db_pool_max=_int("DB_POOL_MAX", 10),
db_pool_timeout=_float("DB_POOL_TIMEOUT_SECONDS", 3.0),
db_connect_timeout=_int("DB_CONNECT_TIMEOUT_SECONDS", 3),
db_statement_timeout_ms=_int("DB_STATEMENT_TIMEOUT_MS", 5000),
cache_timeout_seconds=_float("CACHE_TIMEOUT_SECONDS", 0.25),
cache_retry_after_seconds=_float("CACHE_RETRY_AFTER_SECONDS", 5.0),
migrate_wait_seconds=_int("MIGRATE_WAIT_SECONDS", 60),
# lab3: миграции выполняет отдельный one-shot сервис `migrate`,
# реплики API их не запускают (нет гонки N реплик за схему).
run_migrations_on_start=_bool("RUN_MIGRATIONS_ON_START", False),
idempotency_ttl_seconds=idem_ttl,
idempotency_cleanup_interval_seconds=_int("IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS", 300),
ready_db_timeout_seconds=_float("READY_DB_TIMEOUT_SECONDS", 1.0),
drain_seconds=_float("DRAIN_SECONDS", 3.0),
graceful_timeout_seconds=_int("GRACEFUL_TIMEOUT_SECONDS", 10),
keep_alive_seconds=_int("KEEP_ALIVE_SECONDS", 30),
password_hash_concurrency=_int("PASSWORD_HASH_CONCURRENCY", 4),
s3_endpoint=os.environ.get("S3_ENDPOINT", "").strip() or None,
s3_region=os.environ.get("S3_REGION", "us-east-1").strip() or "us-east-1",
s3_bucket=os.environ.get("S3_BUCKET", "messenger-attachments").strip(),
s3_access_key_id=_read_secret("S3_ACCESS_KEY_ID"),
s3_secret_access_key=_read_secret("S3_SECRET_ACCESS_KEY"),
s3_connect_timeout_seconds=_float("S3_CONNECT_TIMEOUT_SECONDS", 2.0),
s3_read_timeout_seconds=_float("S3_READ_TIMEOUT_SECONDS", 10.0),
s3_max_attempts=_int("S3_MAX_ATTEMPTS", 2),
# Полный бюджет вызова S3 из запроса (DNS + connect + повторы). Скачивание
# обязано уложиться в timeout server HAProxy (10 с), загрузка — 10 с (PUT 10 MiB локально ~0.1 с).
s3_download_deadline_seconds=_float("S3_DOWNLOAD_DEADLINE_SECONDS", 5.0),
s3_upload_deadline_seconds=_float("S3_UPLOAD_DEADLINE_SECONDS", 10.0),
s3_circuit_open_seconds=_float("S3_CIRCUIT_OPEN_SECONDS", 5.0),
max_upload_bytes=max_upload,
max_image_pixels=max_pixels,
max_concurrent_uploads=max(1, _int("MAX_CONCURRENT_UPLOADS", 4)),
upload_queue_timeout_seconds=_float("UPLOAD_QUEUE_TIMEOUT_SECONDS", 5.0),
upload_read_timeout_seconds=_float("UPLOAD_READ_TIMEOUT_SECONDS", 60.0),
image_decode_concurrency=max(1, _int("IMAGE_DECODE_CONCURRENCY", 2)),
attachment_gc_interval_seconds=_int("ATTACHMENT_GC_INTERVAL_SECONDS", 300),
attachment_gc_grace_seconds=gc_grace,
orphan_sweep_interval_seconds=_int("ORPHAN_SWEEP_INTERVAL_SECONDS", 3600),
# Только для тестового экземпляра api-faults (профиль faults), см. REPORT.md.
fault_injection=os.environ.get("FAULT_INJECTION", "").strip().lower(),
)
+130
View File
@@ -0,0 +1,130 @@
"""Пул соединений PostgreSQL и версионируемые миграции."""
import logging
import time
from pathlib import Path
from typing import Optional
import psycopg
from psycopg_pool import ConnectionPool
from .config import Settings
log = logging.getLogger("messenger.db")
MIGRATIONS_DIR = Path(__file__).resolve().parent.parent / "migrations"
# Произвольная константа: один процесс за раз применяет миграции,
# даже если одновременно стартуют несколько реплик API (lab3).
MIGRATION_LOCK_ID = 2026_0002
def conninfo_kwargs(settings: Settings) -> dict:
return {
"connect_timeout": settings.db_connect_timeout,
# Все timestamptz приходят в UTC; любой запрос ограничен по времени.
"options": "-c TimeZone=UTC -c statement_timeout=%d"
% settings.db_statement_timeout_ms,
"application_name": "messenger-api",
}
def create_pool(settings: Settings) -> ConnectionPool:
pool = ConnectionPool(
conninfo=settings.database_url,
kwargs=conninfo_kwargs(settings),
min_size=settings.db_pool_min,
max_size=settings.db_pool_max,
# Сколько запрос ждёт свободное соединение, прежде чем получить 503.
timeout=settings.db_pool_timeout,
# Битые после рестарта БД соединения отбрасываются при выдаче из пула.
check=ConnectionPool.check_connection,
max_idle=300,
reconnect_timeout=3600,
open=False,
name="messenger",
)
# wait=False: процесс поднимается, даже если БД ещё/уже недоступна;
# readiness это покажет, а запросы получат 503.
pool.open(wait=False)
return pool
def _migration_files():
files = sorted(MIGRATIONS_DIR.glob("*.sql"))
if not files:
raise RuntimeError("no migrations found in %s" % MIGRATIONS_DIR)
return files
def required_schema_version() -> str:
"""Последняя миграция, которую знает этот образ.
Реплика готова (readiness) только если она уже применена: миграции
запускает отдельный сервис `migrate`, а не сама реплика.
"""
return _migration_files()[-1].stem
def schema_has_version(pool: ConnectionPool, version: str, timeout: float) -> bool:
with pool.connection(timeout=timeout) as conn:
row = conn.execute(
"SELECT to_regclass('schema_migrations') IS NOT NULL"
).fetchone()
if not row[0]:
return False
return conn.execute(
"SELECT EXISTS (SELECT 1 FROM schema_migrations WHERE version = %s)",
(version,),
).fetchone()[0]
def apply_migrations(settings: Settings) -> list:
"""Применяет недостающие миграции; возвращает список применённых версий."""
applied_now = []
with psycopg.connect(
settings.database_url, autocommit=True, **conninfo_kwargs(settings)
) as conn:
conn.execute("SELECT pg_advisory_lock(%s)", (MIGRATION_LOCK_ID,))
try:
conn.execute(
"""
CREATE TABLE IF NOT EXISTS schema_migrations (
version text PRIMARY KEY,
applied_at timestamptz NOT NULL DEFAULT now()
)
"""
)
done = {
row[0]
for row in conn.execute("SELECT version FROM schema_migrations")
}
for path in _migration_files():
version = path.stem
if version in done:
continue
sql = path.read_text(encoding="utf-8")
# DDL и отметка о версии — одна транзакция: либо всё, либо ничего.
with conn.transaction():
conn.execute(sql)
conn.execute(
"INSERT INTO schema_migrations (version) VALUES (%s)",
(version,),
)
applied_now.append(version)
log.info("applied migration %s", version)
finally:
conn.execute("SELECT pg_advisory_unlock(%s)", (MIGRATION_LOCK_ID,))
return applied_now
def wait_and_migrate(settings: Settings) -> list:
deadline = time.monotonic() + settings.migrate_wait_seconds
last_error: Optional[Exception] = None
while time.monotonic() < deadline:
try:
return apply_migrations(settings)
except psycopg.OperationalError as exc:
last_error = exc
log.warning("database not ready for migrations, retrying")
time.sleep(1)
raise RuntimeError("database unavailable for migrations") from last_error
+284
View File
@@ -0,0 +1,284 @@
"""Проверка загружаемых изображений по содержимому, с ограниченной памятью.
Порядок для каждого файла (лимит байт уже применён при чтении тела):
1. Сигнатура: PNG (\\x89PNG\\r\\n\\x1a\\n) или JPEG (FF D8 FF). Иное -> 415.
2. Сигнатура должна совпасть с заявленным Content-Type (подмена MIME -> 415).
3. Размеры читаются из заголовка (PNG IHDR / JPEG SOFn) ДО распаковки пикселей;
width*height > MAX_IMAGE_PIXELS -> 413. Распаковка не начинается.
4. Целостность без полного декодирования в память:
* PNG: обход всех чанков с проверкой CRC, порядка IHDR..IDAT..IEND и
потоковая распаковка zlib с выводом кусками по 64 KiB «в никуда»:
объём распакованных данных должен в точности равняться ожидаемому
(height*(1+rowbytes), с учётом Adam7). Память — O(64 KiB) при любом
размере картинки; «zip-бомба» обрывается, как только вывод превысил ожидание.
* JPEG: обход маркеров (длины сегментов, SOF до SOS, обязательный EOI).
Baseline дополнительно декодируется Pillow в режиме draft (масштаб 1/8,
~5 MiB даже для 40 Мп). Progressive Pillow не декодируется: libjpeg держит
буфер коэффициентов всего кадра (~120 MiB на 40 Мп, замер в REPORT.md),
для него — только структурная проверка.
5. Pillow открывает файл независимым парсером: формат и размеры должны совпасть.
"""
import io
import struct
import zlib
from typing import Tuple
from PIL import Image, ImageFile
# Свою проверку пикселей делаем сами (шаг 3) — до вызова Pillow.
Image.MAX_IMAGE_PIXELS = None
ImageFile.LOAD_TRUNCATED_IMAGES = False
PNG_SIG = b"\x89PNG\r\n\x1a\n"
JPEG_SIG = b"\xff\xd8\xff"
INFLATE_CHUNK = 64 * 1024
PNG_CHANNELS = {0: 1, 2: 3, 3: 1, 4: 2, 6: 4}
PNG_DEPTHS = {0: (1, 2, 4, 8, 16), 2: (8, 16), 3: (1, 2, 4, 8), 4: (8, 16), 6: (8, 16)}
ADAM7 = ((0, 0, 8, 8), (4, 0, 8, 8), (0, 4, 4, 8), (2, 0, 4, 4), (0, 2, 2, 4), (1, 0, 2, 2), (0, 1, 1, 2))
# SOF0..SOF15 без DHT(C4), JPG(C8), DAC(CC)
SOF_MARKERS = set(range(0xC0, 0xD0)) - {0xC4, 0xC8, 0xCC}
PROGRESSIVE_SOF = {0xC2, 0xC6, 0xCA, 0xCE}
class ImageRejected(Exception):
def __init__(self, status: int, code: str, message: str) -> None:
super().__init__(message)
self.status = status
self.code = code
self.message = message
def unsupported(message: str = "Unsupported or corrupted image") -> ImageRejected:
return ImageRejected(415, "unsupported_media_type", message)
def too_many_pixels() -> ImageRejected:
return ImageRejected(413, "payload_too_large", "Image has too many pixels")
def sniff(data) -> str:
head = bytes(data[:8])
if head.startswith(PNG_SIG):
return "image/png"
if head.startswith(JPEG_SIG):
return "image/jpeg"
return ""
# ------------------------------------------------------------------- PNG
def _png_expected_raw(width: int, height: int, depth: int, color: int, interlace: int) -> int:
bpp = depth * PNG_CHANNELS[color]
def rows(w: int, h: int) -> int:
if w == 0 or h == 0:
return 0
return h * (1 + (w * bpp + 7) // 8)
if interlace == 0:
return rows(width, height)
total = 0
for x0, y0, dx, dy in ADAM7:
pw = (width - x0 + dx - 1) // dx if width > x0 else 0
ph = (height - y0 + dy - 1) // dy if height > y0 else 0
total += rows(pw, ph)
return total
def inspect_png(data, max_pixels: int) -> Tuple[int, int, bool]:
view = memoryview(data)
size = len(view)
pos = 8
width = height = 0
expected = 0
inflater = None
produced = 0
seen_ihdr = seen_plte = idat_done = False
idat_started = False
color = 0
while True:
if pos + 12 > size:
raise unsupported("Truncated PNG")
length, ctype = struct.unpack(">I4s", view[pos:pos + 8])
if length > 0x7FFFFFFF or pos + 12 + length > size:
raise unsupported("Truncated PNG")
if not all(65 <= c <= 90 or 97 <= c <= 122 for c in ctype):
raise unsupported("Invalid PNG chunk")
body = view[pos + 8:pos + 8 + length]
(crc,) = struct.unpack(">I", view[pos + 8 + length:pos + 12 + length])
if zlib.crc32(body, zlib.crc32(ctype)) & 0xFFFFFFFF != crc:
raise unsupported("PNG CRC mismatch")
pos += 12 + length
if not seen_ihdr:
if ctype != b"IHDR" or length != 13:
raise unsupported("PNG must start with IHDR")
width, height, depth, color, comp, flt, interlace = struct.unpack(">IIBBBBB", body)
if not (0 < width <= 0x7FFFFFFF and 0 < height <= 0x7FFFFFFF):
raise unsupported("Invalid PNG dimensions")
if color not in PNG_DEPTHS or depth not in PNG_DEPTHS[color] or comp or flt or interlace > 1:
raise unsupported("Invalid PNG header")
# Лимит пикселей — до любой распаковки.
if width * height > max_pixels:
raise too_many_pixels()
expected = _png_expected_raw(width, height, depth, color, interlace)
seen_ihdr = True
continue
if ctype == b"IHDR":
raise unsupported("Duplicate IHDR")
if ctype == b"PLTE":
if idat_started:
raise unsupported("PLTE after IDAT")
seen_plte = True
elif ctype == b"IDAT":
if idat_done:
raise unsupported("Non-contiguous IDAT")
if color == 3 and not seen_plte:
raise unsupported("Missing PLTE")
if not idat_started:
idat_started = True
inflater = zlib.decompressobj()
produced += _inflate(inflater, body, expected - produced)
elif ctype == b"IEND":
if length != 0 or not idat_started:
raise unsupported("Invalid PNG end")
produced += _inflate(inflater, b"", expected - produced, final=True)
if not inflater.eof or produced != expected:
raise unsupported("Corrupted PNG image data")
# Данные после IEND не используются декодерами; допускаем.
return width, height, bool(interlace)
else:
if idat_started:
idat_done = True
if ctype[0] & 0x20 == 0:
# Неизвестный КРИТИЧЕСКИЙ чанк (заглавная первая буква): декодер обязан
# отказаться от такого файла. Вспомогательные (строчная буква) пропускаем.
raise unsupported("Unknown critical PNG chunk")
def _inflate(inflater, data, budget: int, final: bool = False) -> int:
"""Распаковать data, не держа в памяти больше ~2 x INFLATE_CHUNK; вернуть объём вывода.
Вход подаётся срезами memoryview по INFLATE_CHUNK: unconsumed_tail — копия
остатка входа, поэтому подача всего IDAT целиком давала бы копию размером с
файл на каждом шаге (замер: пик 2x размера файла и квадратичное копирование).
"""
produced = 0
view = memoryview(data)
try:
for start in range(0, len(view), INFLATE_CHUNK):
buf = view[start:start + INFLATE_CHUNK]
while True:
out = inflater.decompress(buf, INFLATE_CHUNK)
produced += len(out)
if produced > budget:
raise unsupported("Corrupted PNG image data")
buf = inflater.unconsumed_tail
if not buf:
break
if final:
while True:
out = inflater.flush(INFLATE_CHUNK) if not inflater.eof else b""
produced += len(out)
if produced > budget:
raise unsupported("Corrupted PNG image data")
if not out:
break
except zlib.error:
raise unsupported("Corrupted PNG image data")
return produced
# ------------------------------------------------------------------ JPEG
def inspect_jpeg(data, max_pixels: int) -> Tuple[int, int, bool]:
raw = data if isinstance(data, (bytes, bytearray)) else bytes(data)
size = len(raw)
pos = 2
width = height = 0
progressive = False
seen_sof = False
while True:
# Маркер: один или несколько 0xFF, затем код.
if pos >= size or raw[pos] != 0xFF:
raise unsupported("Corrupted JPEG structure")
while pos < size and raw[pos] == 0xFF:
pos += 1
if pos >= size:
raise unsupported("Truncated JPEG")
marker = raw[pos]
pos += 1
if marker == 0xD9: # EOI
if not seen_sof:
raise unsupported("JPEG without frame")
return width, height, progressive
if marker == 0x01 or 0xD0 <= marker <= 0xD7:
continue
if marker == 0xD8 or marker == 0x00:
raise unsupported("Corrupted JPEG structure")
if pos + 2 > size:
raise unsupported("Truncated JPEG")
(length,) = struct.unpack(">H", raw[pos:pos + 2])
if length < 2 or pos + length > size:
raise unsupported("Truncated JPEG")
segment = raw[pos + 2:pos + length]
pos += length
if marker in SOF_MARKERS:
if seen_sof or len(segment) < 6:
raise unsupported("Invalid JPEG frame")
_precision, height, width, ncomp = struct.unpack(">BHHB", segment[:6])
if width == 0 or height == 0 or ncomp not in (1, 3, 4) or len(segment) < 6 + 3 * ncomp:
raise unsupported("Invalid JPEG frame")
if width * height > max_pixels:
raise too_many_pixels()
progressive = marker in PROGRESSIVE_SOF
seen_sof = True
elif marker == 0xDA: # SOS: дальше энтропийные данные до следующего маркера
if not seen_sof:
raise unsupported("JPEG scan before frame")
while True:
nxt = raw.find(b"\xff", pos)
if nxt < 0 or nxt + 1 >= size:
raise unsupported("Truncated JPEG")
code = raw[nxt + 1]
if code == 0x00 or 0xD0 <= code <= 0xD7 or code == 0xFF:
pos = nxt + 1 if code == 0xFF else nxt + 2
continue
pos = nxt
break
# -------------------------------------------------------------- common
def inspect(data, declared_type: str, max_pixels: int) -> Tuple[str, int, int]:
"""Вернуть (content_type, width, height) или бросить ImageRejected."""
detected = sniff(data)
if not detected:
raise unsupported("Only PNG and JPEG images are accepted")
if detected != declared_type:
raise unsupported("Content-Type does not match image content")
if detected == "image/png":
width, height, _ = inspect_png(data, max_pixels)
pil_format = "PNG"
decode = False # целостность IDAT уже проверена потоковой распаковкой
else:
width, height, progressive = inspect_jpeg(data, max_pixels)
pil_format = "JPEG"
decode = not progressive
# Независимый парсер Pillow: только заголовок (open ленивый), затем при
# необходимости декодирование уменьшенной копии.
try:
with Image.open(io.BytesIO(data)) as img:
if img.format != pil_format or img.size != (width, height):
raise unsupported("Inconsistent image header")
if decode:
img.draft(None, (max(1, width // 8), max(1, height // 8)))
img.load()
except ImageRejected:
raise
except (OSError, SyntaxError, ValueError, struct.error, Image.DecompressionBombError, EOFError):
raise unsupported("Corrupted image")
return detected, width, height
+812
View File
@@ -0,0 +1,812 @@
import asyncio
import base64
import hashlib
import json
import logging
import os
import re
import threading
import unicodedata
import uuid as uuid_mod
from contextlib import asynccontextmanager
from datetime import datetime
from typing import Callable, Dict, Optional, Tuple
from uuid import UUID, uuid4
import psycopg
from fastapi import Depends, FastAPI, Query, Request, Response
from fastapi.exceptions import RequestValidationError
from fastapi.concurrency import run_in_threadpool
from fastapi.responses import JSONResponse, StreamingResponse
from psycopg_pool import PoolTimeout
from starlette.exceptions import HTTPException as StarletteHTTPException
from starlette.requests import ClientDisconnect
from starlette.middleware.base import BaseHTTPMiddleware
from .config import load_settings
from .db import create_pool, required_schema_version, schema_has_version, wait_and_migrate
from .images import ImageRejected, inspect as inspect_image
from .models import (
Attachment,
Chat,
ChatCreate,
ChatPage,
Message,
MessageCreate,
MessagePage,
Session,
User,
UserCreate,
)
from .objectstore import ObjectMissing, ObjectStore, ObjectStoreUnavailable
from .reconcile import OBJECT_PREFIX, gc_loop
from .runtime import DRAIN, INSTANCE_ID
from .security import (
configure_kdf_concurrency,
hash_password,
parse_basic,
parse_bearer,
verify_password,
)
from .sessions import SessionCache, SessionService
from .storage import (
AttachmentNotFound,
IdempotencyConflict,
IdempotencyRace,
NotChatMember,
Storage,
UnknownMember,
UsernameTaken,
)
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(name)s %(message)s")
log = logging.getLogger("messenger.api")
BASIC_CHALLENGE = 'Basic realm="messenger", charset="UTF-8"'
BEARER_CHALLENGE = 'Bearer realm="messenger"'
REQUEST_ID_RE = re.compile(r"^[A-Za-z0-9._:-]{1,128}$")
# Контракт lab3: Idempotency-Key — ASCII [A-Za-z0-9._:-]{1,128}.
IDEMPOTENCY_KEY_RE = re.compile(r"[A-Za-z0-9._:-]{1,128}")
def _idempotency_cleanup_loop(storage: Storage, interval: float, stop: threading.Event) -> None:
"""Фоновая очистка истёкших ключей. Advisory lock — одна реплика за раз."""
while not stop.wait(interval):
try:
deleted = storage.delete_expired_idempotency_keys()
if deleted:
log.info("deleted %d expired idempotency keys", deleted)
except Exception as exc: # БД недоступна — попробуем в следующий раз
log.warning("idempotency cleanup skipped: %s", type(exc).__name__)
@asynccontextmanager
async def lifespan(app: FastAPI):
settings = load_settings()
if settings.run_migrations_on_start:
# Только для локальной разработки. В compose миграции выполняет
# отдельный one-shot сервис `migrate` до старта реплик.
applied = wait_and_migrate(settings)
log.info("migrations applied at startup: %s", applied or "none")
configure_kdf_concurrency(settings.password_hash_concurrency)
pool = create_pool(settings)
storage = Storage(pool)
cache = SessionCache(settings)
app.state.settings = settings
app.state.storage = storage
app.state.cache = cache
app.state.sessions = SessionService(storage, cache, settings)
app.state.required_schema = required_schema_version()
app.state.schema_ok = False
stop_cleanup = threading.Event()
cleanup = threading.Thread(
target=_idempotency_cleanup_loop,
args=(storage, settings.idempotency_cleanup_interval_seconds, stop_cleanup),
name="idempotency-cleanup",
daemon=True,
)
cleanup.start()
# lab4: S3 и ограничители ресурсов загрузок (на реплику).
app.state.objects = ObjectStore(settings) if ObjectStore.configured(settings) else None
app.state.upload_slots = asyncio.Semaphore(settings.max_concurrent_uploads)
app.state.decode_slots = threading.BoundedSemaphore(settings.image_decode_concurrency)
if app.state.objects is not None:
threading.Thread(
target=gc_loop,
args=(pool, app.state.objects, settings, stop_cleanup),
name="attachment-gc",
daemon=True,
).start()
else:
log.warning("S3 is not configured: attachment endpoints return 503")
log.info(
"attachments: s3=%s bucket=%s max_bytes=%d max_pixels=%d uploads<=%d decode<=%d gc_grace=%ss fault=%s",
"on" if app.state.objects is not None else "off",
settings.s3_bucket,
settings.max_upload_bytes,
settings.max_image_pixels,
settings.max_concurrent_uploads,
settings.image_decode_concurrency,
settings.attachment_gc_grace_seconds,
settings.fault_injection or "none",
)
log.info(
"started: instance=%s version=%s session_ttl=%ss cache=%s pool=%s..%s schema>=%s",
INSTANCE_ID,
settings.app_version,
settings.session_ttl_seconds,
"redis" if cache.client is not None else "disabled",
settings.db_pool_min,
settings.db_pool_max,
app.state.required_schema,
)
try:
yield
finally:
log.info("shutdown: instance=%s closing pool", INSTANCE_ID)
stop_cleanup.set()
pool.close()
if cache.client is not None:
cache.client.close()
app = FastAPI(
title="MTUSI Messenger (lab4: S3 attachments)",
version="4.0.0",
lifespan=lifespan,
)
# Request ID
class RequestIdMiddleware(BaseHTTPMiddleware):
async def dispatch(self, request: Request, call_next: Callable):
incoming = request.headers.get("X-Request-Id", "")
request_id = incoming if REQUEST_ID_RE.match(incoming) else str(uuid4())
request.state.request_id = request_id
response = await call_next(request)
response.headers["X-Request-Id"] = request_id
response.headers["X-Instance-Id"] = INSTANCE_ID
if DRAIN.active:
# Во время осушения не держим keep-alive: следующий запрос клиент/LB
# откроет новым соединением — уже к другой реплике.
response.headers["Connection"] = "close"
return response
app.add_middleware(RequestIdMiddleware)
# errors
class ApiError(Exception):
def __init__(self, status_code: int, code: str, message: str, headers: Optional[Dict[str, str]] = None):
self.status_code = status_code
self.code = code
self.message = message
self.headers = headers or {}
def unauthorized(challenge: str = BEARER_CHALLENGE) -> ApiError:
return ApiError(401, "unauthorized", "Authentication required", {"WWW-Authenticate": challenge})
def bad_request(message: str = "Invalid request") -> ApiError:
return ApiError(400, "invalid_request", message)
def not_found() -> ApiError:
return ApiError(404, "not_found", "Not found")
def error_response(
request: Request,
status_code: int,
code: str,
message: str,
headers: Optional[Dict[str, str]] = None,
) -> JSONResponse:
request_id = getattr(request.state, "request_id", None) or str(uuid4())
all_headers = {"X-Request-Id": request_id, "X-Instance-Id": INSTANCE_ID}
all_headers.update(headers or {})
return JSONResponse(
status_code=status_code,
content={"error": {"code": code, "message": message, "request_id": request_id}},
headers=all_headers,
)
@app.exception_handler(ApiError)
async def api_error_handler(request: Request, exc: ApiError) -> JSONResponse:
return error_response(request, exc.status_code, exc.code, exc.message, exc.headers)
@app.exception_handler(RequestValidationError)
async def validation_exception_handler(request: Request, exc: RequestValidationError) -> JSONResponse:
return error_response(request, 400, "invalid_request", "Invalid request")
@app.exception_handler(StarletteHTTPException)
async def http_exception_handler(request: Request, exc: StarletteHTTPException) -> JSONResponse:
status_to_code = {
400: "invalid_request",
401: "unauthorized",
404: "not_found",
409: "conflict",
413: "payload_too_large",
415: "unsupported_media_type",
429: "rate_limited",
503: "unavailable",
}
status_code = exc.status_code if exc.status_code in status_to_code else 500
code = status_to_code.get(status_code, "internal_error")
message = str(exc.detail) if status_code != 500 else "Internal server error"
return error_response(request, status_code, code, message)
async def dependency_unavailable(request: Request, exc: Exception) -> JSONResponse:
# Наружу — только общий 503, без SQL, адресов и текста драйвера.
log.warning("database unavailable: %s", type(exc).__name__)
return error_response(request, 503, "unavailable", "Service temporarily unavailable")
app.add_exception_handler(psycopg.OperationalError, dependency_unavailable)
app.add_exception_handler(psycopg.InterfaceError, dependency_unavailable)
app.add_exception_handler(PoolTimeout, dependency_unavailable)
@app.exception_handler(Exception)
async def unexpected_exception_handler(request: Request, exc: Exception) -> JSONResponse:
log.exception("unexpected error")
return error_response(request, 500, "internal_error", "Internal server error")
# helpers
def require_json_content_type(request: Request) -> None:
content_type = request.headers.get("content-type", "")
if not content_type.lower().startswith("application/json"):
raise ApiError(415, "unsupported_media_type", "Unsupported media type")
def ensure_not_blank(value: str) -> None:
if not value.strip():
raise bad_request()
def storage_of(request: Request) -> Storage:
return request.app.state.storage
def current_user(request: Request) -> User:
"""Только Authorization: Bearer. Basic и X-User-Id здесь не дают доступа."""
token = parse_bearer(request.headers.get("Authorization"))
if token is None:
raise unauthorized()
user = request.app.state.sessions.resolve(token)
if user is None:
raise unauthorized()
request.state.token = token
return user
def encode_cursor(resource_id: UUID, created_at: datetime, item_id: UUID) -> str:
payload = {
"resource_id": str(resource_id),
"created_at": created_at.isoformat(),
"item_id": str(item_id),
}
raw = json.dumps(payload, separators=(",", ":")).encode("utf-8")
return base64.urlsafe_b64encode(raw).decode("ascii").rstrip("=")
def decode_cursor(cursor: Optional[str], expected_resource_id: UUID) -> Optional[Tuple[datetime, UUID]]:
if cursor is None:
return None
try:
padding = "=" * (-len(cursor) % 4)
raw = base64.urlsafe_b64decode(cursor + padding)
payload = json.loads(raw.decode("utf-8"))
resource_id = UUID(payload["resource_id"])
created_at = datetime.fromisoformat(payload["created_at"])
item_id = UUID(payload["item_id"])
if created_at.tzinfo is None or created_at.utcoffset() is None:
raise ValueError("invalid_cursor")
except (ValueError, KeyError, TypeError, AttributeError, json.JSONDecodeError):
raise bad_request("Invalid cursor")
if resource_id != expected_resource_id:
raise bad_request("Invalid cursor")
return created_at, item_id
# health
@app.get("/health/live", response_model=Dict[str, str])
def liveness() -> Dict[str, str]:
return {"status": "ok"}
@app.get("/health/ready", response_model=Dict[str, str])
def readiness(request: Request) -> Dict[str, str]:
"""Готовность к обязательному синхронному пути.
* SIGTERM получен (фаза осушения) -> 503: LB выводит реплику из ротации;
* PostgreSQL недоступна за READY_DB_TIMEOUT_SECONDS -> 503;
* схема ещё не мигрирована до версии, которую знает образ -> 503
(миграции выполняет отдельный сервис `migrate`).
Redis не критичен: это кэш с обходом (см. REPORT.md).
"""
if DRAIN.active:
raise ApiError(503, "unavailable", "Instance is shutting down")
state = request.app.state
timeout = state.settings.ready_db_timeout_seconds
try:
if state.schema_ok:
with state.storage.pool.connection(timeout=timeout) as conn:
conn.execute("SELECT 1")
elif schema_has_version(state.storage.pool, state.required_schema, timeout):
state.schema_ok = True
else:
raise ApiError(503, "unavailable", "Database schema is not migrated")
except (psycopg.Error, PoolTimeout):
raise ApiError(503, "unavailable", "Database is not available")
return {"status": "ok"}
# users
@app.post("/api/v1/users", response_model=User, status_code=201)
def register_user(request: Request, data: UserCreate) -> User:
require_json_content_type(request)
ensure_not_blank(data.display_name)
ensure_not_blank(data.password)
password_hash = hash_password(data.password)
try:
return storage_of(request).create_user(data.username, data.display_name, password_hash)
except UsernameTaken:
raise ApiError(409, "conflict", "Username already exists")
@app.get("/api/v1/users/me", response_model=User)
def get_current_user(user: User = Depends(current_user)) -> User:
return user
# sessions
async def require_empty_body(request: Request) -> None:
"""Вход — только заголовок Authorization: Basic, без тела (контракт).
Любые байты в теле (JSON или нет) — 400. Проверка выполняется до
дорогой проверки пароля и до создания сессии.
"""
if await request.body():
raise bad_request("Request body is not allowed")
@app.post("/api/v1/auth/sessions", response_model=Session, status_code=201,
dependencies=[Depends(require_empty_body)])
def create_session(request: Request) -> Session:
credentials = parse_basic(request.headers.get("Authorization"))
if credentials is None:
raise unauthorized(BASIC_CHALLENGE)
username, password = credentials
found = storage_of(request).get_credentials(username)
user, password_hash = found if found else (None, None)
# verify_password выполняется и для несуществующего username (с хешем-пустышкой).
if not verify_password(password_hash, password) or user is None:
raise unauthorized(BASIC_CHALLENGE)
token, expires_at = request.app.state.sessions.create(user)
return Session(token=token, token_type="Bearer", expires_at=expires_at, user=user)
@app.delete("/api/v1/auth/sessions/current", status_code=204)
def delete_current_session(request: Request, user: User = Depends(current_user)) -> Response:
if not request.app.state.sessions.revoke(request.state.token):
raise unauthorized()
return Response(status_code=204)
# chats
@app.post("/api/v1/chats", response_model=Chat, status_code=201)
def create_chat(request: Request, data: ChatCreate, user: User = Depends(current_user)) -> Chat:
require_json_content_type(request)
ensure_not_blank(data.title)
if len(data.member_ids) != len(set(data.member_ids)):
raise bad_request("Duplicate member ids")
if user.id not in data.member_ids:
raise bad_request("Caller must be a chat member")
try:
return storage_of(request).create_chat(data.title, data.member_ids)
except UnknownMember:
raise bad_request("Unknown member")
@app.get("/api/v1/chats", response_model=ChatPage)
def list_chats(
request: Request,
user: User = Depends(current_user),
limit: int = Query(default=50, ge=1, le=100),
cursor: Optional[str] = Query(default=None, min_length=1),
) -> ChatPage:
after = decode_cursor(cursor, user.id)
items, has_more = storage_of(request).list_user_chats(user.id, limit, after)
next_cursor = None
if has_more and items:
next_cursor = encode_cursor(user.id, items[-1].created_at, items[-1].id)
return ChatPage(items=items, next_cursor=next_cursor)
@app.get("/api/v1/chats/{chat_id}", response_model=Chat)
def get_chat(request: Request, chat_id: UUID, user: User = Depends(current_user)) -> Chat:
chat = storage_of(request).get_chat_for_member(chat_id, user.id)
if chat is None:
raise not_found()
return chat
# messages
def request_fingerprint(data: MessageCreate) -> bytes:
"""SHA-256 канонического JSON тела.
Канонизация: проверенная модель -> JSON с сортировкой ключей и без пробелов.
Поэтому порядок ключей и форматирование исходного JSON не влияют на hash.
lab4: attachment_ids имеет значение по умолчанию [], поэтому отсутствующее
поле и явный [] дают одинаковый hash (контракт). Порядок id значим.
"""
canonical = json.dumps(
data.model_dump(mode="json"), sort_keys=True, separators=(",", ":"), ensure_ascii=False
)
return hashlib.sha256(canonical.encode("utf-8")).digest()
@app.post("/api/v1/chats/{chat_id}/messages", response_model=Message, status_code=201)
def create_message(
request: Request,
response: Response,
chat_id: UUID,
data: MessageCreate,
user: User = Depends(current_user),
) -> Message:
# Порядок: аутентификация (dependency) -> ключ -> тело -> доступ к чату.
key = request.headers.get("Idempotency-Key")
if key is None or not IDEMPOTENCY_KEY_RE.fullmatch(key):
raise bad_request("Missing or invalid Idempotency-Key")
require_json_content_type(request)
# lab4: пустой/пробельный текст допустим только вместе с вложениями.
if not data.attachment_ids:
ensure_not_blank(data.text)
if len(set(data.attachment_ids)) != len(data.attachment_ids):
raise bad_request("Duplicate attachment ids")
settings = request.app.state.settings
try:
message, replayed = storage_of(request).create_message(
chat_id,
user.id,
data.text,
key,
request_fingerprint(data),
settings.idempotency_ttl_seconds,
data.attachment_ids,
)
except (NotChatMember, AttachmentNotFound):
# Чужое, неизвестное или ещё не готовое вложение — как и чужой чат: 404.
raise not_found()
except IdempotencyConflict:
raise ApiError(409, "conflict", "Idempotency-Key was used with a different request")
except IdempotencyRace:
raise ApiError(503, "unavailable", "Please retry with the same Idempotency-Key")
if replayed:
# Информационный заголовок (не часть контракта): ответ — повтор.
response.headers["Idempotency-Replayed"] = "true"
return message
@app.get("/api/v1/chats/{chat_id}/messages", response_model=MessagePage)
def list_messages(
request: Request,
chat_id: UUID,
user: User = Depends(current_user),
limit: int = Query(default=50, ge=1, le=100),
cursor: Optional[str] = Query(default=None, min_length=1),
) -> MessagePage:
after = decode_cursor(cursor, chat_id)
result = storage_of(request).list_messages(chat_id, user.id, limit, after)
if result is None:
raise not_found()
items, has_more = result
next_cursor = None
if has_more and items:
next_cursor = encode_cursor(chat_id, items[-1].created_at, items[-1].id)
return MessagePage(items=items, next_cursor=next_cursor)
# attachments (lab4)
ALLOWED_UPLOAD_TYPES = ("image/png", "image/jpeg")
UPLOAD_CHUNK = 64 * 1024
KNOWN_VARIANTS = ("thumbnail", "crop", "optimized")
async def s3_call(store: ObjectStore, deadline: float, fn, *args):
"""Вызов S3 из запроса с жёстким общим дедлайном.
connect/read timeout boto3 не покрывают DNS: в Docker остановленный
контейнер s3 пропадает из DNS, и getaddrinfo висит секундами (замер на
Docker Desktop: 10–13 с, у скачивания это давало 504 от HAProxy). Дедлайн
ограничивает всё вместе; по истечении — 503 и открытый circuit breaker.
Поток с зависшим вызовом доработает в фоне; для PUT это может дать
объект-сироту, его уберёт сборщик (src/reconcile.py, проход B).
"""
try:
return await asyncio.wait_for(run_in_threadpool(fn, *args), timeout=deadline)
except asyncio.TimeoutError:
store.breaker.failure()
log.warning("s3 call exceeded %.1fs deadline", deadline)
raise ObjectStoreUnavailable()
def objects_of(request: Request) -> ObjectStore:
store = request.app.state.objects
if store is None:
raise ApiError(503, "unavailable", "Attachment storage is not available")
return store
def s3_unavailable() -> ApiError:
return ApiError(503, "unavailable", "Attachment storage is temporarily unavailable",
{"Retry-After": "2"})
def validate_filename(name: Optional[str]) -> str:
"""Отображаемое имя: 1–255 code points, без /, \\, NUL и управляющих символов.
Имя никогда не становится путём или ключом S3; ограничения защищают
клиентов, которые покажут/сохранят файл под этим именем.
"""
if name is None or not name.strip() or len(name) > 255:
raise bad_request("Invalid filename")
if name in (".", ".."):
raise bad_request("Invalid filename")
for ch in name:
if ch in "/\\\x00" or unicodedata.category(ch) in ("Cc", "Cs") \
or ch in "

‮‭‪‫‬⁦⁧⁨⁩":
raise bad_request("Invalid filename")
return name
def upload_media_type(request: Request) -> str:
raw = request.headers.get("content-type", "")
media = raw.split(";", 1)[0].strip().lower()
if media not in ALLOWED_UPLOAD_TYPES:
raise ApiError(415, "unsupported_media_type", "Only image/png and image/jpeg are accepted")
return media
def declared_length(request: Request) -> Optional[int]:
raw = request.headers.get("content-length")
if raw is None:
return None
if not raw.strip().isdigit():
raise bad_request("Invalid Content-Length")
return int(raw)
async def drain(request: Request, limit: int) -> None:
"""Дочитать и выбросить тело (не больше limit байт), чтобы клиент увидел 413,
а не обрыв соединения посреди отправки. Память — O(chunk)."""
seen = 0
try:
async for chunk in request.stream():
seen += len(chunk)
if seen > limit:
break
except ClientDisconnect:
pass
async def read_limited_body(request: Request, limit: int):
"""Потоковое чтение тела кусками; не больше limit байт в памяти.
Возвращает (bytes, md5, sha256). Превышение лимита -> 413 сразу, как только
счётчик перешёл limit (остаток тела отбрасывается, не накапливается).
"""
chunks = []
size = 0
md5 = hashlib.md5(usedforsecurity=False)
sha = hashlib.sha256()
async for chunk in request.stream():
if not chunk:
continue
size += len(chunk)
if size > limit:
chunks.clear()
await drain(request, limit)
raise ApiError(413, "payload_too_large", "File exceeds %d bytes" % limit)
chunks.append(chunk)
md5.update(chunk)
sha.update(chunk)
# Одна склейка в bytes точного размера; список кусков сразу освобождается.
# Дальше bytes не копируются: BytesIO(bytes) и memoryview разделяют буфер.
data = b"".join(chunks)
chunks.clear()
return data, md5.digest(), sha.hexdigest()
def _validate_image(request: Request, data: bytes, declared: str):
settings = request.app.state.settings
with request.app.state.decode_slots: # потолок одновременных разборов на реплику
return inspect_image(data, declared, settings.max_image_pixels)
def _inject(settings, point: str) -> None:
"""Внедрение отказов — ТОЛЬКО для экземпляра api-faults (профиль compose faults)."""
fault = settings.fault_injection
if not fault:
return
if fault == "crash_after_s3_put" and point == "after_put":
log.error("FAULT_INJECTION: process exit between S3 PUT and DB COMMIT")
os._exit(70)
if fault == "db_error_after_s3_put" and point == "after_put":
raise psycopg.OperationalError("injected: database failure after S3 PUT")
if fault == "s3_error_on_put" and point == "before_put":
raise ObjectStoreUnavailable()
@app.post("/api/v1/chats/{chat_id}/attachments", response_model=Attachment, status_code=201)
async def upload_attachment(
request: Request,
chat_id: UUID,
filename: Optional[str] = Query(default=None),
user: User = Depends(current_user),
) -> Attachment:
"""Синхронная загрузка оригинала: 201 только после S3 PUT и COMMIT ready.
Порядок проверок: аутентификация -> filename (400) -> Content-Type (415) ->
Content-Length (413 без чтения тела) -> членство в чате (404) -> слот
загрузки (503) -> потоковое чтение с лимитом (413) -> содержимое (415/413)
-> [1] pending в БД -> [2] S3 PUT -> [3] ready в БД. См. src/reconcile.py.
"""
settings = request.app.state.settings
storage = storage_of(request)
name = validate_filename(filename)
declared = upload_media_type(request)
length = declared_length(request)
if length is not None and length > settings.max_upload_bytes:
if length <= 2 * settings.max_upload_bytes:
await drain(request, length)
raise ApiError(413, "payload_too_large", "File exceeds %d bytes" % settings.max_upload_bytes,
{"Connection": "close"} if length > 2 * settings.max_upload_bytes else None)
if not await run_in_threadpool(storage.is_chat_member, chat_id, user.id):
raise not_found()
store = objects_of(request)
slots: asyncio.Semaphore = request.app.state.upload_slots
try:
await asyncio.wait_for(slots.acquire(), timeout=settings.upload_queue_timeout_seconds)
except asyncio.TimeoutError:
raise ApiError(503, "unavailable", "Too many concurrent uploads", {"Retry-After": "1"})
try:
try:
data, md5_digest, sha256_hex = await asyncio.wait_for(
read_limited_body(request, settings.max_upload_bytes),
timeout=settings.upload_read_timeout_seconds,
)
except asyncio.TimeoutError:
raise bad_request("Upload was not completed in time")
except ClientDisconnect:
# Клиент оборвал загрузку: в БД и S3 ничего не записано.
log.info("upload aborted by client before completion")
raise bad_request("Upload was interrupted")
try:
content_type, width, height = await run_in_threadpool(_validate_image, request, data, declared)
except ImageRejected as exc:
raise ApiError(exc.status, exc.code, exc.message)
attachment_id = uuid_mod.uuid4()
# Ключ назначает сервер: случайный, не связан ни с filename, ни с id вложения.
object_key = "%s%s" % (OBJECT_PREFIX, uuid_mod.uuid4().hex)
# [1] намерение
created = await run_in_threadpool(
storage.create_pending_attachment, attachment_id, chat_id, user.id, name,
content_type, len(data), sha256_hex, width, height, object_key,
)
if not created:
raise not_found()
# [2] байты
try:
_inject(settings, "before_put")
await s3_call(store, settings.s3_upload_deadline_seconds,
store.put, object_key, data, content_type, md5_digest, sha256_hex)
except ObjectStoreUnavailable:
await _compensate(storage, store, attachment_id, None)
raise s3_unavailable()
finally:
del data
# [3] фиксация
try:
_inject(settings, "after_put")
attachment = await run_in_threadpool(storage.mark_attachment_ready, attachment_id)
except (psycopg.Error, PoolTimeout):
await _compensate(storage, store, attachment_id, object_key)
raise
if attachment is None:
# Строку уже забрал сборщик (загрузка шла дольше grace) — объект лишний.
await _compensate(storage, store, attachment_id, object_key)
raise ApiError(503, "unavailable", "Upload expired, please retry")
return attachment
finally:
slots.release()
async def _compensate(storage: Storage, store: ObjectStore, attachment_id: UUID, object_key: Optional[str]) -> None:
"""Best-effort откат в рамках запроса. Если не удалось — уберёт сборщик."""
if object_key is not None:
try:
await s3_call(store, 5.0, store.delete, object_key)
except Exception as exc:
log.warning("compensation: object delete deferred to gc (%s)", type(exc).__name__)
try:
await run_in_threadpool(storage.delete_pending_attachment, attachment_id)
except Exception as exc:
log.warning("compensation: pending row left for gc (%s)", type(exc).__name__)
@app.get("/api/v1/attachments/{attachment_id}", response_model=Attachment)
def get_attachment(request: Request, attachment_id: UUID, user: User = Depends(current_user)) -> Attachment:
found = storage_of(request).get_attachment_for_member(attachment_id, user.id)
if found is None:
raise not_found()
return found[0]
def content_disposition(filename: str) -> str:
from urllib.parse import quote
ascii_name = "".join(c if 32 <= ord(c) < 127 and c not in ('"', "\\", ";") else "_" for c in filename)
return "inline; filename=\"%s\"; filename*=UTF-8''%s" % (ascii_name, quote(filename, safe=""))
@app.get("/api/v1/attachments/{attachment_id}/content")
async def download_attachment(
request: Request,
attachment_id: UUID,
variant: Optional[str] = Query(default=None),
user: User = Depends(current_user),
):
"""Байты оригинала через авторизованный API (без redirect), потоком из S3."""
if variant is not None and variant != "original" and variant not in KNOWN_VARIANTS:
raise bad_request("Invalid variant")
found = await run_in_threadpool(storage_of(request).get_attachment_for_member, attachment_id, user.id)
if found is None:
raise not_found()
attachment, object_key = found
if variant in KNOWN_VARIANTS:
# lab4 не создаёт вариантов (variants=[]): у ready-вложения их нет.
raise not_found()
store = objects_of(request)
try:
chunks, length = await s3_call(store, request.app.state.settings.s3_download_deadline_seconds,
store.open, object_key)
except ObjectStoreUnavailable:
raise s3_unavailable()
except ObjectMissing:
log.error("ready attachment %s has no object in S3 (see python -m src.reconcile)", attachment.id)
raise ApiError(500, "internal_error", "Internal server error")
if length != attachment.size_bytes:
chunks.close() # закрыть поток S3
log.error("attachment %s: object size differs from metadata", attachment.id)
raise ApiError(500, "internal_error", "Internal server error")
return StreamingResponse(
chunks,
media_type=attachment.content_type,
headers={
"Content-Length": str(attachment.size_bytes),
"Cache-Control": "private, no-store",
"X-Content-Type-Options": "nosniff",
"Content-Disposition": content_disposition(attachment.filename),
"ETag": '"%s"' % attachment.sha256,
},
)
+25
View File
@@ -0,0 +1,25 @@
"""Однократный запуск миграций: python -m src.migrate
lab3: это команда one-shot сервиса `migrate` в compose.yaml. Реплики API
миграции не применяют (RUN_MIGRATIONS_ON_START=false) и стартуют только после
успешного завершения `migrate` (depends_on: service_completed_successfully).
Повторный запуск ничего не меняет; одновременный запуск нескольких копий
сериализуется pg_advisory_lock (см. src/db.py).
"""
import logging
from .config import load_settings
from .db import wait_and_migrate
def main() -> None:
logging.basicConfig(level=logging.INFO, format="%(levelname)s %(name)s %(message)s")
applied = wait_and_migrate(load_settings())
if applied:
print("applied migrations: " + ", ".join(applied))
else:
print("schema is up to date; nothing applied")
if __name__ == "__main__":
main()
+104
View File
@@ -0,0 +1,104 @@
from datetime import datetime
from typing import List, Optional
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field
class StrictModel(BaseModel):
model_config = ConfigDict(extra="forbid")
class UserCreate(StrictModel):
username: str = Field(
min_length=3,
max_length=32,
pattern=r"^[a-z0-9_]{3,32}$",
)
display_name: str = Field(
min_length=1,
max_length=100,
)
# lab2: пароль обязателен; длина в Unicode code points (len() в Python).
password: str = Field(
min_length=12,
max_length=128,
)
class User(StrictModel):
id: UUID
username: str
display_name: str
created_at: datetime
class Session(StrictModel):
token: str
token_type: str = "Bearer"
expires_at: datetime
user: User
class ChatCreate(StrictModel):
title: str = Field(
min_length=1,
max_length=100,
)
member_ids: List[UUID] = Field(
min_length=1,
max_length=100,
)
class Chat(StrictModel):
id: UUID
title: str
member_ids: List[UUID]
created_at: datetime
class MessageCreate(StrictModel):
# lab4: text="" допустим, если есть хотя бы одно вложение (проверка в main.py).
text: str = Field(
min_length=0,
max_length=4000,
)
# Отсутствующее поле == [] (контракт); значение по умолчанию попадает и в
# канонический JSON отпечатка идемпотентности.
attachment_ids: List[UUID] = Field(default_factory=list, max_length=10)
class Message(StrictModel):
id: UUID
chat_id: UUID
sender_id: UUID
text: str
created_at: datetime
attachment_ids: List[UUID] = Field(default_factory=list)
class Attachment(StrictModel):
id: UUID
chat_id: UUID
owner_id: UUID
filename: str
content_type: str
size_bytes: int
sha256: str
# lab4: синхронная загрузка, в API видны только готовые вложения.
status: str = "ready"
variants: List[dict] = Field(default_factory=list)
error_code: Optional[str] = None
created_at: datetime
updated_at: datetime
class ChatPage(StrictModel):
items: List[Chat]
next_cursor: Optional[str]
class MessagePage(StrictModel):
items: List[Message]
next_cursor: Optional[str]
+226
View File
@@ -0,0 +1,226 @@
"""Приватное S3-совместимое хранилище оригиналов (lab4: SeaweedFS).
API работает с отдельными credentials, у которых есть только Read/Write/List
на один бакет (см. infra/seaweedfs/README.md): создать/удалить бакет или
прочитать другой бакет этими ключами нельзя. Административные ключи есть
только у one-shot сервиса s3-init (src/s3_bootstrap.py).
Все вызовы ограничены по времени (connect/read timeout, не более
S3_MAX_ATTEMPTS попыток), поэтому недоступность S3 превращается в быстрый 503
для операций с вложениями, а не в зависший запрос.
"""
import base64
import hashlib
import io
import logging
import threading
import time
from datetime import datetime
from typing import Iterator, List, Optional, Tuple
import boto3
from botocore.config import Config
from botocore.exceptions import BotoCoreError, ClientError
from .config import Settings
log = logging.getLogger("messenger.s3")
CHUNK = 64 * 1024
class ObjectStoreUnavailable(Exception):
"""S3 недоступен, таймаут или 5xx -> 503 для клиента."""
class ObjectMissing(Exception):
"""Объекта нет в бакете (404/NoSuchKey)."""
def _code(exc: ClientError) -> str:
return str(exc.response.get("Error", {}).get("Code", ""))
def _status(exc: ClientError) -> int:
return int(exc.response.get("ResponseMetadata", {}).get("HTTPStatusCode", 0) or 0)
def make_client(endpoint: str, region: str, access_key: str, secret_key: str,
connect_timeout: float = 2.0, read_timeout: float = 10.0, max_attempts: int = 2):
config = Config(
signature_version="s3v4",
s3={"addressing_style": "path"},
connect_timeout=connect_timeout,
read_timeout=read_timeout,
retries={"max_attempts": max_attempts, "mode": "standard"},
# Соединения на реплику: не больше, чем одновременных загрузок + скачиваний.
max_pool_connections=32,
)
return boto3.client(
"s3",
endpoint_url=endpoint,
region_name=region,
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
config=config,
)
class CircuitBreaker:
"""После отказа S3 следующие open_seconds операции сразу получают
ObjectStoreUnavailable, не тратя время на DNS/connect/повторы. Затем —
одна пробная попытка (half-open): успех закрывает, отказ снова открывает."""
def __init__(self, open_seconds: float) -> None:
self.open_seconds = open_seconds
self._lock = threading.Lock()
self._open_until = 0.0
def check(self) -> None:
with self._lock:
now = time.monotonic()
if now < self._open_until:
raise ObjectStoreUnavailable()
if self._open_until:
# half-open: пропускаем одну попытку, остальные пока отклоняем
self._open_until = now + self.open_seconds
def failure(self) -> None:
with self._lock:
if not self._open_until or time.monotonic() >= self._open_until - self.open_seconds:
log.warning("s3 circuit opened for %.1fs", self.open_seconds)
self._open_until = time.monotonic() + self.open_seconds
def success(self) -> None:
with self._lock:
self._open_until = 0.0
@property
def is_open(self) -> bool:
return time.monotonic() < self._open_until
class ObjectStore:
def __init__(self, settings: Settings) -> None:
self.bucket = settings.s3_bucket
self.breaker = CircuitBreaker(settings.s3_circuit_open_seconds)
self.client = make_client(
settings.s3_endpoint,
settings.s3_region,
settings.s3_access_key_id,
settings.s3_secret_access_key,
settings.s3_connect_timeout_seconds,
settings.s3_read_timeout_seconds,
settings.s3_max_attempts,
)
@staticmethod
def configured(settings: Settings) -> bool:
return bool(settings.s3_endpoint and settings.s3_access_key_id and settings.s3_secret_access_key)
def _wrap(self, exc: Exception, op: str) -> Exception:
if isinstance(exc, ClientError):
code, status = _code(exc), _status(exc)
if status == 404 or code in ("NoSuchKey", "NotFound", "404"):
self.breaker.success() # S3 ответил — он доступен
return ObjectMissing()
log.warning("s3 %s failed: %s/%s", op, status, code)
else:
log.warning("s3 %s failed: %s", op, type(exc).__name__)
self.breaker.failure()
return ObjectStoreUnavailable()
def put(self, key: str, data, content_type: str, md5_digest: bytes, sha256_hex: str) -> None:
"""PUT с Content-MD5: S3 сам отклонит повреждённую по пути передачу (BadDigest).
Тело передаётся как BytesIO поверх bytes (без копирования): botocore
отправляет файловый объект блоками. С bytes он склеивает заголовки и тело
в один буфер — лишняя копия размером с файл на каждую загрузку (замер в REPORT.md).
"""
self.breaker.check()
try:
self.client.put_object(
Bucket=self.bucket,
Key=key,
Body=io.BytesIO(data),
ContentType=content_type,
ContentMD5=base64.b64encode(md5_digest).decode("ascii"),
Metadata={"sha256": sha256_hex},
)
except (ClientError, BotoCoreError) as exc:
raise self._wrap(exc, "put")
self.breaker.success()
def open(self, key: str) -> Tuple[Iterator[bytes], int]:
"""Потоковое чтение: (итератор кусков по 64 KiB, длина). Память — O(chunk)."""
self.breaker.check()
try:
obj = self.client.get_object(Bucket=self.bucket, Key=key)
except (ClientError, BotoCoreError) as exc:
raise self._wrap(exc, "get")
self.breaker.success()
body = obj["Body"]
def chunks() -> Iterator[bytes]:
try:
for chunk in body.iter_chunks(CHUNK):
yield chunk
finally:
body.close()
return chunks(), int(obj.get("ContentLength", -1))
def read_all(self, key: str, limit: int) -> bytes:
"""Для сверки/тестов: прочитать объект целиком (не больше limit байт)."""
it, _ = self.open(key)
out = bytearray()
for chunk in it:
out += chunk
if len(out) > limit:
raise ValueError("object exceeds limit")
return bytes(out)
def delete(self, key: str) -> None:
"""Идемпотентно: удаление отсутствующего объекта — не ошибка."""
self.breaker.check()
try:
self.client.delete_object(Bucket=self.bucket, Key=key)
except (ClientError, BotoCoreError) as exc:
err = self._wrap(exc, "delete")
if not isinstance(err, ObjectMissing):
raise err
def head(self, key: str) -> Optional[dict]:
self.breaker.check()
try:
return self.client.head_object(Bucket=self.bucket, Key=key)
except (ClientError, BotoCoreError) as exc:
err = self._wrap(exc, "head")
if isinstance(err, ObjectMissing):
return None
raise err
def list_page(self, prefix: str, token: Optional[str] = None,
page_size: int = 1000) -> Tuple[List[Tuple[str, datetime, int]], Optional[str]]:
kwargs = {"Bucket": self.bucket, "Prefix": prefix, "MaxKeys": page_size}
if token:
kwargs["ContinuationToken"] = token
self.breaker.check()
try:
resp = self.client.list_objects_v2(**kwargs)
except (ClientError, BotoCoreError) as exc:
raise self._wrap(exc, "list")
items = [(o["Key"], o["LastModified"], int(o.get("Size", 0))) for o in resp.get("Contents", [])]
next_token = resp.get("NextContinuationToken") if resp.get("IsTruncated") else None
return items, next_token
def ping(self) -> bool:
try:
self.client.head_bucket(Bucket=self.bucket)
return True
except (ClientError, BotoCoreError):
return False
def md5_and_sha256(data: bytes) -> Tuple[bytes, str]:
return hashlib.md5(data).digest(), hashlib.sha256(data).hexdigest()
+237
View File
@@ -0,0 +1,237 @@
"""Согласованность PostgreSQL (метаданные) и S3 (байты): сборка мусора и сверка.
Почему неучтённых объектов «навсегда» не бывает (подробно — REPORT.md):
загрузка: [1] INSERT attachments(state=pending, object_key) COMMIT
[2] S3 PUT object_key
[3] UPDATE state=ready WHERE state=pending COMMIT -> 201
Ключ объекта записан в БД ДО того, как объект появится в бакете.
Сбой/обрыв между шагами:
после [1] -> строка pending без объекта;
после [2] -> строка pending + объект (S3 прошёл, COMMIT [3] — нет);
ошибка S3 в [2] -> API сам компенсирует: DELETE pending;
ошибка БД в [3] -> API сам компенсирует: DELETE object (pending уберёт GC).
Процесс может умереть в любой точке, поэтому компенсация в запросе —
оптимизация, а гарантию даёт сборщик:
A. stale pending: строки pending старше GRACE. Сначала строка удаляется
(DELETE ... WHERE state='pending' RETURNING object_key — атомарный захват:
если запрос всё-таки успел сделать [3], строка уже ready и не удаляется),
затем удаляется объект. Если удаление объекта не удалось — объект стал
«сиротой» и будет убран проходом B.
B. orphan objects: объекты в бакете (префикс originals/), для ключа которых
в БД нет строки, и LastModified старше GRACE. Строка всегда создаётся
раньше объекта и после удаления не возрождается (ключ одноразовый),
поэтому «нет строки» + «старше GRACE» = объект не принадлежит живой загрузке.
C. missing objects: строки ready без объекта (или с другим размером) — только
отчёт: восстановить байты нельзя, удалять метаданные автоматически опасно.
GRACE (ATTACHMENT_GC_GRACE_SECONDS, по умолчанию 900 с, минимум 300 с) много
больше самой долгой загрузки: чтение тела <= UPLOAD_READ_TIMEOUT_SECONDS (60 с)
+ проверка + S3 PUT (connect 2 с + read 10 с) x S3_MAX_ATTEMPTS (2).
Строки ready и вложения, на которые ссылаются сообщения, сборщик не трогает
никогда (FK message_attachments -> attachments ON DELETE RESTRICT).
CLI (по умолчанию dry-run, ничего не меняет):
python -m src.reconcile # отчёт
python -m src.reconcile --apply # исправить A и B
python -m src.reconcile --apply --grace-seconds 0 # только на учебном стенде
"""
import argparse
import json
import logging
import time
from datetime import datetime, timedelta, timezone
from typing import Dict, List, Optional
from psycopg_pool import ConnectionPool
from .objectstore import ObjectStore, ObjectStoreUnavailable
log = logging.getLogger("messenger.reconcile")
OBJECT_PREFIX = "originals/"
GC_LOCK_ID = 2026_0004
BATCH = 500
def _try_lock(conn) -> bool:
return conn.execute("SELECT pg_try_advisory_lock(%s)", (GC_LOCK_ID,)).fetchone()[0]
def _unlock(conn) -> None:
conn.execute("SELECT pg_advisory_unlock(%s)", (GC_LOCK_ID,))
def collect_stale_pending(pool: ConnectionPool, store: ObjectStore, grace_seconds: int,
apply: bool, report: Dict) -> None:
"""Проход A. dry-run: только подсчёт; apply: строка -> затем объект."""
with pool.connection() as conn:
rows = conn.execute(
"""
SELECT id, object_key FROM attachments
WHERE state = 'pending' AND created_at < clock_timestamp() - make_interval(secs => %s)
ORDER BY created_at LIMIT %s
""",
(grace_seconds, BATCH),
).fetchall()
report["stale_pending"] = len(rows)
report["stale_pending_ids"] = [str(r[0]) for r in rows[:20]]
if not apply:
return
deleted_rows = deleted_objects = 0
for att_id, _key in rows:
with pool.connection() as conn:
claimed = conn.execute(
"""
DELETE FROM attachments
WHERE id = %s AND state = 'pending'
AND created_at < clock_timestamp() - make_interval(secs => %s)
RETURNING object_key
""",
(att_id, grace_seconds),
).fetchone()
if claimed is None:
continue # загрузка успела завершиться (ready) — не трогаем
deleted_rows += 1
try:
store.delete(claimed[0])
deleted_objects += 1
except ObjectStoreUnavailable:
# Объект стал сиротой без строки; его уберёт проход B.
log.warning("gc: object delete deferred to orphan sweep")
report["stale_pending_rows_deleted"] = deleted_rows
report["stale_pending_object_deletes"] = deleted_objects
def sweep_orphans(pool: ConnectionPool, store: ObjectStore, grace_seconds: int,
apply: bool, report: Dict, verify_ready: bool = True) -> None:
"""Проходы B и C: полный обход префикса бакета страницами по 1000."""
cutoff = datetime.now(timezone.utc) - timedelta(seconds=grace_seconds)
token: Optional[str] = None
listed = orphans = orphans_young = deleted = 0
seen_keys: List[str] = []
orphan_sample: List[str] = []
started = time.monotonic()
while True:
items, token = store.list_page(OBJECT_PREFIX, token)
listed += len(items)
if items:
keys = [k for k, _, _ in items]
with pool.connection() as conn:
known = {r[0] for r in conn.execute(
"SELECT object_key FROM attachments WHERE object_key = ANY(%s)", (keys,)
).fetchall()}
for key, modified, _size in items:
if key in known:
if verify_ready:
seen_keys.append(key)
continue
orphans += 1
if modified > cutoff:
orphans_young += 1 # возможно, живая загрузка или ещё не истёк grace
continue
if len(orphan_sample) < 20:
orphan_sample.append(key)
if apply:
# Повторная проверка непосредственно перед удалением.
with pool.connection() as conn:
again = conn.execute(
"SELECT 1 FROM attachments WHERE object_key = %s", (key,)
).fetchone()
if again is None:
store.delete(key)
deleted += 1
if not token:
break
report["objects_listed"] = listed
report["orphan_objects"] = orphans
report["orphan_objects_within_grace"] = orphans_young
report["orphan_objects_sample"] = orphan_sample
if apply:
report["orphan_objects_deleted"] = deleted
report["bucket_scan_seconds"] = round(time.monotonic() - started, 3)
if verify_ready:
# C: ready-строки, для которых объекта нет в листинге (или не тот размер).
present = set(seen_keys)
with pool.connection() as conn:
rows = conn.execute(
"SELECT id, object_key, size_bytes FROM attachments WHERE state = 'ready'"
).fetchall()
missing = [str(r[0]) for r in rows if r[1] not in present]
report["ready_rows"] = len(rows)
report["missing_objects"] = len(missing)
report["missing_object_ids"] = missing[:20]
def run_once(pool: ConnectionPool, store: ObjectStore, grace_seconds: int, apply: bool,
orphan_sweep: bool = True) -> Optional[Dict]:
"""Один проход под advisory lock. None — сейчас работает другая реплика."""
report: Dict = {"mode": "apply" if apply else "dry-run", "grace_seconds": grace_seconds}
with pool.connection() as lock_conn:
lock_conn.autocommit = True
if not _try_lock(lock_conn):
return None
try:
collect_stale_pending(pool, store, grace_seconds, apply, report)
if orphan_sweep:
sweep_orphans(pool, store, grace_seconds, apply, report)
finally:
_unlock(lock_conn)
# Соединение вернётся в общий пул — режим транзакций как у остальных.
lock_conn.autocommit = False
return report
def gc_loop(pool: ConnectionPool, store: ObjectStore, settings, stop) -> None:
"""Фон в каждой реплике: проход A каждые N с, проход B — реже. Lock — одна реплика."""
last_sweep = time.monotonic()
while not stop.wait(settings.attachment_gc_interval_seconds):
try:
sweep = time.monotonic() - last_sweep >= settings.orphan_sweep_interval_seconds
report = run_once(pool, store, settings.attachment_gc_grace_seconds, apply=True,
orphan_sweep=sweep)
if report is None:
continue
if sweep:
last_sweep = time.monotonic()
if report.get("stale_pending") or report.get("orphan_objects_deleted") or report.get("missing_objects"):
log.info("attachment gc: %s", json.dumps(report, ensure_ascii=False))
except Exception as exc: # БД/S3 недоступны — следующий проход повторит
log.warning("attachment gc skipped: %s", type(exc).__name__)
def main() -> None:
parser = argparse.ArgumentParser(description="Reconcile attachments metadata (PostgreSQL) with S3 objects")
parser.add_argument("--apply", action="store_true", help="delete stale pending rows and orphan objects")
parser.add_argument("--grace-seconds", type=int, default=None,
help="override ATTACHMENT_GC_GRACE_SECONDS (values < 300 only for lab tests)")
parser.add_argument("--no-orphan-sweep", action="store_true", help="skip bucket listing")
args = parser.parse_args()
logging.basicConfig(level=logging.INFO, format="%(levelname)s %(name)s %(message)s")
from .config import load_settings
from .db import create_pool
settings = load_settings()
if not ObjectStore.configured(settings):
raise SystemExit("S3 is not configured")
grace = settings.attachment_gc_grace_seconds if args.grace_seconds is None else args.grace_seconds
pool = create_pool(settings)
pool.wait(timeout=15)
store = ObjectStore(settings)
try:
started = time.monotonic()
report = run_once(pool, store, grace, args.apply, orphan_sweep=not args.no_orphan_sweep)
if report is None:
raise SystemExit("another reconciler holds the lock; retry later")
report["total_seconds"] = round(time.monotonic() - started, 3)
print(json.dumps(report, ensure_ascii=False, indent=2))
finally:
pool.close()
if __name__ == "__main__":
main()
+39
View File
@@ -0,0 +1,39 @@
"""Состояние процесса, общее для middleware, readiness и сервера.
INSTANCE_ID — значение X-Instance-Id. По умолчанию hostname контейнера:
Docker задаёт его равным короткому ID контейнера, поэтому scripts/ops.py
однозначно сопоставляет заголовок конкретному контейнеру (stop-one).
Значение не меняется в течение жизни процесса.
DRAIN — фаза «осушения» после SIGTERM (см. src/server.py): процесс ещё
обслуживает запросы, но /health/ready уже отвечает 503, и балансировщик
выводит реплику из ротации до того, как она перестанет принимать соединения.
"""
import os
import socket
import threading
import time
from typing import Optional
INSTANCE_ID = os.environ.get("INSTANCE_ID", "").strip() or socket.gethostname()
class Drain:
def __init__(self) -> None:
self._event = threading.Event()
self.started_at: Optional[float] = None
def begin(self) -> bool:
"""True, если осушение началось этим вызовом."""
if self._event.is_set():
return False
self.started_at = time.monotonic()
self._event.set()
return True
@property
def active(self) -> bool:
return self._event.is_set()
DRAIN = Drain()
+226
View File
@@ -0,0 +1,226 @@
"""Bootstrap и проверка приватного бакета: python -m src.s3_bootstrap
Запускается one-shot сервисом `s3-init` до старта API (depends_on
service_completed_successfully). Идемпотентно: повторный запуск не меняет
данные — BucketAlreadyOwnedByYou считается успехом.
Проверки (любое нарушение -> exit 1, API не стартует):
* API-ключи могут PUT/GET/DELETE в своём бакете (проба в префиксе _bootstrap/,
который сборщик мусора не обходит);
* API-ключи НЕ могут создать бакет (нет прав администратора);
* анонимный GET объекта и анонимный листинг бакета -> 403;
* административные HTTP-порты SeaweedFS (master 9333, filer 8888,
volume 8080) не слушают в общей сети — доступен только S3 API.
python -m src.s3_bootstrap # s3-init: создать бакет + проверки
python -m src.s3_bootstrap --check-only # только проверки (без admin-ключей)
python -m src.s3_bootstrap --check-only --sample-from-db
# + анонимный GET реального объекта последнего ready-вложения -> 403,
# GET тем же ключом с API-credentials -> 200 и совпадает SHA-256.
python -m src.s3_bootstrap --wait-ready 90
# прогрев после рестарта: ждать, пока запись/чтение пробного объекта и
# чтение СУЩЕСТВУЮЩЕГО объекта занимают < 2 с. SeaweedFS отвечает /healthz
# сразу, но первые чтение/запись после рестарта блокируются на 15–30 с
# (выборы Raft-лидера master, heartbeat volume-сервера; замер в REPORT.md).
Значения ключей не печатаются.
"""
import argparse
import hashlib
import json
import os
import socket
import sys
import time
import urllib.error
import urllib.request
import uuid
from urllib.parse import quote, urlparse
from botocore.exceptions import BotoCoreError, ClientError
from .config import _read_secret
from .objectstore import make_client
ADMIN_PORTS = (9333, 8888, 8080, 19333, 18888)
def anonymous_status(url: str) -> int:
req = urllib.request.Request(url, method="GET")
try:
with urllib.request.urlopen(req, timeout=5) as resp:
return resp.status
except urllib.error.HTTPError as exc:
return exc.code
def port_open(host: str, port: int) -> bool:
try:
with socket.create_connection((host, port), timeout=1.5):
return True
except OSError:
return False
def wait_ready(timeout: float) -> int:
"""Ждать, пока S3 быстро (< 2 с на операцию) выполняет запись, чтение и удаление
пробного объекта и чтение реального (самого старого ready) объекта, если он есть."""
import psycopg
endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/")
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
client = make_client(endpoint, os.environ.get("S3_REGION", "us-east-1"), _read_secret("S3_ACCESS_KEY_ID"),
_read_secret("S3_SECRET_ACCESS_KEY"), 1, 2, 1)
started = time.monotonic()
key = None
looked_up = False
while time.monotonic() - started < timeout:
try:
if not looked_up and _read_secret("DATABASE_URL"):
with psycopg.connect(_read_secret("DATABASE_URL"), connect_timeout=3) as conn:
row = conn.execute("SELECT object_key FROM attachments WHERE state = 'ready' "
"ORDER BY created_at LIMIT 1").fetchone()
key = row[0] if row else None
looked_up = True
t = time.monotonic()
probe = "_bootstrap/warmup-%s" % uuid.uuid4().hex
client.put_object(Bucket=bucket, Key=probe, Body=b"warmup")
client.get_object(Bucket=bucket, Key=probe)["Body"].read()
client.delete_object(Bucket=bucket, Key=probe)
if key:
client.get_object(Bucket=bucket, Key=key)["Body"].read()
print(json.dumps({"s3_ready_after_s": round(time.monotonic() - started, 2),
"last_cycle_s": round(time.monotonic() - t, 3),
"existing_object_read": bool(key)}))
return 0
except (ClientError, BotoCoreError, OSError, psycopg.Error):
time.sleep(0.5)
print("S3 did not become ready for reads/writes within %.0fs" % timeout, file=sys.stderr)
return 1
def main() -> int:
parser = argparse.ArgumentParser()
parser.add_argument("--check-only", action="store_true")
parser.add_argument("--sample-from-db", action="store_true")
parser.add_argument("--wait-ready", type=float, default=0.0, metavar="SECONDS")
args = parser.parse_args()
if args.wait_ready:
return wait_ready(args.wait_ready)
endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/")
region = os.environ.get("S3_REGION", "us-east-1")
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
wait_seconds = int(os.environ.get("S3_BOOTSTRAP_WAIT_SECONDS", "90"))
report = {"endpoint_host": urlparse(endpoint).hostname, "bucket": bucket, "checks": []}
ok = True
def check(name, condition, detail=""):
nonlocal ok
ok = ok and bool(condition)
report["checks"].append({"check": name, "ok": bool(condition), "detail": detail})
api_key = _read_secret("S3_ACCESS_KEY_ID")
api_secret = _read_secret("S3_SECRET_ACCESS_KEY")
if not (api_key and api_secret):
print("S3 API credentials are not configured", file=sys.stderr)
return 2
api = make_client(endpoint, region, api_key, api_secret, 2, 10, 2)
if not args.check_only:
admin_key = _read_secret("S3_ADMIN_ACCESS_KEY_ID")
admin_secret = _read_secret("S3_ADMIN_SECRET_ACCESS_KEY")
if not (admin_key and admin_secret):
print("S3 admin credentials are not configured", file=sys.stderr)
return 2
admin = make_client(endpoint, region, admin_key, admin_secret, 2, 10, 1)
deadline = time.monotonic() + wait_seconds
while True:
try:
admin.list_buckets()
break
except (ClientError, BotoCoreError) as exc:
if time.monotonic() > deadline:
print("S3 is not reachable: %s" % type(exc).__name__, file=sys.stderr)
return 1
time.sleep(1)
try:
admin.create_bucket(Bucket=bucket)
report["bucket_action"] = "created"
except ClientError as exc:
code = exc.response.get("Error", {}).get("Code")
if code in ("BucketAlreadyOwnedByYou", "BucketAlreadyExists"):
report["bucket_action"] = "already exists (idempotent no-op)"
else:
print("create_bucket failed: %s" % code, file=sys.stderr)
return 1
# Проба API-ключами.
probe_key = "_bootstrap/probe-%s" % uuid.uuid4().hex
body = b"probe " + uuid.uuid4().bytes
try:
api.put_object(Bucket=bucket, Key=probe_key, Body=body)
got = api.get_object(Bucket=bucket, Key=probe_key)["Body"].read()
check("api credentials: put/get own bucket", got == body)
except (ClientError, BotoCoreError) as exc:
check("api credentials: put/get own bucket", False, type(exc).__name__)
got = None
status = anonymous_status("%s/%s/%s" % (endpoint, bucket, quote(probe_key)))
check("anonymous GET object is denied", status in (401, 403), "HTTP %d" % status)
status = anonymous_status("%s/%s?list-type=2" % (endpoint, bucket))
check("anonymous list bucket is denied", status in (401, 403), "HTTP %d" % status)
status = anonymous_status(endpoint + "/")
check("anonymous list buckets is denied", status in (401, 403), "HTTP %d" % status)
other = "forbidden-%s" % uuid.uuid4().hex[:12]
try:
api.create_bucket(Bucket=other)
check("api credentials cannot create buckets", False, "bucket was created")
try:
api.delete_bucket(Bucket=other)
except (ClientError, BotoCoreError):
pass
except ClientError as exc:
code = exc.response.get("Error", {}).get("Code")
check("api credentials cannot create buckets", code == "AccessDenied", code)
try:
api.delete_bucket(Bucket=bucket)
check("api credentials cannot delete the bucket", False, "bucket deleted")
except ClientError as exc:
code = exc.response.get("Error", {}).get("Code")
check("api credentials cannot delete the bucket", code in ("AccessDenied", "BucketNotEmpty"), code)
try:
api.delete_object(Bucket=bucket, Key=probe_key)
except (ClientError, BotoCoreError):
pass
host = urlparse(endpoint).hostname
exposed = [p for p in ADMIN_PORTS if port_open(host, p)]
check("SeaweedFS admin/UI ports are not reachable on the shared network", not exposed,
"open: %s" % exposed if exposed else "checked %s" % list(ADMIN_PORTS))
if args.sample_from_db:
import psycopg
dsn = _read_secret("DATABASE_URL")
with psycopg.connect(dsn, connect_timeout=5) as conn:
row = conn.execute(
"SELECT object_key, sha256 FROM attachments WHERE state = 'ready' "
"ORDER BY created_at DESC LIMIT 1"
).fetchone()
if row is None:
check("sample ready attachment exists in DB", False, "upload an attachment first (make test)")
else:
key, sha = row
status = anonymous_status("%s/%s/%s" % (endpoint, bucket, quote(key)))
check("anonymous GET of a real attachment object is denied", status in (401, 403), "HTTP %d" % status)
data = api.get_object(Bucket=bucket, Key=key)["Body"].read()
check("same object is readable with API credentials and matches sha256",
hashlib.sha256(data).hexdigest() == sha, "%d bytes" % len(data))
report["ok"] = ok
print(json.dumps(report, ensure_ascii=False, indent=2))
return 0 if ok else 1
if __name__ == "__main__":
sys.exit(main())
+97
View File
@@ -0,0 +1,97 @@
"""Пароли, разбор Basic/Bearer и генерация токенов."""
import base64
import binascii
import hashlib
import re
import secrets
import threading
from typing import Optional, Tuple
from argon2 import PasswordHasher
from argon2.exceptions import InvalidHashError, VerificationError, VerifyMismatchError
USERNAME_RE = re.compile(r"^[a-z0-9_]{3,32}$")
# Argon2id (библиотека argon2-cffi). Параметры — рекомендация OWASP для
# Argon2id: m=19 MiB, t=2, p=1. Пароль хешируется целиком в UTF-8, без усечения.
_hasher = PasswordHasher(time_cost=2, memory_cost=19 * 1024, parallelism=1)
# Хеш-«пустышка»: проверка для несуществующего пользователя стоит столько же,
# сколько для существующего, — время ответа не выдаёт наличие username.
_DUMMY_HASH = _hasher.hash("dummy-password-for-timing-equalization")
# 32 байта случайности = 256 бит энтропии; base64url без padding = 43 символа.
TOKEN_BYTES = 32
MAX_TOKEN_LENGTH = 256
# lab3: у каждой реплики лимит памяти (deploy.resources.limits). Один хеш Argon2id
# занимает 19 MiB, а sync-обработчики FastAPI выполняются в threadpool до 40 потоков.
# Без ограничения всплеск входов мог бы занять 40 x 19 MiB и привести к OOM-kill
# реплики. Семафор ограничивает число одновременных хешей (PASSWORD_HASH_CONCURRENCY).
_kdf_slots = threading.BoundedSemaphore(4)
def configure_kdf_concurrency(limit: int) -> None:
global _kdf_slots
_kdf_slots = threading.BoundedSemaphore(max(1, limit))
def hash_password(password: str) -> str:
with _kdf_slots:
return _hasher.hash(password)
def verify_password(password_hash: Optional[str], password: str) -> bool:
try:
with _kdf_slots:
return _hasher.verify(password_hash or _DUMMY_HASH, password) and bool(
password_hash
)
except (VerifyMismatchError, VerificationError, InvalidHashError):
return False
def new_token() -> str:
return secrets.token_urlsafe(TOKEN_BYTES)
def token_digest(token: str) -> bytes:
"""Токен высокоэнтропийный, поэтому для поиска достаточно быстрого SHA-256.
В отличие от пароля, перебор 256-битного токена невозможен, и KDF здесь
только замедлил бы каждый запрос.
"""
return hashlib.sha256(token.encode("ascii")).digest()
def parse_basic(header: Optional[str]) -> Optional[Tuple[str, str]]:
"""Authorization: Basic base64(username:password) -> (username, password)."""
if not header:
return None
scheme, _, value = header.strip().partition(" ")
if scheme.lower() != "basic" or not value.strip():
return None
try:
raw = base64.b64decode(value.strip(), validate=True)
decoded = raw.decode("utf-8")
except (binascii.Error, ValueError, UnicodeDecodeError):
return None
username, sep, password = decoded.partition(":") # двоеточие в пароле допустимо
if not sep or not USERNAME_RE.match(username):
return None
if not 12 <= len(password) <= 128:
return None
return username, password
def parse_bearer(header: Optional[str]) -> Optional[str]:
if not header:
return None
scheme, _, value = header.strip().partition(" ")
token = value.strip()
if scheme.lower() != "bearer" or not token or len(token) > MAX_TOKEN_LENGTH:
return None
if not token.isascii() or any(ch.isspace() for ch in token):
return None
return token
+65
View File
@@ -0,0 +1,65 @@
"""Точка входа контейнера: Uvicorn с фазой осушения (drain) перед остановкой.
Последовательность при SIGTERM (docker stop / rolling update / stop-one):
t=0 SIGTERM. Реплика ПРОДОЛЖАЕТ принимать и обслуживать запросы,
но /health/ready -> 503 и ответы идут с Connection: close.
t<=~1.5 с HAProxy (inter 1s, fastinter 500ms, fall 2) помечает реплику DOWN
и больше не отправляет ей новые запросы.
t=DRAIN_SECONDS (3 с)
Uvicorn закрывает listening-сокет, дожидается завершения запросов
в обработке (не дольше GRACEFUL_TIMEOUT_SECONDS = 10 с), закрывает
пул PostgreSQL и выходит.
stop_grace_period 20 с > 3 + 10 — Docker не успевает прислать SIGKILL.
Повторный SIGTERM/SIGINT во время осушения — немедленный переход к остановке.
Запуск: python -m src.server (CMD в Dockerfile, процесс — PID 1).
"""
import logging
import os
import threading
import uvicorn
from .runtime import DRAIN, INSTANCE_ID
log = logging.getLogger("messenger.server")
class DrainingServer(uvicorn.Server):
drain_seconds = 3.0
def handle_exit(self, sig, frame): # вызывается из обработчика сигнала
if self.should_exit or not DRAIN.begin():
# Второй сигнал (или уже останавливаемся) — без ожидания.
return super().handle_exit(sig, frame)
log.info(
"signal %s: instance %s draining for %.1fs (readiness=503), then graceful stop",
sig, INSTANCE_ID, self.drain_seconds,
)
timer = threading.Timer(self.drain_seconds, super().handle_exit, args=(sig, frame))
timer.daemon = True
timer.start()
def main() -> None:
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(name)s %(message)s")
config = uvicorn.Config(
"src.main:app",
host=os.environ.get("APP_HOST", "0.0.0.0"),
port=int(os.environ.get("APP_PORT", "8080")),
# Дольше, чем HAProxy держит простаивающие соединения к серверу
# (pool-purge-delay 5s): соединение закрывает LB, а не сервер под запросом.
timeout_keep_alive=int(os.environ.get("KEEP_ALIVE_SECONDS", "30")),
timeout_graceful_shutdown=int(os.environ.get("GRACEFUL_TIMEOUT_SECONDS", "10")),
access_log=False,
server_header=False,
log_config=None,
)
server = DrainingServer(config)
server.drain_seconds = float(os.environ.get("DRAIN_SECONDS", "3"))
server.run()
if __name__ == "__main__":
main()

Some files were not shown because too many files have changed in this diff Show More