Author SHA1 Message Date
scarletsky b035b50dbd лабораторная работа 7
Skeleton contracts / contracts (pull_request) Canceled after 0s
2026-11-18 01:02:09 +03:00
298 changed files with 28830 additions and 109 deletions
+8
View File
@@ -18,3 +18,11 @@ __pycache__
node_modules
evidence
.DS_Store
operator-only
student-tests
docs
infra
scripts
tests
contracts
*.md
+61 -35
View File
@@ -1,41 +1,67 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
# lab7: локальные НЕсекретные настройки стенда. Скопируйте в .env (run.ps1/ops.py up делает это сам).
# Секретов здесь нет и быть не должно: их создают scripts/init_secrets.py (secrets/),
# scripts/pki.py (secrets/pki/) и scripts/bao.py (secrets/bao/, operator-only/).
#
# Соответствие логическим именам skeleton (.env.example skeleton -> реализация):
# APP_PORT=8080 -> API слушает 8443 (только HTTPS+mTLS); наружу — LB 127.0.0.1:${HTTPS_PORT}
# DATABASE_URL_FILE -> /run/bao/database_url (отрисовывает OpenBao Agent; роль messenger_api/worker)
# CACHE_URL_FILE -> /run/bao/cache_url (rediss://, ACL messenger_api)
# BROKER_URL_FILE -> /run/bao/broker_url (rediss:// через broker-gate, ACL api_producer/worker_consumer)
# S3_*_FILE -> /run/bao/s3_* (identity messenger_api / messenger_worker)
# TLS_CA_FILE/CERT/KEY -> /run/secrets/ca_crt, /run/secrets/<service>_crt|_key (scripts/pki.py)
# BAO_ADDR/BAO_CACERT -> в конфигурации агентов infra/openbao/agent-*.hcl (https://openbao:8200)
# ARGON2_* -> ниже (базовая линия OWASP m=19 MiB, t=2, p=1)
COMPOSE_PROJECT_NAME=messenger-lab7
APP_ENV=lab
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
APP_VERSION=lab7
# Публичный HTTPS-вход (LB) и HTTPS Grafana — только 127.0.0.1
HTTPS_PORT=8443
GRAFANA_PORT=3000
API_REPLICAS=2
WORKER_REPLICAS=1
SESSION_TTL_SECONDS=3600
SHORT_SESSION_TTL_SECONDS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=https://s3:9000
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
BROKER_URL_FILE=/run/secrets/broker_url
WORKER_CONCURRENCY=2
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
STAGING_RETENTION_SECONDS=86400
OTEL_SERVICE_NAME=messenger-api
# Worker must set a distinct service.name.
OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
# TLS and OpenBao: actual paths/ports depend on your implemented trust matrix.
PUBLIC_BASE_URL=https://localhost:8443
TLS_CA_FILE=/run/secrets/ca.crt
TLS_CERT_FILE=/run/secrets/service.crt
TLS_KEY_FILE=/run/secrets/service.key
BAO_ADDR=https://openbao:8200
BAO_CACERT=/run/secrets/bao-ca.crt
# No root token here. Bootstrap operator -> short-lived service auth -> scoped token.
# Argon2id (не ниже m=19456 KiB, t=2, p=1 — иначе API не стартует). Обоснование — REPORT.md.
ARGON2_MEMORY_KIB=19456
ARGON2_ITERATIONS=2
ARGON2_PARALLELISM=1
# Одновременных хешей на реплику и ожидание слота (дальше 503 + Retry-After)
PASSWORD_HASH_CONCURRENCY=4
KDF_QUEUE_TIMEOUT_SECONDS=2
# Общий для всех реплик rate limit входа (PostgreSQL), окно в секундах
LOGIN_RATE_WINDOW_SECONDS=60
LOGIN_RATE_PER_USER=10
LOGIN_RATE_PER_IP=300
# Лимит тела не-upload запросов (LB проверяет то же значение по Content-Length)
MAX_JSON_BODY_BYTES=65536
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
# Подсеть сети secrets (OpenBao + агенты). Это же значение — secret_id_bound_cidrs AppRole.
# Если Docker пишет "Pool overlaps with other one on this address space" — смените подсеть
# ДО `bao.py configure` (или перезапустите configure после смены).
BAO_SECRETS_SUBNET=172.30.250.0/24
BAO_SECRETS_CIDR=172.30.250.0/24
# Версии образов (закреплены)
OPENBAO_VERSION=2.1.0
SEAWEEDFS_VERSION=4.50
# Очередь и worker (как в lab5/lab6)
BROKER_STREAM=attachments.jobs
BROKER_GROUP=attachment-workers
WORKER_CONCURRENCY=2
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
WORKER_IMAGE_TIMEOUT_SECONDS=30
WORKER_IMAGE_MEMORY_MB=1024
STAGING_RETENTION_SECONDS=86400
# Наблюдаемость
OTEL_SDK_DISABLED=false
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
+15
View File
@@ -0,0 +1,15 @@
# Скрипты и конфиги, которые выполняются внутри Linux-контейнеров или sh, — всегда LF,
# даже при checkout на Windows (иначе HAProxy/sh спотыкаются о CRLF).
*.sh text eol=lf
*.cfg text eol=lf
*.sql text eol=lf
*.py text eol=lf
*.yaml text eol=lf
Dockerfile text eol=lf
# Пакетные файлы Windows — CRLF.
*.cmd text eol=crlf
*.hcl text eol=lf
*.conf text eol=lf
*.yml text eol=lf
*.json text eol=lf
*.ps1 text eol=crlf
+35 -14
View File
@@ -1,18 +1,39 @@
## Лабораторная 7
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Попов Константин Дмитриевич, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявляется
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Что реализовано и что перенесено:
Перенесено решение lab6 целиком: HAProxy, 2 реплики API, PostgreSQL, Redis-кэш сессий, SeaweedFS S3, Redis Streams + worker + outbox/retry/DLQ, OTel Collector → Prometheus/Loki/Tempo → Grafana. Бизнес-API не менялся, транспорт — HTTPS. Изменения lab7:
- Внешний TLS 1.2+ на LB (127.0.0.1:8443, HTTP-порта нет). Обязательный mTLS LB→API: API принимает только клиентский сертификат с identity lb и проверяет CRL (src/tls.py). Health-listener API доступен только на 127.0.0.1 внутри контейнера.
- TLS на всех внутренних связях:
- PostgreSQL — verify-full, только hostssl + SCRAM; раздельные роли messenger_api / messenger_worker, у API нет DDL, worker не видит users/sessions.
- Redis-кэш — mTLS + ACL.
- S3 — HTTPS, раздельные identities по префиксам. SeaweedFS слушает только loopback и выдан в сеть через TCP-passthrough s3-gate: закрыт неаутентифицированный gRPC S3-шлюза.
- Loki, Tempo, Prometheus и Grafana — mTLS.
- OpenBao — HTTPS.
- Уровень 4: mTLS к broker и Collector через HAProxy-gates с allowlist identity (api/worker, для метрик — prometheus) и CRL; Redis ACL producer/consumer. Доказано, что чужой сертификат того же CA (intruder, lb, prometheus) не получает доступа даже с верным паролем.
- OpenBao 2.1 не в dev-режиме: file storage, ручной init/unseal оператором. AppRole с политиками на роль; секреты в приложение доставляет OpenBao Agent в tmpfs. Root token, unseal keys и SecretID приложению недоступны.
- Пароли: Argon2id (m=19 MiB, t=2, p=1, замер на стенде), rehash при входе, хеш-«пустышка» для несуществующих username.
- Вход: общий для реплик rate limit в PostgreSQL (429 + Retry-After до KDF), семафор KDF (503 + Retry-After).
- Лимиты тела: 64 KiB для JSON (на LB и в API), 10 MiB для загрузки.
- Ротация без пересборки: пароль БД (новые соединения пула берут новый пароль), leaf-сертификат LB с отзывом через CRL, SecretID агента; отзыв identity AppRole; работа API при sealed OpenBao.
- Hardening: cap_drop: ALL, no-new-privileges, non-root, read_only + tmpfs, лимиты CPU/RAM/PIDs. Сети internal без egress; наружу только 127.0.0.1:8443 и 127.0.0.1:3000.
- Обновлены зависимости по pip-audit (72 уязвимости → 0): FastAPI/Starlette, Pillow 13 (декодеры только PNG/JPEG), OpenTelemetry 1.45, cryptography 50.
- Документы: модель угроз (12 угроз → контроли → отрицательные тесты), заполненная contracts/trust-matrix.md, docs/security/SCAN_TRIAGE.md.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Команды запуска из чистого clone (Windows/PowerShell) одной командой: powershell -ExecutionPolicy Bypass -File .\run.ps1 (Linux: make all). После рестарта контейнера OpenBao: python scripts\bao.py unseal.
Результаты проверок и ссылка на REPORT.md: Подробно — REPORT.md, раздел «Доказательства критериев». Реальный вывод всех шагов — evidence/run/*.txt, сводка — evidence/run/SUMMARY.txt, журнал действий с контейнерами — evidence/ops.log.
Ограничения / известные ошибки: см. REPORT.md «Ограничения».
Источники и использование ИИ: REPORT.md.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+2
View File
@@ -3,6 +3,8 @@
.env.*
!.env.example
secrets/
# lab7: root token и unseal shares OpenBao, accessors SecretID — только у оператора
operator-only/
certs/private/
*.key
*.p12
+37
View File
@@ -0,0 +1,37 @@
# Lab7: API мессенджера и worker (один образ) — FastAPI + PostgreSQL + Redis + S3 + Redis Streams + OTel.
# lab7: сервер только HTTPS/mTLS (:8443), health — loopback 127.0.0.1:8081; non-root uid 10001.
# Секреты и ключи в образ не попадают (.dockerignore: secrets/, operator-only/, *.key, *.pem).
FROM python:3.12.7-slim-bookworm
ENV PYTHONDONTWRITEBYTECODE=1 \
PYTHONUNBUFFERED=1 \
APP_HOST=0.0.0.0 \
APP_PORT=8443 \
HEALTH_PORT=8081 \
APP_ENV=lab \
MALLOC_ARENA_MAX=2 \
MALLOC_MMAP_THRESHOLD_=1048576 \
MALLOC_TRIM_THRESHOLD_=1048576
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir --disable-pip-version-check -r requirements.txt
COPY src ./src
COPY migrations ./migrations
# Явный uid/gid 10001: совпадает с владельцем tmpfs-volume секретов OpenBao Agent (compose.yaml).
# Код и зависимости принадлежат root и только читаются процессом.
RUN groupadd --gid 10001 appuser \
&& useradd --uid 10001 --gid 10001 --no-create-home --home-dir /nonexistent --shell /usr/sbin/nologin appuser
USER 10001:10001
EXPOSE 8443
HEALTHCHECK --interval=10s --timeout=3s --start-period=20s --retries=3 \
CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8081/health/ready', timeout=2).read()" || exit 1
STOPSIGNAL SIGTERM
CMD ["python", "-m", "src.server"]
+42 -5
View File
@@ -1,13 +1,20 @@
PYTHON ?= python3
BASE_URL ?= https://localhost:8443
CA_FILE ?=
CA_FILE ?= secrets/pki/ca.crt
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover test-security
.PHONY: help check validate test load test-persistence test-failover test-security \
up down destroy wait ps restore tls-audit security-http leak-check hardening bao-policy rehash \
rotate-db-password rotate-lb-cert rotate-secret-id revoke-identity bao-sealed login-budget scan \
test-student test-storage test-expiry all
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@echo "skeleton: check validate test load test-persistence test-failover test-security"
@echo "stand: up down destroy wait ps restore (Windows: powershell -File run.ps1)"
@echo "lab7: tls-audit security-http leak-check hardening bao-policy rehash"
@echo " rotate-db-password rotate-lb-cert rotate-secret-id revoke-identity bao-sealed login-budget scan"
@echo "all: make all = up + test + security + resilience + lifecycle"
check:
$(PYTHON) scripts/check_contract.py
@@ -22,12 +29,42 @@ load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/restart.sh"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/stop-one.sh"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-security:
$(PYTHON) tests/security.py --base-url "$(BASE_URL)" $(TLS_ARGS)
# ---------------------------------------------------------------- стенд (scripts/ops.py)
up:
$(PYTHON) scripts/ops.py up
down:
$(PYTHON) scripts/ops.py down
# НАМЕРЕННОЕ удаление данных стенда (volumes)
destroy:
$(PYTHON) scripts/ops.py destroy
wait ps restore tls-audit security-http leak-check hardening bao-policy bao-sealed login-budget scan rotate-lb-cert:
$(PYTHON) scripts/ops.py $@
rehash:
$(PYTHON) scripts/ops.py rehash-demo
rotate-db-password:
$(PYTHON) scripts/ops.py rotate-db-password api
rotate-secret-id:
$(PYTHON) scripts/ops.py rotate-secret-id api
revoke-identity:
$(PYTHON) scripts/ops.py revoke-identity worker
test-student:
CA_FILE="$(CA_FILE)" $(PYTHON) student-tests/run_all.py --base-url "$(BASE_URL)"
test-storage:
$(PYTHON) scripts/ops.py in-network storage
test-expiry:
$(PYTHON) scripts/ops.py in-network expiry
all: check up test test-security tls-audit security-http bao-policy hardening rehash leak-check test-expiry
$(MAKE) test-persistence ACTION_SCRIPT=scripts/restart.sh
$(MAKE) test-failover ACTION_SCRIPT=scripts/stop-one.sh && $(MAKE) restore
$(MAKE) rotate-db-password rotate-lb-cert rotate-secret-id revoke-identity bao-sealed test
+112 -16
View File
@@ -1,37 +1,133 @@
# Отчёт — лабораторная 7
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка: **4**; трек 5 не заявляется
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Использованные источники, библиотеки и помощь ИИ: OpenBao 2.1.0 (server, Agent, AppRole, KV v2, политики), HAProxy 2.8 (TLS termination, `verify required`, `crl-file`, `ssl_c_s_dn`), Redis 7.4 TLS/ACL, PostgreSQL 16 (`hostssl`, SCRAM, `sslmode=verify-full`), SeaweedFS 4.50 (S3 TLS, identities с префиксами), OTel Collector 0.115.1 (TLS exporters), dskit `http_tls_config` (Loki/Tempo), Prometheus `web.config.file`; Python: `argon2-cffi` (PHC, `check_needs_rehash`), `cryptography` (CA, CRL, разбор клиентского cert), `uvicorn` (собственный подкласс H11Protocol для проверки identity). Документация: OWASP Password Storage / File Upload Cheat Sheets, OpenBao AppRole / policies / production hardening, Docker security. Помощь ИИ (Claude): проектирование матрицы доверия, код `src/tls.py`, `scripts/pki.py`, `scripts/bao.py`, конфигурации, отрицательные тесты, отчёт.
Минимум lab6 перенесён целиком (HAProxy, 2 реплики API, PostgreSQL, Redis-кэш, SeaweedFS S3, Redis Streams, worker, outbox, retry/DLQ, OTel → Collector → Prometheus/Loki/Tempo → Grafana). **Бизнес-API не менялся**, транспорт — HTTPS. Изменения поведения, видимые клиенту: `X-Instance-Id` — случайный alias (`api-xxxxxxxx`), `429 rate_limited` на входе, `413` для JSON > 64 KiB, `503 + Retry-After` при перегрузке KDF — всё в пределах кодов контракта.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Prerequisites: Docker Desktop с Compose v2 (Linux-контейнеры), Python 3.9+ (стандартная библиотека; пакет `cryptography` на хосте не нужен — PKI создаётся в контейнере `tools` без сети), свободные `127.0.0.1:8443` и `127.0.0.1:3000`. Образы закреплены: `python:3.12.7-slim-bookworm`, `postgres:16.4-alpine`, `redis:7.4.1-alpine`, `haproxy:2.8.30-alpine`, `chrislusf/seaweedfs:4.50`, `openbao/openbao:2.1.0`, `otel/opentelemetry-collector-contrib:0.115.1`, `prom/prometheus:v2.55.1`, `grafana/loki:3.3.2`, `grafana/tempo:2.6.1`, `grafana/grafana:11.4.0`.
**Windows / PowerShell — одна команда**:
```powershell
powershell -ExecutionPolicy Bypass -File .\run.ps1 # развернуть + все проверки, итог в evidence\run\SUMMARY.txt
```
**Linux/macOS:** `make all` (или те же шаги через `python3 scripts/ops.py …`).
Что делает `python scripts/ops.py up` (вызывается из `run.ps1`):
1. `.env` из `.env.example` (только несекретные настройки).
2. `scripts/init_secrets.py` → `secrets/` (пароли ролей БД/Redis/broker, ключи S3 трёх identities, пароль Grafana). Значения не печатаются; повторный запуск ничего не перезаписывает.
3. `docker compose build api` — один образ для api/worker/migrate/s3-init/tools.
4. `scripts/pki.py init` → `secrets/pki/` (CA, 15 leaf, CRL). **Действие оператора**: `ca.key` хранить у себя, никуда не монтируется.
5. `docker compose up -d openbao` → `scripts/bao.py init` (**оператор**: 3 unseal shares, порог 2, root token → `operator-only/openbao-init.json`, 0600) → `unseal` → `configure` (kv-v2, AppRole, политики, секреты в KV, RoleID/SecretID → `secrets/bao/`).
6. `docker compose up -d` — `migrate` (администратор БД, миграция `006_security.sql`: роли и права), `s3-init` (бакет + проверка прав трёх identities), агенты отрисовывают секреты, затем api ×2, worker, LB, телеметрия.
7. Ожидание: N реплик healthy, UP в HAProxy по mTLS-проверкам, `https://127.0.0.1:8443/health/ready` = 200 с проверкой CA.
Тесты: `make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt`, `make test-security …` (в `run.ps1` — шаги `test-smoke`, `test-security`). **После каждого рестарта контейнера OpenBao** он sealed: `python scripts/bao.py unseal` (hook `restart` делает это сам). Безопасная остановка: `python scripts/ops.py down` (volumes целы). Намеренное удаление учебных данных: `python scripts/ops.py destroy` (+ удалить `operator-only/openbao-init.json` и `secrets/bao/*`, т.к. они относятся к удалённому хранилищу OpenBao).
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```
127.0.0.1:8443 ──TLS──► lb ──mTLS (identity lb, CRL)──► api ×2 ──TLS verify-full──► postgres (messenger_api)
├──mTLS + ACL──────────────► redis (кэш сессий)
├──TLS, identity API──────► s3 (staging/ write)
├──mTLS(api)──► broker-gate ─lo─► broker (ACL api_producer)
└──mTLS(api)──► otel-gate ─lo─► collector ─mTLS─► loki / tempo
worker ──TLS──► postgres (messenger_worker) / s3 (final/ write, List) ; ──mTLS(worker)──► broker-gate / otel-gate
prometheus ──mTLS(prometheus)──► otel-gate :8889/:8888 ; grafana (127.0.0.1:3000 HTTPS) ──mTLS──► prometheus/loki/tempo
bao-agent-api / bao-agent-worker ──TLS + AppRole──► openbao (file storage, ручной unseal)
└── tmpfs volume api-secrets / worker-secrets ──► /run/bao (read-only) в api / worker
```
Роль → сервис → health → volume → сеть/порт → credentials:
| Роль | Сервис | Health/readiness | Volume | Сети, порт | Credentials |
| --- | --- | --- | --- | --- | --- |
| api ×2 | `api` | loopback `127.0.0.1:8081/health/ready` (Docker), LB — `/health/ready` по mTLS | нет (tmpfs `/tmp`, ro `/run/bao`) | ingress, backend, storage, queue, telemetry-ingest; `8443` не опубликован | TLS: `api_crt/key`; секреты — `/run/bao/*` от агента |
| LB | `lb` | `127.0.0.1:8404/lb-health` | — | edge, ingress; **`127.0.0.1:8443`** | `lb_public_pem`, `lb_client_pem`, `ca_crt` |
| worker | `worker` | heartbeat-файл | — | backend, storage, queue, telemetry-ingest | `worker_crt/key`; `/run/bao/*` |
| postgres | `postgres` (uid 70) | `pg_isready` (unix socket) | `pgdata` | backend `5432` (только `hostssl`) | `postgres_crt/key`, `postgres_password`, пароли ролей (initdb) |
| redis (кэш) | `redis` | `redis-cli --tls … ping` (ACL `healthcheck`) | — (кэш без persistence) | backend `6379` TLS | `redis_crt/key`, `cache_api_password` |
| broker | `broker` + `broker-gate` | ping по loopback / `127.0.0.1:8405` | `brokerdata` (AOF fsync always) | queue `6380` (gate), Redis `127.0.0.1:6379` | `broker_pem`, `crl_pem`, пароли producer/consumer |
| s3 | `s3` + `s3-gate`, one-shot `s3-init` | порт 8334 + реальный TLS-путь в `s3-init`/`wait-s3` | `s3data` | storage `8333` (gate, TLS passthrough), SeaweedFS — только `127.0.0.1` | `s3_crt/key`, `s3_config` (identities) |
| миграции | one-shot `migrate` | exit 0 | — | backend | `database_admin_url` (администратор) |
| OpenBao | `openbao` | `bao status` (0/2 = процесс жив) | `baodata` | secrets `8200` HTTPS | `openbao_crt/key` |
| агенты | `bao-agent-api`, `bao-agent-worker` | файлы секретов отрисованы | `api-secrets`, `worker-secrets` (tmpfs) | secrets (подсеть = `secret_id_bound_cidrs`) | RoleID/SecretID своей роли |
| Collector | `otel-collector` + `otel-gate` | `127.0.0.1:8405/gate-health` | — | telemetry-ingest `4318` (gate), telemetry `8889/8888` (gate) | `otel_collector_*` |
| Prometheus / Loki / Tempo | как в lab6 | `promtool check healthy` по mTLS / — / — | `promdata`, `lokidata`, `tempodata` | telemetry (internal) | свои `*_crt/key` |
| Grafana | `grafana` | — | `grafanadata` | telemetry, ops; **`127.0.0.1:3000`** HTTPS | `grafana_admin_password`, `grafana_crt/key` |
Ключевые решения:
* **mTLS LB→API в приложении, а не sidecar-ом.** Uvicorn принимает только TLS с `CERT_REQUIRED`; подкласс `H11Protocol` (`src/tls.py`) после рукопожатия проверяет SAN/CN по `MTLS_ALLOWED_CLIENTS=lb` и serial по CRL (подпись CA, перечитывание по mtime ≤ 5 с, fail closed) и обрывает соединение до первого байта HTTP. Отказы пишутся в лог (`mtls.rejected` с причиной). Docker-healthcheck не умеет mTLS — для него минимальный listener на `127.0.0.1:8081` (только `/health/*`).
* **Gates для broker и Collector.** Redis и Collector умеют TLS/проверку CA, но не allowlist identity, поэтому TLS завершается в HAProxy-sidecar в том же сетевом namespace (`network_mode: service:…`); backend слушает только loopback. Gate проверяет CA + CRL + CN (`api|worker` / `prometheus`) и логирует отказ с CN. Плюс независимый второй фактор — Redis ACL (`default off`, producer/consumer).
* **Секреты только через OpenBao Agent.** Приложение читает файлы `/run/bao/*` (tmpfs-volume), а не ходит в OpenBao: синхронный путь не зависит от OpenBao, SecretID и токен приложению недоступны. Пароль БД перечитывается при каждом новом соединении пула (`RotatingConnection`), что даёт ротацию без рестарта.
* **S3 только через gate.** При ревизии найдено, что `weed server -s3` открывает неаутентифицированный gRPC S3-шлюза (порт S3 + 10000) на том же адресе, что и S3 (в lab6 — `0.0.0.0` в сети storage); выключить его флагом нельзя. Теперь весь SeaweedFS слушает `127.0.0.1` контейнера, а наружу выдан только порт S3 через `s3-gate` (TCP passthrough, TLS не снимается) — угроза T12.
* **Least privilege в хранилищах.** Роли БД разведены (worker не видит `users/sessions/messages`, у API нет DDL), S3-identities разведены по префиксам (у API нет List и записи в `final/`, поэтому полный обход бакета для сверки перенесён в worker: `ORPHAN_SWEEP_ENABLED=false` у API), ACL broker/кэша — по командам и ключам.
* **Argon2id.** Параметры из окружения с проверкой нижней границы OWASP (m ≥ 19 MiB, t ≥ 2, p ≥ 1 — иначе процесс не стартует). Замер на стенде: `ops.py login-budget`; в песочнице подготовки: hash/verify ≈ 24 мс, 19 MiB; при квоте 0.5 CPU ≈ 21 вход/с на реплику. Варианты m=64 MiB/t=2 (≈130 мс, 64 MiB) сокращают пропускную способность в 5 раз и при 4 слотах KDF требуют 256 MiB из 320M лимита реплики — поэтому оставлена базовая линия OWASP; PHC-строка хранит параметры, и `check_needs_rehash` пересчитывает старые хеши при успешном входе (compare-and-set в БД).
* **Login DoS.** Порядок: (1) общий rate limit в PostgreSQL (атомарный upsert счётчика окна; ключи — SHA-256 username/IP) → 429 + Retry-After **до** KDF; (2) семафор KDF 4/реплику + ожидание слота 2 с → 503 + Retry-After; (3) хеш-«пустышка» для несуществующих username. IP клиента берётся из `X-Forwarded-For`, который LB перезаписывает, — доверие обосновано тем, что к API подключается только identity `lb`.
* **Hardening.** Все сервисы: `cap_drop: ALL`, `no-new-privileges`, лимиты CPU/RAM/PIDs; почти все — non-root и `read_only` + tmpfs; все сети приложения `internal` (нет egress); опубликованы только `127.0.0.1:8443` и `127.0.0.1:3000`. Исключения ниже.
Соответствие переменных `.env.example` skeleton → реализация — в шапке `.env.example`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Проверки на Docker-стенде собираются автоматически: `run.ps1` пишет вывод каждого шага в `evidence/run/<шаг>.txt` и сводку в `evidence/run/SUMMARY.txt`; `ops.py` дописывает каждое действие с контейнерами в `evidence/ops.log`.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий README | Команда/сценарий | Наблюдаемый результат (песочница) | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke по HTTPS | `make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt` | `PASS: lab7 public API scenario` | `evidence/sandbox/public-tests.txt`, `evidence/run/test-smoke.txt` |
| Внешний TLS: доверенный CA / недоверенный | `make test-security` | `PASS: trusted HTTPS works; untrusted CA rejected` | `public-tests.txt`, `run/test-security.txt` |
| **3:** Argon2id, salt+параметры, база ≥ 19 MiB/t2/p1, обоснование | `ops.py login-budget`, `rehash-demo`; код `src/security.py` | PHC `m=19456,t=2,p=1`; замер в `lifecycle.txt` п.7 | `evidence/sandbox/lifecycle.txt` |
| **3:** LB→API mTLS: нет cert / чужой CA / неверная identity → отказ; нет обхода | `ops.py tls-audit` (раздел lb→api) | нет cert, чужой CA (CN=lb), `intruder`, `worker`, `api` → отказ; `lb` → 200; plaintext → нет ответа | `evidence/sandbox/tls_audit.txt` |
| **3:** остальные связи TLS с проверкой сервера; раздельные creds | `ops.py tls-audit` | PG verify-full (plaintext/чужой CA/IP вместо имени → отказ), Redis TLS, S3 HTTPS, broker/collector gates, Loki/Tempo/Prometheus mTLS, OpenBao HTTPS | `tls_audit.txt`, `contracts/trust-matrix.md` |
| **3:** OpenBao не dev, persistent, сервисная auth, scoped policy, без root в app | `ops.py bao-policy`, `infra/openbao/*` | 12/12: свой путь читается; чужой путь, запись, политики, выпуск SecretID — deny; токен TTL ≤ 15 мин, не root | `evidence/sandbox/bao_policy.json` |
| **3:** контейнеры без privileged/host/docker.sock, non-root, caps, лимиты, только нужные порты | `ops.py hardening` | на Docker-стенде; в песочнице не применимо | `evidence/run/hardening.txt` |
| **3:** 429/Retry-After, лимит размера, посторонний, logout, недоверенный TLS | `ops.py security-http`, `in-network expiry` | 24/24: 404 постороннему, `X-User-Id` игнор, logout 204→401→401, 429 + Retry-After, 413 LB/API/upload, TLS ошибки проверки | `evidence/sandbox/security_http.txt` |
| **3:** секреты не в Git/образах/telemetry; локальный bootstrap сертификатов | `.gitignore`, `.dockerignore`, `ops.py leak-check`, `pki.py init` | канарейки и все рабочие секреты не найдены в Loki/Tempo/Prometheus (с положительным контролем) | `evidence/sandbox/leak_check.json` |
| **3:** перезапуск с сохранением данных и отказ реплики по HTTPS | `tests/resilience.py --mode persistence/failover` (hooks `scripts/restart.cmd|sh`, `stop-one.cmd|sh`) | на Docker-стенде | `evidence/run/test-persistence.txt`, `test-failover-*.txt`, `evidence/ops.log` |
| **4:** mTLS broker и Collector, разные identities, чужой cert того же CA без прав | `ops.py tls-audit` (broker, collector) | `intruder`/`lb`/`prometheus` **с верным паролем** → отказ на gate; `api` без AUTH → NOAUTH; ACL: producer не читает/не удаляет, consumer не пишет чужие ключи; `api`/`worker` → OTLP 200, `prometheus` на OTLP и `api` на метрики → отказ | `tls_audit.txt` |
| **4:** нет утечек credentials в hash/ошибках; rehash; бюджет login DoS; общий rate limit | `rehash-demo`, `security-http`, `login-budget` | `m=8192,t=1` → вход → `m=19456,t=2`; 429 с ответами от 2 реплик; поток 150/с: 136 до KDF, 4397 × 429, `/users/me` без ошибок | `lifecycle.txt` п.6–7, `security_http.txt` |
| **4:** ротация секрета и leaf без пересборки, отзыв старой identity, expiry/sealed | `rotate-db-password`, `rotate-lb-cert`, `rotate-secret-id`, `revoke-identity`, `bao-sealed` | старый пароль/сертификат/SecretID отклоняются на новом соединении, новые принимаются, smoke PASS; sealed → API работает, агент восстанавливается после unseal | `lifecycle.txt` п.1–5 |
| **4:** read_only/no-new-privileges/drop caps/tmpfs, исключения; scan с разбором | `ops.py hardening`, `ops.py scan` | pip-audit: 72 уязвимости → обновление → 0, все тесты повторены | `evidence/sandbox/pip-audit-*.txt`, `docs/security/SCAN_TRIAGE.md` |
| **4:** ≥ 6 угроз → контроли → тесты; worker ограничен CPU/RAM/время; TLS-аудит всей матрицы | `security/THREAT_MODEL.md` (12 угроз), `tls_audit.py` (101 проверка) | worker: подпроцесс RLIMIT_AS 1 GiB, timeout 30 с, контейнер 1 CPU/1280M; Pillow только PNG/JPEG-плагины | `THREAT_MODEL.md`, `tls_audit.json` |
| Регрессия lab2–6 | `run.ps1 -Action extra` | 91 тест (58 выполнено по HTTPS, 0 ошибок) + 12 white-box тестов хранилища | `evidence/sandbox/student-tests.txt` |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Конфигурация замеров: Windows 10, 32GB, Ryzen 5 7500f.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| Воздействие | Что ожидаем | Что наблюдали (песочница) | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Ротация пароля `messenger_api` (`rotate-db-password`) | Новые соединения — новым паролем; старый отклоняется; API не перезапускается | агент перерисовал файл за 11 с (интервал был 15 с; в репозитории 5 с), старый пароль: `password authentication failed`, после разрыва всех сессий smoke PASS | Окно ≤ интервала рендера, когда НОВЫЕ соединения со старым паролем получают отказ (открытые работают); потерь нет |
| Ротация `lb-client` + CRL (`rotate-lb-cert`) | Старый принят до отзыва, отклонён после; новый работает | 200/200 → после revoke старый 000 (`certificate_revoked`), новый 200 | ≤ 5 с (перечитывание CRL); LB перезапускается за ~1 с |
| SecretID: ротация и отзыв роли | Старый SecretID бесполезен; после отзыва агент не логинится | old denied / new accepted; after revoke-role denied; recovered | Секреты уже отрисованы → api/worker работают до восстановления |
| OpenBao sealed | Синхронный путь не зависит от OpenBao | файлы на месте, API работает; агент: `Vault is sealed (retry…)`; после unseal перерисовал секрет сам | ≤ 1 мин после unseal (backoff агента) |
| Поток входов 30 с, 8 потоков, 1 IP | 429 до KDF, обычные запросы не падают | 150 попыток/с: 401 = 136, 429 = 4397; `/users/me` p50 9→39 мс, p95 13→112 мс, 0 ошибок | Мгновенно после окончания потока (окно 60 с для этого IP) |
| Рестарт всех хранилищ + OpenBao (`test-persistence`) | Данные и прежний токен живы | на Docker-стенде | см. `evidence/ops.log` |
| Остановка реплики (`test-failover`) ×2 | Запись восстанавливается ≤ 10 с, без дублей | на Docker-стенде | см. `evidence/run/test-failover-*.txt` |
## Исключения hardening (обоснование)
| Сервис | Исключение | Почему и чем компенсировано |
| --- | --- | --- |
| `s3` (SeaweedFS) | процесс uid 0 | образ рассчитан на root и пишет в `/data`; `cap_drop: ALL` (root без capabilities не обходит DAC чужих файлов), rootfs read-only, сеть `storage` internal, админ-порты на `127.0.0.1` |
| `grafana` | rootfs не read-only | совместимость Grafana 11 с read-only rootfs не проверена в подготовке; uid 472, `cap_drop: ALL`, no-new-privileges, доступ только `127.0.0.1` + пароль |
| `tempo-init` | uid 0 + `CAP_CHOWN`, без лимитов | one-shot `chown` volume, завершается до старта tempo, `network_mode: none` |
| `postgres`, `broker`, `prometheus`, `loki`, `tempo`, `openbao`, `grafana` | записываемые volumes | stateful-сервисы: данные только в своём named volume, rootfs read-only (кроме grafana) |
| `openbao` | `disable_mlock = true` | mlock требует `CAP_IPC_LOCK`; на учебном хосте swap не используется для секретов; в production — вернуть mlock |
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
* Один Docker-host: отказ хоста, PostgreSQL, OpenBao, LB не выдерживается; HA не заявляется.
* Redis не связывает клиентский сертификат с ACL-пользователем: ключ `api` + украденный пароль `worker_consumer` дали бы права consumer (смягчено тем, что пароли ролей разведены политиками OpenBao). Loki/Tempo принимают любой сертификат стенда — защищены сегментацией сети `telemetry`.
* Окно ротации пароля БД (до 5 с) для новых соединений; двухпарольная схема (две роли с переключением) — следующий шаг, как и динамические DB credentials OpenBao.
* Все unseal shares и root token — у одного оператора рядом со стендом (документированный учебный компромисс); CA без промежуточного звена, без OCSP; leaf-сертификаты 30 дней с ручным `pki.py renew`.
* trivy-отчёт по ОС-пакетам образов получается только на стенде (`ops.py scan`); его разбор по методике `SCAN_TRIAGE.md` нужно внести после запуска.
* Совместимость Grafana с read-only rootfs и полный прогон в Docker в среде подготовки не проверены — это первое, что подтверждает `run.ps1`.
+17
View File
@@ -0,0 +1,17 @@
# lab5: стенд внедрения отказов worker'а (только учебный, не для обычной работы).
# docker compose -f compose.yaml -f compose.faults.yaml up -d --no-deps worker
# Включает маркеры в filename (fault-crash-after-effects, fault-crash-before-ack,
# fault-transient-until-3, fault-transient-until-replay, fault-permanent, fault-slow)
# и укорачивает аренду/backoff, чтобы сценарии проходили за секунды.
# Возврат к обычному worker: docker compose up -d --no-deps --force-recreate worker
# Используется автоматически: python scripts/ops.py pipeline-faults
services:
worker:
environment:
WORKER_FAULTS: "true"
JOB_TIMEOUT_SECONDS: "25"
JOB_LEASE_GRACE_SECONDS: "2"
JOB_CLAIM_IDLE_SECONDS: "30"
JOB_RETRY_BASE_SECONDS: "1"
JOB_RETRY_MAX_SECONDS: "4"
WORKER_IMAGE_TIMEOUT_SECONDS: "5"
+874
View File
@@ -0,0 +1,874 @@
# Лабораторная 7: стенд lab6 + TLS/mTLS на всех связях, OpenBao, минимальные привилегии.
#
# клиент --TLS--> lb :8443 --mTLS (lb)--> api x N (:8443, allowlist identity lb + CRL)
# api/worker --TLS verify-full--> postgres (роли messenger_api / messenger_worker)
# api --mTLS + ACL--> redis (кэш сессий)
# api/worker --mTLS--> broker-gate (allowlist api|worker + CRL) --loopback--> broker (ACL producer/consumer)
# api/worker --TLS (сквозной, через s3-gate passthrough)--> s3 (раздельные identities по префиксам)
# api/worker --mTLS--> otel-gate (allowlist api|worker) --loopback--> otel-collector --mTLS--> loki/tempo
# prometheus --mTLS--> otel-gate (allowlist prometheus); grafana --mTLS--> prometheus/loki/tempo
# bao-agent-{api,worker} --TLS + AppRole--> openbao (не dev, file storage, ручной unseal)
# -> tmpfs volume {api,worker}-secrets -> /run/bao (ro) в api/worker
#
# Сети (все internal, кроме edge и ops): egress в интернет нет ни у одного сервиса приложения.
# edge lb (публикует 127.0.0.1:8443) ingress lb, api
# backend api, worker, postgres, redis, migrate storage api, worker, s3, s3-init
# queue api, worker, broker(+gate) telemetry-ingest api, worker, otel-collector(+gate)
# telemetry otel-collector, prometheus, loki, tempo, grafana ops grafana (127.0.0.1:3000)
# secrets openbao, bao-agent-api, bao-agent-worker (подсеть BAO_SECRETS_SUBNET = secret_id_bound_cidrs)
# Наружу (только 127.0.0.1): lb 8443 (HTTPS), grafana 3000 (HTTPS + пароль admin).
name: messenger-lab7
# ---------------------------------------------------------------- общие фрагменты
x-hardened: &hardened
read_only: true
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
x-queue-env: &queue-env
BROKER_URL_FILE: /run/bao/broker_url
BROKER_STREAM: ${BROKER_STREAM:-attachments.jobs}
BROKER_GROUP: ${BROKER_GROUP:-attachment-workers}
BROKER_TIMEOUT_SECONDS: ${BROKER_TIMEOUT_SECONDS:-2}
PIPELINE_VERSION: ${PIPELINE_VERSION:-1}
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
JOB_LEASE_GRACE_SECONDS: ${JOB_LEASE_GRACE_SECONDS:-10}
JOB_CLAIM_IDLE_SECONDS: ${JOB_CLAIM_IDLE_SECONDS:-75}
JOB_MAX_DELIVERIES: ${JOB_MAX_DELIVERIES:-10}
JOB_RETRY_BASE_SECONDS: ${JOB_RETRY_BASE_SECONDS:-2}
JOB_RETRY_MAX_SECONDS: ${JOB_RETRY_MAX_SECONDS:-60}
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
RELAY_POLL_INTERVAL_SECONDS: ${RELAY_POLL_INTERVAL_SECONDS:-1}
RELAY_FAST_PATH_GRACE_SECONDS: ${RELAY_FAST_PATH_GRACE_SECONDS:-2}
x-otel-env: &otel-env
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_EXPORTER_OTLP_ENDPOINT: https://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL: http/protobuf
OTEL_EXPORTER_OTLP_CERTIFICATE: /run/secrets/ca_crt
# OTel SDK >= 1.4x задаёт CA на requests.Session, а requests предпочитает REQUESTS_CA_BUNDLE:
# фиксируем его на CA стенда, чтобы внешняя переменная не подменила доверие экспортёра.
REQUESTS_CA_BUNDLE: /run/secrets/ca_crt
OTEL_EXPORTER_OTLP_TIMEOUT: "5"
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
OTEL_SEMCONV_STABILITY_OPT_IN: http
OTEL_BSP_MAX_QUEUE_SIZE: "2048"
OTEL_BSP_MAX_EXPORT_BATCH_SIZE: "512"
OTEL_BSP_EXPORT_TIMEOUT: "5000"
OTEL_BLRP_MAX_QUEUE_SIZE: "2048"
OTEL_BLRP_EXPORT_TIMEOUT: "5000"
OTEL_METRIC_EXPORT_INTERVAL: "10000"
x-s3-env: &s3-env
S3_ENDPOINT: https://s3:8333
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/bao/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/bao/s3_secret_access_key
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-2}
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-10}
S3_MAX_ATTEMPTS: ${S3_MAX_ATTEMPTS:-2}
S3_CIRCUIT_OPEN_SECONDS: ${S3_CIRCUIT_OPEN_SECONDS:-5}
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
ATTACHMENT_GC_INTERVAL_SECONDS: ${ATTACHMENT_GC_INTERVAL_SECONDS:-300}
ATTACHMENT_GC_GRACE_SECONDS: ${ATTACHMENT_GC_GRACE_SECONDS:-900}
ORPHAN_SWEEP_INTERVAL_SECONDS: ${ORPHAN_SWEEP_INTERVAL_SECONDS:-3600}
x-api-env: &api-env
APP_ENV: ${APP_ENV:-lab}
APP_VERSION: ${APP_VERSION:-lab7}
APP_PORT: "8443"
HEALTH_PORT: "8081"
OTEL_SERVICE_NAME: messenger-api
<<: [*queue-env, *otel-env, *s3-env]
OTEL_EXPORTER_OTLP_CLIENT_CERTIFICATE: /run/secrets/api_crt
OTEL_EXPORTER_OTLP_CLIENT_KEY: /run/secrets/api_key
# lab7: HTTPS-сервер с обязательным клиентским сертификатом; allowlist и CRL.
TLS_CERT_FILE: /run/secrets/api_crt
TLS_KEY_FILE: /run/secrets/api_key
TLS_CA_FILE: /run/secrets/ca_crt
TLS_CLIENT_CERT_FILE: /run/secrets/api_crt
TLS_CLIENT_KEY_FILE: /run/secrets/api_key
MTLS_ALLOWED_CLIENTS: lb
MTLS_CRL_FILE: /run/secrets/crl_pem
# Секреты — файлы, отрисованные OpenBao Agent (tmpfs volume api-secrets).
DATABASE_URL_FILE: /run/bao/database_url
CACHE_URL_FILE: /run/bao/cache_url
SESSION_STORE: postgres
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
DB_POOL_MIN: ${DB_POOL_MIN:-1}
DB_POOL_MAX: ${DB_POOL_MAX:-10}
DB_POOL_TIMEOUT_SECONDS: ${DB_POOL_TIMEOUT_SECONDS:-3}
DB_POOL_MAX_LIFETIME_SECONDS: ${DB_POOL_MAX_LIFETIME_SECONDS:-600}
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
CACHE_TIMEOUT_SECONDS: ${CACHE_TIMEOUT_SECONDS:-0.25}
CACHE_RETRY_AFTER_SECONDS: ${CACHE_RETRY_AFTER_SECONDS:-5}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
READY_DB_TIMEOUT_SECONDS: ${READY_DB_TIMEOUT_SECONDS:-1}
DRAIN_SECONDS: ${DRAIN_SECONDS:-3}
GRACEFUL_TIMEOUT_SECONDS: ${GRACEFUL_TIMEOUT_SECONDS:-10}
KEEP_ALIVE_SECONDS: ${KEEP_ALIVE_SECONDS:-30}
# lab7: Argon2id (базовая линия OWASP), бюджет KDF и общий rate limit входа.
ARGON2_MEMORY_KIB: ${ARGON2_MEMORY_KIB:-19456}
ARGON2_ITERATIONS: ${ARGON2_ITERATIONS:-2}
ARGON2_PARALLELISM: ${ARGON2_PARALLELISM:-1}
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-4}
KDF_QUEUE_TIMEOUT_SECONDS: ${KDF_QUEUE_TIMEOUT_SECONDS:-2}
LOGIN_RATE_WINDOW_SECONDS: ${LOGIN_RATE_WINDOW_SECONDS:-60}
LOGIN_RATE_PER_USER: ${LOGIN_RATE_PER_USER:-10}
LOGIN_RATE_PER_IP: ${LOGIN_RATE_PER_IP:-300}
MAX_JSON_BODY_BYTES: ${MAX_JSON_BODY_BYTES:-65536}
RUN_MIGRATIONS_ON_START: "false"
ORPHAN_SWEEP_ENABLED: "false"
S3_DOWNLOAD_DEADLINE_SECONDS: ${S3_DOWNLOAD_DEADLINE_SECONDS:-5}
S3_UPLOAD_DEADLINE_SECONDS: ${S3_UPLOAD_DEADLINE_SECONDS:-10}
MAX_CONCURRENT_UPLOADS: ${MAX_CONCURRENT_UPLOADS:-4}
UPLOAD_QUEUE_TIMEOUT_SECONDS: ${UPLOAD_QUEUE_TIMEOUT_SECONDS:-5}
UPLOAD_READ_TIMEOUT_SECONDS: ${UPLOAD_READ_TIMEOUT_SECONDS:-60}
IMAGE_DECODE_CONCURRENCY: ${IMAGE_DECODE_CONCURRENCY:-2}
x-api-healthcheck: &api-healthcheck
# Loopback health listener (127.0.0.1:8081, только /health/*); LB проверяет по mTLS.
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8081/health/ready', timeout=2).read()"]
interval: 3s
timeout: 2s
retries: 2
start_period: 20s
x-api-limits: &api-limits
limits:
cpus: "0.50"
memory: 320M
pids: 128
x-api-secrets: &api-secrets
- ca_crt
- crl_pem
- api_crt
- api_key
x-api-common: &api-common
<<: *hardened
image: messenger-api:${APP_VERSION:-lab7}
environment: *api-env
secrets: *api-secrets
volumes:
- api-secrets:/run/bao:ro
tmpfs:
- /tmp:size=16m,uid=10001,gid=10001
networks: [ingress, backend, storage, queue, telemetry-ingest]
dns_opt: ["timeout:1", "attempts:1"]
services:
# ------------------------------------------------------------------ PostgreSQL
postgres:
image: postgres:16.4-alpine
<<: *hardened
restart: unless-stopped
# Сразу uid 70 (postgres): entrypoint не нужен root/gosu, capabilities не нужны.
user: "70:70"
entrypoint: ["/bin/sh", "/opt/messenger/entrypoint.sh"]
command:
- postgres
- -c
- max_connections=100
- -c
- ssl=on
- -c
- ssl_cert_file=/run/pgtls/server.crt
- -c
- ssl_key_file=/run/pgtls/server.key
- -c
- ssl_min_protocol_version=TLSv1.2
- -c
- hba_file=/opt/messenger/pg_hba.conf
- -c
- password_encryption=scram-sha-256
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password, postgres_crt, postgres_key, db_api_password, db_worker_password]
volumes:
- pgdata:/var/lib/postgresql/data
- ./infra/postgres/entrypoint.sh:/opt/messenger/entrypoint.sh:ro
- ./infra/postgres/pg_hba.conf:/opt/messenger/pg_hba.conf:ro
- ./infra/postgres/initdb:/docker-entrypoint-initdb.d:ro
tmpfs:
- /run/pgtls:size=1m,uid=70,gid=70,mode=0700
- /var/run/postgresql:size=1m,uid=70,gid=70
- /tmp:size=16m,uid=70,gid=70
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger -h /var/run/postgresql"]
interval: 3s
timeout: 3s
retries: 20
start_period: 10s
networks: [backend]
stop_grace_period: 30s
deploy:
resources:
limits: {cpus: "1.00", memory: 512M, pids: 200}
# ------------------------------------------------------------------ Redis: кэш сессий
redis:
image: redis:7.4.1-alpine
<<: *hardened
restart: unless-stopped
user: redis
entrypoint: ["/bin/sh", "/opt/messenger/cache.sh"]
secrets: [ca_crt, redis_crt, redis_key, cache_api_password]
volumes:
- ./infra/redis/cache.sh:/opt/messenger/cache.sh:ro
tmpfs: ["/tmp:size=1m", "/data:size=1m"]
healthcheck:
test: ["CMD-SHELL", "redis-cli --tls --cacert /run/secrets/ca_crt --cert /run/secrets/redis_crt --key /run/secrets/redis_key -h 127.0.0.1 --user healthcheck --pass x --no-auth-warning ping | grep -q PONG"]
interval: 3s
timeout: 3s
retries: 20
networks: [backend]
deploy:
resources:
limits: {cpus: "0.25", memory: 96M, pids: 64}
# ------------------------------------------------------------------ broker + mTLS gate
broker:
image: redis:7.4.1-alpine
<<: *hardened
restart: unless-stopped
user: redis
entrypoint: ["/bin/sh", "/opt/messenger/broker.sh"]
secrets: [broker_api_password, broker_worker_password]
volumes:
- brokerdata:/data
- ./infra/redis/broker.sh:/opt/messenger/broker.sh:ro
tmpfs: ["/tmp:size=1m"]
healthcheck:
test: ["CMD-SHELL", "redis-cli -h 127.0.0.1 --user healthcheck --pass x --no-auth-warning ping | grep -q PONG"]
interval: 3s
timeout: 3s
retries: 20
networks: [queue]
stop_grace_period: 10s
deploy:
resources:
limits: {cpus: "0.50", memory: 320M, pids: 64}
broker-gate:
image: haproxy:2.8.30-alpine
<<: *hardened
restart: unless-stopped
# Тот же сетевой namespace, что у broker: Redis слушает только его 127.0.0.1:6379.
network_mode: "service:broker"
volumes:
- ./infra/haproxy/broker-gate.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
secrets: [ca_crt, crl_pem, broker_pem]
tmpfs: ["/tmp:size=1m"]
depends_on:
broker:
condition: service_healthy
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8405/gate-health"]
interval: 3s
timeout: 2s
retries: 10
deploy:
resources:
limits: {cpus: "0.25", memory: 64M, pids: 64}
# ------------------------------------------------------------------ S3 (SeaweedFS)
s3:
image: chrislusf/seaweedfs:${SEAWEEDFS_VERSION:-4.50}
<<: *hardened
restart: unless-stopped
entrypoint: ["/usr/bin/weed"]
cap_add: [DAC_OVERRIDE, CHOWN, FOWNER]
command:
- server
- -dir=/data
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
- -s3
# lab7: S3 API и его неаутентифицированный gRPC (8334+10000) — только loopback;
# в сеть storage порт S3 выдаёт s3-gate (TCP passthrough, TLS сквозной).
- -s3.port=8334
- -s3.ip.bind=127.0.0.1
- -s3.config=/run/secrets/s3_config
- -s3.iam=false
- -s3.port.iceberg=0
- -s3.port.lance=0
- -s3.autoCreateBucket=false
# lab7: S3 API только по HTTPS (сертификат s3, SAN DNS:s3).
- -s3.cert.file=/run/secrets/s3_crt
- -s3.key.file=/run/secrets/s3_key
- -s3.concurrentUploadLimitMB=128
- -master.volumeSizeLimitMB=256
- -master.electionTimeout=2s
- -master.telemetry=false
- -volume.max=0
environment:
GOMEMLIMIT: 400MiB
secrets: [s3_config, s3_crt, s3_key]
volumes:
- s3data:/data
tmpfs: ["/tmp:size=64m"]
healthcheck:
# Порт S3 открыт (TLS проверяют s3-init и `ops.py wait-s3` с CA стенда).
test: ["CMD-SHELL", "nc -z 127.0.0.1 8334 || wget -q -O /dev/null https://127.0.0.1:8334/healthz"]
interval: 3s
timeout: 3s
retries: 20
start_period: 10s
networks: [storage]
stop_grace_period: 10s
deploy:
resources:
limits: {cpus: "1.00", memory: 512M, pids: 256}
s3-gate:
image: haproxy:2.8.30-alpine
<<: *hardened
restart: unless-stopped
network_mode: "service:s3"
volumes:
- ./infra/haproxy/s3-gate.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
tmpfs: ["/tmp:size=1m"]
depends_on:
s3:
condition: service_healthy
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8405/gate-health"]
interval: 3s
timeout: 2s
retries: 10
deploy:
resources:
limits: {cpus: "0.25", memory: 64M, pids: 64}
s3-init:
build: .
image: messenger-api:${APP_VERSION:-lab7}
<<: *hardened
command: ["python", "-m", "src.s3_bootstrap"]
restart: "no"
environment:
S3_ENDPOINT: https://s3:8333
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
TLS_CA_FILE: /run/secrets/ca_crt
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
S3_WORKER_ACCESS_KEY_ID_FILE: /run/secrets/s3_worker_access_key_id
S3_WORKER_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_worker_secret_access_key
secrets: [ca_crt, s3_admin_access_key_id, s3_admin_secret_access_key, s3_access_key_id,
s3_secret_access_key, s3_worker_access_key_id, s3_worker_secret_access_key]
tmpfs: ["/tmp:size=8m"]
depends_on:
s3-gate:
condition: service_healthy
networks: [storage]
deploy:
resources:
limits: {cpus: "0.50", memory: 192M, pids: 64}
# ------------------------------------------------------------------ миграции (администратор БД)
migrate:
build: .
image: messenger-api:${APP_VERSION:-lab7}
<<: *hardened
command: ["python", "-m", "src.migrate"]
restart: "no"
environment:
DATABASE_URL_FILE: /run/secrets/database_admin_url
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
DB_STATEMENT_TIMEOUT_MS: "60000"
MIGRATE_WAIT_SECONDS: "60"
OTEL_SDK_DISABLED: "true"
secrets: [database_admin_url, ca_crt]
tmpfs: ["/tmp:size=8m"]
depends_on:
postgres:
condition: service_healthy
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 256M, pids: 64}
# ------------------------------------------------------------------ OpenBao + agents
openbao:
image: openbao/openbao:${OPENBAO_VERSION:-2.1.0}
<<: *hardened
restart: unless-stopped
user: openbao
entrypoint: ["/bin/bao"]
command: ["server", "-config=/openbao/config/server.hcl"]
secrets: [ca_crt, openbao_crt, openbao_key]
volumes:
- baodata:/openbao/file
- ./infra/openbao/server.hcl:/openbao/config/server.hcl:ro
tmpfs: ["/tmp:size=8m"]
healthcheck:
# 0 = unsealed, 2 = sealed (процесс жив, ждёт оператора), 1 = ошибка.
test: ["CMD-SHELL", "bao status -address=https://127.0.0.1:8200 -ca-cert=/run/secrets/ca_crt -tls-server-name=openbao >/dev/null 2>&1; test $$? -ne 1"]
interval: 5s
timeout: 3s
retries: 20
networks: [secrets]
deploy:
resources:
limits: {cpus: "0.50", memory: 256M, pids: 128}
bao-agent-api:
image: openbao/openbao:${OPENBAO_VERSION:-2.1.0}
<<: *hardened
restart: unless-stopped
user: "10001:10001"
entrypoint: ["/bin/bao"]
command: ["agent", "-config=/openbao/agent/agent.hcl"]
secrets:
- ca_crt
- {source: bao_api_role_id, target: bao_role_id}
- {source: bao_api_secret_id, target: bao_secret_id}
volumes:
- ./infra/openbao/agent-api.hcl:/openbao/agent/agent.hcl:ro
- api-secrets:/run/bao
tmpfs: ["/tmp:size=8m"]
healthcheck:
test: ["CMD-SHELL", "test -s /run/bao/database_url && test -s /run/bao/cache_url && test -s /run/bao/broker_url && test -s /run/bao/s3_secret_access_key"]
interval: 3s
timeout: 2s
retries: 60
depends_on:
openbao:
condition: service_started
networks: [secrets]
deploy:
resources:
limits: {cpus: "0.25", memory: 128M, pids: 64}
bao-agent-worker:
image: openbao/openbao:${OPENBAO_VERSION:-2.1.0}
<<: *hardened
restart: unless-stopped
user: "10001:10001"
entrypoint: ["/bin/bao"]
command: ["agent", "-config=/openbao/agent/agent.hcl"]
secrets:
- ca_crt
- {source: bao_worker_role_id, target: bao_role_id}
- {source: bao_worker_secret_id, target: bao_secret_id}
volumes:
- ./infra/openbao/agent-worker.hcl:/openbao/agent/agent.hcl:ro
- worker-secrets:/run/bao
tmpfs: ["/tmp:size=8m"]
healthcheck:
test: ["CMD-SHELL", "test -s /run/bao/database_url && test -s /run/bao/broker_url && test -s /run/bao/s3_secret_access_key"]
interval: 3s
timeout: 2s
retries: 60
depends_on:
openbao:
condition: service_started
networks: [secrets]
deploy:
resources:
limits: {cpus: "0.25", memory: 128M, pids: 64}
# ------------------------------------------------------------------ API и worker
api:
build: .
<<: *api-common
restart: unless-stopped
depends_on:
postgres:
condition: service_healthy
redis:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
bao-agent-api:
condition: service_healthy
# Только сеть ingress (LB) и зависимости; порт 8443 — mTLS, наружу не публикуется.
expose: ["8443"]
healthcheck: *api-healthcheck
stop_signal: SIGTERM
stop_grace_period: 20s
deploy:
replicas: ${API_REPLICAS:-2}
resources: *api-limits
worker:
build: .
image: messenger-api:${APP_VERSION:-lab7}
<<: *hardened
command: ["python", "-m", "src.worker"]
restart: unless-stopped
environment:
<<: [*queue-env, *otel-env, *s3-env]
OTEL_SERVICE_NAME: messenger-worker
OTEL_EXPORTER_OTLP_CLIENT_CERTIFICATE: /run/secrets/worker_crt
OTEL_EXPORTER_OTLP_CLIENT_KEY: /run/secrets/worker_key
APP_VERSION: ${APP_VERSION:-lab7}
APP_ENV: ${APP_ENV:-lab}
INSTANCE_ID_MODE: hostname
TLS_CA_FILE: /run/secrets/ca_crt
TLS_CLIENT_CERT_FILE: /run/secrets/worker_crt
TLS_CLIENT_KEY_FILE: /run/secrets/worker_key
DATABASE_URL_FILE: /run/bao/database_url
DB_POOL_MIN: "1"
DB_POOL_MAX: ${WORKER_DB_POOL_MAX:-6}
DB_POOL_TIMEOUT_SECONDS: ${DB_POOL_TIMEOUT_SECONDS:-3}
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
# Upload-worker: CPU/RAM/время одного изображения ограничены (подпроцесс + RLIMIT_AS + timeout).
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
WORKER_IMAGE_TIMEOUT_SECONDS: ${WORKER_IMAGE_TIMEOUT_SECONDS:-30}
WORKER_IMAGE_MEMORY_MB: ${WORKER_IMAGE_MEMORY_MB:-1024}
WORKER_FAULTS: "false"
secrets: [ca_crt, worker_crt, worker_key]
volumes:
- worker-secrets:/run/bao:ro
depends_on:
postgres:
condition: service_healthy
broker-gate:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
bao-agent-worker:
condition: service_healthy
healthcheck:
test: ["CMD", "python", "-c", "import os,time,sys; sys.exit(0 if time.time()-os.path.getmtime('/tmp/worker-heartbeat') < 90 else 1)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 20s
stop_signal: SIGTERM
stop_grace_period: 75s
tmpfs:
- /tmp:size=16m,uid=10001,gid=10001
networks: [backend, storage, queue, telemetry-ingest]
dns_opt: ["timeout:1", "attempts:1"]
deploy:
replicas: ${WORKER_REPLICAS:-1}
resources:
limits: {cpus: "1.00", memory: 1280M, pids: 128}
# Экземпляр с коротким TTL — только для автотеста истечения сессии (профиль ttl).
api-short-ttl:
<<: *api-common
profiles: [ttl]
restart: "no"
environment:
<<: *api-env
SESSION_TTL_SECONDS: ${SHORT_SESSION_TTL_SECONDS:-2}
depends_on:
api:
condition: service_healthy
expose: ["8443"]
healthcheck: *api-healthcheck
deploy:
resources: *api-limits
# ------------------------------------------------------------------ LB
lb:
image: haproxy:2.8.30-alpine
<<: *hardened
restart: unless-stopped
ports:
- "127.0.0.1:${HTTPS_PORT:-8443}:8443"
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
secrets: [ca_crt, lb_public_pem, lb_client_pem]
tmpfs: ["/tmp:size=1m"]
depends_on:
api:
condition: service_healthy
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8404/lb-health"]
interval: 5s
timeout: 2s
retries: 3
stop_grace_period: 5s
networks: [edge, ingress]
deploy:
resources:
limits: {cpus: "0.50", memory: 128M, pids: 64}
# ------------------------------------------------------------------ наблюдаемость
otel-collector:
image: otel/opentelemetry-collector-contrib:0.115.1
<<: *hardened
restart: unless-stopped
command: ["--config=/etc/otelcol/collector.yaml"]
volumes:
- ./infra/otel/collector.yaml:/etc/otelcol/collector.yaml:ro
secrets: [ca_crt, otel_collector_crt, otel_collector_key]
environment:
GOMEMLIMIT: 200MiB
networks: [telemetry-ingest, telemetry]
stop_grace_period: 10s
deploy:
resources:
limits: {cpus: "0.50", memory: 384M, pids: 128}
otel-gate:
image: haproxy:2.8.30-alpine
<<: *hardened
restart: unless-stopped
network_mode: "service:otel-collector"
volumes:
- ./infra/haproxy/otel-gate.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
secrets: [ca_crt, crl_pem, otel_collector_pem]
tmpfs: ["/tmp:size=1m"]
depends_on: [otel-collector]
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8405/gate-health"]
interval: 5s
timeout: 2s
retries: 10
deploy:
resources:
limits: {cpus: "0.25", memory: 64M, pids: 64}
prometheus:
image: prom/prometheus:v2.55.1
<<: *hardened
restart: unless-stopped
command:
- --config.file=/etc/prometheus/prometheus.yml
- --web.config.file=/etc/prometheus/web.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=7d
volumes:
- ./infra/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
- ./infra/prometheus/web.yml:/etc/prometheus/web.yml:ro
- ./infra/prometheus/client.yml:/etc/prometheus/client.yml:ro
- ./infra/prometheus/rules:/etc/prometheus/rules:ro
- promdata:/prometheus
secrets: [ca_crt, prometheus_crt, prometheus_key]
healthcheck:
test: ["CMD", "promtool", "check", "healthy", "--url=https://127.0.0.1:9090", "--http.config.file=/etc/prometheus/client.yml"]
interval: 5s
timeout: 3s
retries: 20
networks: [telemetry]
deploy:
resources:
limits: {cpus: "0.50", memory: 512M, pids: 128}
loki:
image: grafana/loki:3.3.2
<<: *hardened
restart: unless-stopped
command: ["-config.file=/etc/loki/loki.yaml"]
volumes:
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
- lokidata:/loki
secrets: [ca_crt, loki_crt, loki_key]
tmpfs: ["/tmp:size=16m"]
networks: [telemetry]
deploy:
resources:
limits: {cpus: "0.50", memory: 512M, pids: 128}
tempo-init:
image: grafana/tempo:2.6.1
user: root
entrypoint: ["chown", "10001:10001", "/var/tempo"]
restart: "no"
cap_drop: [ALL]
cap_add: [CHOWN]
security_opt: ["no-new-privileges:true"]
volumes:
- tempodata:/var/tempo
network_mode: none
tempo:
image: grafana/tempo:2.6.1
<<: *hardened
restart: unless-stopped
command: ["-config.file=/etc/tempo/tempo.yaml"]
volumes:
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
- tempodata:/var/tempo
secrets: [ca_crt, tempo_crt, tempo_key]
tmpfs: ["/tmp:size=16m"]
depends_on:
tempo-init:
condition: service_completed_successfully
networks: [telemetry]
deploy:
resources:
limits: {cpus: "0.50", memory: 512M, pids: 128}
grafana:
image: grafana/grafana:11.4.0
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
restart: unless-stopped
environment:
GF_SERVER_PROTOCOL: https
GF_SERVER_CERT_FILE: /run/secrets/grafana_crt
GF_SERVER_CERT_KEY: /run/secrets/grafana_key
GF_SERVER_ROOT_URL: https://localhost:${GRAFANA_PORT:-3000}/
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
GF_SECURITY_COOKIE_SECURE: "true"
GF_USERS_ALLOW_SIGN_UP: "false"
GF_AUTH_ANONYMOUS_ENABLED: "false"
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_PLUGINS_PLUGIN_ADMIN_ENABLED: "false"
GF_DASHBOARDS_DEFAULT_HOME_DASHBOARD_PATH: /var/lib/grafana/dashboards/messenger.json
secrets: [grafana_admin_password, ca_crt, grafana_crt, grafana_key]
volumes:
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
- grafanadata:/var/lib/grafana
ports:
- "127.0.0.1:${GRAFANA_PORT:-3000}:3000"
depends_on:
prometheus:
condition: service_healthy
networks: [telemetry, ops]
deploy:
resources:
limits: {cpus: "0.50", memory: 256M, pids: 128}
# ------------------------------------------------------------------ инструменты оператора
# PKI без Python-зависимостей на хосте: docker compose --profile tools run --rm tools scripts/pki.py init
tools:
build: .
image: messenger-api:${APP_VERSION:-lab7}
profiles: [tools]
user: "0:0"
entrypoint: ["python"]
working_dir: /work
network_mode: none
cap_drop: [ALL]
cap_add: [CHOWN, DAC_OVERRIDE, FOWNER]
security_opt: ["no-new-privileges:true"]
volumes:
- ./scripts:/work/scripts:ro
- ./secrets:/work/secrets
# TLS/ACL-аудит всей матрицы (student-tests/security/tls_audit.py). Подключается к каждой
# внутренней сети как «посторонний клиент»; получает только тестовые материалы оператора.
audit:
image: messenger-api:${APP_VERSION:-lab7}
profiles: [audit]
<<: *hardened
entrypoint: ["python"]
working_dir: /app
environment:
AUDIT_SECRETS: /run/secrets
OTEL_SDK_DISABLED: "true"
secrets: [ca_crt, crl_pem, intruder_crt, intruder_key, lb_client_pem, api_crt, api_key, worker_crt, worker_key,
prometheus_crt, prometheus_key, grafana_crt, grafana_key, redis_crt, redis_key,
cache_api_password, broker_api_password, broker_worker_password,
db_api_password, db_worker_password, s3_access_key_id, s3_secret_access_key,
s3_worker_access_key_id, s3_worker_secret_access_key]
volumes:
- ./student-tests:/app/student-tests:ro
tmpfs: ["/tmp:size=16m,uid=10001,gid=10001"]
networks: [ingress, backend, storage, queue, telemetry-ingest, telemetry, secrets]
volumes:
pgdata:
s3data:
brokerdata:
baodata:
promdata:
lokidata:
tempodata:
grafanadata:
# Секреты, отрисованные OpenBao Agent: только память (tmpfs), владелец uid 10001,
# переживают рестарт контейнеров api/worker, но не рестарт Docker (агент отрисует заново).
api-secrets:
driver: local
driver_opts: {type: tmpfs, device: tmpfs, o: "size=1m,uid=10001,gid=10001,mode=0700"}
worker-secrets:
driver: local
driver_opts: {type: tmpfs, device: tmpfs, o: "size=1m,uid=10001,gid=10001,mode=0700"}
networks:
edge: {}
ops: {}
ingress: {internal: true}
backend: {internal: true}
storage: {internal: true}
queue: {internal: true}
telemetry-ingest: {internal: true}
telemetry: {internal: true}
secrets:
internal: true
ipam:
config:
- subnet: ${BAO_SECRETS_SUBNET:-172.30.250.0/24}
secrets:
# PKI (scripts/pki.py): ca.key НЕ монтируется никуда.
ca_crt: {file: ./secrets/pki/ca.crt}
crl_pem: {file: ./secrets/pki/crl.pem}
lb_public_pem: {file: ./secrets/pki/lb-public.pem}
lb_client_pem: {file: ./secrets/pki/lb-client.pem}
api_crt: {file: ./secrets/pki/api.crt}
api_key: {file: ./secrets/pki/api.key}
worker_crt: {file: ./secrets/pki/worker.crt}
worker_key: {file: ./secrets/pki/worker.key}
postgres_crt: {file: ./secrets/pki/postgres.crt}
postgres_key: {file: ./secrets/pki/postgres.key}
redis_crt: {file: ./secrets/pki/redis.crt}
redis_key: {file: ./secrets/pki/redis.key}
broker_pem: {file: ./secrets/pki/broker.pem}
s3_crt: {file: ./secrets/pki/s3.crt}
s3_key: {file: ./secrets/pki/s3.key}
otel_collector_crt: {file: ./secrets/pki/otel-collector.crt}
otel_collector_key: {file: ./secrets/pki/otel-collector.key}
otel_collector_pem: {file: ./secrets/pki/otel-collector.pem}
loki_crt: {file: ./secrets/pki/loki.crt}
loki_key: {file: ./secrets/pki/loki.key}
tempo_crt: {file: ./secrets/pki/tempo.crt}
tempo_key: {file: ./secrets/pki/tempo.key}
prometheus_crt: {file: ./secrets/pki/prometheus.crt}
prometheus_key: {file: ./secrets/pki/prometheus.key}
grafana_crt: {file: ./secrets/pki/grafana.crt}
grafana_key: {file: ./secrets/pki/grafana.key}
openbao_crt: {file: ./secrets/pki/openbao.crt}
openbao_key: {file: ./secrets/pki/openbao.key}
intruder_crt: {file: ./secrets/pki/intruder.crt}
intruder_key: {file: ./secrets/pki/intruder.key}
# Учётные данные (scripts/init_secrets.py). Приложению — только через OpenBao.
postgres_password: {file: ./secrets/postgres_password}
database_admin_url: {file: ./secrets/database_admin_url}
db_api_password: {file: ./secrets/db_api_password}
db_worker_password: {file: ./secrets/db_worker_password}
cache_api_password: {file: ./secrets/cache_api_password}
broker_api_password: {file: ./secrets/broker_api_password}
broker_worker_password: {file: ./secrets/broker_worker_password}
s3_config: {file: ./secrets/s3_config.json}
s3_admin_access_key_id: {file: ./secrets/s3_admin_access_key_id}
s3_admin_secret_access_key: {file: ./secrets/s3_admin_secret_access_key}
s3_access_key_id: {file: ./secrets/s3_access_key_id}
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
s3_worker_access_key_id: {file: ./secrets/s3_worker_access_key_id}
s3_worker_secret_access_key: {file: ./secrets/s3_worker_secret_access_key}
grafana_admin_password: {file: ./secrets/grafana_admin_password}
# AppRole (scripts/bao.py): только для агентов своей роли.
bao_api_role_id: {file: ./secrets/bao/api_role_id}
bao_api_secret_id: {file: ./secrets/bao/api_secret_id}
bao_worker_role_id: {file: ./secrets/bao/worker_role_id}
bao_worker_secret_id: {file: ./secrets/bao/worker_secret_id}
+38 -27
View File
@@ -1,37 +1,48 @@
# Матрица доверия — заполнить в решении lab7
# Матрица доверия — решение lab7 (целевая оценка 4)
Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
Это обязательная матрица покрытия. Для каждой строки указаны реальный порт, endpoint, CA, service identity, проверка SAN/ACL, срок жизни credentials и команда положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
**Общее для всех строк.** Один локальный CA стенда (`scripts/pki.py`, EC P-256, 10 лет; `ca.key` есть только у оператора в `secrets/pki/` и не монтируется ни в один контейнер). Leaf-сертификаты — 30 дней (`PKI_LEAF_DAYS`), CRL — 30 дней, перевыпуск `pki.py renew`. Минимальная версия TLS — 1.2 везде, где продукт позволяет её задать. Identity = CN (и SAN DNS) сертификата сервиса: `lb`, `api`, `worker`, `prometheus`, `grafana`, `otel-collector`, ... Сертификат `intruder` подписан тем же CA и не входит ни в один allowlist — им доказывается «доверенный CA ≠ право». Сводный автоматический тест всей матрицы: `python scripts/ops.py tls-audit` (101 проверка, `evidence/tls_audit.json`).
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
| --- | --- | --- | --- |
| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO |
| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO |
| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO |
| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO |
| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO |
| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO |
| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO |
| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO |
| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO |
| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO |
| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO |
| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO |
| Клиент → ingress/LB | **TLS 1.2+** на `127.0.0.1:8443` (`lb-public`, SAN `localhost`, `127.0.0.1`, `::1`, `lb`), HTTP-порта нет; Bearer-сессия (256 бит, SHA-256 в БД, TTL 3600 с) | Expiry/отзыв сессии проверяются в PostgreSQL (кэш не продлевает); **общий для реплик** rate limit входа в PostgreSQL (10 попыток/мин на username, 300/мин на IP) → `429` + `Retry-After` до Argon2id; лимит тела 64 KiB (LB) / 10 MiB upload (API); внешние `X-Forwarded-For`, `traceparent`, `tracestate`, `baggage` удаляются | `infra/haproxy/haproxy.cfg` (frontend public). `make test-security`, `ops.py security-http` (24 проверки: пустой trust store, чужое имя, plaintext, 429 с ответами от ≥2 реплик, 413), `ops.py in-network expiry` |
| LB → API (все реплики) | **mTLS**: API слушает только HTTPS `api:8443` с `CERT_REQUIRED` (CA стенда), после рукопожатия — allowlist identity **`lb`** + CRL (`src/tls.py`); LB проверяет сервер (`verify required`, `verifyhost api`). Порт API не публикуется; health — только `127.0.0.1:8081` внутри контейнера | Ротация leaf `lb-client` без пересборки (`pki.py rotate` → `restart lb`), отзыв старого через CRL — API перечитывает CRL ≤ 5 с, `no-ssl-reuse` исключает обход через TLS resumption; просроченный/битый CRL → отказ всем | `infra/haproxy/haproxy.cfg` (server-template ... `ssl verify required crt lb_client_pem verifyhost api no-ssl-reuse`), `src/tls.py`, `src/server.py`. Отрицательные: нет cert, чужой CA с CN=lb, `intruder`, `worker`, `api` как клиент, plaintext, порт 8081 → отказ; `lb` → 200 (`tls-audit`). Ротация/отзыв: `ops.py rotate-lb-cert` |
| API/worker → PostgreSQL | **TLS `sslmode=verify-full`** (CA + SAN `postgres`), `pg_hba`: только `hostssl` + SCRAM, `hostnossl … reject`; раздельные роли **`messenger_api`** (DML своих таблиц, без DDL/TRUNCATE) и **`messenger_worker`** (только таблицы конвейера вложений; нет доступа к `users`, `sessions`, `messages`); миграции — администратор `messenger` только в one-shot `migrate` | Ротация пароля роли без рестарта: `ALTER ROLE` + OpenBao KV → агент перерисовывает `database_url` (≤ 5 с) → пул открывает новые соединения новым паролем (`src/db.py RotatingConnection`, `max_lifetime` 600 с). mTLS к БД не включён (допустимое усиление) | `infra/postgres/pg_hba.conf`, `entrypoint.sh`, `initdb/10-roles.sh`, `migrations/006_security.sql`. Отрицательные: plaintext, чужой CA, IP вместо имени, `worker` читает `users`/`sessions`, `api` делает DDL/TRUNCATE → отказ (`tls-audit`). Ротация: `ops.py rotate-db-password api` |
| API/worker → S3 | **TLS** (`https://s3:8333`, SAN `s3`, boto3 `verify=CA`), TLS завершает сам SeaweedFS; он слушает только `127.0.0.1:8334` своего namespace, порт в сеть выдаёт `s3-gate` (TCP passthrough) — так недоступен неаутентифицированный gRPC S3-шлюза (`8334+10000`), которым можно переписать identities; раздельные identities SeaweedFS: **API** — `Write staging/*`, `Read staging/* final/* originals/*`, без List; **worker** — `Write final/* staging/* originals/*`, `Read`, `List` бакета; admin-ключ — только one-shot `s3-init`; анонимный доступ — 403 | Отказ на чужой префикс (API → `final/` = AccessDenied, API LIST = AccessDenied, worker вне префиксов = AccessDenied); ключи хранятся в OpenBao KV по ролям | `secrets/s3_config.json` (`scripts/init_secrets.py`), `src/s3_bootstrap.py`, `infra/haproxy/s3-gate.cfg`. `tls-audit` (8 проверок прав + TLS/имя/plaintext + gRPC/master/filer/8334 недоступны), `ops.py s3-check` |
| API/worker → broker | **TLS** через `broker-gate` (`broker:6380`, SAN `broker`); Redis слушает только `127.0.0.1:6379` своего namespace; ACL: `default off`, producer **`api_producer`** (XADD, создание группы), consumer **`worker_consumer`** (XREADGROUP/XACK/XAUTOCLAIM/XPENDING/XTRIM/XADD), ни у кого нет `@dangerous/@admin` | **mTLS**: gate требует клиентский сертификат CA стенда + CRL и пропускает только CN **`api`** и **`worker`** (Redis 7.4 не умеет allowlist SAN — отсюда sidecar с эквивалентной проверкой, разрешённой заданием). `intruder`, `lb`, `prometheus` с верным паролем ACL → отказ на gate; `api` без AUTH → `NOAUTH` | `infra/haproxy/broker-gate.cfg`, `infra/redis/broker.sh`, `compose.yaml` (`network_mode: service:broker`). `tls-audit`: 5 отрицательных identity, 7 ACL-отказов, loopback-порт 6379 недоступен, plaintext → отказ |
| API/worker → Collector | **TLS** через `otel-gate` (`otel-collector:4318`); Collector слушает только `127.0.0.1:14318/18889/18888/13133`; сеть `telemetry-ingest` — только api, worker, collector | **mTLS с раздельными identities**: gate пропускает на OTLP только CN **`api`** и **`worker`** (у каждого свой сертификат, `OTEL_EXPORTER_OTLP_CLIENT_*`); метрики `:8889/:8888` — только CN **`prometheus`**. Перекрёстные роли отклоняются | `infra/haproxy/otel-gate.cfg`, `infra/otel/collector.yaml`. `tls-audit`: нет cert / чужой CA / `intruder` / `prometheus` / `lb` → отказ, `api`/`worker` → 200; `api` на `:8889` → отказ |
| Collector → telemetry backends | **mTLS** Collector → Tempo (OTLP gRPC `tempo:4317`) и → Loki (`https://loki:3100/otlp`): CA + имя сервера, клиентский cert `otel-collector`; Prometheus скрейпит Collector по mTLS (identity `prometheus`) | Loki/Tempo принимают любой клиентский сертификат CA стенда (allowlist identity у них нет) — **least privilege обеспечен сегментацией**: сеть `telemetry` (internal) содержит только collector, prometheus, loki, tempo, grafana; api/worker туда не подключены (`hardening`: из api/worker `loki/tempo/prometheus` → `no-dns`). Ротация — как любой leaf (`pki.py rotate otel-collector`) | `infra/loki/loki.yaml`, `infra/tempo/tempo.yaml` (`http_tls_config`, `RequireAndVerifyClientCert`, внутренний gRPC на 127.0.0.1). `tls-audit`: нет cert / чужой CA / plaintext → отказ |
| Grafana → data sources | **mTLS** к Prometheus (`--web.config.file`, `RequireAndVerifyClientCert`), Loki, Tempo: проверка сервера (CA + `serverName`), клиентский cert `grafana` | Отрицательные проверки доступа к backend без cert / с чужим CA / plaintext; Prometheus без публикации порта на хост | `infra/grafana/provisioning/datasources/datasources.yaml` (`tlsAuth`, `tlsAuthWithCACert`, `$__file{…}`), `infra/prometheus/web.yml`. `tls-audit` (12 проверок) |
| API/worker/agent → OpenBao | **TLS** `https://openbao:8200` (SAN `openbao`), не dev-mode, file storage на volume; приложение **не ходит в OpenBao само** — OpenBao Agent своей роли: AppRole (RoleID + SecretID), политика только `kv/data/messenger/<role>` (read) | Токен агента: TTL 15 мин, max 1 ч, renew агентом; SecretID: TTL 7 дней, `secret_id_bound_cidrs`/`token_bound_cidrs` = подсеть сети `secrets`; ротация SecretID с уничтожением старого; отзыв identity (`revoke-role`: все SecretID и токены роли); sealed/недоступен — уже отрисованные секреты продолжают работать, агент повторяет с backoff | `infra/openbao/*.hcl`, `scripts/bao.py`. `ops.py bao-policy` (12 allow/deny), `rotate-secret-id`, `revoke-identity`, `bao-sealed`; `tls-audit`: имя, plaintext, KV без токена → 403 |
| Оператор → OpenBao/Grafana/S3 admin | OpenBao и S3-admin **не публикуются**: оператор работает через `docker exec` (граница доверия — доступ к Docker хоста), root token/unseal — в `operator-only/` (0600, вне Git/образов); Grafana — **HTTPS** `127.0.0.1:3000` + пароль admin, анонимный вход и регистрация выключены, cookie Secure | Разделение: root token только у оператора (init/configure/rotation), у приложения — AppRole с read-only политикой; admin-ключ S3 — только у one-shot `s3-init`; статистика HAProxy — только `127.0.0.1` внутри контейнера lb | `scripts/bao.py`, `compose.yaml` (`ports` только lb и grafana). `ops.py hardening`: опубликованы только `127.0.0.1:8443` и `127.0.0.1:3000`; `security-http`: Grafana без пароля → 401 |
| API → Redis (кэш сессий) | **TLS** (`port 0`, `tls-port 6379`) + ACL: `default off`, `messenger_api` — только ключи `sess:*`, без `@dangerous/@admin`; в ACL-файле SHA-256 пароля | **mTLS** (`tls-auth-clients yes`, клиентский cert `api`); ротация пароля — новый пароль в `secrets/cache_api_password` + `kv patch` + `restart redis`, агент перерисует `cache_url` | `infra/redis/cache.sh`. `tls-audit`: `SET sess:*` ok; другой ключ, `FLUSHALL`, `CONFIG`, `KEYS` → NOPERM; без AUTH → NOAUTH; без cert / чужой CA / plaintext → отказ |
| Replication/кластерные каналы | **N/A**: один экземпляр PostgreSQL, Redis, broker, SeaweedFS (`weed server` — master/volume/filer в одном процессе, внутренние порты на `127.0.0.1` контейнера), OpenBao без HA. Межузловых каналов нет | N/A — отказ узла хранилища не выдерживается (см. REPORT.md, ограничения) | `compose.yaml` (`-ip.bind=127.0.0.1`), `ops.py s3-check` (admin-порты SeaweedFS недоступны из сети) |
Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход.
## Каналы, которые тоже не должны быть обходом
## Обязательные отрицательные проверки
| Канал | Как устроен | Почему не обход |
| --- | --- | --- |
| Health реплики API | `127.0.0.1:8081` внутри контейнера, только `GET /health/live|ready` (`src/health.py`) | Слушает loopback: из сети недоступен (`tls-audit`: refused). Бизнес-маршрутов нет |
| Health LB / gates | `127.0.0.1:8404` (stats, `/lb-health`), `127.0.0.1:8405` (gates) | Только loopback контейнера, порты не публикуются; `ops.py` читает stats через `docker compose exec lb` |
| Loopback hop gate → broker / collector / s3 | `network_mode: service:broker` / `service:otel-collector` / `service:s3`: gate и сервис в одном сетевом namespace, backend слушает `127.0.0.1` (у S3 — без снятия TLS) | Plaintext только внутри namespace одного сервиса; снаружи backend-порты недоступны (`tls-audit`: 6379, 14318, 18889, 18888, 13133 → refused) |
| Bootstrap | `pki.py` в контейнере `tools` с `network_mode: none`; `bao.py` — `docker exec` в openbao; `s3-init`, `migrate` — one-shot | Секреты передаются через env процесса `docker exec` (не argv хоста) или stdin, не печатаются; one-shot сервисы не остаются запущенными |
| Scrape метрик | Prometheus → otel-gate `:8889/:8888` (mTLS, CN `prometheus`) | Другие identity (api и т.д.) отклоняются gate |
| Egress | все сети приложения `internal: true` | api/worker не могут выйти в интернет (`hardening`: `1.1.1.1:443` unreachable) |
1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен».
2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех.
3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity.
4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity.
5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3.
6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить.
## Обязательные отрицательные проверки — где доказано
1. **HTTPS снаружи**: доверенный CA + имя → 200; пустой trust store и чужое имя → ошибка проверки сертификата, а не «сервер недоступен» — `make test-security`, `security-http`, `tls-audit` (client → lb).
2. **LB → API**: без cert, чужой CA (с CN `lb`), доверенный CA с identity `intruder`/`worker`/`api` → отказ; `lb` → 200 — `tls-audit` (lb → api).
3. **Broker и Collector (уровень 4)**: тот же набор + перекрёстные роли (`prometheus` на ingest, `api` на метрики) — `tls-audit`.
4. **ACL пользователей**: посторонний не читает metadata/content и не прикрепляет чужой файл, `X-User-Id` не меняет Bearer identity — `security-http`.
5. **OpenBao**: политика читает только свой путь, запись политики/чужого пути/выпуск SecretID запрещены, worker не получает секреты API, логин SecretID вне разрешённой сети отклоняется — `bao-policy`.
6. **Отзыв (уровень 4)** с новыми соединениями: CRL + `no-ssl-reuse` для LB-сертификата, пароль БД проверяется на новом соединении, SecretID — новым логином — `rotate-lb-cert`, `rotate-db-password`, `rotate-secret-id`, `revoke-identity`.
## Bootstrap и эксплуатация
В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу.
OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии.
Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap.
* **Кто владеет чем.** Оператор (тот, у кого Docker на хосте): `secrets/pki/ca.key`, `operator-only/openbao-init.json` (root token + 3 unseal shares, порог 2), `operator-only/approle-accessors.json`, исходные пароли ролей в `secrets/`. В образы и Git ничего из этого не попадает (`.gitignore`, `.dockerignore`).
* **Первый секрет для доступа к OpenBao** — SecretID роли в `secrets/bao/<role>_secret_id`, который монтируется **только** в контейнер агента этой роли. Он живёт 7 дней, работает только из подсети `secrets`, перевыпускается `ops.py rotate-secret-id` (старый уничтожается). Приложение SecretID не видит; токен агента не пишется на диск.
* **После рестарта OpenBao** он sealed: `python scripts/bao.py unseal` (hook `restart` делает это сам как действие оператора). Пока sealed, api/worker работают на уже отрисованных секретах (tmpfs-volume живёт, пока запущен агент) и даже перезапускаются (`ops.py bao-sealed`); новые ротации не доставляются до unseal.
* **Renewal.** Токены агентов продлевает агент (до `token_max_ttl` 1 ч, затем повторный логин SecretID). Сертификаты: `pki.py renew --days 7` перевыпускает истекающие leaf и CRL; потребителя перезапускают без пересборки (`docker compose restart <svc>`), файлы пишутся «на месте», поэтому bind-mount видит новое содержимое.
* **Компромисс учебного стенда.** Все unseal shares у одного оператора и рядом со стендом (в production — у разных людей, root token отзывается после настройки и создаётся `bao operator generate-root`). CA без промежуточного звена и без OCSP.
+231
View File
@@ -0,0 +1,231 @@
# Отчёт — лабораторная 3
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка: **4**; трек 5 не заявляется
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0; PostgreSQL 16, Redis 7, HAProxy 2.8 LTS. Документация: Docker Compose (services, deploy, depends_on, healthcheck), HAProxy 2.8 Configuration Manual (server-template, resolvers, http-check, retries/redispatch, http-error), PostgreSQL (INSERT … ON CONFLICT, deferrable constraints, advisory locks), Uvicorn (graceful shutdown). Помощь ИИ (Claude) использовалась при проектировании схемы идемпотентности и drain-фазы, написании скриптов стенда, тестов и формулировке отчёта; решения проверены тестами, приведёнными ниже.
## Запуск из чистого clone
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`. Зависимости Python закреплены в `requirements.txt`. Нужны Docker Desktop / Docker Engine с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Вариант оркестрации — **Compose + HAProxy** (Swarm не используется).
```powershell
$env:PYTHONUTF8 = "1"
# 1. Локальные секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
python scripts/init_secrets.py
copy .env.example .env # Linux/macOS: cp .env.example .env
# 2. Проверка, сборка и запуск: postgres+redis -> migrate (однократно) -> api x2 -> lb
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# 3. Ожидание готовности: 2 реплики healthy, обе UP в HAProxy, /health/ready через LB = 200
python scripts/ops.py wait
python scripts/ops.py ps # X-Instance-Id <-> контейнер <-> статус в LB
```
Время прогрева: первая сборка образа 1–2 мин; дальше стенд готов примерно через 20–30 с (healthcheck PostgreSQL, миграции, `start_period` API, `rise 2` в HAProxy).
```powershell
# Публичные проверки (Linux/macOS: make check / make test / make test-persistence ... )
python scripts/check_contract.py
python tests/smoke.py --base-url http://localhost:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd # Linux/macOS: scripts/restart.sh
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd # Linux/macOS: scripts/stop-one.sh
python scripts/ops.py restore # вернуть остановленную реплику; затем повторить failover для другой
# Собственные проверки уровня 4
python student-tests/run_all.py --base-url http://localhost:8080 # API, auth, идемпотентность через реплики, race
python scripts/ops.py in-network storage # тесты с прямым доступом к БД (внутри compose-сети)
python scripts/ops.py in-network expiry # истечение сессии (api-short-ttl, TTL 2 с)
python student-tests/failover_series.py --output evidence/failover_series.json # каждая реплика по очереди, SIGTERM
python student-tests/failover_series.py --mode kill --output evidence/failover_series_kill.json # то же, SIGKILL
python student-tests/rolling_update_load.py --output evidence/rolling_update.json # rolling update под нагрузкой
python tests/load.py --duration 30 --concurrency 8 --output evidence/load.json
# Всё перечисленное одной командой с записью результатов в evidence/ (~8–10 мин):
python scripts/collect_evidence.py
```
**Rolling update.** Задать новый тег `APP_VERSION` (например, `lab3.1`) в `.env` или в окружении и выполнить `python scripts/ops.py rolling-update`: сборка образа, однократные миграции (`docker compose run --rm migrate`), затем для каждой старой реплики: +1 новая → healthy и UP в HAProxy → graceful stop старой → удаление.
**Остановка.** Безопасная, данные сохраняются: `docker compose --env-file .env --profile ttl down` (volume `pgdata` остаётся). Намеренное удаление всех учебных данных — только вручную: `docker compose --env-file .env --profile ttl down -v`. Hooks и тесты никогда не удаляют volumes.
**Действия оператора:** создать секреты до первого запуска; пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` не перезаписывает существующие файлы. После `stop-one`/тестов отказа вернуть реплику `python scripts/ops.py restore`.
## Архитектура и решения
```
127.0.0.1:8080 (единственная публичная точка входа API)
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки GET /health/ready
│ 127.0.0.1:8404 — страница состояния (UP/DOWN реплик), только чтение
│ обнаружение реплик: Docker DNS имени `api` -> server-template api1..api6
▼
┌───────── api (deploy.replicas = 2, без ports, без container_name) ─────────┐
│ api-1: X-Instance-Id = hostname = короткий ID контейнера 0.5 CPU / 256M │
│ api-2: ... 0.5 CPU / 256M │
└──────┬──────────────────────────────────────────────────────────┬──────────┘
▼ ▼
postgres 16 (1 CPU / 512M, volume pgdata) redis 7 (0.25 CPU / 96M)
источник истины: users, chats, messages, общий кэш проверок токена,
sessions, idempotency_keys, schema_migrations без persistence
▲
migrate (one-shot): python -m src.migrate — до старта реплик, один раз
```
Порядок старта задаётся `depends_on`: `postgres`, `redis` (healthy) → `migrate` (`service_completed_successfully`) → `api` (healthy) → `lb`. API-реплики не публикуют порты: `expose: 8080` только внутри сети `backend`. Наружу (на 127.0.0.1) опубликован только `lb`.
### Почему HAProxy, а не Nginx
В open-source Nginx нет активных health checks: он узнаёт об отказе только по ошибкам живых запросов (`max_fails`). HAProxy сам опрашивает `/health/ready` с заданным периодом. Поэтому время обнаружения отказа можно указать числом, а фаза осушения при SIGTERM действительно выводит реплику из ротации до остановки. `server-template` + `resolvers` синхронизируют список реплик с DNS-записями сервиса `api` каждые 2 с. Масштабирование и rolling update поэтому не требуют перезапуска или перечитывания конфига LB. Sticky sessions не используются (`balance roundrobin`, без cookie).
### Что перенесено из lab2 и что изменено
Перенесены без изменения семантики: модели и валидация, формат ошибок, keyset-пагинация, Argon2id, Basic → Bearer, сессии в PostgreSQL + кэш в Redis с надёжной инвалидацией (`session_cache_invalidations`), собственные тесты lab2. Схема lab2 уже рассчитана на несколько реплик: сессии лежат в общей БД, кэш — в общем Redis, а долг инвалидации перечитывается всеми репликами не реже раза в секунду.
Изменено в lab3:
1. **Переход 2 → 3 по контракту:** `X-Instance-Id` во всех ответах API, включая ошибки и health (middleware + `error_response`). Обязательный `Idempotency-Key` для `POST /chats/{id}/messages`.
2. **Общая идемпотентность** — таблица `idempotency_keys` (миграция `003`), подробности ниже.
3. **Миграции вынесены из реплик** в one-shot сервис `migrate` (`RUN_MIGRATIONS_ON_START=false`). Реплика готова только когда в `schema_migrations` есть последняя версия, которую знает её образ.
4. **Graceful shutdown с осушением** (`src/server.py`): по SIGTERM реплика сразу отвечает 503 на readiness, но ещё 3 с обслуживает запросы, затем штатно останавливается.
5. **Лимит одновременных хешей Argon2id** (`PASSWORD_HASH_CONCURRENCY=4`). У реплики лимит 256M, а threadpool FastAPI — до 40 потоков; без лимита всплеск входов мог бы занять 40 × 19 MiB и привести к OOM-kill.
6. **Readiness** использует отдельный короткий таймаут БД (`READY_DB_TIMEOUT_SECONDS=1`) меньше `timeout check` HAProxy.
7. Тесты lab2 адаптированы к переходу: при отправке сообщения добавляется `Idempotency-Key`, имя проекта сменилось на `messenger-lab3`. Тест истечения сессии и тесты хранилища теперь идут внутри compose-сети, без публикации портов в обход LB.
### Идемпотентность отправки сообщения (`src/storage.py`, `migrations/003_idempotency_keys.sql`)
- Ключ: `PRIMARY KEY (user_id, method, chat_id, idem_key)` — ровно область из контракта «пользователь + метод + путь чата + ключ». В строке хранятся SHA-256 канонического JSON тела (`sort_keys`, без пробелов: порядок ключей и форматирование не важны), `message_id`, `expires_at = now + IDEMPOTENCY_TTL_SECONDS (86400)`.
- **Одна транзакция READ COMMITTED:**
1. `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE expires_at <= now() RETURNING`. Конкурентная транзакция с тем же ключом **ждёт на уникальном индексе**, пока первая не сделает COMMIT/ROLLBACK. Это и даёт «ровно одно сообщение» при одновременных повторах через разные реплики: арбитр — PostgreSQL, а не память процесса.
2. Ключ наш → `INSERT messages … WHERE EXISTS (членство)` с заранее выбранным id. FK `message_id → messages` объявлен `DEFERRABLE INITIALLY DEFERRED` и проверяется при COMMIT, поэтому `message_id NOT NULL` с первого шага.
3. Ключ уже подтверждён → снова проверяется членство (и сессия — dependency `current_user`). Hash совпал → 201 и то же сообщение (+ информационный заголовок `Idempotency-Replayed: true`); не совпал → 409.
- Любая ошибка или обрыв до COMMIT откатывает и ключ, и сообщение: транзиентный 5xx не фиксируется. 404 и 400 ключ не «сжигают». Истёкший, но ещё не удалённый ключ можно занять заново. Фоновая очистка раз в 5 мин удаляет истёкшие ключи пачками под `pg_try_advisory_xact_lock`, то есть одной репликой за раз.
- Порядок проверок: аутентификация → ключ (нет/неверный → 400) → тело → доступ к чату (404).
### Readiness, таймауты и остановка — согласованные значения
| Параметр | Значение | Почему |
| --- | --- | --- |
| HAProxy `inter` / `fastinter` / `fall` / `rise` | 1 с / 0.5 с / 2 / 2 | DOWN после 2 неудачных проверок подряд, вторая — через 0.5 с |
| HAProxy `timeout check` | 1.5 с | больше `READY_DB_TIMEOUT_SECONDS` = 1 с |
| HAProxy `timeout connect`, `retries`, `option redispatch 1` | 1 с, 2, да | несостоявшееся соединение повторяется на другой реплике; запрос ещё не отправлен — безопасно и для POST |
| HAProxy `timeout server` | 10 с | > максимум запроса API: пул 3 с + `statement_timeout` 5 с |
| `resolvers` hold valid/obsolete | 2 с / 2 с | новые/исчезнувшие контейнеры попадают в LB за ≤ ~2–3 с |
| API `DRAIN_SECONDS` | 3 с | > худшее обнаружение DOWN при ответах 503 (≈ 1 + 0.5 с + задержка проверок) |
| API `GRACEFUL_TIMEOUT_SECONDS` | 10 с | дождаться запросов в обработке (≤ 8 с) |
| compose `stop_grace_period` (api) | 20 с | > 3 + 10 — SIGKILL не прилетает во время graceful stop |
| Docker healthcheck api | 3 с / timeout 2 с / retries 2 / start_period 20 с | для `depends_on` и `ops.py` (rolling update ждёт healthy) |
| Uvicorn keep-alive | 30 с | дольше, чем LB держит простаивающие соединения к серверу |
**Максимальное время обнаружения отказа балансировщиком:** graceful stop (сразу 503) и падение процесса (соединение отклонено) — до ≈ 1.5–2 с; зависшая реплика без ответа — до 1 + 1.5 + 0.5 + 1.5 = **4.5 с**. Пока реплика не помечена DOWN, запрос к ней, не сумевший соединиться за 1 с, уходит на другую. **Измерено** (`evidence/failover_series*.json`, `evidence/shutdown_timeline.txt`): DOWN через 0.96–1.41 с после SIGTERM и через 1.10–1.28 с после SIGKILL.
**Временная шкала graceful stop** (`evidence/shutdown_timeline.txt`): SIGTERM → +0.01 с readiness 503 → +1.30 с HAProxy DOWN (новые запросы больше не приходят) → +3.02 с закрыт listening-сокет → +3.12 с процесс завершён. LB выводит реплику из ротации на ~1.7 с раньше, чем она перестаёт принимать соединения, поэтому graceful stop не даёт ошибок клиенту.
**Критичные зависимости readiness:** PostgreSQL (и наличие мигрированной схемы). Redis не критичен — это кэш с обходом (circuit breaker 5 с), как в lab2. Если ни одна реплика не готова, LB сам отвечает `503` в общем JSON-формате ошибок с тем же `X-Request-Id` (`http-error`, `evidence/lb_errors.txt`). `X-Instance-Id` в таком ответе нет — контракт это допускает.
### Миграции и совместимость с работающей версией
- `migrate` выполняется **один раз** до старта реплик. Повтор — no-op (`schema_migrations`); две одновременные копии сериализуются `pg_advisory_lock` (`evidence/migrations.txt`: копия B применила 3 миграции, копия A — `nothing applied`). Реплики миграции не запускают и не готовы, пока схема не мигрирована: на пустой БД readiness = 503 `Database schema is not migrated`, после `migrate` — 200 без рестарта.
- Rolling update применяет миграции **до** замены реплик, поэтому допускаются только **расширяющие** (expand) миграции, совместимые со старой версией. `003` только добавляет таблицу. Проверено: код lab2 (старая версия) проходит smoke lab2 на схеме lab3 одновременно с репликами lab3 (`evidence/migrations.txt`).
- Ограничение: смешанный парк «lab2 + lab3» во время обновления формально совместим по схеме, но реплики lab2 не требуют и не записывают `Idempotency-Key`. Поэтому гарантия идемпотентности действует только когда все реплики уже lab3. Удаляющие/переименовывающие миграции нужно делить на expand → переключение кода → contract отдельным релизом.
### Соответствие `.env.example` и реальной конфигурации
| Переменная | Где используется |
| --- | --- |
| `APP_HOST`, `APP_PORT` | внутри контейнера Uvicorn слушает `0.0.0.0:8080`; `APP_PORT` — публикуемый порт LB `127.0.0.1:${APP_PORT}` |
| `LB_STATS_PORT` | страница состояния HAProxy `127.0.0.1:8404` (`ops.py`, тесты отказов) |
| `APP_ENV`, `APP_VERSION` | `APP_VERSION` — тег образа `messenger-api:${APP_VERSION}` (rolling update) и строка в логе старта |
| `SESSION_TTL_SECONDS`, `SHORT_SESSION_TTL_SECONDS` | TTL сессий; второй — для `api-short-ttl` (профиль `ttl`) |
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Compose secrets `/run/secrets/database_url`, `/run/secrets/cache_url` |
| `SESSION_STORE` | `postgres` — источник истины сессий; Redis — общий кэш |
| `SESSION_CACHE_TTL_SECONDS` | TTL записи кэша и «надгробия» logout |
| `API_REPLICAS` | `deploy.replicas` сервиса `api` (2); ожидаемое число реплик в `ops.py` |
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения результата ключа (≥ 86400, иначе API не стартует) |
| `DB_POOL_*`, `DB_*_TIMEOUT*` | пул (1..10 на реплику), ожидание соединения 3 с, connect 3 с, statement 5 с |
| `CACHE_TIMEOUT_SECONDS`, `CACHE_RETRY_AFTER_SECONDS` | таймаут Redis 250 мс и обход кэша на 5 с после ошибки |
| `READY_DB_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `GRACEFUL_TIMEOUT_SECONDS`, `KEEP_ALIVE_SECONDS` | readiness и остановка — таблица выше |
| `PASSWORD_HASH_CONCURRENCY` | одновременных хешей Argon2id на реплику |
`max_connections=100` у PostgreSQL ≥ (2 реплики + 1 во время rolling update) × 10 + migrate + api-short-ttl + запас.
### Инфраструктура
| Роль | Service | Версия | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
| --- | --- | --- | --- | --- | --- | --- | --- |
| load_balancer | `lb` | `haproxy:2.8.30-alpine` | `wget /lb-health` (monitor-uri) | — (конфиг ro bind) | `backend`; **127.0.0.1:8080**, 127.0.0.1:8404 | — | 0.5 CPU / 128M |
| api × 2 | `api` | сборка `Dockerfile`, `python:3.12.7-slim-bookworm` | `/health/ready` (БД + схема + не в drain) | нет, `read_only` + tmpfs `/tmp` | `backend`, `expose 8080` (наружу нет) | secrets `database_url`, `cache_url` | 0.5 CPU / 256M |
| миграции | `migrate` | тот же Dockerfile | one-shot, exit 0 | — | `backend` | secret `database_url` | 0.5 CPU / 256M |
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | `backend`, наружу нет | secret `postgres_password` | 1 CPU / 512M |
| redis | `redis` | `redis:7.4.1-alpine`, user `redis` | `redis-cli ping` | нет (кэш) | `backend`, наружу нет | secret `redis_password` | 0.25 CPU / 96M |
| тест TTL | `api-short-ttl` (профиль `ttl`) | образ api | `/health/ready` | — | `backend`, не в LB, портов нет | как api | 0.5 CPU / 256M |
`container_name` нигде не задан. Секреты общие только там, где нужны: пароль PostgreSQL есть только у `postgres`, пароль Redis — у `redis`, строки подключения — у `api`/`migrate`. Bootstrap: схема создаётся сервисом `migrate` на пустом volume; повтор безопасен. Hooks: `scripts/restart.sh|.cmd` → `ops.py restart` (stop lb+api → restart postgres+redis → start api → healthy → start lb); `scripts/stop-one.sh|.cmd` → `ops.py stop-one` (одна реплика по `TARGET_INSTANCE_ID`, остаётся остановленной). Каждое действие пишется в `evidence/ops.log`.
## Доказательства критериев
**Стенд, на котором сняты приложенные результаты.** Windows 10, Ryzen 5 7500f, 32 GB RAM. PostgreSQL 16, Redis 7 и HAProxy **2.8.30**, Docker Desktop. Код приложения, миграции и **тот же `infra/haproxy/haproxy.cfg`** использованы как есть. Только `server-template` + DNS заменены на 6 статических слотов, реплики запущены как `python -m src.server` (2 процесса), CPU/RAM-лимитов нет. Compose-файл проверен `docker compose config`, конфиг HAProxy — `haproxy -c` той же версии 2.8.30, что в образе. `scripts/ops.py` прогнан против заглушки `docker`.
### Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
| Контракт | `make check`, `make validate`, `docker compose config --quiet`, `haproxy -c` | все PASS / valid | `evidence/check.txt` |
| Стенд в `compose.yaml`, ≥ 2 реплики, одна точка входа, общая БД и хранилище сессий | `compose.yaml`; `python scripts/ops.py ps` | `api` × 2 без `ports`; публикуется только `lb`; одна `postgres`, один `redis` | `compose.yaml`, `evidence/stand.txt` (после `collect_evidence.py`) |
| Разные запросы одного пользователя — разными репликами без повторного входа | 20 × `GET /users/me` с одним токеном через LB | чередование двух `X-Instance-Id`, все 200 | `evidence/instances.txt` |
| Остановка любой одной реплики: ≤ 10 с, чтение/запись продолжаются, подтверждённые доступны | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` × 2 (вторая реплика после восстановления первой) + SIGKILL | PASS ×3; `failed_attempts: 0`; запись не прерывалась (первая запись после возврата hook — 3.3 с = длительность graceful hook; при SIGKILL — 0.11 с); остановлены разные реплики | `evidence/failover.txt` |
| Какой процесс реально остановлен | журнал hook | `SIGTERM nat-api-4` в прогоне 1, `SIGTERM nat-api-3` в прогоне 2 (в compose — `evidence/ops.log`: имя контейнера, IP, состояние после) | `evidence/failover.txt` |
| Повтор POST с тем же ключом не создаёт дубль, в т.ч. конкурентно и при смене реплики | smoke; `test_idempotency.py` (24 параллельных POST, Barrier); failover-тест повторяет неопределённые POST тем же ключом | 24 × 201, один `id`, ответы через **обе** реплики, в истории 1 сообщение; дублей нет ни в одном сценарии отказа | `evidence/student-tests.txt`, `evidence/failover*.txt` |
| Persistence: рестарт стенда с volumes и тем же токеном | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; PID до/после: postgres 1469→2901, redis 1479→2911, api 2846→2917 и 2866→2925, HAProxy перезапущен | `evidence/persistence.txt` |
| Миграции отдельно и согласованно | сервис `migrate`; readiness проверяет схему | реплики не мигрируют; повтор no-op; гонка двух `migrate` безопасна | `evidence/migrations.txt` |
### Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Health/readiness, timeouts и SIGTERM согласованы; LB исключает недоступный backend; период проверок и макс. время обнаружения | `infra/haproxy/haproxy.cfg`, `src/server.py`; замер шкалы остановки | проверки каждые 1 с (0.5 с после первой неудачи), fall 2; обнаружение ≤ 1.5–2 с (503/RST), ≤ 4.5 с (зависание). Замер: 503 на readiness через 0.01 с, DOWN через 1.30 с, приём прекращён через 3.02 с | таблица выше, `evidence/shutdown_timeline.txt`, `evidence/lb_log_sample.txt` |
| Последовательно остановить каждую реплику (восстанавливая предыдущую); RPS, ошибки, время восстановления | `failover_series.py` (4 писателя + 2 читателя, timeout клиента 2 с) | **SIGTERM:** 0 ошибок; DOWN в LB через 1.41 / 0.96 с; RPS 407 → 324 (одна реплика) → 354 после restore; p95 30–31 мс; реплика снова в ротации через 3.0 / 2.6 с после restore. **SIGKILL:** 6 / 3 оборванных запроса (502) в окне ≤ 0.21 с после kill, все записи повторены тем же ключом без дублей; DOWN через 1.28 / 1.10 с | `evidence/failover_series.json`, `evidence/failover_series_kill.json`, `evidence/failover_series.txt` |
| Общая идемпотентность параллельными запросами с одним ключом | `test_idempotency.py`, `test_storage_idempotency.py` | 24 параллельных → 1 сообщение через 2 реплики; 12 разных тел с одним ключом → один победитель, остальные 409; 16 потоков на уровне хранилища → одна вставка; сбой после вставки ключа и сообщения → ни ключа, ни сообщения, повтор успешен | `evidence/student-tests.txt` |
| CPU/RAM-лимиты; API без портов в обход LB; секреты/хранилища общие только где нужно; нет `container_name` | `compose.yaml` | лимиты у всех сервисов (api 0.5 CPU / 256M); у `api` только `expose`; `container_name` отсутствует; RSS реплики под нагрузкой 132 MB < 256M | `compose.yaml`, `evidence/load.txt` |
| Rolling update под нагрузкой | `rolling_update_load.py` → `ops.py rolling-update` (на нативном стенде — тот же алгоритм) | замена 2 реплик за 11.8 с, **0 ошибок**, RPS 388 → 381 во время → 385 после, p95 31 → 34 мс; после — только новые реплики; 5709 подтверждённых сообщений на месте, дублей нет | `evidence/rolling_update.json`, `evidence/rolling_update.txt` |
| Миграции однократно и совместимы с работающей версией | сервис `migrate`; код lab2 на схеме lab3 | см. раздел «Миграции»; ограничение смешанного парка описано | `evidence/migrations.txt` |
| Возможности lab2 сохранены | `run_all.py` (47 тестов + race), `test_expiry` на экземпляре с TTL 2 с | все PASS (1 skip — expiry в общем прогоне, запускается отдельно и проходит) | `evidence/student-tests.txt` |
## Эксперименты и отказы
**Гипотеза.** Если всё состояние, от которого зависит корректность (данные, сессии, ключи идемпотентности), лежит в общем PostgreSQL, а LB активно проверяет готовность и реплика по SIGTERM сначала выходит из ротации, то: (1) graceful-остановка любой реплики и rolling update проходят без ошибок для клиента; (2) падение реплики даёт только кратковременные ошибки запросов, которые были в обработке, и клиент безопасно повторяет их с тем же ключом; (3) дублей и потерь подтверждённых сообщений нет. Подтверждено измерениями ниже.
**Методика.** Генератор `student-tests/loadgen.py`: 4 писателя (POST с `Idempotency-Key`; при обрыве, timeout или 5xx — повтор с тем же ключом и телом до 201) и 2 читателя (история, `/users/me`); timeout клиента 2 с; опрос страницы HAProxy каждые 100 мс. Каждый раунд: 5 с прогрева → действие → 15 с без реплики → restore → 3 с. После раунда — полный обход истории и сверка со всеми подтверждёнными ответами. Стенд — см. «Доказательства»: клиент на той же машине, без лимитов. Повторов для статистики нет: разброс RPS между раундами ±5–8 %.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| SIGTERM реплики 1 под нагрузкой | 0 ошибок, LB выводит до остановки | 0 ошибок; DOWN через 1.41 с; реплика отвечала ещё 1.34 с (до DOWN) | hook 3.3 с; RPS 407 → 324 → 354; возврат в ротацию 3.0 с после restore; потерь нет |
| SIGTERM реплики 2 | то же | 0 ошибок; DOWN через 0.96 с | hook 3.4 с; RPS 393 → 304 → 348; возврат 2.6 с; потерь нет |
| SIGKILL реплики 1 | ошибки только у запросов в обработке, повтор без дублей | 6 × 502 в окне 0.21 с, 4 повтора записи тем же ключом; DOWN через 1.28 с | новые запросы успешны сразу (redispatch); возврат 2.8 с; дублей нет |
| SIGKILL реплики 2 | то же | 3 × 502 в окне 0.14 с, 1 повтор записи; DOWN через 1.10 с | возврат 2.7 с; дублей нет |
| Публичный failover (×2 graceful, ×1 kill) | PASS, ≤ 10 с | PASS; 0 failed attempts | первая запись после hook: 3.3 с / 3.4 с / 0.11 с |
| Rolling update 2 реплик под нагрузкой | 0 ошибок, после — только новые | 0 ошибок; `[api1,api2] → [api1,api2,api3] → [api2,api3] → … → [api3,api4]` | 11.8 с; RPS не просел (388 / 381 / 385) |
| Рестарт API + PostgreSQL + Redis + LB | данные и сессия сохраняются | PASS, тот же токен | потерь нет |
| Все реплики недоступны | LB отвечает 503 в формате контракта | JSON 503 с `request_id` = `X-Request-Id` | — |
**Нагрузка** (`tests/load.py`, closed-loop POST, без retry): 30 с, concurrency 8 → 10 955 успешных, 0 ошибок, **364 RPS**, p50 19.9 мс, p95 42.8 мс, p99 53.4 мс (только успешные); набор данных — один чат, ~11 тыс. новых сообщений. RSS каждой реплики 132 MB, 14 потоков. Во время отказа одной реплики RPS падает примерно на 20 %: при 2 vCPU на машину одна реплика (один процесс Uvicorn) упирается в CPU. Это пропускная способность HTTP-подтверждений в данном профиле, а не максимум системы; с лимитами 0.5 CPU на реплику в Docker цифры будут ниже.
## Ограничения и следующие шаги
- **Отказы, которые выдерживаются:** остановка или падение любой одной API-реплики, rolling update реплик, рестарт всего стенда с volumes. **Не выдерживаются:** отказ `lb`, `postgres` (единственная копия, без репликации) и Docker-host — это SPOF. Отказ `redis` не влияет на корректность (обход кэша, как в lab2).
- При падении (SIGKILL) запросы, которые реплика обрабатывала в этот момент, завершаются ошибкой 502. LB не повторяет уже отправленные POST — по контракту это делает клиент с тем же `Idempotency-Key`. Для `POST /users` и `POST /chats` повтор после неопределённого результата может создать второй объект (контракт этого не запрещает и прозрачных повторов не требует).
- HAProxy держит до 6 слотов реплик (`server-template api 1-6`). Больше — поменять число в конфиге.
- Страница состояния HAProxy на 127.0.0.1:8404 без аутентификации, только чтение и только localhost.
- Приложенные результаты сняты на нативном эквиваленте стенда (см. «Доказательства»), без CPU/RAM-лимитов и без Docker DNS. Перед защитой их нужно повторить `python scripts/collect_evidence.py` на Docker; конкретные цифры на ноутбуке будут другими.
- Время обнаружения на Docker дополнительно включает DNS-синхронизацию (до ~2 с на появление новой реплики в LB). На отказ это не влияет: остановленную реплику исключают активные проверки раньше, чем DNS.
- Идемпотентность гарантирована, только когда все реплики — lab3 (см. «Миграции»).
- HTTP без TLS — допустимо только на локальном учебном стенде. Пароль Redis передаётся `redis-server` аргументом внутри контейнера (как в lab2).
## Вопросы защиты — кратко
- **Отказ процесса vs отказ узла.** Процесс (контейнер реплики) падает, остальные реплики на том же host живы, общие PostgreSQL/Redis/LB целы — это и проверяет лаба. При отказе узла пропадает всё, что на нём: здесь это весь стенд, включая LB и единственную БД. Защита от него — несколько host, репликация БД, LB с переносом адреса (трек 2 уровня 5, не заявлен).
- **Почему depends_on/healthcheck — не балансировщик.** `depends_on` управляет только порядком старта, а Docker healthcheck лишь меняет статус контейнера. Ни один из них не перенаправляет трафик и не выводит больную реплику из ротации. Это делает LB своими проверками (здесь — HAProxy `http-check` каждые 1 с).
- **Какие POST можно повторять после timeout.** Только те, что защищены ключом идемпотентности: здесь `POST /chats/{id}/messages` с тем же `Idempotency-Key` и тем же телом. Ключ защищает от дубля, если ответ потерялся после COMMIT: повтор вернёт исходное сообщение, а не создаст второе. `POST /users`, `POST /chats`, `POST /auth/sessions` после неопределённого результата повторять «вслепую» нельзя — создастся новый объект или новая сессия.
- **Сессии в локальной памяти при росте числа реплик.** Токен, выданный репликой A, неизвестен реплике B: каждый второй запрос получит 401, logout на одной реплике не отзовёт сессию на другой, рестарт реплики разлогинит её пользователей. «Чинить» это sticky sessions — значит терять сессии при отказе реплики. Поэтому сессии лежат в общем PostgreSQL (кэш — общий Redis), а ключи идемпотентности — в общей БД.
+25
View File
@@ -0,0 +1,25 @@
# Доказательства
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
## Файлы этой работы (lab3)
`python scripts/collect_evidence.py` на compose-стенде перезаписывает их результатами Docker; `SUMMARY.txt` — итог по шагам.
| Файл | Что доказывает |
| --- | --- |
| `check.txt` | make check / validate, `docker compose config`, `haproxy -c` |
| `smoke.txt` | публичный smoke lab3 через LB |
| `instances.txt` | одна сессия обслуживается разными репликами (X-Instance-Id) |
| `student-tests.txt` | собственные тесты: lab2 + идемпотентность через реплики + хранилище + expiry |
| `failover.txt` | публичный failover для обеих реплик и SIGKILL; какой процесс/контейнер остановлен |
| `failover_series*.json/.txt` | уровень 4: каждая реплика по очереди под нагрузкой — RPS, ошибки, обнаружение, восстановление |
| `rolling_update*.json/.txt` | уровень 4: rolling update под нагрузкой |
| `persistence.txt` | рестарт API + PostgreSQL + Redis + LB с тем же токеном |
| `migrations.txt` | миграции однократно, readiness ждёт схему, совместимость со старой версией |
| `shutdown_timeline.txt` | SIGTERM → readiness 503 → DOWN в LB → выход процесса |
| `lb_errors.txt`, `lb_log_sample.txt` | ответы и журнал балансировщика |
| `load.json`, `load.txt` | нагрузка 30 с, RSS реплик |
| `ops.log` | журнал scripts/ops.py (реальные контейнеры — после прогона на Docker) |
+34
View File
@@ -0,0 +1,34 @@
# 2026-10-26 19:35:57 UTC
OK Контракт (offline) evidence/check.txt
OK Compose config evidence/check.txt
OK Стенд: контейнеры evidence/stand.txt
OK Стенд: реплики и статус в LB evidence/stand.txt
OK Стенд: лимиты CPU/RAM evidence/stand.txt
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
OK Публичный smoke evidence/smoke.txt
OK Собственные тесты (HTTP через LB) evidence/student-tests.txt
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
OK Failover #1: реплики до evidence/failover.txt
OK Failover #1: make test-failover evidence/failover.txt
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #1: restore evidence/failover.txt
OK Failover #2: реплики до evidence/failover.txt
OK Failover #2: make test-failover evidence/failover.txt
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #2: restore evidence/failover.txt
OK Failover #3: реплики до evidence/failover.txt
OK Failover #3: make test-failover evidence/failover.txt
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #3: restore evidence/failover.txt
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
OK Rolling update lab3 -> lab3.1 под нагрузкой evidence/rolling_update.txt
OK Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой evidence/rolling_update.txt
OK Реплики после обновлений evidence/rolling_update.txt
OK Persistence: контейнеры до evidence/persistence.txt
OK Persistence: make test-persistence evidence/persistence.txt
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
OK CPU/RAM после нагрузки evidence/load.txt
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
+7
View File
@@ -0,0 +1,7 @@
# 2026-10-26 19:29:57 UTC | Контракт (offline) | exit 0 | 0.1s
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-10-26 19:29:57 UTC | Compose config | exit 0 | 0.2s
$ docker compose --env-file .env config --quiet
+66
View File
@@ -0,0 +1,66 @@
# 2026-10-26 19:30:28 UTC | Failover #1: реплики до | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:30:44 UTC | Failover #1: make test-failover | exit 0 | 16.4s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 4.672}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:30:44 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
# 2026-10-26 19:30:51 UTC | Failover #1: restore | exit 0 | 6.4s
$ python scripts/ops.py restore
2026-10-26T19:30:51.183Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 6.3s
# 2026-10-26 19:30:51 UTC | Failover #2: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:31:07 UTC | Failover #2: make test-failover | exit 0 | 16.2s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.094}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:31:07 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
# 2026-10-26 19:31:13 UTC | Failover #2: restore | exit 0 | 6.0s
$ python scripts/ops.py restore
2026-10-26T19:31:13.832Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 5.9s
# 2026-10-26 19:31:14 UTC | Failover #3: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:31:30 UTC | Failover #3: make test-failover | exit 0 | 16.4s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.766}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:31:30 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 exited unhealthy messenger-api:lab3 - -
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:31:37 UTC | Failover #3: restore | exit 0 | 6.4s
$ python scripts/ops.py restore
2026-10-26T19:31:37.160Z restore: started ['messenger-lab3-api-1']; 2 replicas healthy and UP in LB after 6.3s
# остановленные публичным тестом реплики: ['a21409fffeec', 'a21409fffeec', 'c4c5ae5b0949']
+294
View File
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"a21409fffeec",
"c4c5ae5b0949"
],
"rounds": [
{
"target_instance": "a21409fffeec",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.09,
"lb_detect_down_seconds": 1.77,
"target_last_served_after_stop_seconds": 1.67,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 6.7,
"lb_back_up_seconds": 1.39,
"target_back_in_rotation_seconds": 6.69,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1322,
"ok": 1322,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 264.4,
"write_ok_rps": 159.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 63.0,
"p99": 109.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 1059,
"ok": 1059,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 105.9,
"write_ok_rps": 64.0,
"latency_ms_ok": {
"p50": 47.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 439,
"ok": 439,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 87.8,
"write_ok_rps": 53.4,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"c4c5ae5b0949"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.0,
"requests": 1618,
"ok": 1618,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 161.8,
"write_ok_rps": 96.7,
"latency_ms_ok": {
"p50": 16.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
6.77,
[
"api1"
]
],
[
21.39,
[
"api1",
"api2"
]
],
[
21.77,
[
"api1"
]
],
[
24.28,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2674,
"stored_messages": 2674,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "c4c5ae5b0949",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.03,
"lb_detect_down_seconds": 0.97,
"target_last_served_after_stop_seconds": 0.91,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 6.56,
"lb_back_up_seconds": 0.67,
"target_back_in_rotation_seconds": 6.56,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1353,
"ok": 1353,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 269.7,
"write_ok_rps": 158.3,
"latency_ms_ok": {
"p50": 16.0,
"p95": 63.0,
"p99": 109.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.02,
"to_s": 15.02,
"requests": 990,
"ok": 990,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 99.0,
"write_ok_rps": 59.2,
"latency_ms_ok": {
"p50": 62.0,
"p95": 156.0,
"p99": 203.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.02,
"to_s": 20.03,
"requests": 410,
"ok": 410,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 81.8,
"write_ok_rps": 49.1,
"latency_ms_ok": {
"p50": 93.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"a21409fffeec"
]
},
"after_restore": {
"from_s": 20.03,
"to_s": 29.86,
"requests": 1602,
"ok": 1601,
"errors": 1,
"error_ratio": 0.0006,
"ok_rps": 162.9,
"write_ok_rps": 98.7,
"latency_ms_ok": {
"p50": 16.0,
"p95": 109.0,
"p99": 187.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
5.98,
[
"api2"
]
],
[
20.7,
[
"api1",
"api2"
]
],
[
20.94,
[
"api2"
]
],
[
23.47,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2604,
"stored_messages": 2604,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
# 2026-10-26 19:32:39 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 61.9s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
-- stopping a21409fffeec (mode=stop) under load
hook 4.09s | LB DOWN after 1.77 s | errors 0 (-) | RPS before 264.4, outage 105.9, after restore 161.8 | p95 outage 110.0 ms | back in rotation 6.69 s | data ok=True
-- stopping c4c5ae5b0949 (mode=stop) under load
hook 4.03s | LB DOWN after 0.97 s | errors 0 (-) | RPS before 269.7, outage 99.0, after restore 162.9 | p95 outage 156.0 ms | back in rotation 6.56 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
# 2026-10-26 19:33:42 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.1s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
-- stopping a21409fffeec (mode=kill) under load
hook 1.01s | LB DOWN after 2.53 s | errors 0 (-) | RPS before 235.6, outage 76.1, after restore 146.5 | p95 outage 187.0 ms | back in rotation 7.06 s | data ok=True
-- stopping c4c5ae5b0949 (mode=kill) under load
hook 0.92s | LB DOWN after 2.38 s | errors 0 (-) | RPS before 270.1, outage 78.3, after restore 149.7 | p95 outage 187.0 ms | back in rotation 7.19 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"a21409fffeec",
"c4c5ae5b0949"
],
"rounds": [
{
"target_instance": "a21409fffeec",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.01,
"lb_detect_down_seconds": 2.53,
"target_last_served_after_stop_seconds": 0.5,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.09,
"lb_back_up_seconds": 1.45,
"target_back_in_rotation_seconds": 7.06,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1178,
"ok": 1178,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 235.6,
"write_ok_rps": 137.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 110.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 761,
"ok": 761,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 76.1,
"write_ok_rps": 46.0,
"latency_ms_ok": {
"p50": 78.0,
"p95": 187.0,
"p99": 1015.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.01,
"requests": 454,
"ok": 454,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 90.5,
"write_ok_rps": 53.8,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"c4c5ae5b0949"
]
},
"after_restore": {
"from_s": 20.01,
"to_s": 30.44,
"requests": 1527,
"ok": 1527,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 146.5,
"write_ok_rps": 85.9,
"latency_ms_ok": {
"p50": 16.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
7.53,
[
"api1"
]
],
[
21.47,
[
"api1",
"api2"
]
],
[
21.94,
[
"api1"
]
],
[
24.48,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2318,
"stored_messages": 2318,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "c4c5ae5b0949",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 0.92,
"lb_detect_down_seconds": 2.38,
"target_last_served_after_stop_seconds": 0.44,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.25,
"lb_back_up_seconds": 1.45,
"target_back_in_rotation_seconds": 7.19,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1355,
"ok": 1355,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 270.1,
"write_ok_rps": 156.9,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 109.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_first_10s": {
"from_s": 5.02,
"to_s": 15.02,
"requests": 783,
"ok": 783,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 78.3,
"write_ok_rps": 47.5,
"latency_ms_ok": {
"p50": 78.0,
"p95": 187.0,
"p99": 1016.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"outage_rest": {
"from_s": 15.02,
"to_s": 20.02,
"requests": 439,
"ok": 439,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 87.8,
"write_ok_rps": 52.4,
"latency_ms_ok": {
"p50": 78.0,
"p95": 125.0,
"p99": 203.0
},
"instances": [
"a21409fffeec"
]
},
"after_restore": {
"from_s": 20.02,
"to_s": 30.56,
"requests": 1579,
"ok": 1579,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 149.7,
"write_ok_rps": 89.7,
"latency_ms_ok": {
"p50": 16.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
7.39,
[
"api2"
]
],
[
21.47,
[
"api1",
"api2"
]
],
[
21.58,
[
"api2"
]
],
[
24.11,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2474,
"stored_messages": 2474,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+22
View File
@@ -0,0 +1,22 @@
# 2026-10-26 19:29:59 UTC | одна сессия, 20 запросов GET /users/me через LB
1 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C08C-1F90-6ADFAA37167-088A-0008
2 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C09C-1F90-6ADFAA37189-088B-0008
3 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A0-1F90-6ADFAA371A4-088C-0008
4 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0A4-1F90-6ADFAA371B1-088D-0008
5 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A6-1F90-6ADFAA371B5-088E-0008
6 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0AA-1F90-6ADFAA371B8-088F-0008
7 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0B2-1F90-6ADFAA371D0-0890-0008
8 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0BE-1F90-6ADFAA371E0-0891-0008
9 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0C6-1F90-6ADFAA371E3-0892-0008
10 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0CE-1F90-6ADFAA371FE-0893-0008
11 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0D6-1F90-6ADFAA37202-0894-0008
12 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0E4-1F90-6ADFAA3721D-0895-0008
13 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0EC-1F90-6ADFAA37220-0896-0008
14 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0FC-1F90-6ADFAA3723C-0897-0008
15 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C106-1F90-6ADFAA3724B-0898-0008
16 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C10E-1F90-6ADFAA3724D-0899-0008
17 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C11A-1F90-6ADFAA37268-089A-0008
18 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C126-1F90-6ADFAA3726B-089C-0008
19 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C130-1F90-6ADFAA37286-089D-0008
20 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C140-1F90-6ADFAA3728A-089E-0008
разных реплик: 2
+17
View File
@@ -0,0 +1,17 @@
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker)
# все реплики остановлены -> ответ формирует сам HAProxy (http-error): общий JSON-формат ошибок, X-Request-Id совпадает с request_id; X-Instance-Id нет (контракт это допускает)
$ curl -si http://127.0.0.1:8080/api/v1/users/me
HTTP/1.1 503 Service Unavailable
x-request-id: 7F000001CD38-1F90-6ADCA7141E5-336F-0B75
content-length: 128
content-type: application/json
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"7F000001CD38-1F90-6ADCA7141E5-336F-0B75"}}
$ curl -si -H "X-Request-Id: demo-123" http://127.0.0.1:8080/health/ready
HTTP/1.1 503 Service Unavailable
x-request-id: demo-123
content-length: 97
content-type: application/json
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"demo-123"}}
+62
View File
@@ -0,0 +1,62 @@
# 2026-10-26 19:35:57 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.2s
$ docker compose --env-file .env logs --no-color --tail 60 lb
lb-1 | 172.18.0.1:34156 [26/Oct/2026:19:35:54.564] public api/api1 0/0/0/7/7 201 401 ---- 8/8/7/1/0 0/0 rid=AC120001856C-1F90-6ADFAB9A234-1128-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34116 [26/Oct/2026:19:35:54.563] public api/api1 0/0/0/10/10 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018544-1F90-6ADFAB9A233-1126-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34168 [26/Oct/2026:19:35:54.578] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018578-1F90-6ADFAB9A242-1129-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34064 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/58/59 201 401 ---- 8/8/7/7/0 0/0 rid=AC1200018510-1F90-6ADFAB9A218-111F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34040 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/62/62 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000184F8-1F90-6ADFAB9A218-111D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34098 [26/Oct/2026:19:35:54.537] public api/api2 0/0/0/61/62 201 401 ---- 6/6/5/5/0 0/0 rid=AC1200018532-1F90-6ADFAB9A219-1121-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34100 [26/Oct/2026:19:35:54.538] public api/api2 0/0/0/63/63 201 401 ---- 6/6/5/4/0 0/0 rid=AC1200018534-1F90-6ADFAB9A21A-1123-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34162 [26/Oct/2026:19:35:54.578] public api/api2 0/0/0/27/28 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018572-1F90-6ADFAB9A242-112A-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34186 [26/Oct/2026:19:35:54.600] public api/api1 0/0/0/7/7 201 401 ---- 6/6/3/0/0 0/0 rid=AC120001858A-1F90-6ADFAB9A258-112C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34128 [26/Oct/2026:19:35:54.563] public api/api2 0/0/0/44/44 201 401 ---- 5/5/2/2/0 0/0 rid=AC1200018550-1F90-6ADFAB9A233-1125-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34182 [26/Oct/2026:19:35:54.587] public api/api2 0/0/0/21/21 201 401 ---- 4/4/1/1/0 0/0 rid=AC1200018586-1F90-6ADFAB9A24B-112B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34142 [26/Oct/2026:19:35:54.564] public api/api2 0/0/0/45/45 201 401 ---- 3/3/0/0/0 0/0 rid=AC120001855E-1F90-6ADFAB9A234-1127-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34198 [26/Oct/2026:19:35:54.614] public api/api1 0/0/0/14/14 201 401 ---- 8/8/6/2/0 0/0 rid=AC1200018596-1F90-6ADFAB9A25F-112E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34230 [26/Oct/2026:19:35:54.621] public api/api1 0/0/0/10/11 201 401 ---- 7/7/5/1/0 0/0 rid=AC12000185B6-1F90-6ADFAB9A26A-1130-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34242 [26/Oct/2026:19:35:54.622] public api/api1 0/0/0/9/9 201 401 ---- 6/6/4/0/0 0/0 rid=AC12000185C2-1F90-6ADFAB9A26E-1132-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34270 [26/Oct/2026:19:35:54.638] public api/api1 0/0/0/6/7 201 401 ---- 8/8/6/1/0 0/0 rid=AC12000185DE-1F90-6ADFAB9A27D-1134-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34266 [26/Oct/2026:19:35:54.640] public api/api1 0/0/0/6/6 201 401 ---- 7/7/5/0/0 0/0 rid=AC12000185DA-1F90-6ADFAB9A26E-1136-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34278 [26/Oct/2026:19:35:54.656] public api/api1 0/0/0/5/5 201 401 ---- 8/8/6/0/0 0/0 rid=AC12000185E6-1F90-6ADFAB9A27F-1138-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34302 [26/Oct/2026:19:35:54.686] public api/api1 0/0/0/6/6 201 401 ---- 8/8/7/0/0 0/0 rid=AC12000185FE-1F90-6ADFAB9A299-113A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34282 [26/Oct/2026:19:35:54.639] public api/api2 0/0/0/66/66 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185EA-1F90-6ADFAB9A27F-1135-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34254 [26/Oct/2026:19:35:54.622] public api/api2 0/0/0/83/84 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000185CE-1F90-6ADFAB9A26E-1133-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34294 [26/Oct/2026:19:35:54.671] public api/api2 0/0/0/36/36 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000185F6-1F90-6ADFAB9A28C-1139-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34338 [26/Oct/2026:19:35:54.715] public api/api1 0/0/0/5/5 201 401 ---- 8/8/5/0/0 0/0 rid=AC1200018622-1F90-6ADFAB9A2CB-113C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34346 [26/Oct/2026:19:35:54.734] public api/api1 0/0/1/6/7 201 401 ---- 8/8/7/0/0 0/0 rid=AC120001862A-1F90-6ADFAB9A2CC-113E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34360 [26/Oct/2026:19:35:54.745] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018638-1F90-6ADFAB9A2E9-1140-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34290 [26/Oct/2026:19:35:54.652] public api/api2 0/0/0/56/123 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185F2-1F90-6ADFAB9A28C-1137-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34192 [26/Oct/2026:19:35:54.609] public api/api2 0/0/0/171/172 201 401 ---- 8/8/7/6/0 0/0 rid=AC1200018590-1F90-6ADFAB9A25E-112D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34240 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/159/160 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000185C0-1F90-6ADFAB9A26C-1131-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34214 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/160/161 201 401 ---- 6/6/5/4/0 0/0 rid=AC12000185A6-1F90-6ADFAB9A269-112F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34312 [26/Oct/2026:19:35:54.698] public api/api2 0/0/0/87/87 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018608-1F90-6ADFAB9A2BA-113B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34374 [26/Oct/2026:19:35:54.779] public api/api1 0/0/0/8/8 201 401 ---- 4/4/3/0/0 0/0 rid=AC1200018646-1F90-6ADFAB9A30B-1142-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34364 [26/Oct/2026:19:35:54.755] public api/api2 0/0/0/35/35 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001863C-1F90-6ADFAB9A2F3-1141-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34326 [26/Oct/2026:19:35:54.734] public api/api2 0/0/0/59/59 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018616-1F90-6ADFAB9A2CB-113F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34354 [26/Oct/2026:19:35:54.725] public api/api2 0/0/0/68/68 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018632-1F90-6ADFAB9A2D5-113D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34384 [26/Oct/2026:19:35:54.801] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC1200018650-1F90-6ADFAB9A31B-1144-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34426 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/15/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC120001867A-1F90-6ADFAB9A322-1148-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34392 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018658-1F90-6ADFAB9A31D-1146-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34440 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 5/5/4/0/0 0/0 rid=AC1200018688-1F90-6ADFAB9A322-114A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34390 [26/Oct/2026:19:35:54.799] public api/api2 0/0/1/18/20 201 401 ---- 4/4/3/3/0 0/0 rid=AC1200018656-1F90-6ADFAB9A31C-1143-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34382 [26/Oct/2026:19:35:54.801] public api/api2 0/0/0/18/18 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001864E-1F90-6ADFAB9A31B-1145-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34408 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/17/17 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018668-1F90-6ADFAB9A322-1147-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34422 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/18/18 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018676-1F90-6ADFAB9A322-1149-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34462 [26/Oct/2026:19:35:54.837] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC120001869E-1F90-6ADFAB9A344-114E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34508 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC12000186CC-1F90-6ADFAB9A346-1152-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34450 [26/Oct/2026:19:35:54.834] public api/api1 0/0/0/20/20 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018692-1F90-6ADFAB9A33F-114C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34490 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/17 201 401 ---- 5/5/4/0/0 0/0 rid=AC12000186BA-1F90-6ADFAB9A346-1150-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34534 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/10/10 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186E6-1F90-6ADFAB9A361-1156-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34530 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/12/12 201 401 ---- 7/7/6/0/0 0/0 rid=AC12000186E2-1F90-6ADFAB9A361-1155-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34446 [26/Oct/2026:19:35:54.834] public api/api2 0/0/0/59/59 201 401 ---- 8/8/6/6/0 0/0 rid=AC120001868E-1F90-6ADFAB9A337-114B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34458 [26/Oct/2026:19:35:54.836] public api/api2 0/0/0/62/62 201 401 ---- 8/8/6/5/0 0/0 rid=AC120001869A-1F90-6ADFAB9A343-114D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34538 [26/Oct/2026:19:35:54.897] public api/api1 0/0/1/8/9 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186EA-1F90-6ADFAB9A372-1158-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34478 [26/Oct/2026:19:35:54.837] public api/api2 0/0/0/71/71 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000186AE-1F90-6ADFAB9A345-114F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34570 [26/Oct/2026:19:35:54.904] public api/api1 0/0/0/9/9 201 401 ---- 8/8/5/0/0 0/0 rid=AC120001870A-1F90-6ADFAB9A388-115A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34594 [26/Oct/2026:19:35:54.934] public api/api1 0/0/1/5/6 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018722-1F90-6ADFAB9A391-115D-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34498 [26/Oct/2026:19:35:54.838] public api/api2 0/0/0/71/136 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000186C2-1F90-6ADFAB9A346-1151-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34522 [26/Oct/2026:19:35:54.856] public api/api2 0/0/0/121/121 201 401 ---- 5/5/4/4/0 0/0 rid=AC12000186DA-1F90-6ADFAB9A358-1153-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34536 [26/Oct/2026:19:35:54.882] public api/api2 0/0/0/96/96 201 401 ---- 4/4/3/3/0 0/0 rid=AC12000186E8-1F90-6ADFAB9A372-1157-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34528 [26/Oct/2026:19:35:54.865] public api/api2 0/0/0/114/115 201 401 ---- 3/3/2/2/0 0/0 rid=AC12000186E0-1F90-6ADFAB9A361-1154-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34556 [26/Oct/2026:19:35:54.899] public api/api2 0/0/0/86/86 201 401 ---- 2/2/1/1/0 0/0 rid=AC12000186FC-1F90-6ADFAB9A383-1159-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
lb-1 | 172.18.0.1:34586 [26/Oct/2026:19:35:54.934] public api/api2 0/0/1/51/53 201 401 ---- 1/1/0/0/0 0/0 rid=AC120001871A-1F90-6ADFAB9A391-115C-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.093,
"concurrency": 8,
"successful_requests": 4367,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 145.117,
"successful_latency_ms": {
"p50": 32.0,
"p95": 157.0,
"p99": 203.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+28
View File
@@ -0,0 +1,28 @@
# 2026-10-26 19:35:55 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.4s
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.093,
"concurrency": 8,
"successful_requests": 4367,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 145.117,
"successful_latency_ms": {
"p50": 32.0,
"p95": 157.0,
"p99": 203.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
# 2026-10-26 19:35:57 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab3-api-6 19.92% 89.26MiB / 256MiB 34.87%
messenger-lab3-api-5 0.67% 89.33MiB / 256MiB 34.89%
messenger-lab3-lb-1 0.14% 14.34MiB / 128MiB 11.20%
messenger-lab3-postgres-1 11.42% 68.96MiB / 512MiB 13.47%
messenger-lab3-redis-1 2.36% 4.148MiB / 96MiB 4.32%
+26
View File
@@ -0,0 +1,26 @@
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
## 1. Реплика не готова, пока схема не мигрирована; migrate однократный, повтор — no-op; две копии одновременно — advisory lock
$ # реплика против ПУСТОЙ БД, миграции ещё не выполнялись (RUN_MIGRATIONS_ON_START=false)
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready
{"error":{"code":"unavailable","message":"Database schema is not migrated","request_id":"1f3109e3-a934-4c1b-bfbd-22350e35e05d"}} 503
$ psql -c "select to_regclass('schema_migrations')"
NULL
$ python -m src.migrate # = сервис migrate (one-shot)
applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
$ python -m src.migrate # повтор: no-op
schema is up to date; nothing applied
$ # две копии migrate одновременно (advisory lock) на ещё одной пустой БД
NOTICE: database "messenger_race" does not exist, skipping
copy A: schema is up to date; nothing applied
copy B: applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
schema_migrations rows: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready # та же реплика, без рестарта
{"status":"ok"} 200
## 2. Совместимость миграции 003 со старой версией (rolling update): код lab2 работает на схеме lab3 одновременно с репликами lab3
$ # старая версия: код lab2 (без Idempotency-Key/X-Instance-Id) против БД, мигрированной до 003
migrations applied at startup: none
$ cd lab2 && python tests/smoke.py --base-url http://127.0.0.1:18098 # контракт lab2
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
$ cd lab3 && python tests/smoke.py --base-url http://127.0.0.1:8080 # одновременно реплики lab3 за LB
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+24
View File
@@ -0,0 +1,24 @@
# 2026-10-26 19:35:10 UTC | Persistence: контейнеры до | exit 0 | 0.3s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab3-api-5 Up 31 seconds (healthy) 32 seconds ago
messenger-lab3-api-6 Up 21 seconds (healthy) 22 seconds ago
messenger-lab3-lb-1 Up 18 minutes (healthy) 44 minutes ago
messenger-lab3-migrate-1 Exited (0) 4 minutes ago 44 minutes ago
messenger-lab3-postgres-1 Up 18 minutes (healthy) 44 minutes ago
messenger-lab3-redis-1 Up 18 minutes (healthy) 44 minutes ago
# 2026-10-26 19:35:24 UTC | Persistence: make test-persistence | exit 0 | 14.1s
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-10-26 19:35:24 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.3s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab3-api-5 Up 7 seconds (healthy) 46 seconds ago
messenger-lab3-api-6 Up 7 seconds (healthy) 36 seconds ago
messenger-lab3-lb-1 Up Less than a second (health: starting) 44 minutes ago
messenger-lab3-migrate-1 Exited (0) 5 minutes ago 44 minutes ago
messenger-lab3-postgres-1 Up 7 seconds (healthy) 44 minutes ago
messenger-lab3-redis-1 Up 7 seconds (healthy) 44 minutes ago
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 27.69,
"replicas_before": [
"6e2f0c643449",
"b6e350f043f3"
],
"replicas_after": [
"c38982836a1d",
"ecaa2acc2a0a"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1342,
"ok": 1342,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 267.5,
"write_ok_rps": 159.5,
"latency_ms_ok": {
"p50": 16.0,
"p95": 63.0,
"p99": 94.0
},
"instances": [
"6e2f0c643449",
"b6e350f043f3"
]
},
"during_update": {
"from_s": 5.02,
"to_s": 32.7,
"requests": 6993,
"ok": 6993,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 252.6,
"write_ok_rps": 149.3,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 140.0
},
"instances": [
"6e2f0c643449",
"b6e350f043f3",
"c38982836a1d",
"ecaa2acc2a0a"
]
},
"after": {
"from_s": 32.7,
"to_s": 40.77,
"requests": 2045,
"ok": 2045,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 253.6,
"write_ok_rps": 152.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 94.0
},
"instances": [
"c38982836a1d",
"ecaa2acc2a0a"
]
}
},
"lb_timeline": [
[
0.02,
[
"api1",
"api3"
]
],
[
11.42,
[
"api1",
"api2",
"api3"
]
],
[
12.23,
[
"api1",
"api3"
]
],
[
14.77,
[
"api1",
"api2",
"api3"
]
],
[
19.16,
[
"api1",
"api2"
]
],
[
25.72,
[
"api1",
"api2",
"api3"
]
],
[
29.66,
[
"api2",
"api3"
]
]
],
"data": {
"confirmed_writes": 6166,
"stored_messages": 6166,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 28.38,
"replicas_before": [
"a21409fffeec",
"c4c5ae5b0949"
],
"replicas_after": [
"6e2f0c643449",
"b6e350f043f3"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1161,
"ok": 1161,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 232.2,
"write_ok_rps": 136.2,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 187.0
},
"instances": [
"a21409fffeec",
"c4c5ae5b0949"
]
},
"during_update": {
"from_s": 5.0,
"to_s": 33.38,
"requests": 6950,
"ok": 6950,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 244.9,
"write_ok_rps": 145.0,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 156.0
},
"instances": [
"6e2f0c643449",
"a21409fffeec",
"b6e350f043f3",
"c4c5ae5b0949"
]
},
"after": {
"from_s": 33.38,
"to_s": 41.41,
"requests": 2008,
"ok": 2008,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 250.0,
"write_ok_rps": 147.6,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 110.0
},
"instances": [
"6e2f0c643449",
"b6e350f043f3"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
12.5,
[
"api1",
"api2",
"api3"
]
],
[
12.73,
[
"api1",
"api2"
]
],
[
15.25,
[
"api1",
"api2",
"api3"
]
],
[
19.28,
[
"api2",
"api3"
]
],
[
25.73,
[
"api1",
"api2",
"api3"
]
],
[
29.34,
[
"api1",
"api3"
]
]
],
"data": {
"confirmed_writes": 5981,
"stored_messages": 5981,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+29
View File
@@ -0,0 +1,29 @@
# 2026-10-26 19:34:26 UTC | Rolling update lab3 -> lab3.1 под нагрузкой | exit 0 | 44.1s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
replicas before: ['a21409fffeec', 'c4c5ae5b0949']
2026-10-26T19:33:48.176Z rolling-update: start; replicas=2 old=['c4c5ae5b0949', 'a21409fffeec']
2026-10-26T19:33:51.770Z rolling-update: images built in 3.6s (tag lab3.1)
2026-10-26T19:33:53.990Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
2026-10-26T19:34:04.788Z rolling-update: step 1/2 new=6e2f0c643449 (messenger-api:lab3.1, ready+UP in 6.8s) replaced old=c4c5ae5b0949 (graceful stop 3.8s)
2026-10-26T19:34:15.884Z rolling-update: step 2/2 new=b6e350f043f3 (messenger-api:lab3.1, ready+UP in 6.7s) replaced old=a21409fffeec (graceful stop 4.3s)
2026-10-26T19:34:16.330Z rolling-update: done in 28.1s; replicas now ['6e2f0c643449', 'b6e350f043f3']
update 28.4s rc=0 | replicas ['a21409fffeec', 'c4c5ae5b0949'] -> ['6e2f0c643449', 'b6e350f043f3'] | errors during update 0 (-) | RPS before 232.2, during 244.9, after 250.0 | p95 during 93.0 ms | data ok=True
PASS: rolling update under load
# 2026-10-26 19:35:09 UTC | Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой | exit 0 | 43.4s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
replicas before: ['6e2f0c643449', 'b6e350f043f3']
2026-10-26T19:34:32.642Z rolling-update: start; replicas=2 old=['6e2f0c643449', 'b6e350f043f3']
2026-10-26T19:34:35.497Z rolling-update: images built in 2.9s (tag lab3)
2026-10-26T19:34:37.818Z rolling-update: migrations once in 2.3s: schema is up to date; nothing applied
2026-10-26T19:34:48.605Z rolling-update: step 1/2 new=c38982836a1d (messenger-api:lab3, ready+UP in 7.0s) replaced old=6e2f0c643449 (graceful stop 3.7s)
2026-10-26T19:34:59.414Z rolling-update: step 2/2 new=ecaa2acc2a0a (messenger-api:lab3, ready+UP in 6.8s) replaced old=b6e350f043f3 (graceful stop 3.9s)
2026-10-26T19:34:59.817Z rolling-update: done in 27.4s; replicas now ['c38982836a1d', 'ecaa2acc2a0a']
update 27.7s rc=0 | replicas ['6e2f0c643449', 'b6e350f043f3'] -> ['c38982836a1d', 'ecaa2acc2a0a'] | errors during update 0 (-) | RPS before 267.5, during 252.6, after 253.6 | p95 during 78.0 ms | data ok=True
PASS: rolling update under load
# 2026-10-26 19:35:09 UTC | Реплики после обновлений | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c38982836a1d messenger-lab3-api-5 running healthy messenger-api:lab3 api2 UP
ecaa2acc2a0a messenger-lab3-api-6 running healthy messenger-api:lab3 api3 UP
+17
View File
@@ -0,0 +1,17 @@
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
# Настройки: HAProxy inter 1s / fastinter 500ms / fall 2 / rise 2 / timeout check 1.5s; API DRAIN_SECONDS=3, GRACEFUL_TIMEOUT_SECONDS=10
# graceful stop timeline, t=0 — начало наблюдения; интервал опроса 50 мс
+0.02s (от SIGTERM -0.48s) LB api3: UP
+0.02s (от SIGTERM -0.48s) nat-api-3 /health/ready -> 200
+0.50s (от SIGTERM -0.00s) SIGTERM -> nat-api-3 (pid 3196)
+0.51s (от SIGTERM +0.01s) nat-api-3 /health/ready -> 503
+1.26s (от SIGTERM +0.76s) LB api3: UP 1/2
+1.80s (от SIGTERM +1.30s) LB api3: DOWN
+3.52s (от SIGTERM +3.02s) nat-api-3 /health/ready -> connection refused
+3.62s (от SIGTERM +3.12s) nat-api-3 process exited
# лог реплики:
2026-10-24 15:39:19,576 INFO messenger.server signal 15: instance nat-api-3 draining for 3.0s (readiness=503), then graceful stop
2026-10-24 15:39:22,580 INFO uvicorn.error Shutting down
2026-10-24 15:39:22,681 INFO messenger.api shutdown: instance=nat-api-3 closing pool
2026-10-24 15:39:22,682 INFO uvicorn.error Finished server process [3196]
+3
View File
@@ -0,0 +1,3 @@
# 2026-10-26 19:30:00 UTC | Публичный smoke | exit 0 | 0.9s
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+33
View File
@@ -0,0 +1,33 @@
# 2026-10-26 19:29:57 UTC | Стенд: контейнеры | exit 0 | 0.2s
$ docker compose --env-file .env ps -a
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab3-api-1 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 12 minutes (healthy) 8080/tcp
messenger-lab3-api-2 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 13 minutes (healthy) 8080/tcp
messenger-lab3-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 39 minutes ago Up 13 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m src.migra…" migrate 39 minutes ago Exited (0) 13 minutes ago
messenger-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 39 minutes ago Up 13 minutes (healthy) 5432/tcp
messenger-lab3-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 39 minutes ago Up 13 minutes (healthy) 6379/tcp
# 2026-10-26 19:29:57 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
# 2026-10-26 19:29:59 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.2s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab3-lb-1 1.87% 12.87MiB / 128MiB 10.06%
messenger-lab3-api-2 16.79% 204.4MiB / 256MiB 79.86%
messenger-lab3-api-1 0.31% 222.9MiB / 256MiB 87.07%
messenger-lab3-postgres-1 2.23% 58.11MiB / 512MiB 11.35%
messenger-lab3-redis-1 0.22% 4.559MiB / 96MiB 4.75%
# 2026-10-26 19:29:59 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.3s
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
SERVICE PORTS
api 8080/tcp
api 8080/tcp
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
postgres 5432/tcp
redis 6379/tcp
+134
View File
@@ -0,0 +1,134 @@
# 2026-10-26 19:30:06 UTC | Собственные тесты (HTTP через LB) | exit 0 | 6.2s
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests) ... ok
test_password_never_returned (test_api.ApiBehaviorTests) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests) ... ok
test_login_with_body_rejected (test_auth.AuthTests)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests) ... ok
test_malformed_basic_headers (test_auth.AuthTests) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests) ... ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests) ... ok
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 47 tests in 4.640s
OK (skipped=13)
24 parallel POSTs, one key -> 1 message; replicas: ['a21409fffeec', 'c4c5ae5b0949']
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
# 2026-10-26 19:30:14 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.5s
$ python scripts/ops.py in-network storage
Container messenger-lab3-api-run-bdc116a8fd34 Creating
Container messenger-lab3-api-run-bdc116a8fd34 Created
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.223s
OK
Container messenger-lab3-api-run-630b208e9588 Creating
Container messenger-lab3-api-run-630b208e9588 Created
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
ok
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
ok
----------------------------------------------------------------------
Ran 3 tests in 1.864s
OK
# 2026-10-26 19:30:27 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 13.7s
$ python scripts/ops.py in-network expiry
Container messenger-lab3-redis-1 Running
Container messenger-lab3-postgres-1 Running
Container messenger-lab3-api-1 Running
Container messenger-lab3-api-2 Running
Container messenger-lab3-api-short-ttl-1 Creating
Container messenger-lab3-api-short-ttl-1 Created
Container messenger-lab3-postgres-1 Waiting
Container messenger-lab3-postgres-1 Healthy
Container messenger-lab3-migrate-1 Starting
Container messenger-lab3-migrate-1 Started
Container messenger-lab3-migrate-1 Waiting
Container messenger-lab3-postgres-1 Waiting
Container messenger-lab3-redis-1 Waiting
Container messenger-lab3-redis-1 Healthy
Container messenger-lab3-postgres-1 Healthy
Container messenger-lab3-migrate-1 Exited
Container messenger-lab3-api-2 Waiting
Container messenger-lab3-api-1 Waiting
Container messenger-lab3-api-2 Healthy
Container messenger-lab3-api-1 Healthy
Container messenger-lab3-api-short-ttl-1 Starting
Container messenger-lab3-api-short-ttl-1 Started
Container messenger-lab3-api-run-a36baf72714e Creating
Container messenger-lab3-api-run-a36baf72714e Created
ready: http://api-short-ttl:8080/health/ready
Container messenger-lab3-api-run-c445a7ef00cd Creating
Container messenger-lab3-api-run-c445a7ef00cd Created
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
----------------------------------------------------------------------
Ran 1 test in 3.620s
OK
+273
View File
@@ -0,0 +1,273 @@
# Отчёт — лабораторная 4
> Перенесено из корня репозитория lab4 при переходе на lab5 без изменений по существу. Пути `evidence/...` в этом файле указывают на `docs/lab4/evidence/`. Отчёт lab5 — [REPORT.md](../../REPORT.md).
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка: **4**; трек 5 не заявляется
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0, **boto3 1.35.99**, **Pillow 11.1.0**; PostgreSQL 16.4, Redis 7.4.1, HAProxy 2.8.30, **SeaweedFS 4.50**. Документация: Amazon S3 (PutObject, Content-MD5, ListObjectsV2), SeaweedFS wiki (Amazon S3 API, S3 credentials/identities, `weed server`), спецификация PNG (ISO/IEC 15948: чанки, CRC, Adam7), JPEG (ITU T.81: маркеры SOF/SOS/EOI), Pillow (`Image.open`, `draft`), glibc `mallopt` (MALLOC_ARENA_MAX, MALLOC_MMAP_THRESHOLD_). Помощь ИИ (Claude) — при проектировании схемы согласованности БД/S3, проверки изображений, тестов, экспериментов и при написании отчёта.
Решения lab3 (балансировщик, реплики, идемпотентность, drain, rolling update) перенесены без изменений семантики; их отчёт и доказательства сохранены в [docs/lab3/REPORT.md](../lab3/REPORT.md).
## Запуск из чистого clone
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`; **`chrislusf/seaweedfs:4.50`** (тег задаётся `SEAWEEDFS_VERSION` в `.env`, не `latest`). Нужны Docker Engine / Docker Desktop с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Оркестрация — **Compose + HAProxy** (Swarm не используется).
```sh
# 1. Секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
python scripts/init_secrets.py # + 4 файла S3-ключей и secrets/s3_config.json
cp .env.example .env # Windows: copy .env.example .env
# 2. Сборка и запуск: postgres+redis -> migrate; s3 -> s3-init (bucket) -> api x2 -> lb
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# 3. Готовность: 2 реплики healthy и UP в HAProxy; S3 реально пишет/читает
python scripts/ops.py wait
python scripts/ops.py wait-s3
python scripts/ops.py ps
```
Прогрев: первая сборка 1–3 мин, далее стенд готов за ~30–40 с (healthcheck PostgreSQL и SeaweedFS, миграции, bootstrap бакета, `start_period` API, `rise 2` в HAProxy).
```sh
# Публичные проверки
python scripts/check_contract.py
python tests/smoke.py --base-url http://localhost:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.sh # Windows: scripts\restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.sh # Windows: scripts\stop-one.cmd
python scripts/ops.py restore # вернуть реплику, затем failover повторить для второй
# Собственные проверки уровня 4 (lab4)
python student-tests/run_all.py --base-url http://localhost:8080 # lab2-3 + test_attachments.py (17 тестов)
python scripts/ops.py in-network consistency # БД<->S3: сборщик, сироты, обрыв загрузки, внедрённые отказы
python scripts/ops.py s3-check # приватный бакет вне API, права ключей, закрытые админ-порты
python scripts/ops.py reconcile # сверка БД<->S3, dry-run (--apply — исправить)
python student-tests/s3_outage.py --output evidence/s3_outage.json
python student-tests/upload_memory.py --concurrency 10 --docker --output evidence/upload_memory_c10.json
# Всё перечисленное (и проверки lab3) одной командой с записью в evidence/:
python scripts/collect_evidence.py # ~12–15 мин; --quick ~7–8 мин
```
**Остановка.** Безопасная (данные PostgreSQL и S3 сохраняются): `docker compose --env-file .env --profile ttl --profile faults down`. Намеренное удаление всех учебных данных (volumes `pgdata`, `s3data`) — только вручную: `docker compose --env-file .env --profile ttl --profile faults down -v`. Hooks и тесты volumes не удаляют.
**Действия оператора.** Создать секреты до первого запуска (пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` существующие файлы не перезаписывает; S3-ключи не связаны с данными и могут быть заменены — см. docstring скрипта). После `stop-one` вернуть реплику `python scripts/ops.py restore`. Если тег `chrislusf/seaweedfs:4.50` недоступен в вашем registry-зеркале, укажите соседний проверенный тег в `SEAWEEDFS_VERSION`.
## Архитектура и решения
```
127.0.0.1:8080 (единственная публичная точка входа)
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки /health/ready
│ POST .../attachments: timeout server 90 s, остальное 10 s
▼ сеть backend
┌──────── api x2 (read-only rootfs, tmpfs /tmp 16m, 0.5 CPU / 320M) ────────┐
│ загрузка: поток -> лимит 10 MiB -> проверка PNG/JPEG -> [1] pending в БД │
│ -> [2] S3 PUT (Content-MD5) -> [3] ready в БД -> 201 │
│ скачивание: проверка членства -> поток из S3 (64 KiB) -> клиент │
│ фон: сборщик pending/сирот (advisory lock, одна реплика за раз) │
└──────┬───────────────────────┬────────────────────────────┬───────────────┘
▼ backend ▼ backend ▼ storage (internal: true)
postgres 16 (pgdata) redis 7 (кэш сессий) s3: SeaweedFS 4.50 (s3data)
users, chats, messages, только S3 API :8333 в сети storage;
sessions, idempotency_keys, master/filer/volume UI — 127.0.0.1
attachments, message_attachments внутри контейнера; без анонимов
▲ ▲
migrate (one-shot) s3-init (one-shot, admin-ключи):
бакет + проверки прав и приватности
```
Порядок старта: `postgres`, `redis` (healthy) → `migrate`; `s3` (healthy) → `s3-init` (оба `service_completed_successfully`) → `api` (healthy) → `lb`.
**Источник истины.** PostgreSQL — для всех метаданных, включая вложения (владелец, чат, имя, тип, размер, SHA-256, размеры в пикселях, ключ объекта, состояние). Байты оригинала — только в приватном бакете `messenger-attachments`. На API нет ни volume, ни каталога для файлов: rootfs read-only, `/tmp` — tmpfs 16 MiB (тело загрузки держится в памяти процесса до записи в S3, не на диске; `python scripts/ops.py api-fs`).
### Выбор S3-сервера: SeaweedFS
MinIO с осени 2025 г. не публикует community-образы и бинарники для свежих релизов, а консоль администратора у него встроена в тот же процесс. SeaweedFS (Apache-2.0): версия закрепляется тегом, S3-identities с правами на конкретный бакет задаются статическим JSON-конфигом (`-s3.config`), а все административные HTTP-интерфейсы (master 9333, filer 8888, volume 8080) привязываются к 127.0.0.1 внутри контейнера (`-ip.bind=127.0.0.1`), наружу в сеть `storage` выставлен только S3 (`-s3.ip.bind=0.0.0.0`). Встроенный IAM API отключён (`-s3.iam=false`), автосоздание бакетов — тоже (`-s3.autoCreateBucket=false`).
| Роль | Сервис | Образ | Health/readiness | Volume | Сеть / порт | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| LB | `lb` | haproxy:2.8.30-alpine | `/lb-health`; бэкенды по `/health/ready` | — | backend; 127.0.0.1:8080, :8404 | — |
| API ×2 | `api` | сборка `Dockerfile` | `/health/ready` (PostgreSQL + схема) | нет (read-only) | backend + storage; без ports | secrets: database_url, cache_url, s3_access_key_id, s3_secret_access_key |
| БД | `postgres` | postgres:16.4-alpine | `pg_isready` | `pgdata` | backend | postgres_password |
| Кэш сессий | `redis` | redis:7.4.1-alpine | `redis-cli ping` | нет (только кэш) | backend | redis_password |
| S3 | `s3` | chrislusf/seaweedfs:4.50 | `wget /healthz` (+ `ops.py wait-s3`) | `s3data` | storage (internal); только :8333 | secret s3_config (identities) |
| Миграции | `migrate` | сборка | one-shot | — | backend | database_url |
| Bucket bootstrap | `s3-init` | сборка | one-shot | — | storage | admin + api S3-ключи |
| Тестовые отказы | `api-fault-*` (профиль `faults`) | образ API | `/health/ready` | — | backend + storage | как у api |
### Модель данных (`migrations/004_attachments.sql`)
- `attachments(id, chat_id, owner_id, filename, content_type, size_bytes, sha256, width, height, object_key UNIQUE, state pending|ready, created_at, updated_at)`. CHECK-ограничения повторяют контракт: имя 1–255, тип png/jpeg, размер 1..10 485 760, `width*height ≤ 40 000 000`, sha256 в нижнем регистре.
- `object_key = "originals/" + случайный UUID`. Он **не** совпадает с `id` вложения, не содержит `filename` и не раскрывается в API.
- `message_attachments(message_id, attachment_id, chat_id, position)`: порядок `attachment_ids` сохраняется. **Составные внешние ключи** `(message_id, chat_id) → messages(id, chat_id)` и `(attachment_id, chat_id) → attachments(id, chat_id)` на уровне БД запрещают привязать файл чужого чата. `ON DELETE RESTRICT` не даёт удалить вложение, на которое ссылается сообщение.
- `messages_text_len` расширен до 0..4000: `text=""` допустим только вместе с вложениями (проверяет API). Миграция только расширяющая — реплики lab3 работают на новой схеме (rolling update).
### Загрузка, `201` и границы транзакций
`POST /api/v1/chats/{id}/attachments?filename=…` (сырые bytes, `src/main.py`):
1. Дешёвые проверки до чтения тела: аутентификация → `filename` (400) → `Content-Type` только `image/png|image/jpeg` (415) → `Content-Length > 10 MiB` → 413 без чтения → членство в чате (404) → слот загрузки (`MAX_CONCURRENT_UPLOADS=4` на реплику; ожидание ≤ 5 с, иначе 503 + `Retry-After`).
2. Тело читается потоком; как только счётчик превысил 10 MiB — 413 (и для chunked без `Content-Length`). Остаток тела (до 10 MiB) дочитывается в никуда, чтобы клиент получил 413, а не обрыв. Общий дедлайн приёма — `UPLOAD_READ_TIMEOUT_SECONDS=60` (медленный клиент → 400). Обрыв клиентом → ничего не записано.
3. Проверка содержимого (`src/images.py`, ≤ 2 одновременных на реплику):
- сигнатура PNG/JPEG; **сигнатура должна совпасть с заявленным Content-Type** (подмена MIME → 415);
- размеры из IHDR / SOFn **до** распаковки: > 40 Мп → 413 (pixel bomb 8000×6000 размером ~50 КБ отклоняется за миллисекунды);
- PNG: все CRC, порядок IHDR…IDAT…IEND, допустимые bit depth/color type, **потоковая распаковка zlib с выводом кусками по 64 KiB «в никуда»**: объём должен в точности совпасть с ожидаемым (с учётом Adam7). Так обнаруживаются обрезанные и испорченные данные, а zip-бомба обрывается, как только вывод превысил ожидание; память O(64 KiB) при любом размере картинки;
- JPEG: обход маркеров (длины сегментов, SOF до SOS, обязательный EOI → обрезанный файл = 415). Baseline дополнительно декодируется Pillow в режиме `draft` (1/8 масштаба). Progressive Pillow не декодирует: libjpeg держит коэффициенты всего кадра, замер — **119 MiB** на 39.7 Мп против **4.9 MiB** у baseline;
- независимый парсер Pillow должен увидеть тот же формат и размеры.
4. `[1]` `INSERT attachments … state='pending'` (с проверкой членства в том же операторе) — **COMMIT до S3**.
5. `[2]` S3 `PutObject` с `Content-MD5` (S3 сам отклоняет повреждённую передачу — BadDigest; проверено) и `x-amz-meta-sha256`.
6. `[3]` `UPDATE … SET state='ready' WHERE id=… AND state='pending'` — **COMMIT** → `201 Attachment {status: ready, variants: [], error_code: null}`.
**Когда честно вернуть 201:** только после шага `[3]`. Байты к этому моменту записаны в S3 (PUT подтверждён с проверкой MD5), а метаданные зафиксированы в PostgreSQL. Ответ 201 до любого из этих событий означал бы, что «готовое» вложение может не скачаться.
**S3 PUT прошёл, а COMMIT `[3]` — нет.** Остаются строка `pending` (не видна в API, прикрепить нельзя) и объект. При ошибке БД API сразу компенсирует: удаляет объект и пытается удалить строку, клиент получает 503. Если процесс умер (компенсации нет), строку и объект уберёт сборщик после grace period. Обе ветки проверены внедрением отказа (`api-fault-db`, `api-fault-crash`).
### Согласованность БД и S3: компенсация + сборщик (`src/reconcile.py`)
Главный инвариант: **ключ объекта записан в БД раньше, чем объект появится в бакете.** Поэтому объект без строки может появиться только после того, как строку удалили. Ключ одноразовый, удалённая строка не возрождается.
| Ситуация | Кто исправляет | Как |
| --- | --- | --- |
| Ошибка S3 в `[2]` | запрос | DELETE своей pending-строки, 503 |
| Ошибка БД в `[3]` | запрос | DELETE объекта (+ попытка DELETE строки), 503 |
| Процесс умер между `[1]`/`[2]`/`[3]`, обрыв, сеть | сборщик, проход A | pending старше grace: **сначала** `DELETE … WHERE state='pending' RETURNING object_key` (атомарный захват; если запрос успел `[3]`, строка уже ready и не трогается), **потом** DELETE объекта |
| Объект без строки (сбой удаления в A, ручная запись) | сборщик, проход B | листинг `originals/` страницами; нет строки **и** `LastModified` старше grace → повторная проверка → DELETE |
| ready-строка без объекта | только отчёт (C) | байты не восстановить; авто-удаление метаданных опасно — `missing_objects` в отчёте |
- **Grace period** `ATTACHMENT_GC_GRACE_SECONDS=900` (минимум 300, конфиг меньше не примет). Это намного больше самой долгой загрузки: чтение ≤ 60 с + проверка + S3 PUT (connect 2 с + read 10 с) × 2 попытки ≈ 90 с. Если загрузка всё же переживёт grace, `[3]` вернёт 0 строк → API удалит свой объект и ответит 503.
- **Свежие и используемые вложения не удаляются:** сборщик трогает только `pending` старше grace. ready-строки не удаляет никогда, а на используемые ещё и стоит FK RESTRICT. Тесты: `test_fresh_pending_is_kept`, `test_ready_and_referenced_are_never_collected` (прямой `DELETE` получает ForeignKeyViolation), `test_pending_cannot_be_attached`.
- Фоновый проход A — каждые 300 с, полный обход бакета B — раз в час. Выполняет одна реплика за раз (`pg_try_advisory_lock`). Ручной запуск: `python scripts/ops.py reconcile` (**dry-run** по умолчанию, ничего не меняет) и `… reconcile --apply`. Повторный `--apply` — no-op (проверено). Стоимость обхода на стенде: 238 объектов — 0.036 с (листинг + один `SELECT … = ANY` на страницу из 1000 ключей).
### Ограничение памяти и потоковая обработка
- Лимит байт применяется **во время** чтения (на 10 MiB + 1 байт). В памяти одной загрузки — тело (≤ 10 MiB) + кратковременно куски до склейки. Проверка PNG — O(64 KiB), JPEG baseline — ≤ ~5 MiB. Тело уходит в S3 как `BytesIO` поверх тех же bytes, без копии.
- Одновременно на реплику ≤ 4 загрузки (`MAX_CONCURRENT_UPLOADS`). Остальные ждут слот ≤ 5 с **до чтения тела**, поэтому их байты не накапливаются в памяти. Скачивание идёт потоком из S3 кусками по 64 KiB (`StreamingResponse`), без буферизации файла.
- Найдено и исправлено замерами (см. «Эксперименты»): `zlib.unconsumed_tail` копировал остаток IDAT на каждом шаге (пик 2× файла и квадратичное копирование), а botocore склеивал заголовки с телом `bytes` в один буфер. В образе также настроен glibc malloc (`MALLOC_ARENA_MAX=2`, фиксированный порог mmap 1 MiB), чтобы большие буферы возвращались ОС сразу.
### Безопасность бакета и ключей
- **Bootstrap идемпотентен** (`src/s3_bootstrap.py`, сервис `s3-init`): `CreateBucket` → `BucketAlreadyOwnedByYou` считается успехом (`evidence/sandbox/s3_bootstrap.txt`: повторный запуск — `already exists (idempotent no-op)`). После создания бакета s3-init проверяет права ключей и приватность; при нарушении он завершается с ошибкой, и API не стартует.
- **Отдельные ключи API** (`messenger_api`) имеют только `Read/Write/List` на `messenger-attachments`. `CreateBucket`/`DeleteBucket` → AccessDenied. Admin-ключи (`bootstrap_admin`) смонтированы только в `s3-init`. Identity `anonymous` не объявлена.
- **Проверка приватности вне API** (`python scripts/ops.py s3-check`): из сети `storage`, без подписи, к S3 напрямую. Анонимный GET реального объекта последнего вложения → 403, анонимный листинг бакета и списка бакетов → 403. Тот же объект с ключами API → 200 и совпадающий SHA-256.
- **Админ-консоль не открыта в общей сети:** порты 9333/8888/8080/19333/18888 с адреса `s3` закрыты (проверка в том же скрипте). Сеть `storage` — `internal: true`. LB в неё не входит, порты S3 на хост не публикуются.
- **Случайный ключ и приватный бакет не заменяют ACL приложения:** доступ к `GET /attachments/{id}` и `/content` проверяется по членству в чате на каждый запрос (посторонний → 404 без раскрытия существования). Download идёт через API без redirect и без подписанных URL. Ответ содержит `X-Content-Type-Options: nosniff`, `Cache-Control: private, no-store`, `Content-Disposition` с безопасно закодированным именем.
### Недоступность S3 и readiness
S3 **не входит** в readiness: если бы реплики при падении S3 становились not-ready, LB вывел бы обе, и вместе с файлами пропали бы чат и вход. Вместо этого файловые операции быстро отвечают `503 unavailable` + `Retry-After` (таймауты клиента S3: connect 2 с, read 10 с, ≤ 2 попытки), а всё остальное работает. Критичные зависимости readiness — по-прежнему PostgreSQL и мигрированная схема.
Таймауты boto3 не покрывают DNS: в Docker остановленный контейнер `s3` пропадает из DNS, и разрешение имени висит секундами. В первом прогоне на Docker Desktop загрузка ждала 12–13 с, а скачивание превысило `timeout server` HAProxy (10 с) и получило **504 от LB** вместо 503. Исправление (`src/main.py`, `s3_call`; `src/objectstore.py`, `CircuitBreaker`):
- у каждого вызова S3 из запроса есть общий дедлайн: скачивание 5 с, загрузка 10 с;
- после отказа circuit breaker 5 с сразу отвечает 503, затем делает одну пробную попытку;
- у API в compose `dns_opt: timeout:1, attempts:1`.
Проверено на худшем случае — S3, который принимает соединение и молчит: upload 503 за 10.0 с, download 503 за 5.0 с (`evidence/sandbox/s3_outage_hang.json`). При S3, который сразу отказывает: 1.8–2.3 с и 0.01 с (breaker открыт).
**Особенность SeaweedFS после рестарта** (замер): `/healthz` отвечает сразу, но первые операции блокируются. Первое чтение после рестарта шло ~15 с, первая запись ~29 с: выборы Raft-лидера (`electionTimeout` 10 с), затем heartbeat volume-сервера. С `-master.electionTimeout=2s` первая запись — ~19 с. Поэтому restart-hook и `ops.py wait-s3` ждут **реальной** готовности: проба put/get/delete и чтение существующего объекта, каждая операция < 2 с (`s3_bootstrap.py --wait-ready`); на стенде готовность наступала через 14.5–17.1 с. Штатная остановка SeaweedFS длится ~22 с, поэтому `stop_grace_period: 10s` (как у Docker по умолчанию) и затем SIGKILL. Подтверждённые записи к этому моменту уже в page cache ОС; тест сохранности после такого рестарта проходит.
### Что перенесено из lab3 и что изменено
Перенесены без изменения семантики: всё API lab2–3, HAProxy-конфигурация (обнаружение реплик через DNS, drain, `retries`/`redispatch`), идемпотентность, миграции one-shot, rolling update, hooks и собственные тесты lab2–3 (47 HTTP-тестов + 12 тестов хранилища проходят на lab4).
Изменено в lab4:
1. Переход контракта 3 → 4: поля `attachment_ids` в запросе и ответе сообщения (отсутствие = `[]` и для отпечатка идемпотентности; порядок значим), три новых endpoint.
2. Сервисы `s3`, `s3-init`, volume `s3data`, сеть `storage`; секреты S3; профиль `faults`.
3. HAProxy: для `POST …/attachments` — `timeout server 90s` (`http-request set-timeout`), остальным запросам — прежние 10 с.
4. Лимит памяти API 256M → 320M (4 загрузки по 10 MiB, замер ниже); glibc malloc tuning в `Dockerfile`.
5. `scripts/ops.py`: restart включает S3 и ждёт его прогрева; новые `wait-s3`, `s3-check`, `reconcile`, `api-fs`, `in-network consistency`. `collect_evidence.py` дополнен проверками lab4.
### Соответствие `.env.example` и реальной конфигурации
Переменные lab3 — без изменений (см. [docs/lab3/REPORT.md](../lab3/REPORT.md)). Новые:
| Переменная | Значение | Где используется |
| --- | --- | --- |
| `SEAWEEDFS_VERSION` | 4.50 | тег образа `s3` |
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | http://s3:8333, us-east-1, messenger-attachments | api, s3-init, `src/config.py` |
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | /run/secrets/… | ключи API (compose secrets) |
| `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `S3_MAX_ATTEMPTS` | 2, 10, 2 | `src/objectstore.py` |
| `S3_DOWNLOAD_DEADLINE_SECONDS`, `S3_UPLOAD_DEADLINE_SECONDS`, `S3_CIRCUIT_OPEN_SECONDS` | 5, 10, 5 | общий бюджет вызова S3 (вкл. DNS), circuit breaker |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | 10485760, 40000000 | не выше контракта (иначе API не стартует) |
| `MAX_CONCURRENT_UPLOADS`, `UPLOAD_QUEUE_TIMEOUT_SECONDS` | 4, 5 | слоты загрузки на реплику |
| `UPLOAD_READ_TIMEOUT_SECONDS` | 60 | дедлайн приёма тела |
| `IMAGE_DECODE_CONCURRENCY` | 2 | разборов изображения на реплику |
| `ATTACHMENT_GC_INTERVAL_SECONDS`, `ATTACHMENT_GC_GRACE_SECONDS`, `ORPHAN_SWEEP_INTERVAL_SECONDS` | 300, 900, 3600 | `src/reconcile.py` |
| `FAULT_INJECTION` | пусто | только сервисы `api-fault-*` |
## Доказательства критериев
**Где получены результаты.** Код проверен на стенде из тех же компонентов, запущенных нативными процессами: PostgreSQL 16, Redis 7, SeaweedFS 4.50 (тот же бинарник, те же флаги), HAProxy 2.8.30 с этим `haproxy.cfg` (статические серверы вместо DNS-шаблона) и 2 реплики API. Среда: Windows 10, Ryzen 5 7500f, 32 GB, Python 3.12, без cgroup-лимитов. Результаты — в `evidence/`.
### Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | PASS: файл → сообщение с attachment_ids → download Бобом, SHA-256 совпал, Ева 404 | evidence/sandbox/smoke.txt; evidence/smoke.txt |
| Возможности lab3 сохранены | `run_all.py`, `in-network storage`, failover, persistence | 47 HTTP + 12 DB-тестов lab2–3 OK; failover/persistence PASS | evidence/sandbox/student-tests.txt |
| S3 в общем стенде; метаданные в PostgreSQL, байты в приватном бакете | `compose.yaml`, `ops.py api-fs`, `s3-check` | API без volumes, read-only rootfs; объекты только в `s3data` | evidence/s3_private.txt |
| 201 ready после сохранения; оригинал побайтно | `test_png_roundtrip…`, `test_exactly_max_size_is_accepted` | 201, `status=ready`, `variants=[]`; SHA-256 и Content-Length совпадают (вкл. ровно 10 485 760 байт) | evidence/sandbox/student-tests.txt |
| Message с attachment_ids, посторонний без доступа | smoke, `test_message_with_attachments…` | порядок id сохранён; Ева: 404 на метаданные и bytes | там же |
| PNG/JPEG ≤10 MiB, ≤40 Мп; MIME по содержимому; опасные имена; лимиты до распаковки | `test_too_large_*`, `test_too_many_pixels`, `test_mime_spoofing_is_415`, `test_dangerous_filenames_are_400` | 413/413/415/400; 48 Мп файл 50 КБ → 413 без распаковки | там же |
| Upload → стоп обслужившей реплики → download через другую | `make test-failover` ×2 | PASS, 138–139 записей, 0 ошибок; файл скачан после остановки | evidence/sandbox/failover.txt |
| Restart стенда сохраняет метаданные и оригинал | `make test-persistence` | PASS; сменились PID PostgreSQL, SeaweedFS и обеих реплик; файл скачан со старым токеном | evidence/sandbox/persistence.txt |
| Недоступность S3, чужой чат, restart | `s3_outage.py`; `test_attachment_from_other_chat…`; persistence | 503 за 1.0–1.7 с, чат работает; 404; PASS | evidence/sandbox/s3_outage.json |
### Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `student-tests/test_attachments.py` (17 тестов) | 413 (Content-Length и chunked), 415 (обрезанный PNG/JPEG, неверный CRC, неверный объём IDAT, мусор, пустое тело, GIF), 415 (6 подмен MIME), 404 (чужое/неизвестное id, файл другого чата, Ева в своём чате), 400 (12 опасных имён); каждый негативный ответ < 500 в общем формате | evidence/sandbox/student-tests.txt |
| Обрыв загрузки и отказ между S3/БД не оставляют вечных объектов; компенсация/сверка с grace | `test_attachment_consistency.py` (10 тестов) в сети стенда | обрыв → 0 строк, 0 объектов; ошибка S3 → 503 + нет строки; ошибка БД после PUT → 503 + объект удалён; **падение процесса после PUT** → pending + объект → сборщик удаляет оба; dry-run ничего не меняет; повтор no-op; свежие/ready/используемые не удаляются | evidence/sandbox/consistency.txt; evidence/consistency.txt |
| Лимиты/таймауты/потоковая обработка; ≥10 одновременных загрузок с замером пика | `upload_memory.py --concurrency 10/20` | 10×9.5 MiB ×3 волны: 30/30 201, пик RSS 156–166 MiB на реплику (база 88–95); при 20 одновременных пик тот же (159–162); без лимитера 262–291 MiB | evidence/sandbox/upload_memory_*.json |
| Bootstrap идемпотентен | повторный `s3-init` | `already exists (idempotent no-op)`, все проверки ok | evidence/sandbox/s3_bootstrap.txt |
| Отдельные S3 credentials с ограниченными правами | `s3_bootstrap` проверки | API-ключи: put/get своего бакета — ok; CreateBucket/DeleteBucket — AccessDenied | evidence/sandbox/s3_private.txt |
| Админ-консоль не в общей сети | `ops.py s3-check` | 9333/8888/8080/19333/18888 закрыты, S3 :8333 — единственный | там же |
| Private bucket вне API | `ops.py s3-check` | анонимный GET реального объекта → 403, листинг → 403; с ключами API тот же объект → 200, SHA-256 совпал | там же |
## Эксперименты и отказы
**Стенд замеров:** Windows 10, Ryzen 5 7500f, 32 GB; все процессы (2 реплики API, HAProxy, PostgreSQL, Redis, SeaweedFS, генератор нагрузки) на одном хосте. Реплика: 1 процесс Uvicorn, threadpool по умолчанию. Файлы — синтетический шум, PNG без сжатия, 9.5 MiB (несжимаемые, проверка проходит по полной программе). Память — VmRSS процесса реплики (опрос каждые 20 мс) и пик RSS, который считает ядро (VmHWM, обнуляется перед прогоном). Загрузки через LB (roundrobin по двум репликам), повторы — волнами.
**Гипотеза:** пик памяти реплики ≈ база + `MAX_CONCURRENT_UPLOADS` × (~2 × размер файла) и не зависит от числа одновременных клиентов; без лимитера память растёт линейно с конкуренцией.
| Прогон | Одновременно | Загрузок | 201 / SHA ok | p50 / p95, с | База → пик RSS, MiB (реплика 1 / 2) |
| --- | --- | --- | --- | --- | --- |
| до исправлений (zlib tail, bytes в botocore) | 10 | 30 | 30 / 30 | 2.01 / 2.29 | 124 → 237 / 124 → 244 |
| исправления кода, malloc по умолчанию | 10 | 30 | 30 / 30 | 1.20 / 1.34 | 124 → 187 / 124 → 187 |
| + MALLOC_ARENA_MAX=2, mmap ≥ 1 MiB (**итог**) | 10 | 30 | 30 / 30 | 1.32 / 2.07 | 95 → 163 / 95 → 156 (пик ядра VmHWM 166 / 165) |
| итог, вдвое больше клиентов | 20 | 40 | 40 / 40 | 2.16 / 3.08 | 115 → 162 / 97 → 159 |
| лимитер выключен (`MAX_CONCURRENT_UPLOADS=64`) | 20 | 40 | 40 / 40 | 2.90 / 3.03 | 88 → 262 / 89 → 291 |
Вывод: гипотеза подтверждена. Прирост ~61–72 MiB ≈ 4 слота × 2 × 9.5 MiB. При удвоении клиентов пик не растёт (лишние ждут слот, их тело ещё не прочитано), растёт только задержка. Без лимитера пик +170–200 MiB при той же пропускной способности: при лимите 256 MiB контейнер был бы убит OOM. Поэтому лимит API — 320M, запас ~155 MiB. Микрозамеры (tracemalloc, 9.5 MiB PNG): проверка 19 MiB → 1.5 MiB и 0.17 → 0.06 с; `put_object(bytes)` 25 MiB → `BytesIO` 0.1 MiB. Ограничения: один хост и общий CPU для клиента и сервера; RSS не включает page cache; в Docker тот же скрипт (`--docker`) читает VmHWM процесса API внутри контейнера, `docker stats` и cgroup `memory.peak`.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| SIGTERM обслужившей реплики (public failover ×2) | записи идут через другую, файл скачивается | 138/139 записей, 0 ошибок, файл совпал | первая запись после hook ≤ 4.5 с (hook ждёт drain 3 с); потерь нет |
| Каждая реплика по очереди под нагрузкой (`failover_series.py`) | 0 ошибок, LB DOWN < 2 с | DOWN 1.30 / 1.53 с, 0 ошибок, RPS 318 → 239 / 283 → 243 | возврат в ротацию 2.9 / 3.1 с; данные целы |
| Рестарт API + PostgreSQL + Redis + S3 + LB | данные, сессия и файл сохранены | PASS, PID всех процессов сменились | ~38 с hook (из них прогрев S3 16 с); потерь нет |
| Остановка S3 | файлы → 503 быстро, остальное работает | upload 503 за 1.0–1.7 с, download 503 за 1.0 с, readiness 200, сообщения 201 | после старта S3 прогрев 17 с; старый файл побайтно цел |
| S3 «висит» (принимает соединение, не отвечает) | 503 в пределах дедлайна, не 504 | upload 503 за 10.0 с, download 503 за 5.0 с | прогрев 16 с; старый файл цел |
| Ошибка S3 PUT (`api-fault-s3`) | 503, строки нет | 503, 0 строк | сразу |
| Ошибка БД после PUT (`api-fault-db`) | 503, объект удалён | 503, 0 строк, число объектов не изменилось | сразу |
| Падение процесса после PUT (`api-fault-crash`) | pending + объект, убирает сборщик | 1 pending + объект → после grace (сдвинутого в тесте) 0 / 0 | ≤ grace + интервал (900 + 300 с по умолчанию) |
| Обрыв клиентом на 0.2 из 5 MiB | ничего не записано | 0 строк, объектов столько же | сразу |
| Нагрузка lab3 (`tests/load.py`, 20 с, c=4) | без регрессии | 276 RPS, 0 ошибок, p50/p95/p99 13/24/33 мс | — |
## Ограничения и следующие шаги
- Один Docker-host, один PostgreSQL, один процесс SeaweedFS без репликации: отказ host/БД/S3 не переживается. S3 недоступен → файловые операции 503 (остальное работает). Восстановление S3 занимает 15–30 с прогрева.
- Тело загрузки держится в памяти процесса (≤ 10 MiB × 4 слота). Это ограничено и измерено, но не «настоящий» стриминг в S3. Следующий шаг — multipart upload кусками по 5 MiB с проверкой по частям или presigned upload (трек 1).
- Progressive JPEG проверяется структурно (маркеры, EOI), без декодирования пикселей: экономия ~115 MiB на 40 Мп. Испорченные энтропийные данные внутри структурно целого progressive-файла не обнаруживаются (их увидит lab5 при создании thumbnail → `failed`).
- `missing_objects` (ready без байтов) сборщик только сообщает; решение о судьбе метаданных — за оператором.
- Ключи идемпотентности, созданные репликой lab3 до обновления, имели отпечаток без `attachment_ids`; повтор такого ключа на lab4 даст 409 (окно 24 ч после rolling update).
- SIGKILL SeaweedFS через 10 с при остановке: безопасно для подтверждённых записей при живом ядре ОС, не при потере питания.
- Docker-прогон (`collect_evidence.py`) выполняется на машине студента. Нативный прогон подтверждает код, HAProxy-конфиг и флаги SeaweedFS, но не compose-обвязку.
## Вопросы защиты — кратко
- **Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?** Volume привязан к одному контейнеру и host. Другая реплика его не видит, поэтому после остановки загрузившей реплики файл недоступен (тест failover это и проверяет). У volume нет общего API доступа, ключей с правами и проверки целостности (Content-MD5), он не масштабируется независимо от API, а с read-only rootfs его пришлось бы ещё и открывать на запись. S3 — общий сервис с собственными ACL, его читают все реплики.
- **Когда можно честно вернуть 201?** Только после того, как S3 подтвердил PUT (с проверкой MD5) **и** COMMIT перевёл строку в `ready`. Раньше — нельзя: «готовое» вложение могло бы не скачаться.
- **S3 PUT прошёл, COMMIT — нет?** Остаются невидимая pending-строка и объект. Ошибку БД API компенсирует сам (удаляет объект, 503). Если процесс умер, сборщик после grace сначала атомарно удаляет pending-строку, потом объект. Объект без строки убирает проход по бакету. Строка всегда создаётся раньше объекта, поэтому «вечных» объектов нет.
- **Почему случайный ключ и приватный бакет не заменяют ACL приложения?** Приватный бакет защищает от анонимного доступа к S3, но клиенты в него и не ходят: все запросы идут через API с ключами API, которые читают **любой** объект бакета. Кто из пользователей что может скачать, знает только приложение (членство в чате). Случайный ключ — защита «неугадываемостью»: он может утечь (лог, ссылка), а доступ после выхода из чата или для чужого пользователя он не ограничивает. Поэтому каждый запрос проверяет членство и отвечает 404 постороннему.
+11
View File
@@ -0,0 +1,11 @@
# Доказательства
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
## Что лежит здесь (lab4)
- `sandbox/` — результаты, полученные при разработке на стенде из тех же компонентов, запущенных нативными процессами (PostgreSQL 16, Redis 7, SeaweedFS 4.50, HAProxy 2.8.30, 2 реплики API; без Docker). Как получены — REPORT.md, раздел «Доказательства критериев».
- Остальные файлы создаёт `python scripts/collect_evidence.py` на compose-стенде (сводка — `SUMMARY.txt`). Токены и пароли в файлы не пишутся.
- Доказательства lab3 сохранены в `docs/lab3/evidence/`.
+46
View File
@@ -0,0 +1,46 @@
# 2026-11-04 14:12:25 UTC
OK Контракт (offline) evidence/check.txt
OK Compose config evidence/check.txt
OK Стенд: контейнеры evidence/stand.txt
OK Стенд: реплики и статус в LB evidence/stand.txt
OK Стенд: лимиты CPU/RAM evidence/stand.txt
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
OK Образ SeaweedFS (закреплённая версия) evidence/stand.txt
OK S3 bootstrap: лог первого запуска s3-init evidence/s3_bootstrap.txt
OK S3 bootstrap: повторный запуск (идемпотентность) evidence/s3_bootstrap.txt
OK Публичный smoke evidence/smoke.txt
OK Собственные тесты (HTTP через LB, включая test_attachments.py) evidence/student-tests.txt
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
OK Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) evidence/consistency.txt
OK Сверка БД <-> S3 (dry-run) evidence/reconcile.txt
OK Приватный бакет вне API, права ключей, закрытые админ-порты evidence/s3_private.txt
OK На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes evidence/s3_private.txt
OK API: файлы в /tmp (tmpfs) после загрузок evidence/s3_private.txt
OK Пик памяти: 10 одновременных загрузок по 9.5 MiB evidence/upload_memory.txt
OK Пик памяти: 20 одновременных загрузок evidence/upload_memory.txt
OK Failover #1: реплики до evidence/failover.txt
OK Failover #1: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #1: restore evidence/failover.txt
OK Failover #2: реплики до evidence/failover.txt
OK Failover #2: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #2: restore evidence/failover.txt
OK Failover #3: реплики до evidence/failover.txt
OK Failover #3: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #3: restore evidence/failover.txt
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
OK Недоступность S3 и восстановление evidence/s3_outage.txt
OK Rolling update lab4 -> lab4.1 под нагрузкой evidence/rolling_update.txt
OK Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой evidence/rolling_update.txt
OK Реплики после обновлений evidence/rolling_update.txt
OK Persistence: контейнеры до evidence/persistence.txt
OK Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) evidence/persistence.txt
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
OK Persistence: сверка БД <-> S3 после рестарта evidence/persistence.txt
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
OK CPU/RAM после нагрузки evidence/load.txt
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
+7
View File
@@ -0,0 +1,7 @@
# 2026-11-04 14:03:55 UTC | Контракт (offline) | exit 0 | 0.1s
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-11-04 14:03:55 UTC | Compose config | exit 0 | 0.2s
$ docker compose --env-file .env config --quiet
+75
View File
@@ -0,0 +1,75 @@
# 2026-11-04 14:04:49 UTC | Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) | exit 0 | 15.8s
$ python scripts/ops.py in-network consistency
Container messenger-lab4-redis-1 Running
Container messenger-lab4-s3-1 Running
Container messenger-lab4-postgres-1 Running
Container messenger-lab4-api-1 Running
Container messenger-lab4-api-2 Running
Container messenger-lab4-api-fault-s3-1 Creating
Container messenger-lab4-api-fault-db-1 Creating
Container messenger-lab4-api-fault-crash-1 Creating
Container messenger-lab4-api-fault-db-1 Created
Container messenger-lab4-api-fault-s3-1 Created
Container messenger-lab4-api-fault-crash-1 Created
Container messenger-lab4-s3-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-s3-1 Healthy
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-s3-init-1 Starting
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-s3-init-1 Started
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-s3-init-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-redis-1 Waiting
Container messenger-lab4-redis-1 Healthy
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-s3-init-1 Exited
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-fault-crash-1 Starting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-fault-s3-1 Starting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-fault-db-1 Starting
Container messenger-lab4-api-fault-crash-1 Started
Container messenger-lab4-api-fault-s3-1 Started
Container messenger-lab4-api-fault-db-1 Started
Container messenger-lab4-api-run-46322fbc844a Creating
Container messenger-lab4-api-run-46322fbc844a Created
ready: http://api-fault-s3:8080/health/ready
Container messenger-lab4-api-run-ff8a88e550db Creating
Container messenger-lab4-api-run-ff8a88e550db Created
ready: http://api-fault-db:8080/health/ready
Container messenger-lab4-api-run-476fc515a8f0 Creating
Container messenger-lab4-api-run-476fc515a8f0 Created
ready: http://api-fault-crash:8080/health/ready
Container messenger-lab4-api-run-9b2dce8846fe Creating
Container messenger-lab4-api-run-9b2dce8846fe Created
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... /usr/local/lib/python3.12/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
datetime_now = datetime.datetime.utcnow()
ok
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
----------------------------------------------------------------------
Ran 10 tests in 4.224s
OK
+66
View File
@@ -0,0 +1,66 @@
# 2026-11-04 14:05:30 UTC | Failover #1: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:05:46 UTC | Failover #1: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.4s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.187}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:05:46 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
# 2026-11-04 14:05:52 UTC | Failover #1: restore | exit 0 | 6.3s
$ python scripts/ops.py restore
2026-11-04T14:05:52.981Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.2s
# 2026-11-04 14:05:53 UTC | Failover #2: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:06:09 UTC | Failover #2: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 123, "failed_attempts": 0, "first_recovery_seconds": 4.203}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:06:09 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
# 2026-11-04 14:06:16 UTC | Failover #2: restore | exit 0 | 6.6s
$ python scripts/ops.py restore
2026-11-04T14:06:16.514Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.5s
# 2026-11-04 14:06:16 UTC | Failover #3: реплики до | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:06:33 UTC | Failover #3: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.203}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:06:33 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 exited unhealthy messenger-api:lab4 - -
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:06:40 UTC | Failover #3: restore | exit 0 | 6.7s
$ python scripts/ops.py restore
2026-11-04T14:06:40.028Z restore: started ['messenger-lab4-api-1']; 2 replicas healthy and UP in LB after 6.6s
# остановленные публичным тестом реплики: ['4fc3ad11e268', '4fc3ad11e268', 'c9fab9c9e2c1']
+294
View File
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"rounds": [
{
"target_instance": "4fc3ad11e268",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.12,
"lb_detect_down_seconds": 1.56,
"target_last_served_after_stop_seconds": 1.56,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.62,
"lb_back_up_seconds": 1.28,
"target_back_in_rotation_seconds": 7.62,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1155,
"ok": 1155,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 231.0,
"write_ok_rps": 137.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 125.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 1010,
"ok": 1010,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 101.0,
"write_ok_rps": 61.4,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 588,
"ok": 588,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 117.6,
"write_ok_rps": 43.8,
"latency_ms_ok": {
"p50": 31.0,
"p95": 187.0,
"p99": 219.0
},
"instances": [
"c9fab9c9e2c1"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.92,
"requests": 1531,
"ok": 1531,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 140.2,
"write_ok_rps": 82.4,
"latency_ms_ok": {
"p50": 31.0,
"p95": 110.0,
"p99": 187.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
6.56,
[
"api1"
]
],
[
21.28,
[
"api1",
"api2"
]
],
[
21.61,
[
"api1"
]
],
[
24.17,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2426,
"stored_messages": 2426,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "c9fab9c9e2c1",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.83,
"lb_detect_down_seconds": 1.55,
"target_last_served_after_stop_seconds": 1.39,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.0,
"lb_back_up_seconds": 1.62,
"target_back_in_rotation_seconds": 6.99,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1015,
"ok": 1015,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 203.0,
"write_ok_rps": 121.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 172.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 833,
"ok": 833,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 83.3,
"write_ok_rps": 49.3,
"latency_ms_ok": {
"p50": 78.0,
"p95": 187.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 371,
"ok": 371,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 74.2,
"write_ok_rps": 44.2,
"latency_ms_ok": {
"p50": 93.0,
"p95": 187.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.27,
"requests": 1496,
"ok": 1496,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 145.7,
"write_ok_rps": 86.8,
"latency_ms_ok": {
"p50": 31.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
6.55,
[
"api2"
]
],
[
21.62,
[
"api1",
"api2"
]
],
[
22.58,
[
"api2"
]
],
[
25.03,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2215,
"stored_messages": 2215,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
# 2026-11-04 14:07:43 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 63.4s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
-- stopping 4fc3ad11e268 (mode=stop) under load
hook 4.12s | LB DOWN after 1.56 s | errors 0 (-) | RPS before 231.0, outage 101.0, after restore 140.2 | p95 outage 110.0 ms | back in rotation 7.62 s | data ok=True
-- stopping c9fab9c9e2c1 (mode=stop) under load
hook 4.83s | LB DOWN after 1.55 s | errors 0 (-) | RPS before 203.0, outage 83.3, after restore 145.7 | p95 outage 187.0 ms | back in rotation 6.99 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
# 2026-11-04 14:08:46 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 62.7s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
-- stopping 4fc3ad11e268 (mode=kill) under load
hook 1.09s | LB DOWN after 1.97 s | errors 6 (502) | RPS before 244.2, outage 77.1, after restore 119.5 | p95 outage 187.0 ms | back in rotation 7.52 s | data ok=True
-- stopping c9fab9c9e2c1 (mode=kill) under load
hook 1.14s | LB DOWN after 2.59 s | errors 6 (502) | RPS before 186.8, outage 82.9, after restore 134.8 | p95 outage 188.0 ms | back in rotation 6.83 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
@@ -0,0 +1,298 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"rounds": [
{
"target_instance": "4fc3ad11e268",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.09,
"lb_detect_down_seconds": 1.97,
"target_last_served_after_stop_seconds": 0.47,
"target_served_after_hook_returned": false,
"errors_during_outage": 6,
"error_kinds": [
"502"
],
"error_window_seconds": 0.56,
"restore_hook_seconds": 7.53,
"lb_back_up_seconds": 2.0,
"target_back_in_rotation_seconds": 7.52,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1221,
"ok": 1221,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 244.2,
"write_ok_rps": 145.6,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 109.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 777,
"ok": 771,
"errors": 6,
"error_ratio": 0.0077,
"ok_rps": 77.1,
"write_ok_rps": 40.7,
"latency_ms_ok": {
"p50": 63.0,
"p95": 187.0,
"p99": 1015.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 565,
"ok": 565,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 113.0,
"write_ok_rps": 44.8,
"latency_ms_ok": {
"p50": 31.0,
"p95": 187.0,
"p99": 281.0
},
"instances": [
"c9fab9c9e2c1"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.84,
"requests": 1296,
"ok": 1296,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 119.5,
"write_ok_rps": 68.1,
"latency_ms_ok": {
"p50": 31.0,
"p95": 172.0,
"p99": 203.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
6.97,
[
"api1"
]
],
[
22.0,
[
"api1",
"api2"
]
],
[
22.45,
[
"api1"
]
],
[
24.97,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2100,
"stored_messages": 2100,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 4,
"ok": true
}
},
{
"target_instance": "c9fab9c9e2c1",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.14,
"lb_detect_down_seconds": 2.59,
"target_last_served_after_stop_seconds": 0.51,
"target_served_after_hook_returned": false,
"errors_during_outage": 6,
"error_kinds": [
"502"
],
"error_window_seconds": 0.59,
"restore_hook_seconds": 6.83,
"lb_back_up_seconds": 1.61,
"target_back_in_rotation_seconds": 6.83,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 934,
"ok": 934,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 186.8,
"write_ok_rps": 111.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 187.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 835,
"ok": 829,
"errors": 6,
"error_ratio": 0.0072,
"ok_rps": 82.9,
"write_ok_rps": 40.8,
"latency_ms_ok": {
"p50": 32.0,
"p95": 188.0,
"p99": 1000.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 541,
"ok": 541,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 108.2,
"write_ok_rps": 37.6,
"latency_ms_ok": {
"p50": 31.0,
"p95": 203.0,
"p99": 282.0
},
"instances": [
"4fc3ad11e268"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.16,
"requests": 1369,
"ok": 1369,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 134.8,
"write_ok_rps": 77.6,
"latency_ms_ok": {
"p50": 31.0,
"p95": 110.0,
"p99": 188.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
7.59,
[
"api2"
]
],
[
21.61,
[
"api1",
"api2"
]
],
[
21.95,
[
"api2"
]
],
[
24.53,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 1941,
"stored_messages": 1941,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 4,
"ok": true
}
}
],
"pass": true
}
+22
View File
@@ -0,0 +1,22 @@
# 2026-11-04 14:04:00 UTC | одна сессия, 20 запросов GET /users/me через LB
1 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001993A-1F90-6AEB3B50162-0571-0008
2 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019944-1F90-6AEB3B50169-0572-0008
3 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001994A-1F90-6AEB3B5017C-0573-0008
4 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019958-1F90-6AEB3B50199-0574-0008
5 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001995E-1F90-6AEB3B5019C-0575-0008
6 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019960-1F90-6AEB3B501B7-0576-0008
7 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019966-1F90-6AEB3B501C6-0577-0008
8 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019974-1F90-6AEB3B501C9-0578-0008
9 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019978-1F90-6AEB3B501E5-0579-0008
10 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019980-1F90-6AEB3B501F4-057A-0008
11 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019984-1F90-6AEB3B50205-057B-0008
12 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019988-1F90-6AEB3B50209-057C-0008
13 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019998-1F90-6AEB3B5020C-057D-0008
14 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC120001999C-1F90-6AEB3B50223-057E-0008
15 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001999E-1F90-6AEB3B50226-057F-0008
16 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199AE-1F90-6AEB3B50241-0580-0008
17 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199BA-1F90-6AEB3B50245-0581-0008
18 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199CA-1F90-6AEB3B50260-0582-0008
19 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199D2-1F90-6AEB3B50263-0584-0008
20 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199DE-1F90-6AEB3B50266-0585-0008
разных реплик: 2
+62
View File
@@ -0,0 +1,62 @@
# 2026-11-04 14:12:25 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.3s
$ docker compose --env-file .env logs --no-color --tail 60 lb
lb-1 | 172.18.0.1:56696 [04/Nov/2026:14:12:22.325] public api/api2 0/0/0/11/11 201 421 ---- 8/8/7/2/0 0/0 rid=AC120001DD78-1F90-6AEB3D46145-0F07-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56712 [04/Nov/2026:14:12:22.328] public api/api2 0/0/0/10/11 201 421 ---- 8/8/6/1/0 0/0 rid=AC120001DD88-1F90-6AEB3D46148-0F09-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56732 [04/Nov/2026:14:12:22.330] public api/api2 0/0/0/9/9 201 421 ---- 7/7/5/0/0 0/0 rid=AC120001DD9C-1F90-6AEB3D4614A-0F0B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56746 [04/Nov/2026:14:12:22.340] public api/api2 0/0/0/6/6 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DDAA-1F90-6AEB3D46154-0F0D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56734 [04/Nov/2026:14:12:22.349] public api/api2 0/0/1/6/7 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DD9E-1F90-6AEB3D46152-0F0F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56764 [04/Nov/2026:14:12:22.365] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDBC-1F90-6AEB3D4615C-0F11-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56666 [04/Nov/2026:14:12:22.308] public api/api1 0/0/0/88/89 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD5A-1F90-6AEB3D46134-0F04-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56788 [04/Nov/2026:14:12:22.398] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDD4-1F90-6AEB3D4618E-0F13-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56688 [04/Nov/2026:14:12:22.324] public api/api1 0/0/0/84/85 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD70-1F90-6AEB3D46144-0F06-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56802 [04/Nov/2026:14:12:22.410] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE2-1F90-6AEB3D4619A-0F15-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56698 [04/Nov/2026:14:12:22.325] public api/api1 0/0/0/99/100 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD7A-1F90-6AEB3D46145-0F08-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56808 [04/Nov/2026:14:12:22.427] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE8-1F90-6AEB3D461AB-0F17-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56748 [04/Nov/2026:14:12:22.341] public api/api1 0/0/0/156/157 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DDAC-1F90-6AEB3D46155-0F0E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56768 [04/Nov/2026:14:12:22.358] public api/api1 0/0/0/140/140 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DDC0-1F90-6AEB3D46166-0F10-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56784 [04/Nov/2026:14:12:22.395] public api/api1 0/0/0/103/104 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DDD0-1F90-6AEB3D46174-0F12-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56678 [04/Nov/2026:14:12:22.334] public api/api1 0/0/1/164/166 201 421 ---- 8/8/4/4/0 0/0 rid=AC120001DD66-1F90-6AEB3D4613D-0F0C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56728 [04/Nov/2026:14:12:22.328] public api/api1 0/0/0/171/172 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DD98-1F90-6AEB3D46148-0F0A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56800 [04/Nov/2026:14:12:22.406] public api/api1 0/0/0/96/96 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE0-1F90-6AEB3D46196-0F14-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56806 [04/Nov/2026:14:12:22.418] public api/api1 0/0/0/88/88 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE6-1F90-6AEB3D461A2-0F16-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56846 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE0E-1F90-6AEB3D461F5-0F1A-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56856 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/12/12 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE18-1F90-6AEB3D461F5-0F1C-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56872 [04/Nov/2026:14:12:22.502] public api/api1 0/0/0/12/12 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DE28-1F90-6AEB3D461F6-0F1D-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56824 [04/Nov/2026:14:12:22.434] public api/api1 0/0/0/84/84 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DDF8-1F90-6AEB3D461B2-0F18-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56840 [04/Nov/2026:14:12:22.501] public api/api1 0/0/0/17/18 201 421 ---- 7/7/2/1/0 0/0 rid=AC120001DE08-1F90-6AEB3D461F5-0F1B-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56898 [04/Nov/2026:14:12:22.512] public api/api2 0/0/0/6/6 201 421 ---- 6/6/1/0/0 0/0 rid=AC120001DE42-1F90-6AEB3D46200-0F1E-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56860 [04/Nov/2026:14:12:22.518] public api/api2 0/0/1/11/12 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DE1C-1F90-6AEB3D461F6-0F20-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56926 [04/Nov/2026:14:12:22.521] public api/api2 0/0/0/12/12 201 421 ---- 8/8/5/1/0 0/0 rid=AC120001DE5E-1F90-6AEB3D46209-0F24-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56888 [04/Nov/2026:14:12:22.519] public api/api2 0/0/0/14/14 201 421 ---- 7/7/4/0/0 0/0 rid=AC120001DE38-1F90-6AEB3D461FD-0F22-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56874 [04/Nov/2026:14:12:22.519] public api/api1 0/0/0/15/16 201 421 ---- 6/6/5/3/0 0/0 rid=AC120001DE2A-1F90-6AEB3D461F8-0F21-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56916 [04/Nov/2026:14:12:22.520] public api/api1 0/0/0/14/14 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DE54-1F90-6AEB3D46208-0F23-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56904 [04/Nov/2026:14:12:22.516] public api/api1 0/0/0/19/20 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DE48-1F90-6AEB3D46204-0F1F-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56956 [04/Nov/2026:14:12:22.536] public api/api2 0/0/0/12/12 201 421 ---- 8/8/7/3/0 0/0 rid=AC120001DE7C-1F90-6AEB3D46218-0F2B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56942 [04/Nov/2026:14:12:22.535] public api/api2 0/0/0/15/16 201 421 ---- 8/8/6/2/0 0/0 rid=AC120001DE6E-1F90-6AEB3D46217-0F29-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56930 [04/Nov/2026:14:12:22.534] public api/api2 0/0/0/17/17 201 421 ---- 7/7/5/1/0 0/0 rid=AC120001DE62-1F90-6AEB3D46209-0F27-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56984 [04/Nov/2026:14:12:22.538] public api/api2 0/0/0/15/15 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DE98-1F90-6AEB3D4621A-0F2D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57024 [04/Nov/2026:14:12:22.564] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/1/0 0/0 rid=AC120001DEC0-1F90-6AEB3D4622A-0F30-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56998 [04/Nov/2026:14:12:22.565] public api/api2 0/0/0/8/8 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEA6-1F90-6AEB3D46227-0F2F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57044 [04/Nov/2026:14:12:22.596] public api/api2 0/0/0/6/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DED4-1F90-6AEB3D4623E-0F33-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56934 [04/Nov/2026:14:12:22.533] public api/api1 0/0/0/80/80 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DE66-1F90-6AEB3D46215-0F26-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57066 [04/Nov/2026:14:12:22.615] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEEA-1F90-6AEB3D46267-0F35-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56952 [04/Nov/2026:14:12:22.535] public api/api1 0/0/0/88/88 201 421 ---- 8/8/6/6/0 0/0 rid=AC120001DE78-1F90-6AEB3D46217-0F2A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56900 [04/Nov/2026:14:12:22.534] public api/api1 0/0/1/88/90 201 421 ---- 7/7/5/5/0 0/0 rid=AC120001DE44-1F90-6AEB3D46202-0F28-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:56970 [04/Nov/2026:14:12:22.537] public api/api1 0/0/0/87/87 201 421 ---- 6/6/4/4/0 0/0 rid=AC120001DE8A-1F90-6AEB3D46219-0F2C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57018 [04/Nov/2026:14:12:22.565] public api/api1 0/0/0/62/63 201 421 ---- 8/8/6/5/0 0/0 rid=AC120001DEBA-1F90-6AEB3D46229-0F31-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57036 [04/Nov/2026:14:12:22.572] public api/api1 0/0/0/55/55 201 421 ---- 7/7/5/4/0 0/0 rid=AC120001DECC-1F90-6AEB3D4623C-0F32-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57014 [04/Nov/2026:14:12:22.553] public api/api1 0/0/0/74/75 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DEB6-1F90-6AEB3D46229-0F2E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57052 [04/Nov/2026:14:12:22.604] public api/api1 0/0/0/23/24 201 421 ---- 5/5/3/2/0 0/0 rid=AC120001DEDC-1F90-6AEB3D4625C-0F34-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57114 [04/Nov/2026:14:12:22.626] public api/api2 0/0/0/7/7 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DF1A-1F90-6AEB3D46272-0F37-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57138 [04/Nov/2026:14:12:22.629] public api/api2 0/0/0/9/9 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DF32-1F90-6AEB3D46275-0F39-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57142 [04/Nov/2026:14:12:22.630] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/0/0 0/0 rid=AC120001DF36-1F90-6AEB3D46276-0F3B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57156 [04/Nov/2026:14:12:22.641] public api/api2 0/0/0/5/5 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF44-1F90-6AEB3D46276-0F3D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57170 [04/Nov/2026:14:12:22.648] public api/api2 0/0/0/4/4 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF52-1F90-6AEB3D46288-0F3F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57168 [04/Nov/2026:14:12:22.657] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DF50-1F90-6AEB3D46282-0F41-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57096 [04/Nov/2026:14:12:22.625] public api/api1 0/0/0/86/86 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DF08-1F90-6AEB3D46271-0F36-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57108 [04/Nov/2026:14:12:22.626] public api/api1 0/0/0/89/89 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DF14-1F90-6AEB3D46272-0F38-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57160 [04/Nov/2026:14:12:22.656] public api/api1 0/0/0/61/61 201 421 ---- 5/5/4/4/0 0/0 rid=AC120001DF48-1F90-6AEB3D4627B-0F42-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57122 [04/Nov/2026:14:12:22.630] public api/api1 0/0/0/91/91 201 421 ---- 4/4/3/3/0 0/0 rid=AC120001DF22-1F90-6AEB3D46276-0F3A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57082 [04/Nov/2026:14:12:22.642] public api/api1 0/0/0/81/81 201 421 ---- 3/3/2/2/0 0/0 rid=AC120001DEFA-1F90-6AEB3D4626F-0F3E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57164 [04/Nov/2026:14:12:22.640] public api/api1 0/0/0/83/83 201 421 ---- 2/2/1/1/0 0/0 rid=AC120001DF4C-1F90-6AEB3D46280-0F3C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
lb-1 | 172.18.0.1:57180 [04/Nov/2026:14:12:22.654] public api/api1 0/0/0/69/70 201 421 ---- 1/1/0/0/0 0/0 rid=AC120001DF5C-1F90-6AEB3D4628E-0F40-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.156,
"concurrency": 8,
"successful_requests": 3821,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 126.708,
"successful_latency_ms": {
"p50": 31.0,
"p95": 187.0,
"p99": 266.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+29
View File
@@ -0,0 +1,29 @@
# 2026-11-04 14:12:22 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.6s
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.156,
"concurrency": 8,
"successful_requests": 3821,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 126.708,
"successful_latency_ms": {
"p50": 31.0,
"p95": 187.0,
"p99": 266.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
# 2026-11-04 14:12:24 UTC | CPU/RAM после нагрузки | exit 0 | 2.1s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab4-api-6 17.48% 88.79MiB / 320MiB 27.75%
messenger-lab4-api-5 17.67% 89.4MiB / 320MiB 27.94%
messenger-lab4-lb-1 2.18% 14.14MiB / 128MiB 11.05%
messenger-lab4-postgres-1 0.14% 68.93MiB / 512MiB 13.46%
messenger-lab4-redis-1 2.43% 4.82MiB / 96MiB 5.02%
messenger-lab4-s3-1 0.31% 97.91MiB / 512MiB 19.12%
+48
View File
@@ -0,0 +1,48 @@
# 2026-11-04 14:11:03 UTC | Persistence: контейнеры до | exit 0 | 0.3s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab4-api-5 Up 32 seconds (healthy) 32 seconds ago
messenger-lab4-api-6 Up 20 seconds (healthy) 21 seconds ago
messenger-lab4-lb-1 Up 11 minutes (healthy) 13 minutes ago
messenger-lab4-migrate-1 Exited (0) 6 minutes ago 13 minutes ago
messenger-lab4-postgres-1 Up 12 minutes (healthy) 13 minutes ago
messenger-lab4-redis-1 Up 12 minutes (healthy) 13 minutes ago
messenger-lab4-s3-1 Up About a minute (healthy) 13 minutes ago
messenger-lab4-s3-init-1 Exited (0) 6 minutes ago 13 minutes ago
# 2026-11-04 14:11:49 UTC | Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) | exit 0 | 45.6s
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-04 14:11:49 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.2s
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
NAME STATUS CREATED
messenger-lab4-api-5 Up 7 seconds (healthy) About a minute ago
messenger-lab4-api-6 Up 7 seconds (healthy) About a minute ago
messenger-lab4-lb-1 Up 1 second (health: starting) 14 minutes ago
messenger-lab4-migrate-1 Exited (0) 7 minutes ago 14 minutes ago
messenger-lab4-postgres-1 Up 38 seconds (healthy) 14 minutes ago
messenger-lab4-redis-1 Up 39 seconds (healthy) 14 minutes ago
messenger-lab4-s3-1 Up 28 seconds (healthy) 14 minutes ago
messenger-lab4-s3-init-1 Exited (0) 7 minutes ago 14 minutes ago
# 2026-11-04 14:11:52 UTC | Persistence: сверка БД <-> S3 после рестарта | exit 0 | 2.4s
$ python scripts/ops.py reconcile
Container messenger-lab4-api-run-e029350f1930 Creating
Container messenger-lab4-api-run-e029350f1930 Created
{
"mode": "dry-run",
"grace_seconds": 900,
"stale_pending": 0,
"stale_pending_ids": [],
"objects_listed": 182,
"orphan_objects": 0,
"orphan_objects_within_grace": 0,
"orphan_objects_sample": [],
"bucket_scan_seconds": 0.062,
"ready_rows": 182,
"missing_objects": 0,
"missing_object_ids": [],
"total_seconds": 0.073
}
+19
View File
@@ -0,0 +1,19 @@
# 2026-11-04 14:04:52 UTC | Сверка БД <-> S3 (dry-run) | exit 0 | 2.2s
$ python scripts/ops.py reconcile
Container messenger-lab4-api-run-fb929425df7f Creating
Container messenger-lab4-api-run-fb929425df7f Created
{
"mode": "dry-run",
"grace_seconds": 900,
"stale_pending": 0,
"stale_pending_ids": [],
"objects_listed": 107,
"orphan_objects": 0,
"orphan_objects_within_grace": 0,
"orphan_objects_sample": [],
"bucket_scan_seconds": 0.014,
"ready_rows": 107,
"missing_objects": 0,
"missing_object_ids": [],
"total_seconds": 0.025
}
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 28.28,
"replicas_before": [
"1c20a55eebeb",
"ee285aa5856f"
],
"replicas_after": [
"4749f3b4b256",
"7d965c2245c9"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1026,
"ok": 1026,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 205.2,
"write_ok_rps": 123.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 157.0
},
"instances": [
"1c20a55eebeb",
"ee285aa5856f"
]
},
"during_update": {
"from_s": 5.0,
"to_s": 33.28,
"requests": 5808,
"ok": 5808,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 205.4,
"write_ok_rps": 122.2,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 172.0
},
"instances": [
"1c20a55eebeb",
"4749f3b4b256",
"7d965c2245c9",
"ee285aa5856f"
]
},
"after": {
"from_s": 33.28,
"to_s": 41.34,
"requests": 1492,
"ok": 1492,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 185.1,
"write_ok_rps": 111.0,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 187.0
},
"instances": [
"4749f3b4b256",
"7d965c2245c9"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api3"
]
],
[
11.78,
[
"api1",
"api2",
"api3"
]
],
[
12.7,
[
"api1",
"api3"
]
],
[
15.26,
[
"api1",
"api2",
"api3"
]
],
[
18.2,
[
"api1",
"api2"
]
],
[
25.8,
[
"api1",
"api2",
"api3"
]
],
[
29.51,
[
"api2",
"api3"
]
]
],
"data": {
"confirmed_writes": 4970,
"stored_messages": 4970,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+147
View File
@@ -0,0 +1,147 @@
{
"scenario": "rolling update of all API replicas under continuous load",
"update_command": "scripts/ops.py rolling-update",
"update_exit_code": 0,
"update_seconds": 29.38,
"replicas_before": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"replicas_after": [
"1c20a55eebeb",
"ee285aa5856f"
],
"all_replaced": true,
"errors_during_update": 0,
"error_kinds": [],
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1180,
"ok": 1180,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 236.0,
"write_ok_rps": 140.6,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 125.0
},
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
]
},
"during_update": {
"from_s": 5.0,
"to_s": 34.38,
"requests": 6657,
"ok": 6657,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 226.6,
"write_ok_rps": 133.9,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 157.0
},
"instances": [
"1c20a55eebeb",
"4fc3ad11e268",
"c9fab9c9e2c1",
"ee285aa5856f"
]
},
"after": {
"from_s": 34.38,
"to_s": 42.45,
"requests": 1674,
"ok": 1674,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 207.2,
"write_ok_rps": 121.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 93.0,
"p99": 110.0
},
"instances": [
"1c20a55eebeb",
"ee285aa5856f"
]
}
},
"lb_timeline": [
[
0.03,
[
"api1",
"api2"
]
],
[
12.44,
[
"api1",
"api2",
"api3"
]
],
[
13.16,
[
"api1",
"api2"
]
],
[
15.72,
[
"api1",
"api2",
"api3"
]
],
[
19.44,
[
"api2",
"api3"
]
],
[
26.94,
[
"api1",
"api2",
"api3"
]
],
[
31.47,
[
"api1",
"api3"
]
]
],
"data": {
"confirmed_writes": 5617,
"stored_messages": 5617,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
},
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0
},
"pass": true
}
+29
View File
@@ -0,0 +1,29 @@
# 2026-11-04 14:10:19 UTC | Rolling update lab4 -> lab4.1 под нагрузкой | exit 0 | 44.8s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
replicas before: ['4fc3ad11e268', 'c9fab9c9e2c1']
2026-11-04T14:09:41.527Z rolling-update: start; replicas=2 old=['c9fab9c9e2c1', '4fc3ad11e268']
2026-11-04T14:09:45.307Z rolling-update: images built in 3.8s (tag lab4.1)
2026-11-04T14:09:47.489Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
2026-11-04T14:09:59.096Z rolling-update: step 1/2 new=1c20a55eebeb (messenger-api:lab4.1, ready+UP in 7.0s) replaced old=c9fab9c9e2c1 (graceful stop 4.4s)
2026-11-04T14:10:09.967Z rolling-update: step 2/2 new=ee285aa5856f (messenger-api:lab4.1, ready+UP in 6.6s) replaced old=4fc3ad11e268 (graceful stop 4.0s)
2026-11-04T14:10:10.389Z rolling-update: done in 29.1s; replicas now ['1c20a55eebeb', 'ee285aa5856f']
update 29.4s rc=0 | replicas ['4fc3ad11e268', 'c9fab9c9e2c1'] -> ['1c20a55eebeb', 'ee285aa5856f'] | errors during update 0 (-) | RPS before 236.0, during 226.6, after 207.2 | p95 during 93.0 ms | data ok=True
PASS: rolling update under load
# 2026-11-04 14:11:03 UTC | Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой | exit 0 | 43.8s
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
replicas before: ['1c20a55eebeb', 'ee285aa5856f']
2026-11-04T14:10:26.009Z rolling-update: start; replicas=2 old=['1c20a55eebeb', 'ee285aa5856f']
2026-11-04T14:10:28.537Z rolling-update: images built in 2.5s (tag lab4)
2026-11-04T14:10:30.771Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
2026-11-04T14:10:42.303Z rolling-update: step 1/2 new=4749f3b4b256 (messenger-api:lab4, ready+UP in 7.2s) replaced old=1c20a55eebeb (graceful stop 4.1s)
2026-11-04T14:10:53.630Z rolling-update: step 2/2 new=7d965c2245c9 (messenger-api:lab4, ready+UP in 7.0s) replaced old=ee285aa5856f (graceful stop 4.2s)
2026-11-04T14:10:54.052Z rolling-update: done in 28.0s; replicas now ['4749f3b4b256', '7d965c2245c9']
update 28.3s rc=0 | replicas ['1c20a55eebeb', 'ee285aa5856f'] -> ['4749f3b4b256', '7d965c2245c9'] | errors during update 0 (-) | RPS before 205.2, during 205.4, after 185.1 | p95 during 94.0 ms | data ok=True
PASS: rolling update under load
# 2026-11-04 14:11:03 UTC | Реплики после обновлений | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4749f3b4b256 messenger-lab4-api-5 running healthy messenger-api:lab4 api2 UP
7d965c2245c9 messenger-lab4-api-6 running healthy messenger-api:lab4 api3 UP
+225
View File
@@ -0,0 +1,225 @@
# 2026-11-04 14:03:57 UTC | S3 bootstrap: лог первого запуска s3-init | exit 0 | 0.3s
$ docker compose --env-file .env logs --no-color s3-init
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
s3-init-1 | {
s3-init-1 | "endpoint_host": "s3",
s3-init-1 | "bucket": "messenger-attachments",
s3-init-1 | "checks": [
s3-init-1 | {
s3-init-1 | "check": "api credentials: put/get own bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": ""
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous GET object is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list bucket is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "anonymous list buckets is denied",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "HTTP 403"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot create buckets",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "api credentials cannot delete the bucket",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "AccessDenied"
s3-init-1 | },
s3-init-1 | {
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
s3-init-1 | "ok": true,
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
s3-init-1 | }
s3-init-1 | ],
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
s3-init-1 | "ok": true
s3-init-1 | }
# 2026-11-04 14:04:00 UTC | S3 bootstrap: повторный запуск (идемпотентность) | exit 0 | 2.3s
$ docker compose --env-file .env run --rm -T s3-init
Container messenger-lab4-s3-1 Running
Container messenger-lab4-s3-1 Waiting
Container messenger-lab4-s3-1 Healthy
Container messenger-lab4-s3-init-run-8fa89d92841c Creating
Container messenger-lab4-s3-init-run-8fa89d92841c Created
{
"endpoint_host": "s3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
}
],
"bucket_action": "already exists (idempotent no-op)",
"ok": true
}
+98
View File
@@ -0,0 +1,98 @@
{
"scenario": "S3 outage and recovery",
"max_fail_seconds": 15.0,
"s3_warmup_seconds": 20.34,
"checks": [
{
"check": "baseline upload 201",
"ok": true,
"detail": "201"
},
{
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
"ok": true,
"detail": "200"
},
{
"check": "text message 201 during S3 outage",
"ok": true,
"detail": "201"
},
{
"check": "history 200 during S3 outage",
"ok": true,
"detail": "200"
},
{
"check": "attachment metadata 200 (PostgreSQL only)",
"ok": true,
"detail": "200"
},
{
"check": "message referencing existing attachment 201",
"ok": true,
"detail": "201"
},
{
"check": "upload #1 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 6.53s"
},
{
"check": "upload #1 failed fast (<= 15s)",
"ok": true,
"detail": "6.53s"
},
{
"check": "upload #1 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "upload #2 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 6.31s"
},
{
"check": "upload #2 failed fast (<= 15s)",
"ok": true,
"detail": "6.31s"
},
{
"check": "upload #2 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "download -> 503 during outage",
"ok": true,
"detail": "503 in 3.66s"
},
{
"check": "download failed fast",
"ok": true,
"detail": "3.66s"
},
{
"check": "session still valid",
"ok": true,
"detail": "200"
},
{
"check": "S3 read/write warm-up after start",
"ok": true,
"detail": "20.34s"
},
{
"check": "old file downloads byte-for-byte after recovery",
"ok": true,
"detail": "200 0.02s"
},
{
"check": "new upload 201 after recovery (same token, no API restart)",
"ok": true,
"detail": "201"
}
],
"pass": true
}
+24
View File
@@ -0,0 +1,24 @@
# 2026-11-04 14:09:34 UTC | Недоступность S3 и восстановление | exit 0 | 48.7s
$ python student-tests/s3_outage.py --base-url http://127.0.0.1:8080 --output evidence/s3_outage.json
PASS baseline upload 201 — 201
$ docker compose --env-file .env stop s3
PASS readiness stays 200 while S3 is down (S3 is not a readiness dependency) — 200
PASS text message 201 during S3 outage — 201
PASS history 200 during S3 outage — 200
PASS attachment metadata 200 (PostgreSQL only) — 200
PASS message referencing existing attachment 201 — 201
PASS upload #1 -> 503 unavailable — 503 unavailable in 6.53s
PASS upload #1 failed fast (<= 15s) — 6.53s
PASS upload #1 has Retry-After
PASS upload #2 -> 503 unavailable — 503 unavailable in 6.31s
PASS upload #2 failed fast (<= 15s) — 6.31s
PASS upload #2 has Retry-After
PASS download -> 503 during outage — 503 in 3.66s
PASS download failed fast — 3.66s
PASS session still valid — 200
$ docker compose --env-file .env start s3
$ C:\Users\mrend\AppData\Local\Programs\Python\Python312\python.exe scripts/ops.py wait-s3
PASS S3 read/write warm-up after start — 20.34s
PASS old file downloads byte-for-byte after recovery — 200 0.02s
PASS new upload 201 after recovery (same token, no API restart) — 201
PASS
+67
View File
@@ -0,0 +1,67 @@
# 2026-11-04 14:04:54 UTC | Приватный бакет вне API, права ключей, закрытые админ-порты | exit 0 | 2.3s
$ python scripts/ops.py s3-check
Container messenger-lab4-api-run-33922d9bc56f Creating
Container messenger-lab4-api-run-33922d9bc56f Created
{
"endpoint_host": "s3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
},
{
"check": "anonymous GET of a real attachment object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "same object is readable with API credentials and matches sha256",
"ok": true,
"detail": "111817 bytes"
}
],
"ok": true
}
# 2026-11-04 14:04:54 UTC | На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes | exit 0 | 0.5s
$ python scripts/ops.py api-fs
messenger-lab4-api-1 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
messenger-lab4-api-2 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
# 2026-11-04 14:04:55 UTC | API: файлы в /tmp (tmpfs) после загрузок | exit 0 | 0.3s
$ docker compose --env-file .env exec -T api sh -c df -h /tmp; echo files_in_tmp=$(find /tmp -type f | wc -l)
Filesystem Size Used Avail Use% Mounted on
tmpfs 16M 0 16M 0% /tmp
files_in_tmp=0
+6
View File
@@ -0,0 +1,6 @@
# 2026-11-02T13:36:48Z | offline contract
$ python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-11-02T13:36:48Z | full OpenAPI validation
$ python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
@@ -0,0 +1,17 @@
# 2026-11-02T13:37:02Z | DB<->S3 consistency, aborted upload, injected faults (api-11 s3_error_on_put, api-12 db_error_after_s3_put, api-13 crash_after_s3_put)
$ BASE_URL=... FAULT_*_URL=... python -m unittest discover -s student-tests -p test_attachment_consistency.py -v
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... ok
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
----------------------------------------------------------------------
Ran 10 tests in 4.391s
OK
+12
View File
@@ -0,0 +1,12 @@
# 2026-11-02T13:28:02Z failover run 1: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 138, "failed_attempts": 0, "first_recovery_seconds": 4.468}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
2026-11-02T13:27:47Z stop-one api-1 pid 7684
restored; next run
# 2026-11-02T13:28:23Z failover run 2: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 139, "failed_attempts": 0, "first_recovery_seconds": 4.475}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
2026-11-02T13:28:08Z stop-one api-1 pid 7937
restored; next run
@@ -0,0 +1,268 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"api-1",
"api-2"
],
"rounds": [
{
"target_instance": "api-1",
"mode": "stop",
"lb_up_before": [
"api-1",
"api-2"
],
"stop_hook_seconds": 5.0,
"lb_detect_down_seconds": 1.3,
"target_last_served_after_stop_seconds": 1.31,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 1.86,
"lb_back_up_seconds": 2.91,
"target_back_in_rotation_seconds": 2.87,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.02,
"requests": 1597,
"ok": 1597,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 318.1,
"write_ok_rps": 187.8,
"latency_ms_ok": {
"p50": 16.7,
"p95": 38.6,
"p99": 50.6
},
"instances": [
"api-1",
"api-2"
]
},
"outage_first_10s": {
"from_s": 5.02,
"to_s": 15.02,
"requests": 2392,
"ok": 2392,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 239.2,
"write_ok_rps": 140.9,
"latency_ms_ok": {
"p50": 24.4,
"p95": 39.5,
"p99": 48.8
},
"instances": [
"api-1",
"api-2"
]
},
"outage_rest": {
"from_s": 15.02,
"to_s": 20.02,
"requests": 1057,
"ok": 1057,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 211.4,
"write_ok_rps": 124.2,
"latency_ms_ok": {
"p50": 27.6,
"p95": 44.5,
"p99": 54.8
},
"instances": [
"api-2"
]
},
"after_restore": {
"from_s": 20.02,
"to_s": 26.15,
"requests": 1671,
"ok": 1671,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 272.8,
"write_ok_rps": 160.7,
"latency_ms_ok": {
"p50": 21.2,
"p95": 39.0,
"p99": 49.4
},
"instances": [
"api-1",
"api-2"
]
}
},
"lb_timeline": [
[
0.02,
[
"api-1",
"api-2"
]
],
[
6.32,
[
"api-2"
]
],
[
22.93,
[
"api-1",
"api-2"
]
]
],
"data": {
"confirmed_writes": 3957,
"stored_messages": 3957,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "api-2",
"mode": "stop",
"lb_up_before": [
"api-1",
"api-2"
],
"stop_hook_seconds": 5.23,
"lb_detect_down_seconds": 1.53,
"target_last_served_after_stop_seconds": 1.47,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 1.45,
"lb_back_up_seconds": 3.05,
"target_back_in_rotation_seconds": 3.05,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.01,
"requests": 1416,
"ok": 1416,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 282.9,
"write_ok_rps": 164.8,
"latency_ms_ok": {
"p50": 19.4,
"p95": 41.3,
"p99": 53.4
},
"instances": [
"api-1",
"api-2"
]
},
"outage_first_10s": {
"from_s": 5.01,
"to_s": 15.01,
"requests": 2431,
"ok": 2431,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 243.1,
"write_ok_rps": 142.8,
"latency_ms_ok": {
"p50": 24.8,
"p95": 39.6,
"p99": 46.3
},
"instances": [
"api-1",
"api-2"
]
},
"outage_rest": {
"from_s": 15.01,
"to_s": 20.01,
"requests": 1154,
"ok": 1154,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 230.7,
"write_ok_rps": 136.0,
"latency_ms_ok": {
"p50": 25.4,
"p95": 39.9,
"p99": 46.5
},
"instances": [
"api-1"
]
},
"after_restore": {
"from_s": 20.01,
"to_s": 26.3,
"requests": 1851,
"ok": 1851,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 293.9,
"write_ok_rps": 172.6,
"latency_ms_ok": {
"p50": 19.8,
"p95": 35.8,
"p99": 42.1
},
"instances": [
"api-1",
"api-2"
]
}
},
"lb_timeline": [
[
0.01,
[
"api-1",
"api-2"
]
],
[
6.53,
[
"api-1"
]
],
[
23.06,
[
"api-1",
"api-2"
]
]
],
"data": {
"confirmed_writes": 4020,
"stored_messages": 4020,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 20.0,
"elapsed_seconds": 20.055,
"concurrency": 4,
"successful_requests": 5544,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 276.435,
"successful_latency_ms": {
"p50": 13.241,
"p95": 23.756,
"p99": 32.552
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
@@ -0,0 +1,7 @@
# 2026-11-02T13:24:54Z native sandbox: python3 tests/resilience.py --mode persistence --action-script <restart hook>
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# hook log: PIDs before/after (postgres, seaweedfs, api x2) + S3 warm-up
2026-11-02T13:24:15Z restart begin pg=6347 s3=6937 api=6405,6525
{"s3_ready_after_s": 16.4, "last_cycle_s": 1.028, "existing_object_read": true}
2026-11-02T13:24:53Z restart end pg=7134 s3=7149 api=7195,7219
+17
View File
@@ -0,0 +1,17 @@
# 2026-11-02T13:37:06Z | reconcile dry-run
$ python -m src.reconcile
{
"mode": "dry-run",
"grace_seconds": 900,
"stale_pending": 0,
"stale_pending_ids": [],
"objects_listed": 238,
"orphan_objects": 0,
"orphan_objects_within_grace": 0,
"orphan_objects_sample": [],
"bucket_scan_seconds": 0.036,
"ready_rows": 238,
"missing_objects": 0,
"missing_object_ids": [],
"total_seconds": 0.045
}
@@ -0,0 +1,45 @@
# 2026-11-02T13:36:49Z | S3 bootstrap, 2nd run on existing bucket (idempotent)
$ python -m src.s3_bootstrap
{
"endpoint_host": "127.0.0.3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
}
],
"bucket_action": "already exists (idempotent no-op)",
"ok": true
}
+98
View File
@@ -0,0 +1,98 @@
{
"scenario": "S3 outage and recovery",
"max_fail_seconds": 15.0,
"s3_warmup_seconds": 16.42,
"checks": [
{
"check": "baseline upload 201",
"ok": true,
"detail": "201"
},
{
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
"ok": true,
"detail": "200"
},
{
"check": "text message 201 during S3 outage",
"ok": true,
"detail": "201"
},
{
"check": "history 200 during S3 outage",
"ok": true,
"detail": "200"
},
{
"check": "attachment metadata 200 (PostgreSQL only)",
"ok": true,
"detail": "200"
},
{
"check": "message referencing existing attachment 201",
"ok": true,
"detail": "201"
},
{
"check": "upload #1 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 1.75s"
},
{
"check": "upload #1 failed fast (<= 15s)",
"ok": true,
"detail": "1.75s"
},
{
"check": "upload #1 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "upload #2 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 2.31s"
},
{
"check": "upload #2 failed fast (<= 15s)",
"ok": true,
"detail": "2.31s"
},
{
"check": "upload #2 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "download -> 503 during outage",
"ok": true,
"detail": "503 in 0.01s"
},
{
"check": "download failed fast",
"ok": true,
"detail": "0.01s"
},
{
"check": "session still valid",
"ok": true,
"detail": "200"
},
{
"check": "S3 read/write warm-up after start",
"ok": true,
"detail": "16.42s"
},
{
"check": "old file downloads byte-for-byte after recovery",
"ok": true,
"detail": "200 0.01s"
},
{
"check": "new upload 201 after recovery (same token, no API restart)",
"ok": true,
"detail": "201"
}
],
"pass": true
}
@@ -0,0 +1,98 @@
{
"scenario": "S3 outage and recovery",
"max_fail_seconds": 15.0,
"s3_warmup_seconds": 16.09,
"checks": [
{
"check": "baseline upload 201",
"ok": true,
"detail": "201"
},
{
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
"ok": true,
"detail": "200"
},
{
"check": "text message 201 during S3 outage",
"ok": true,
"detail": "201"
},
{
"check": "history 200 during S3 outage",
"ok": true,
"detail": "200"
},
{
"check": "attachment metadata 200 (PostgreSQL only)",
"ok": true,
"detail": "200"
},
{
"check": "message referencing existing attachment 201",
"ok": true,
"detail": "201"
},
{
"check": "upload #1 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 10.02s"
},
{
"check": "upload #1 failed fast (<= 15s)",
"ok": true,
"detail": "10.02s"
},
{
"check": "upload #1 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "upload #2 -> 503 unavailable",
"ok": true,
"detail": "503 unavailable in 10.01s"
},
{
"check": "upload #2 failed fast (<= 15s)",
"ok": true,
"detail": "10.01s"
},
{
"check": "upload #2 has Retry-After",
"ok": true,
"detail": ""
},
{
"check": "download -> 503 during outage",
"ok": true,
"detail": "503 in 5.01s"
},
{
"check": "download failed fast",
"ok": true,
"detail": "5.01s"
},
{
"check": "session still valid",
"ok": true,
"detail": "200"
},
{
"check": "S3 read/write warm-up after start",
"ok": true,
"detail": "16.09s"
},
{
"check": "old file downloads byte-for-byte after recovery",
"ok": true,
"detail": "200 0.02s"
},
{
"check": "new upload 201 after recovery (same token, no API restart)",
"ok": true,
"detail": "201"
}
],
"pass": true
}
+54
View File
@@ -0,0 +1,54 @@
# 2026-11-02T13:37:07Z | private bucket outside API (anonymous S3 requests), key permissions, admin ports
$ python -m src.s3_bootstrap --check-only --sample-from-db
{
"endpoint_host": "127.0.0.3",
"bucket": "messenger-attachments",
"checks": [
{
"check": "api credentials: put/get own bucket",
"ok": true,
"detail": ""
},
{
"check": "anonymous GET object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list bucket is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "anonymous list buckets is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "api credentials cannot create buckets",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "api credentials cannot delete the bucket",
"ok": true,
"detail": "AccessDenied"
},
{
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
"ok": true,
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
},
{
"check": "anonymous GET of a real attachment object is denied",
"ok": true,
"detail": "HTTP 403"
},
{
"check": "same object is readable with API credentials and matches sha256",
"ok": true,
"detail": "111817 bytes"
}
],
"ok": true
}
+3
View File
@@ -0,0 +1,3 @@
# 2026-11-02T13:36:50Z | public smoke
$ python3 tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
@@ -0,0 +1,120 @@
# 2026-11-02T13:37:16Z | student tests over HTTP via LB (lab2-4); DB-level tests skip here and run below with DB access
$ python3 student-tests/run_all.py --base-url http://127.0.0.1:8080
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ...
24 parallel POSTs, one key -> 1 message; replicas: ['api-1', 'api-2']
ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 74 tests in 6.028s
OK (skipped=23)
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
# DB-level tests (lab2-3) with direct DB access
$ python -m unittest discover -s student-tests -p "test_storage_*.py"; ... -p test_session_cache.py
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.022s
OK
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
ok
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
ok
----------------------------------------------------------------------
Ran 3 tests in 1.564s
OK
@@ -0,0 +1,43 @@
{
"label": "final code; peak via VmHWM and 20ms sampling",
"date_utc": "2026-11-02T13:41:45Z",
"host": "Linux x86_64, 2 CPU",
"source": "/proc VmRSS (20 ms)",
"concurrency": 10,
"rounds": 3,
"file_mib": 9.5,
"uploads": 30,
"statuses": {
"201": 30
},
"sha256_ok": 30,
"instances": [
"api-1",
"api-2"
],
"duration_s": 5.06,
"latency_201_s": {
"p50": 1.316,
"p95": 2.069,
"max": 2.088280546000078,
"mean": 1.407
},
"memory": {
"pid-9293": {
"baseline_mib": 95.5,
"peak_mib": 163.4,
"growth_mib": 67.9,
"samples": 356
},
"pid-9364": {
"baseline_mib": 95.4,
"peak_mib": 156.1,
"growth_mib": 60.6,
"samples": 356
}
},
"process_peak_rss_mib": {
"pid-9293": 165.8,
"pid-9364": 165.3
}
}
@@ -0,0 +1,39 @@
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-02T13:11:09Z",
"host": "Linux x86_64, 2 CPU",
"source": "/proc VmRSS (20 ms)",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 40
},
"sha256_ok": 40,
"instances": [
"api-1",
"api-2"
],
"duration_s": 6.14,
"latency_201_s": {
"p50": 2.159,
"p95": 3.077,
"max": 3.089563180000141,
"mean": 2.079
},
"memory": {
"pid-3762": {
"baseline_mib": 114.5,
"peak_mib": 161.7,
"growth_mib": 47.2,
"samples": 387
},
"pid-3834": {
"baseline_mib": 96.5,
"peak_mib": 159.1,
"growth_mib": 62.6,
"samples": 387
}
}
}
@@ -0,0 +1,39 @@
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=64 (limiter effectively off)",
"date_utc": "2026-11-02T13:11:34Z",
"host": "Linux x86_64, 2 CPU",
"source": "/proc VmRSS (20 ms)",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 40
},
"sha256_ok": 40,
"instances": [
"api-1",
"api-2"
],
"duration_s": 6.06,
"latency_201_s": {
"p50": 2.901,
"p95": 3.031,
"max": 3.03438846999984,
"mean": 2.702
},
"memory": {
"pid-4062": {
"baseline_mib": 88.2,
"peak_mib": 261.6,
"growth_mib": 173.4,
"samples": 400
},
"pid-4133": {
"baseline_mib": 88.7,
"peak_mib": 291.4,
"growth_mib": 202.8,
"samples": 400
}
}
}
+3
View File
@@ -0,0 +1,3 @@
# 2026-11-04 14:04:01 UTC | Публичный smoke | exit 0 | 0.8s
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+42
View File
@@ -0,0 +1,42 @@
# 2026-11-04 14:03:55 UTC | Стенд: контейнеры | exit 0 | 0.2s
$ docker compose --env-file .env ps -a
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab4-api-1 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
messenger-lab4-api-2 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
messenger-lab4-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 6 minutes ago Up 4 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
messenger-lab4-migrate-1 messenger-lab4-migrate "python -m src.migra…" migrate 6 minutes ago Exited (0) 2 minutes ago
messenger-lab4-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 6 minutes ago Up 5 minutes (healthy) 5432/tcp
messenger-lab4-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 6 minutes ago Up 5 minutes (healthy) 6379/tcp
messenger-lab4-s3-1 chrislusf/seaweedfs:4.50 "/usr/bin/weed serve…" s3 6 minutes ago Up About a minute (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
messenger-lab4-s3-init-1 messenger-lab4-s3-init "python -m src.s3_bo…" s3-init 6 minutes ago Exited (0) 2 minutes ago
# 2026-11-04 14:03:55 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
# 2026-11-04 14:03:57 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.4s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab4-lb-1 0.14% 13.6MiB / 128MiB 10.63%
messenger-lab4-api-2 0.26% 90.05MiB / 320MiB 28.14%
messenger-lab4-api-1 0.30% 106MiB / 320MiB 33.13%
messenger-lab4-postgres-1 0.13% 71.34MiB / 512MiB 13.93%
messenger-lab4-redis-1 2.31% 5.629MiB / 96MiB 5.86%
messenger-lab4-s3-1 0.21% 508.3MiB / 512MiB 99.28%
# 2026-11-04 14:03:57 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.2s
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
SERVICE PORTS
api 8080/tcp
api 8080/tcp
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
postgres 5432/tcp
redis 6379/tcp
s3 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
# 2026-11-04 14:03:57 UTC | Образ SeaweedFS (закреплённая версия) | exit 0 | 0.3s
$ docker compose --env-file .env images s3
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
messenger-lab4-s3-1 chrislusf/seaweedfs 4.50 linux/amd64 c2658820e763 197MB 10 days ago
+168
View File
@@ -0,0 +1,168 @@
# 2026-11-04 14:04:10 UTC | Собственные тесты (HTTP через LB, включая test_attachments.py) | exit 0 | 9.4s
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ... ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 74 tests in 7.352s
OK (skipped=23)
24 parallel POSTs, one key -> 1 message; replicas: ['4fc3ad11e268', 'c9fab9c9e2c1']
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
# 2026-11-04 14:04:18 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.9s
$ python scripts/ops.py in-network storage
Container messenger-lab4-api-run-7c01226dcaba Creating
Container messenger-lab4-api-run-7c01226dcaba Created
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.302s
OK
Container messenger-lab4-api-run-b6f4e53090a5 Creating
Container messenger-lab4-api-run-b6f4e53090a5 Created
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
ok
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
ok
----------------------------------------------------------------------
Ran 3 tests in 1.860s
OK
# 2026-11-04 14:04:33 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 15.2s
$ python scripts/ops.py in-network expiry
Container messenger-lab4-redis-1 Running
Container messenger-lab4-s3-1 Running
Container messenger-lab4-postgres-1 Running
Container messenger-lab4-api-1 Running
Container messenger-lab4-api-2 Running
Container messenger-lab4-api-short-ttl-1 Creating
Container messenger-lab4-api-short-ttl-1 Created
Container messenger-lab4-s3-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-s3-1 Healthy
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-s3-init-1 Starting
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-s3-init-1 Started
Container messenger-lab4-s3-init-1 Waiting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-redis-1 Waiting
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-redis-1 Healthy
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-s3-init-1 Exited
Container messenger-lab4-api-2 Waiting
Container messenger-lab4-api-1 Waiting
Container messenger-lab4-api-2 Healthy
Container messenger-lab4-api-1 Healthy
Container messenger-lab4-api-short-ttl-1 Starting
Container messenger-lab4-api-short-ttl-1 Started
Container messenger-lab4-api-run-ae85ff205e89 Creating
Container messenger-lab4-api-run-ae85ff205e89 Created
ready: http://api-short-ttl:8080/health/ready
Container messenger-lab4-api-run-87803f7efa19 Creating
Container messenger-lab4-api-run-87803f7efa19 Created
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
----------------------------------------------------------------------
Ran 1 test in 3.644s
OK
+108
View File
@@ -0,0 +1,108 @@
# 2026-11-04 14:05:09 UTC | Пик памяти: 10 одновременных загрузок по 9.5 MiB | exit 0 | 14.2s
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 10 --rounds 3 --docker --label c=10, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c10.json
{
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:09Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 10,
"rounds": 3,
"file_mib": 9.5,
"uploads": 30,
"statuses": {
"201": 30
},
"sha256_ok": 30,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 7.44,
"latency_201_s": {
"p50": 2.016,
"p95": 3.75,
"max": 3.75,
"mean": 2.007
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 119.7,
"peak_mib": 153.5,
"growth_mib": 33.8,
"samples": 6
},
"messenger-lab4-api-1": {
"baseline_mib": 117.6,
"peak_mib": 149.7,
"growth_mib": 32.1,
"samples": 6
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 172.1,
"messenger-lab4-api-1": 175.4
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 158.0,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
}
}
# 2026-11-04 14:05:29 UTC | Пик памяти: 20 одновременных загрузок | exit 0 | 20.4s
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 20 --rounds 2 --docker --label c=20, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c20.json
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:29Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 39,
"503": 1
},
"sha256_ok": 39,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 13.24,
"latency_201_s": {
"p50": 4.609,
"p95": 7.312,
"max": 7.421999999998661,
"mean": 4.437
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 113.6,
"peak_mib": 160.9,
"growth_mib": 47.3,
"samples": 9
},
"messenger-lab4-api-1": {
"baseline_mib": 109.6,
"peak_mib": 158.9,
"growth_mib": 49.3,
"samples": 9
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 174.2,
"messenger-lab4-api-1": 176.6
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 176.2,
"messenger-lab4-api-1": 183.2
}
}
+51
View File
@@ -0,0 +1,51 @@
{
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:09Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 10,
"rounds": 3,
"file_mib": 9.5,
"uploads": 30,
"statuses": {
"201": 30
},
"sha256_ok": 30,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 7.44,
"latency_201_s": {
"p50": 2.016,
"p95": 3.75,
"max": 3.75,
"mean": 2.007
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 119.7,
"peak_mib": 153.5,
"growth_mib": 33.8,
"samples": 6
},
"messenger-lab4-api-1": {
"baseline_mib": 117.6,
"peak_mib": 149.7,
"growth_mib": 32.1,
"samples": 6
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 172.1,
"messenger-lab4-api-1": 175.4
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 158.0,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
}
}
+52
View File
@@ -0,0 +1,52 @@
{
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
"date_utc": "2026-11-04T14:05:29Z",
"host": "Windows AMD64, 12 CPU",
"source": "docker stats + cgroup peak",
"concurrency": 20,
"rounds": 2,
"file_mib": 9.5,
"uploads": 40,
"statuses": {
"201": 39,
"503": 1
},
"sha256_ok": 39,
"instances": [
"4fc3ad11e268",
"c9fab9c9e2c1"
],
"duration_s": 13.24,
"latency_201_s": {
"p50": 4.609,
"p95": 7.312,
"max": 7.421999999998661,
"mean": 4.437
},
"memory": {
"messenger-lab4-api-2": {
"baseline_mib": 113.6,
"peak_mib": 160.9,
"growth_mib": 47.3,
"samples": 9
},
"messenger-lab4-api-1": {
"baseline_mib": 109.6,
"peak_mib": 158.9,
"growth_mib": 49.3,
"samples": 9
}
},
"process_peak_rss_mib": {
"messenger-lab4-api-2": 174.2,
"messenger-lab4-api-1": 176.6
},
"cgroup_peak_mib_before": {
"messenger-lab4-api-2": 174.8,
"messenger-lab4-api-1": 183.2
},
"cgroup_peak_mib_after": {
"messenger-lab4-api-2": 176.2,
"messenger-lab4-api-1": 183.2
}
}
+257
View File
@@ -0,0 +1,257 @@
# Отчёт — лабораторная 5
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка: **4**; трек 5 не заявляется
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, **redis-py 5.2.1 (Redis Streams)**, argon2-cffi 23.1.0, boto3 1.35.99, **Pillow 11.1.0 (JPEG/WebP, ImageOps.exif_transpose)**; PostgreSQL 16.4, Redis 7.4.1 (кэш сессий **и отдельный брокер**), HAProxy 2.8.30, SeaweedFS 4.50. Документация: Redis Streams (XADD, XREADGROUP, XACK, XAUTOCLAIM, XPENDING, XTRIM MINID), Redis persistence (AOF, `appendfsync always`), RabbitMQ reliability/confirms (различие publisher confirm и consumer ack), шаблон transactional outbox, AWS Architecture Blog «Exponential Backoff And Jitter», Pillow (draft, reduce/reducing_gap, сохранение JPEG/WebP), Python `multiprocessing` (forkserver) и `resource` (RLIMIT_AS/RLIMIT_CPU). Помощь ИИ (Claude) — при проектировании outbox/аренд/fencing, написании worker, тестов отказов и отчёта.
Минимум lab4 перенесён целиком (балансировщик, ≥2 реплики, сессии, идемпотентность, приватный S3, проверки изображений, сборщик БД↔S3). Единственное объявленное изменение API: `POST /chats/{id}/attachments` отвечает **202 queued** вместо 201 ready.
## Запуск из чистого clone
**Версии.** API и worker — один образ из `Dockerfile` (`python:3.12.7-slim-bookworm`); `postgres:16.4-alpine`; `redis:7.4.1-alpine` (два сервиса: `redis` — кэш сессий, `broker` — очередь); `haproxy:2.8.30-alpine`; `chrislusf/seaweedfs:4.50`. Нужны Docker Engine/Desktop с Compose v2 и Python 3.9+ на хосте (`scripts/ops.py` и тесты — только стандартная библиотека). Оркестрация — **Compose** (Swarm не используется).
```sh
$env:PYTHONUTF8 = "1"
# 1. Секреты (один раз; secrets/ в .gitignore, значения не печатаются) и .env
python scripts/init_secrets.py # lab5 добавляет secrets/broker_password и secrets/broker_url
cp .env.example .env # Windows: copy .env.example .env
# 2. Сборка и запуск:
# postgres, redis, broker -> migrate (001..005); s3 -> s3-init (bucket) -> api x2 + worker -> lb
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# 3. Готовность: 2 реплики healthy и UP в HAProxy, S3 реально пишет/читает, worker healthy
python scripts/ops.py wait
python scripts/ops.py wait-s3
python scripts/ops.py worker-start # идемпотентно: дождаться healthy worker
python scripts/ops.py ps
```
Всё то же одной командой: `make up` (= init_secrets + config + up --build + ожидания). Прогрев после первой сборки ~30–40 с.
```sh
# Публичные проверки
make check # офлайн, без сервера
make test # smoke lab5: 202 -> ready -> thumbnail 256x160
python tests/resilience.py --mode persistence --action-script scripts/restart.sh # Windows: scripts\restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.sh # Windows: scripts\stop-one.cmd
python scripts/ops.py restore
# Собственные проверки lab5
make test-pipeline # варианты по фактическим байтам (7 тестов)
make test-worker-outage # сценарий защиты уровня 3 (останавливает/запускает worker, рестарт API и broker)
make test-pipeline-faults # 10 внедрённых отказов уровня 4 (~2–3 мин; worker временно пересоздаётся)
python student-tests/run_all.py --base-url http://localhost:8080 # lab2-4 (+ test_pipeline.py)
# Всё сразу с записью в evidence/ (~20 мин; только на учебном стенде)
python scripts/collect_evidence.py # или --quick (~10 мин)
```
**Операторские команды очереди** (выполняются в one-off контейнере образа worker, секреты не печатаются):
```sh
python scripts/ops.py jobs stats # задания по статусам, outbox, DLQ, длина/pending/lag потока
python scripts/ops.py jobs failed # реестр dead_letters
python scripts/ops.py jobs show <attachment_id> # задание + журнал событий (job_events)
python scripts/ops.py jobs replay <attachment_id> # явный replay failed (make replay ID=...)
python scripts/ops.py jobs replay --all-failed --error-code retry_exhausted --dry-run
python scripts/ops.py worker-stop | worker-start | worker-kill | api-restart | broker-restart
python scripts/ops.py reconcile [--apply] # сверка БД <-> S3 (staging/, final/, originals/)
```
**Остановка.** Безопасная (volumes `pgdata`, `s3data`, `brokerdata` сохраняются): `make down` или `docker compose --env-file .env --profile ttl --profile faults down`. **Намеренное удаление всех учебных данных:** `docker compose --env-file .env --profile ttl --profile faults down -v` (удаляет БД, бакет и очередь безвозвратно).
## Архитектура и решения
```
клиент ──HTTP──> HAProxy ──> API x2 ──[1] INSERT pending ─────────────────────────> PostgreSQL
├──[2] PUT staging/<random> (Content-MD5) ───────> S3 (SeaweedFS)
├──[3] COMMIT: queued + attachment_jobs + job_outbox ──> PostgreSQL
│ └─> 202 queued
└──[4] после ответа: relay XADD (fsync) ─────────> broker (Redis Streams)
│ XREADGROUP (prefetch 1)
worker (WORKER_CONCURRENCY consumer'ов) <───────────────────────────────────────────────┘
claim: аренда в PostgreSQL (lease_token, lease_until)
читает staging (ключ из БД) -> SHA-256 -> PUT final/<id>/original
подпроцесс (RLIMIT_AS, timeout): thumbnail/crop/optimized -> PUT final/<id>/p1/<variant>
COMMIT (fenced по lease_token): attachment_variants + state=ready ──> PostgreSQL
XACK ──> broker; DELETE staging (иначе — сборщик)
sweeper outbox + сборщик просроченных аренд: в каждой реплике API и в worker
```
**Источник истины** — PostgreSQL: состояние вложения, задание, outbox, результаты, журнал. S3 хранит байты (staging/ и final/), брокер — только транспорт уведомлений (может быть пересоздан из outbox/таблицы заданий). Брокер **не** входит в синхронный путь API: при его недоступности upload всё равно отвечает 202, строка ждёт в `job_outbox`; `/health/ready` от брокера не зависит.
### Что сохранено в момент 202
1. Все байты оригинала в приватном S3 `staging/<random>` (PUT с Content-MD5, SHA-256 в метаданных объекта и в БД). Ключ генерирует сервер, filename в ключ не попадает.
2. Метаданные вложения (`state=queued`, size, sha256, размеры, будущий конечный ключ).
3. Намерение обработать: строка `attachment_jobs` (job_id, attempt=1, max_attempts) и строка `job_outbox` с JSON-сообщением **в той же транзакции**.
Сообщение в брокере на момент 202 может ещё не существовать — это нормально: его гарантирует outbox, а не HTTP-запрос. Остановка API сразу после 202 работу не теряет (тест A).
### Состояния и окна отказа
Внутреннее `pending` (приём идёт) наружу не видно; публичные: `queued → processing → ready | failed`.
| Окно отказа | Что произойдёт | Где доказано |
| --- | --- | --- |
| после staging PUT до COMMIT задания | строка pending + staging-объект; клиенту ошибка (не 202). Сборщик через grace удаляет и строку, и объект | lab4 `test_attachment_consistency.py` (crash_after_s3_put теперь между staging и COMMIT) |
| после COMMIT до publish | строка outbox осталась; sweeper любого процесса публикует через `RELAY_FAST_PATH_GRACE_SECONDS` | `test_a` (api-fault-publish, `FAULT_INJECTION=crash_after_commit`) |
| после publish до подтверждения в outbox | XADD выполнен, DELETE строки — нет -> повторная публикация, дубль в брокере -> worker no-op | `test_b` (api-fault-dup, `crash_after_publish`) |
| после записи S3 до COMMIT результата | сообщение в PEL; перезапущенный consumer читает свой PEL, перехватывает свою аренду, перезаписывает **те же** байты, COMMIT | `test_c` (`fault-crash-after-effects`) |
| после COMMIT результата до ack | повторная доставка -> claim видит succeeded -> `redelivery_noop already_succeeded`, ack | `test_d` (`fault-crash-before-ack`) |
| worker завис дольше аренды | сборщик аренд -> attempt+1 через outbox -> другой consumer -> ready; проснувшийся старый результат отсечён fencing'ом (`lease_lost`) | `test_h` (`fault-slow`) |
### Брокер: Redis Streams как durable at-least-once очередь
Выбран Redis Streams (разрешён README): тот же закреплённый образ, что и для кэша, но **отдельный сервис** с другими гарантиями. Кэш сессий — без persistence и с LRU-вытеснением; объединять их нельзя.
- **Durability:** `--appendonly yes --appendfsync always` — Redis отвечает на XADD только после fsync AOF. Успешный XADD — наш **publisher confirm**: сообщение переживает рестарт/падение брокера с volume `brokerdata` (проверено в сценарии `worker_outage`: lag=1 до и после рестарта брокера). `--maxmemory-policy noeviction`: поток никогда не вытесняется; при переполнении XADD упадёт, строка останется в outbox.
- **Доставка at-least-once:** consumer group; XREADGROUP кладёт сообщение в PEL до XACK. **Consumer ack** worker делает только после COMMIT результата (или перехода в retry/failed) — это другая граница, чем confirm при публикации.
- **Упавший consumer:** имя consumer = `<hostname>-<поток>`; после `restart` контейнера hostname тот же, и consumer первым делом читает свой PEL (`XREADGROUP ... 0`). Если контейнер пересоздан, сообщения забирает любой живой consumer через `XAUTOCLAIM` после `JOB_CLAIM_IDLE_SECONDS` (75 с > аренды 60 с).
- **Prefetch/конкуренция:** каждый consumer-поток берёт `COUNT 1`, потоков `WORKER_CONCURRENCY=2`, контейнеров `WORKER_REPLICAS=1` -> одновременно в обработке не больше 2 сообщений.
- **Очистка потока:** `XTRIM MINID` до минимума из (самый старый pending, last-delivered-id+1) — удаляются только доставленные и подтверждённые записи.
- **Содержимое сообщения** — ровно `contracts/jobs.schema.json` (`schema_version, job_id, type, attachment_id, pipeline_version, attempt, created_at`): без байтов, credentials, URL и filename. Worker проверяет схему строго; мусор подтверждается и логируется (`test_j`); сообщение, доставленное больше `JOB_MAX_DELIVERIES` раз, переводит задание в `failed poison_message`.
### Transactional outbox
`job_outbox` пишется в одной транзакции с `attachment_jobs` и `state=queued`. Публикация:
- **быстрый путь** — после отправки 202 (FastAPI background task) API берёт свою строку `FOR UPDATE SKIP LOCKED`, делает XADD, удаляет строку, пишет событие `published`, COMMIT;
- **sweeper** — в каждой реплике API и в worker раз в `RELAY_POLL_INTERVAL_SECONDS` публикует строки с `available_at <= now()`. У свежей строки `available_at = now()+2 c`, чтобы не соревноваться с быстрым путём; у retry — время следующей попытки (так реализован отложенный повтор без delayed-очереди брокера).
`SKIP LOCKED` разносит строки между relay; несколько relay безопасны. Сбой между XADD и COMMIT relay даёт дубль — это и есть at-least-once, дубль гасит идемпотентный worker.
### Worker, идемпотентность и аренды
- **Ключ идемпотентности эффекта** — `(attachment_id, pipeline_version, variant)`: PRIMARY KEY `attachment_variants` + **детерминированные ключи S3** `final/<id>/original`, `final/<id>/p1/{thumbnail.jpg,crop.jpg,optimized.webp}`. Повтор пишет те же байты по тем же ключам (Pillow-вывод детерминирован при одной версии библиотек — проверено в `test_a`/`test_c` сравнением SHA-256 с эталонной загрузкой). `job_id` не меняется при redelivery и retry.
- **Аренда (lease)**: claim атомарно ставит `status=processing, lease_token=<uuid>, lease_owner=<consumer>, lease_until=now()+JOB_TIMEOUT_SECONDS` (`SELECT ... FOR UPDATE`). Захват разрешён только для текущей попытки и если задание queued, или аренда истекла, или аренда принадлежит этому же consumer (его прошлая инкарнация мертва: consumer обрабатывает одно сообщение за раз).
- **Fencing**: публикация результата, retry и failed выполняются с условием `lease_token = <мой> AND status='processing'`. Worker, у которого аренду отобрали, ничего не может изменить (`test_h`, событие `lease_lost`). `ready` никогда не откатывается в processing старым дублем; `attachments.pipeline_version` обновляется только если новая версия ≥ текущей.
- **Зависший vs долгий worker:** аренда (60 с) > максимальной длительности попытки (обработка ≤ 30 с + S3-дедлайны), это проверяется при старте конфигурации. Пока аренда не истекла, второй worker задание не возьмёт (`leased_by_other`, ack дубля). Истекла + `JOB_LEASE_GRACE_SECONDS` -> сборщик аренд переводит задание в queued attempt+1 через outbox. Healthcheck worker'а — heartbeat, который пишется, только пока **все** consumer-потоки проходят цикл.
- **Staging** удаляется worker'ом после COMMIT и XACK; если не удалось — сборщик (проход D) удалит staging у ready-вложений. Staging failed-вложений хранится `STAGING_RETENTION_SECONDS` (24 ч) для replay, затем удаляется (replay после этого отклоняется: нужен повторный upload). Текущую работу (queued/processing) сборщик не трогает.
### Варианты изображений (pipeline_version = 1)
| Вариант | Формат | Правило | Параметры |
| --- | --- | --- | --- |
| thumbnail | JPEG | вписан в 256×256, пропорции, без увеличения, округление вниз (мин. 1 px): 320×200 → 256×160 | quality 85, optimize, baseline, 4:2:0 |
| crop | JPEG | центрированный квадрат min(w,h) → 128×128 (маленькие увеличиваются) | quality 85 |
| optimized | WebP | вписан в 1280×1280 без увеличения | lossy, quality 80, method 4; уменьшение каждого маленького файла не обещается |
Общее: EXIF orientation применяется **до** расчёта размеров (400×100 c orientation=6 → thumbnail 64×256); прозрачность компонуется на белый (масштабирование RGBA в Pillow — с premultiplied alpha); **EXIF и XMP не копируются** (Pillow пишет их только при явной передаче), ICC-профиль сохраняется, чтобы не исказить цвет. Целочисленная арифметика размеров исключает ошибки округления float.
**Ограничения ресурсов worker** (недоверенный файл, даже прошедший проверки API):
| Ресурс | Ограничение | Поведение |
| --- | --- | --- |
| байты | staging-объект > `MAX_UPLOAD_BYTES` не читается; SHA-256 и размер сверяются с БД | failed `invalid_image` / `processing_failed` |
| пиксели | размеры из заголовка до декодирования, > `MAX_IMAGE_PIXELS` | failed `invalid_image` |
| память | обработка в отдельном процессе (forkserver) с `RLIMIT_AS = WORKER_IMAGE_MEMORY_MB` (1024) | MemoryError/смерть процесса → failed `resource_limit` |
| время | процесс убивается через `WORKER_IMAGE_TIMEOUT_SECONDS` (30), `RLIMIT_CPU` — страховка | временная ошибка `processing_timeout`, повтор ≤ JOB_MAX_ATTEMPTS |
JPEG декодируется сразу в уменьшенном масштабе (`draft`), поэтому 40 Мп JPEG — пик 46 MiB; худший случай 40 Мп RGBA PNG — **361 MiB** (было 518 MiB, пока альфа компоновалась до масштабирования; порядок операций изменён). Отсюда лимит контейнера worker 1280 MiB при 2 подпроцессах. Замер: `evidence/local/imaging_memory.txt`; проверка самих лимитов: `python -m src.imaging FILE --memory-mb 200` → `resource_limit`, `--timeout 0.3` → `timeout`.
### Retry, backoff, DLQ, replay
- **Классификация ошибок.** Временные: S3 недоступен/таймаут, таймаут обработки, внедрённый `injected_transient` → retry. Постоянные: битое/неподдерживаемое изображение, превышение пикселей/байт, лимит памяти, нет источника, несовпадение SHA-256 staging → сразу `failed` без повторов (`test_f`). Если недоступна сама БД, сообщение **не** подтверждается и вернётся из PEL — решение о retry без БД принять нельзя.
- **Backoff с jitter** («equal jitter»): `d = min(JOB_RETRY_MAX_SECONDS, JOB_RETRY_BASE_SECONDS·2^(attempt−1))`, задержка равномерно в `[d/2, d]` (нижняя граница гарантирует паузу, случайная часть разносит повторы многих заданий). Реализован через `job_outbox.available_at`: попытка не начнётся раньше (проверено по журналу в `test_e`).
- **Предел:** `JOB_MAX_ATTEMPTS=5`; затем `failed retry_exhausted`, запись в `dead_letters` (реестр failed/DLQ), событие в `job_events`.
- **Replay** — только явная команда оператора (`ops.py jobs replay`). Разрешён только для `failed`; успешное задание **не исполняется повторно** (`noop`, событие `replay_refused`); без staging-источника — отказ. Новая попытка: attempt+1, свежий бюджет попыток, `replay_count+1`, `dead_letters.replayed_at`, публикация через outbox (`test_g`).
### Роли и сервисы
| Роль | Сервис | Версия | Health/readiness | Volume | Сеть/порт | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| load_balancer | `lb` | haproxy:2.8.30-alpine | `/lb-health`; проверка `/health/ready` реплик | — | backend; 127.0.0.1:8080 (единственный публичный), 8404 stats | — |
| api ×2 | `api` | сборка из Dockerfile | `/health/ready` (PG + схема 005 + не drain) | нет (read-only rootfs, tmpfs /tmp) | backend, storage, queue; 8080 только внутри | secrets: database_url, cache_url, s3_*, broker_url |
| worker | `worker` | тот же образ | heartbeat-файл < 90 с | нет (read-only, tmpfs) | backend, storage, queue | secrets: database_url, s3_*, broker_url |
| broker | `broker` | redis:7.4.1-alpine, AOF always, noeviction | `redis-cli ping` | brokerdata | queue (internal) | secrets: broker_password |
| postgres | `postgres` | postgres:16.4-alpine | pg_isready | pgdata | backend | secrets: postgres_password |
| кэш сессий | `redis` | redis:7.4.1-alpine, без persistence | ping | — | backend | secrets: redis_password |
| s3 | `s3` | chrislusf/seaweedfs:4.50 | /healthz + прогрев `ops.py wait-s3` | s3data | storage (internal) | secrets: s3_config.json |
| bootstrap | `migrate`, `s3-init` | тот же образ | one-shot, идемпотентны | — | backend / storage | — |
Топология брокера (поток + группа) создаётся кодом идемпотентно (`XGROUP CREATE ... MKSTREAM`, BUSYGROUP = no-op).
### Переменные `.env.example` → реальная конфигурация
| Логическое имя (skeleton) | Реализация |
| --- | --- |
| `BROKER_URL_FILE` | `/run/secrets/broker_url` (создаёт `init_secrets.py`) |
| `WORKER_CONCURRENCY=2` | число consumer-потоков в контейнере worker (prefetch 1 на поток) |
| `JOB_MAX_ATTEMPTS=5` | `attachment_jobs.max_attempts` при создании задания |
| `JOB_TIMEOUT_SECONDS=60` | срок аренды; ≥ `WORKER_IMAGE_TIMEOUT_SECONDS + 20` (проверка при старте) |
| `STAGING_RETENTION_SECONDS=86400` | хранение staging failed-вложений (окно replay) |
| дополнительно | `JOB_LEASE_GRACE_SECONDS`, `JOB_CLAIM_IDLE_SECONDS`, `JOB_MAX_DELIVERIES`, `JOB_RETRY_BASE/MAX_SECONDS`, `WORKER_IMAGE_TIMEOUT_SECONDS`, `WORKER_IMAGE_MEMORY_MB`, `RELAY_*`, `BROKER_STREAM/GROUP`, `PIPELINE_VERSION`, `WORKER_REPLICAS` — описаны в `.env.example` |
### Что изменено относительно lab4
- `migrations/005_async_processing.sql`: состояния `queued/processing/failed`, `staging_key`, `error_code`, `pipeline_version`; таблицы `attachment_variants`, `attachment_jobs`, `job_outbox`, `dead_letters`, `job_events`.
- `src/main.py`: upload → staging + задание + outbox → **202**; content: 409 для queued/processing/failed, варианты; сообщение с failed-вложением → 409, с queued/processing — разрешено.
- Новые модули: `src/broker.py`, `src/outbox.py`, `src/jobs.py` (переходы состояний), `src/worker.py`, `src/imaging.py`, `src/jobs_admin.py`.
- `src/reconcile.py`: префиксы `staging/`, `final/`, `originals/` (lab4), проход D — очистка staging.
- `compose.yaml`: сервисы `broker`, `worker`, `api-fault-publish`, `api-fault-dup`, сеть `queue`; `compose.faults.yaml`.
- Тесты lab4, ожидавшие 201, переведены на 202 + ожидание ready (`test_attachments.py`, `test_attachment_consistency.py`, `s3_outage.py`, `upload_memory.py`). Публичные `tests/` и контракт не изменялись.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | `PASS: lab5 public API scenario` (202 → ready, оригинал, JPEG thumbnail 256×160) | evidence/local/smoke.txt |
| Минимум lab4 сохранён | `student-tests/run_all.py` через 2 реплики | 91 тест OK (33 skip — требуют сеть compose), race 100/100, persistence и failover PASS | evidence/local/student-tests.txt, persistence.txt, failover.txt |
| 3: 202 только после durable staging + задания | `test_pipeline.py`, `test_i`, `test_a` | 202 приходит до публикации, задача доходит до ready даже при падении API сразу после 202 | pipeline_and_attachments.txt, pipeline_faults.txt |
| 3: отдельные broker и worker, durable, at-least-once, ack после эффекта | compose: `broker` (AOF always) + `worker`; `test_c`, `test_d` | ack только после COMMIT; падение до ack → повторная доставка без дубля | compose.yaml, pipeline_faults_events.txt |
| 3: worker недоступен → API не делает resize | `make test-worker-outage` | worker остановлен: 202, GET queued, content 409, сообщения 201; после старта worker — ready | worker_outage.txt/.json |
| 3: состояния queued/processing/ready/failed, original неизменен, thumbnail по контракту | `test_pipeline.py` | SHA-256 оригинала совпадает; thumbnail 256×160 по SOF-заголовку JPEG | pipeline_and_attachments.txt |
| 3: ограниченный retry, failed с безопасным error_code, повтор не создаёт 2-й набор | `test_e`, `test_g`, `assert_single_result` | ровно 3 строки variants и 1 событие succeeded во всех сценариях; `retry_exhausted`/`invalid_image` | pipeline_faults.txt |
| 3: демонстрация worker stop → upload → рестарт API → рестарт broker → worker → ready | `make test-worker-outage` | lag=1 до и после рестарта брокера, ready через ~0.03 с после старта worker | worker_outage.txt |
| 4: crop 128 и WebP; лимиты bytes/pixels/time/memory | `test_pipeline.py`, `python -m src.imaging` | crop 128×128, WebP по RIFF-заголовку; EXIF удалён; orientation/alpha/малые исходники; `resource_limit`, `timeout` | pipeline_and_attachments.txt, imaging_memory.txt |
| 4: outbox, crash между COMMIT и publish | `test_a` (api-fault-publish) | `fault_injected` от api-fault-publish, `published` другим процессом, attempt=1, ready | pipeline_faults_events.txt |
| 4: backoff+jitter, постоянные/временные, DLQ, безопасный replay | `test_e`, `test_f`, `test_g` | интервалы в [d/2, d]; permanent без повторов; replay → ready; повторный replay → noop | pipeline_faults.txt |
| 4: остановка worker после записи объекта до ack | `test_c`, `test_d` | `lease_takeover` своим consumer после рестарта; те же SHA-256; `redelivery_noop already_succeeded` | worker_fault_log.txt |
| 4: lease для зависшего processing, ограниченная конкуренция, очистка staging | `test_h`, `test_i` | `lease_expired` → attempt 2 у другого consumer → ready; старый `lease_lost`; staging_key=NULL | pipeline_faults_events.txt |
## Эксперименты и отказы
Локальная песочница: 2 vCPU, 7 GiB RAM, Linux, Python 3.13 (в образе — 3.12.7), без лимитов cgroup. Набор: синтетические изображения (`tests/fixtures/sample.png` 320×200, генерируемые 40 Мп PNG/JPEG). Повторов: сценарии отказов — 1 полный прогон, все 10 PASS; задержка — 30 последовательных загрузок. Основной compose-стенд: Windows 10, 32GB, Ryzen 5 7500f; доказательства в `/evidence`.
| Измерение | Результат |
| --- | --- |
| upload → 202 (sample.png, 109 KiB) | p50 16 мс, p95 29 мс |
| upload → ready (опрос каждые 0.2 с) | p50 0.44 с, p95 0.45 с, max 0.45 с |
| пик RSS подпроцесса обработки | 23 MiB (320×200), 46 MiB (40 Мп JPEG), 361 MiB (40 Мп RGBA PNG) |
| время обработки 40 Мп | JPEG 0.2 с, RGBA PNG 1.8 с |
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
| --- | --- | --- | --- |
| worker остановлен, upload | 202 queued, content 409, остальной API работает | так и есть, сообщения 201 | ready после старта worker; потерь нет |
| рестарт API и broker (volumes целы) при неподтверждённой задаче | задача остаётся в потоке | lag=1 до и после | — / нет |
| API умер после COMMIT до XADD | sweeper другого процесса публикует | published другим actor через ~2 с | ≤ RELAY_FAST_PATH_GRACE + 1 с / нет |
| API умер после XADD до подтверждения outbox | дубль, no-op | `redelivery_noop already_succeeded` | — / нет, 1 набор вариантов |
| worker умер после записи S3 до COMMIT | свой PEL после рестарта, те же байты | `lease_takeover`, SHA-256 = эталон | ~1–2 с (рестарт процесса) / нет |
| worker умер после COMMIT до XACK | повторная доставка no-op | `redelivery_noop already_succeeded` | ~1–2 с / нет |
| worker «завис» дольше аренды | новая попытка, fencing старой | `lease_expired` → ready на attempt 2 → `lease_lost` | аренда + grace + ≤5 с / нет |
| временные ошибки ×2 | backoff+jitter, ready на 3-й | задержки 0.5–1 с и 1–2 с (base 1, cap 4 в стенде отказов) | — |
| временная ошибка всегда | failed retry_exhausted, DLQ, replay | 5 попыток → failed → replay → ready → replay ещё раз = noop | — |
| мусор в потоке | ack, worker жив | pending=0 | — |
## Ограничения и следующие шаги
- **Один Docker-host:** брокер, PostgreSQL и S3 — по одному экземпляру. Выдерживаются рестарты и падения процессов с сохранением volumes, но не потеря диска/хоста. Redis без репликации: при потере volume брокера неопубликованные строки outbox сохранятся, а уже опубликованные, но не обработанные задачи потребуют повторной публикации (`jobs replay` работает только для failed; для queued без сообщения нужен ручной requeue — сборщик аренд покрывает только processing).
- **At-least-once + идемпотентность ≠ exactly-once:** дубли сообщений и повторная запись тех же объектов S3 возможны и ожидаемы; уникален только опубликованный результат. Детерминизм байтов вариантов гарантирован в пределах одной версии Pillow/libjpeg/libwebp; при обновлении библиотек нужна новая `pipeline_version` (версионирование нескольких pipeline — трек 5, не заявлен).
- Fencing защищает БД, но не S3: «проснувшийся» старый worker может перезаписать объект варианта теми же (детерминированными) байтами после публикации результата.
- Классификация ошибок упрощена: таймаут обработки считается временным, поэтому «тяжёлый» файл может занять до 5 попыток по 30 с.
- Маркеры отказов в filename работают **только** при `WORKER_FAULTS=true` (`compose.faults.yaml`); в обычном стенде filename на обработку не влияет.
- Старые ready-вложения lab4 остаются без вариантов (запрос варианта → 404 по контракту); фоновой догенерации нет.
- HTTP без TLS — только локальный учебный стенд (TLS — lab7).
## Вопросы защиты — кратко
- **Publisher confirm vs consumer ack.** Confirm — брокер принял и сохранил сообщение (у нас: ответ XADD после fsync AOF), это граница «producer → брокер»; после него relay удаляет строку outbox. Ack (XACK) — consumer сообщает, что обработка устойчиво завершена (COMMIT результата/перевода в retry/failed), это граница «брокер → consumer»; до него сообщение остаётся в PEL и будет доставлено снова.
- **Что сохранено в момент 202?** Байты в S3 staging, метаданные, задание и outbox в одной транзакции PostgreSQL. Сообщения в брокере может ещё не быть — его гарантирует outbox.
- **Почему повторная доставка нормальна и где ключ идемпотентности?** At-least-once неизбежно даёт дубли (падение до ack, повтор publish). Ключ эффекта — `(attachment_id, pipeline_version, variant)`: PK `attachment_variants` + детерминированные ключи S3; задание — `job_id` (UNIQUE `(attachment_id, pipeline_version)`); повтор успешного — no-op с ack.
- **Как отличить зависший worker от долго работающего?** Аренда с заведомо большим сроком, чем максимальная попытка (жёсткий таймаут подпроцесса + дедлайны S3). Пока аренда действует — задание не отдаётся второму worker; после истечения + grace — новая попытка, а результат старой отсекается fencing-токеном. Heartbeat контейнера проверяет, что все consumer-потоки живы.
+5
View File
@@ -0,0 +1,5 @@
# Доказательства
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
+54
View File
@@ -0,0 +1,54 @@
# 2026-11-10 14:26:03 UTC
OK Контракт (offline) evidence/check.txt
OK Compose config evidence/check.txt
OK Стенд: контейнеры evidence/stand.txt
OK Стенд: реплики и статус в LB evidence/stand.txt
OK Стенд: лимиты CPU/RAM evidence/stand.txt
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
OK Образ SeaweedFS (закреплённая версия) evidence/stand.txt
OK lab5: broker (Redis AOF) и worker evidence/stand.txt
OK lab5: конфигурация durability брокера evidence/stand.txt
OK S3 bootstrap: лог первого запуска s3-init evidence/s3_bootstrap.txt
OK S3 bootstrap: повторный запуск (идемпотентность) evidence/s3_bootstrap.txt
OK Публичный smoke evidence/smoke.txt
OK Собственные тесты (HTTP через LB, включая test_attachments.py) evidence/student-tests.txt
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
OK Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) evidence/consistency.txt
OK Сверка БД <-> S3 (dry-run) evidence/reconcile.txt
OK Приватный бакет вне API, права ключей, закрытые админ-порты evidence/s3_private.txt
OK На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes evidence/s3_private.txt
OK API: файлы в /tmp (tmpfs) после загрузок evidence/s3_private.txt
OK Пик памяти: 10 одновременных загрузок по 9.5 MiB evidence/upload_memory.txt
OK Пик памяти: 20 одновременных загрузок evidence/upload_memory.txt
OK Failover #1: реплики до evidence/failover.txt
OK Failover #1: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #1: restore evidence/failover.txt
OK Failover #2: реплики до evidence/failover.txt
OK Failover #2: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #2: restore evidence/failover.txt
OK Failover #3: реплики до evidence/failover.txt
OK Failover #3: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
OK Failover #3: restore evidence/failover.txt
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
OK Недоступность S3 и восстановление evidence/s3_outage.txt
OK Варианты изображений по фактическим байтам (test_pipeline.py) evidence/pipeline.txt
OK Сценарий защиты 3: worker остановлен -> 202 -> рестарт API и broker -> worker -> ready evidence/worker_outage.txt
OK Уровень 4: внедрённые отказы pipeline (outbox, crash до/после ack, retry, DLQ, replay, lease) evidence/pipeline_faults.txt
OK Очередь после сценариев: задания, outbox, DLQ, lag evidence/pipeline_faults.txt
OK Реестр failed (DLQ) evidence/pipeline_faults.txt
OK Worker: последние строки лога evidence/worker_log_sample.txt
OK Rolling update lab5 -> lab5.1 под нагрузкой evidence/rolling_update.txt
OK Rolling update обратно lab5.1 -> lab5 (откат) под нагрузкой evidence/rolling_update.txt
OK Реплики после обновлений evidence/rolling_update.txt
OK Persistence: контейнеры до evidence/persistence.txt
OK Persistence: make test-persistence (API + worker + PostgreSQL + Redis + broker + S3 + LB) evidence/persistence.txt
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
OK Persistence: сверка БД <-> S3 после рестарта evidence/persistence.txt
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
OK CPU/RAM после нагрузки evidence/load.txt
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
+7
View File
@@ -0,0 +1,7 @@
# 2026-11-10 14:13:49 UTC | Контракт (offline) | exit 0 | 0.1s
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
# 2026-11-10 14:13:49 UTC | Compose config | exit 0 | 0.3s
$ docker compose --env-file .env config --quiet
+75
View File
@@ -0,0 +1,75 @@
# 2026-11-10 14:15:11 UTC | Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) | exit 0 | 20.0s
$ python scripts/ops.py in-network consistency
Container messenger-lab5-redis-1 Running
Container messenger-lab5-api-1 Running
Container messenger-lab5-api-2 Running
Container messenger-lab5-postgres-1 Running
Container messenger-lab5-s3-1 Running
Container messenger-lab5-api-fault-s3-1 Creating
Container messenger-lab5-api-fault-db-1 Creating
Container messenger-lab5-api-fault-crash-1 Creating
Container messenger-lab5-api-fault-s3-1 Created
Container messenger-lab5-api-fault-db-1 Created
Container messenger-lab5-api-fault-crash-1 Created
Container messenger-lab5-s3-1 Waiting
Container messenger-lab5-postgres-1 Waiting
Container messenger-lab5-s3-1 Healthy
Container messenger-lab5-postgres-1 Healthy
Container messenger-lab5-s3-init-1 Starting
Container messenger-lab5-migrate-1 Starting
Container messenger-lab5-s3-init-1 Started
Container messenger-lab5-migrate-1 Started
Container messenger-lab5-migrate-1 Waiting
Container messenger-lab5-s3-init-1 Waiting
Container messenger-lab5-postgres-1 Waiting
Container messenger-lab5-redis-1 Waiting
Container messenger-lab5-redis-1 Healthy
Container messenger-lab5-postgres-1 Healthy
Container messenger-lab5-migrate-1 Exited
Container messenger-lab5-s3-init-1 Exited
Container messenger-lab5-api-1 Waiting
Container messenger-lab5-api-2 Waiting
Container messenger-lab5-api-1 Waiting
Container messenger-lab5-api-2 Waiting
Container messenger-lab5-api-1 Waiting
Container messenger-lab5-api-2 Waiting
Container messenger-lab5-api-1 Healthy
Container messenger-lab5-api-2 Healthy
Container messenger-lab5-api-1 Healthy
Container messenger-lab5-api-2 Healthy
Container messenger-lab5-api-fault-db-1 Starting
Container messenger-lab5-api-fault-s3-1 Starting
Container messenger-lab5-api-1 Healthy
Container messenger-lab5-api-2 Healthy
Container messenger-lab5-api-fault-crash-1 Starting
Container messenger-lab5-api-fault-db-1 Started
Container messenger-lab5-api-fault-s3-1 Started
Container messenger-lab5-api-fault-crash-1 Started
Container messenger-lab5-api-run-e891dd567ea2 Creating
Container messenger-lab5-api-run-e891dd567ea2 Created
ready: http://api-fault-s3:8080/health/ready
Container messenger-lab5-api-run-a25e14654677 Creating
Container messenger-lab5-api-run-a25e14654677 Created
ready: http://api-fault-db:8080/health/ready
Container messenger-lab5-api-run-53cacd2097d3 Creating
Container messenger-lab5-api-run-53cacd2097d3 Created
ready: http://api-fault-crash:8080/health/ready
Container messenger-lab5-api-run-66f13fe194f4 Creating
Container messenger-lab5-api-run-66f13fe194f4 Created
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... /usr/local/lib/python3.12/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
datetime_now = datetime.datetime.utcnow()
ok
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
----------------------------------------------------------------------
Ran 10 tests in 4.594s
OK
+66
View File
@@ -0,0 +1,66 @@
# 2026-11-10 14:15:40 UTC | Failover #1: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
# 2026-11-10 14:16:30 UTC | Failover #1: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 49.3s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 4.297}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-10 14:16:30 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
3a0e06f14a63 messenger-lab5-api-2 exited unhealthy messenger-api:lab5 - -
# 2026-11-10 14:16:37 UTC | Failover #1: restore | exit 0 | 6.6s
$ python scripts/ops.py restore
2026-11-10T14:16:37.028Z restore: started ['messenger-lab5-api-2']; 2 replicas healthy and UP in LB after 6.5s
# 2026-11-10 14:16:37 UTC | Failover #2: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
# 2026-11-10 14:16:54 UTC | Failover #2: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.8s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.532}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-10 14:16:54 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
3a0e06f14a63 messenger-lab5-api-2 exited unhealthy messenger-api:lab5 - -
# 2026-11-10 14:17:01 UTC | Failover #2: restore | exit 0 | 6.6s
$ python scripts/ops.py restore
2026-11-10T14:17:00.997Z restore: started ['messenger-lab5-api-2']; 2 replicas healthy and UP in LB after 6.5s
# 2026-11-10 14:17:01 UTC | Failover #3: реплики до | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
# 2026-11-10 14:17:18 UTC | Failover #3: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 17.0s
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 123, "failed_attempts": 0, "first_recovery_seconds": 4.437}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# 2026-11-10 14:17:18 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
$ python scripts/ops.py ps
X-Instance-Id container state health image lb lb_status
4b1faad0399c messenger-lab5-api-1 exited unhealthy messenger-api:lab5 - -
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
# 2026-11-10 14:17:25 UTC | Failover #3: restore | exit 0 | 6.7s
$ python scripts/ops.py restore
2026-11-10T14:17:25.258Z restore: started ['messenger-lab5-api-1']; 2 replicas healthy and UP in LB after 6.6s
# остановленные публичным тестом реплики: ['3a0e06f14a63', '3a0e06f14a63', '4b1faad0399c']
+294
View File
@@ -0,0 +1,294 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"3a0e06f14a63",
"4b1faad0399c"
],
"rounds": [
{
"target_instance": "3a0e06f14a63",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.47,
"lb_detect_down_seconds": 1.88,
"target_last_served_after_stop_seconds": 1.83,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 6.72,
"lb_back_up_seconds": 0.95,
"target_back_in_rotation_seconds": 6.72,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1083,
"ok": 1083,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 216.6,
"write_ok_rps": 125.0,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 188.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 1238,
"ok": 1238,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 123.8,
"write_ok_rps": 74.0,
"latency_ms_ok": {
"p50": 31.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 531,
"ok": 531,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 106.2,
"write_ok_rps": 60.8,
"latency_ms_ok": {
"p50": 63.0,
"p95": 109.0,
"p99": 391.0
},
"instances": [
"4b1faad0399c"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 29.98,
"requests": 1831,
"ok": 1831,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 183.4,
"write_ok_rps": 110.1,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 171.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
6.88,
[
"api1"
]
],
[
20.95,
[
"api1",
"api2"
]
],
[
21.92,
[
"api1"
]
],
[
24.47,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2768,
"stored_messages": 2768,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
},
{
"target_instance": "4b1faad0399c",
"mode": "stop",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 4.55,
"lb_detect_down_seconds": 2.05,
"target_last_served_after_stop_seconds": 1.97,
"target_served_after_hook_returned": false,
"errors_during_outage": 0,
"error_kinds": [],
"error_window_seconds": 0.0,
"restore_hook_seconds": 7.06,
"lb_back_up_seconds": 2.08,
"target_back_in_rotation_seconds": 7.06,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1346,
"ok": 1346,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 269.2,
"write_ok_rps": 160.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 109.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 1371,
"ok": 1371,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 137.1,
"write_ok_rps": 82.7,
"latency_ms_ok": {
"p50": 31.0,
"p95": 94.0,
"p99": 187.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 564,
"ok": 564,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 112.8,
"write_ok_rps": 66.8,
"latency_ms_ok": {
"p50": 62.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"3a0e06f14a63"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.38,
"requests": 1657,
"ok": 1657,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 159.7,
"write_ok_rps": 90.8,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 188.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
7.05,
[
"api2"
]
],
[
22.08,
[
"api1",
"api2"
]
],
[
23.05,
[
"api2"
]
],
[
25.51,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2905,
"stored_messages": 2905,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 0,
"ok": true
}
}
],
"pass": true
}
+17
View File
@@ -0,0 +1,17 @@
# 2026-11-10 14:18:28 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 62.8s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
replicas observed through LB: ['3a0e06f14a63', '4b1faad0399c']
-- stopping 3a0e06f14a63 (mode=stop) under load
hook 4.47s | LB DOWN after 1.88 s | errors 0 (-) | RPS before 216.6, outage 123.8, after restore 183.4 | p95 outage 109.0 ms | back in rotation 6.72 s | data ok=True
-- stopping 4b1faad0399c (mode=stop) under load
hook 4.55s | LB DOWN after 2.05 s | errors 0 (-) | RPS before 269.2, outage 137.1, after restore 159.7 | p95 outage 94.0 ms | back in rotation 7.06 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
# 2026-11-10 14:19:31 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.0s
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
replicas observed through LB: ['3a0e06f14a63', '4b1faad0399c']
-- stopping 3a0e06f14a63 (mode=kill) under load
hook 1.20s | LB DOWN after 2.39 s | errors 3 (502) | RPS before 280.4, outage 89.8, after restore 171.1 | p95 outage 110.0 ms | back in rotation 7.06 s | data ok=True
-- stopping 4b1faad0399c (mode=kill) under load
hook 0.83s | LB DOWN after 2.34 s | errors 6 (502) | RPS before 260.4, outage 89.4, after restore 156.0 | p95 outage 110.0 ms | back in rotation 7.28 s | data ok=True
PASS: every replica stopped and restored; confirmed data intact, no duplicates
@@ -0,0 +1,298 @@
{
"scenario": "stop each API replica in turn under load, restore before the next",
"load": {
"writers": 4,
"readers": 2,
"client_timeout_s": 2.0,
"write_retry": "same Idempotency-Key and body until 201"
},
"replicas": [
"3a0e06f14a63",
"4b1faad0399c"
],
"rounds": [
{
"target_instance": "3a0e06f14a63",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 1.2,
"lb_detect_down_seconds": 2.39,
"target_last_served_after_stop_seconds": 0.56,
"target_served_after_hook_returned": false,
"errors_during_outage": 3,
"error_kinds": [
"502"
],
"error_window_seconds": 0.64,
"restore_hook_seconds": 7.12,
"lb_back_up_seconds": 1.42,
"target_back_in_rotation_seconds": 7.06,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1402,
"ok": 1402,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 280.4,
"write_ok_rps": 161.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 94.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 901,
"ok": 898,
"errors": 3,
"error_ratio": 0.0033,
"ok_rps": 89.8,
"write_ok_rps": 52.6,
"latency_ms_ok": {
"p50": 32.0,
"p95": 110.0,
"p99": 1015.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 518,
"ok": 518,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 103.6,
"write_ok_rps": 60.8,
"latency_ms_ok": {
"p50": 78.0,
"p95": 110.0,
"p99": 187.0
},
"instances": [
"4b1faad0399c"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.44,
"requests": 1786,
"ok": 1786,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 171.1,
"write_ok_rps": 101.4,
"latency_ms_ok": {
"p50": 16.0,
"p95": 94.0,
"p99": 187.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
7.39,
[
"api1"
]
],
[
21.42,
[
"api1",
"api2"
]
],
[
21.53,
[
"api1"
]
],
[
24.02,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2698,
"stored_messages": 2698,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 1,
"ok": true
}
},
{
"target_instance": "4b1faad0399c",
"mode": "kill",
"lb_up_before": [
"api1",
"api2"
],
"stop_hook_seconds": 0.83,
"lb_detect_down_seconds": 2.34,
"target_last_served_after_stop_seconds": 0.09,
"target_served_after_hook_returned": false,
"errors_during_outage": 6,
"error_kinds": [
"502"
],
"error_window_seconds": 0.28,
"restore_hook_seconds": 7.3,
"lb_back_up_seconds": 1.33,
"target_back_in_rotation_seconds": 7.28,
"windows": {
"before": {
"from_s": 0,
"to_s": 5.0,
"requests": 1302,
"ok": 1302,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 260.4,
"write_ok_rps": 153.2,
"latency_ms_ok": {
"p50": 16.0,
"p95": 78.0,
"p99": 125.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_first_10s": {
"from_s": 5.0,
"to_s": 15.0,
"requests": 900,
"ok": 894,
"errors": 6,
"error_ratio": 0.0067,
"ok_rps": 89.4,
"write_ok_rps": 52.5,
"latency_ms_ok": {
"p50": 32.0,
"p95": 110.0,
"p99": 1016.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
},
"outage_rest": {
"from_s": 15.0,
"to_s": 20.0,
"requests": 565,
"ok": 565,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 113.0,
"write_ok_rps": 66.6,
"latency_ms_ok": {
"p50": 62.0,
"p95": 109.0,
"p99": 187.0
},
"instances": [
"3a0e06f14a63"
]
},
"after_restore": {
"from_s": 20.0,
"to_s": 30.5,
"requests": 1638,
"ok": 1638,
"errors": 0,
"error_ratio": 0.0,
"ok_rps": 156.0,
"write_ok_rps": 92.5,
"latency_ms_ok": {
"p50": 16.0,
"p95": 109.0,
"p99": 188.0
},
"instances": [
"3a0e06f14a63",
"4b1faad0399c"
]
}
},
"lb_timeline": [
[
0.0,
[
"api1",
"api2"
]
],
[
7.34,
[
"api2"
]
],
[
21.33,
[
"api1",
"api2"
]
],
[
22.2,
[
"api2"
]
],
[
24.74,
[
"api1",
"api2"
]
]
],
"data": {
"confirmed_writes": 2599,
"stored_messages": 2599,
"missing_or_altered": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
"same_key_retries": 4,
"ok": true
}
}
],
"pass": true
}
+22
View File
@@ -0,0 +1,22 @@
# 2026-11-10 14:14:03 UTC | одна сессия, 20 запросов GET /users/me через LB
1 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019A78-1F90-6AF326AB268-0BC1-0008
2 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019A88-1F90-6AF326AB27B-0BC2-0008
3 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019A8E-1F90-6AF326AB27F-0BC3-0008
4 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019A9C-1F90-6AF326AB282-0BC4-0008
5 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019AA4-1F90-6AF326AB296-0BC5-0008
6 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AA8-1F90-6AF326AB2A5-0BC6-0008
7 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019AAA-1F90-6AF326AB2B4-0BC7-0008
8 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AB0-1F90-6AF326AB2C4-0BC8-0008
9 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019ABA-1F90-6AF326AB2D3-0BC9-0008
10 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019ABE-1F90-6AF326AB2E2-0BCA-0008
11 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019ACC-1F90-6AF326AB2E5-0BCB-0008
12 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019ADC-1F90-6AF326AB2F2-0BCC-0008
13 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019ADE-1F90-6AF326AB300-0BCD-0008
14 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AE4-1F90-6AF326AB303-0BCE-0008
15 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019AEA-1F90-6AF326AB305-0BCF-0008
16 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AF6-1F90-6AF326AB320-0BD0-0008
17 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019B06-1F90-6AF326AB323-0BD1-0008
18 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019B0C-1F90-6AF326AB33F-0BD2-0008
19 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019B16-1F90-6AF326AB34E-0BD3-0008
20 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019B24-1F90-6AF326AB351-0BD4-0008
разных реплик: 2
+62
View File
@@ -0,0 +1,62 @@
# 2026-11-10 14:26:03 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.3s
$ docker compose --env-file .env logs --no-color --tail 60 lb
lb-1 | 172.20.0.1:36070 [10/Nov/2026:14:26:00.806] public api/api1 0/0/0/24/25 201 421 ---- 7/7/4/3/0 0/0 rid=AC1400018CE6-1F90-6AF32978326-1436-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36082 [10/Nov/2026:14:26:00.818] public api/api1 0/0/0/14/14 201 421 ---- 8/8/4/2/0 0/0 rid=AC1400018CF2-1F90-6AF32978332-1438-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36116 [10/Nov/2026:14:26:00.827] public api/api2 0/0/0/6/6 201 421 ---- 7/7/3/1/0 0/0 rid=AC1400018D14-1F90-6AF3297833B-143B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36130 [10/Nov/2026:14:26:00.831] public api/api2 0/0/0/7/8 201 421 ---- 8/8/4/1/0 0/0 rid=AC1400018D22-1F90-6AF3297833F-143D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36078 [10/Nov/2026:14:26:00.822] public api/api1 0/0/0/18/18 201 421 ---- 8/8/3/2/0 0/0 rid=AC1400018CEE-1F90-6AF3297832C-143A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36104 [10/Nov/2026:14:26:00.838] public api/api2 0/0/0/6/6 201 421 ---- 8/8/4/1/0 0/0 rid=AC1400018D08-1F90-6AF32978338-143F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36182 [10/Nov/2026:14:26:00.842] public api/api2 0/0/0/6/6 201 421 ---- 8/8/4/0/0 0/0 rid=AC1400018D56-1F90-6AF3297834A-1441-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36196 [10/Nov/2026:14:26:00.850] public api/api2 0/0/0/4/4 201 421 ---- 8/8/7/1/0 0/0 rid=AC1400018D64-1F90-6AF32978352-1443-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36122 [10/Nov/2026:14:26:00.854] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/1/0 0/0 rid=AC1400018D1A-1F90-6AF3297833D-1445-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36212 [10/Nov/2026:14:26:00.856] public api/api2 0/0/0/6/6 201 421 ---- 8/8/6/0/0 0/0 rid=AC1400018D74-1F90-6AF32978358-1447-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36224 [10/Nov/2026:14:26:00.884] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018D80-1F90-6AF3297835E-1449-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36118 [10/Nov/2026:14:26:00.828] public api/api1 0/0/0/76/76 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018D16-1F90-6AF3297833C-143C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36156 [10/Nov/2026:14:26:00.834] public api/api1 0/0/0/78/78 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018D3C-1F90-6AF32978342-143E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36276 [10/Nov/2026:14:26:00.914] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018DB4-1F90-6AF32978392-144B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36190 [10/Nov/2026:14:26:00.846] public api/api1 0/0/0/77/77 201 421 ---- 8/8/7/6/0 0/0 rid=AC1400018D5E-1F90-6AF3297834E-1442-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36168 [10/Nov/2026:14:26:00.841] public api/api1 0/0/0/82/83 201 421 ---- 7/7/6/5/0 0/0 rid=AC1400018D48-1F90-6AF32978349-1440-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36166 [10/Nov/2026:14:26:00.854] public api/api1 0/0/0/72/73 201 421 ---- 8/8/7/5/0 0/0 rid=AC1400018D46-1F90-6AF32978343-1446-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36262 [10/Nov/2026:14:26:00.906] public api/api1 0/0/0/21/21 201 421 ---- 8/8/6/4/0 0/0 rid=AC1400018DA6-1F90-6AF3297838A-144A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36238 [10/Nov/2026:14:26:00.864] public api/api1 0/0/0/64/64 201 421 ---- 7/7/5/3/0 0/0 rid=AC1400018D8E-1F90-6AF32978360-1448-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36146 [10/Nov/2026:14:26:00.853] public api/api1 0/0/1/74/75 201 421 ---- 6/6/5/3/0 0/0 rid=AC1400018D32-1F90-6AF32978340-1444-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36282 [10/Nov/2026:14:26:00.922] public api/api2 0/0/0/6/6 201 421 ---- 5/5/4/1/0 0/0 rid=AC1400018DBA-1F90-6AF3297839A-144D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36250 [10/Nov/2026:14:26:00.915] public api/api1 0/0/0/14/15 201 421 ---- 5/5/3/2/0 0/0 rid=AC1400018D9A-1F90-6AF3297837C-144C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36294 [10/Nov/2026:14:26:00.926] public api/api2 0/0/0/8/8 201 421 ---- 8/8/6/2/0 0/0 rid=AC1400018DC6-1F90-6AF3297839E-144F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36324 [10/Nov/2026:14:26:00.930] public api/api2 0/0/0/10/10 201 421 ---- 8/8/6/2/0 0/0 rid=AC1400018DE4-1F90-6AF329783A2-1451-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36378 [10/Nov/2026:14:26:00.935] public api/api2 0/0/0/7/7 201 421 ---- 8/8/6/1/0 0/0 rid=AC1400018E1A-1F90-6AF329783A7-1455-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36336 [10/Nov/2026:14:26:00.931] public api/api2 0/0/0/12/12 201 421 ---- 7/7/5/0/0 0/0 rid=AC1400018DF0-1F90-6AF329783A3-1453-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36396 [10/Nov/2026:14:26:00.945] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/1/0 0/0 rid=AC1400018E2C-1F90-6AF329783B1-1457-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36362 [10/Nov/2026:14:26:00.945] public api/api2 0/0/0/7/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018E0A-1F90-6AF329783A4-1459-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36416 [10/Nov/2026:14:26:00.977] public api/api2 0/0/0/7/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018E40-1F90-6AF329783BA-145B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36308 [10/Nov/2026:14:26:00.926] public api/api1 0/0/0/78/78 201 421 ---- 8/8/7/7/0 0/0 rid=AC1400018DD4-1F90-6AF3297839E-144E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36320 [10/Nov/2026:14:26:00.928] public api/api1 0/0/0/77/78 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018DE0-1F90-6AF329783A0-1450-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36428 [10/Nov/2026:14:26:01.006] public api/api2 0/0/0/6/6 201 420 ---- 8/8/6/0/0 0/0 rid=AC1400018E4C-1F90-6AF3297906-145D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36348 [10/Nov/2026:14:26:00.931] public api/api1 0/0/0/86/86 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018DFC-1F90-6AF329783A3-1452-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36342 [10/Nov/2026:14:26:00.930] public api/api1 0/0/0/88/88 201 421 ---- 8/8/5/5/0 0/0 rid=AC1400018DF6-1F90-6AF329783A2-1454-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36418 [10/Nov/2026:14:26:00.986] public api/api1 0/0/0/35/36 201 421 ---- 8/8/4/4/0 0/0 rid=AC1400018E42-1F90-6AF329783DA-145C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36384 [10/Nov/2026:14:26:00.942] public api/api1 0/0/0/80/81 201 421 ---- 7/7/4/3/0 0/0 rid=AC1400018E20-1F90-6AF329783AE-1456-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36392 [10/Nov/2026:14:26:00.945] public api/api1 0/0/0/77/78 201 421 ---- 6/6/3/2/0 0/0 rid=AC1400018E28-1F90-6AF329783B1-1458-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36402 [10/Nov/2026:14:26:00.952] public api/api1 0/0/0/71/71 201 421 ---- 6/6/2/1/0 0/0 rid=AC1400018E32-1F90-6AF329783B8-145A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36444 [10/Nov/2026:14:26:01.014] public api/api1 0/0/0/14/14 201 420 ---- 8/8/5/2/0 0/0 rid=AC1400018E5C-1F90-6AF329790E-145E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36438 [10/Nov/2026:14:26:01.023] public api/api2 0/0/0/11/11 201 420 ---- 8/8/5/2/0 0/0 rid=AC1400018E56-1F90-6AF3297908-145F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36496 [10/Nov/2026:14:26:01.025] public api/api2 0/0/0/11/11 201 420 ---- 8/8/5/2/0 0/0 rid=AC1400018E90-1F90-6AF3297919-1461-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36482 [10/Nov/2026:14:26:01.025] public api/api1 0/0/0/11/11 201 420 ---- 7/7/4/2/0 0/0 rid=AC1400018E82-1F90-6AF3297919-1462-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36488 [10/Nov/2026:14:26:01.025] public api/api2 0/0/0/12/12 201 420 ---- 6/6/3/1/0 0/0 rid=AC1400018E88-1F90-6AF3297919-1463-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36512 [10/Nov/2026:14:26:01.036] public api/api2 0/0/0/10/10 201 420 ---- 8/8/7/2/0 0/0 rid=AC1400018EA0-1F90-6AF3297924-1465-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36462 [10/Nov/2026:14:26:01.038] public api/api2 0/0/0/11/11 201 420 ---- 8/8/7/2/0 0/0 rid=AC1400018E6E-1F90-6AF3297915-1467-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36524 [10/Nov/2026:14:26:01.039] public api/api2 0/0/0/9/10 201 420 ---- 7/7/6/1/0 0/0 rid=AC1400018EAC-1F90-6AF3297927-1469-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36546 [10/Nov/2026:14:26:01.048] public api/api2 0/0/0/8/8 201 420 ---- 8/8/7/1/0 0/0 rid=AC1400018EC2-1F90-6AF3297930-146B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36568 [10/Nov/2026:14:26:01.051] public api/api2 0/0/0/7/7 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018ED8-1F90-6AF3297933-146D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36592 [10/Nov/2026:14:26:01.059] public api/api2 0/0/0/4/4 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018EF0-1F90-6AF329793B-146F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36508 [10/Nov/2026:14:26:01.030] public api/api1 0/0/0/68/68 201 420 ---- 8/8/7/7/0 0/0 rid=AC1400018E9C-1F90-6AF329791E-1464-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36470 [10/Nov/2026:14:26:01.025] public api/api1 0/0/0/73/73 201 420 ---- 7/7/6/6/0 0/0 rid=AC1400018E76-1F90-6AF3297919-1460-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36612 [10/Nov/2026:14:26:01.100] public api/api2 0/0/0/5/6 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018F04-1F90-6AF3297964-1471-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36620 [10/Nov/2026:14:26:01.108] public api/api2 0/0/0/4/4 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018F0C-1F90-6AF329796C-1473-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36618 [10/Nov/2026:14:26:01.100] public api/api1 0/0/0/17/17 201 420 ---- 7/7/6/6/0 0/0 rid=AC1400018F0A-1F90-6AF3297964-1472-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36584 [10/Nov/2026:14:26:01.057] public api/api1 0/0/0/61/61 201 420 ---- 6/6/5/5/0 0/0 rid=AC1400018EE8-1F90-6AF3297939-146E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36536 [10/Nov/2026:14:26:01.040] public api/api1 0/0/0/81/81 201 420 ---- 5/5/4/4/0 0/0 rid=AC1400018EB8-1F90-6AF3297928-146A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36516 [10/Nov/2026:14:26:01.039] public api/api1 0/0/0/83/83 201 420 ---- 4/4/3/3/0 0/0 rid=AC1400018EA4-1F90-6AF3297927-1468-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36452 [10/Nov/2026:14:26:01.038] public api/api1 0/0/1/84/85 201 420 ---- 3/3/2/2/0 0/0 rid=AC1400018E64-1F90-6AF3297913-1466-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36600 [10/Nov/2026:14:26:01.065] public api/api1 0/0/0/57/58 201 420 ---- 2/2/1/1/0 0/0 rid=AC1400018EF8-1F90-6AF3297941-1470-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
lb-1 | 172.20.0.1:36562 [10/Nov/2026:14:26:01.051] public api/api1 0/0/0/72/72 201 420 ---- 1/1/0/0/0 0/0 rid=AC1400018ED2-1F90-6AF3297933-146C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 5,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.094,
"concurrency": 8,
"successful_requests": 5150,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 171.13,
"successful_latency_ms": {
"p50": 31.0,
"p95": 110.0,
"p99": 188.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+31
View File
@@ -0,0 +1,31 @@
# 2026-11-10 14:26:01 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.5s
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
{
"lab": 5,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.094,
"concurrency": 8,
"successful_requests": 5150,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 171.13,
"successful_latency_ms": {
"p50": 31.0,
"p95": 110.0,
"p99": 188.0
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
# 2026-11-10 14:26:03 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
NAME CPU % MEM USAGE / LIMIT MEM %
messenger-lab5-api-6 20.42% 95.3MiB / 320MiB 29.78%
messenger-lab5-api-5 19.69% 94.15MiB / 320MiB 29.42%
messenger-lab5-worker-1 0.13% 77.54MiB / 1.25GiB 6.06%
messenger-lab5-lb-1 0.34% 13.26MiB / 128MiB 10.36%
messenger-lab5-postgres-1 3.10% 71.41MiB / 512MiB 13.95%
messenger-lab5-redis-1 0.21% 4.559MiB / 96MiB 4.75%
messenger-lab5-s3-1 2.87% 99.73MiB / 512MiB 19.48%
messenger-lab5-broker-1 2.79% 8.617MiB / 320MiB 2.69%
+33
View File
@@ -0,0 +1,33 @@
# Локальный прогон (без Docker) — что это и чем НЕ является
Дата: 2026-11-09. Эти файлы получены при разработке в изолированной Linux-песочнице,
где **Docker Hub недоступен** (образы не скачиваются), поэтому compose-стенд там не
поднимался. Те же процессы запускались нативно:
| Роль | В compose.yaml | В локальном прогоне |
| --- | --- | --- |
| API x2 | `api` (образ из Dockerfile) | `python -m src.server` x2 (INSTANCE_ID=api1/api2) |
| LB | HAProxy 2.8.30 | 40-строчный round-robin TCP-прокси на asyncio (только для теста) |
| PostgreSQL | postgres:16.4-alpine | PostgreSQL 16 (системный) |
| Кэш сессий | redis:7.4.1-alpine | Redis 7.0.15, без persistence |
| Broker | redis:7.4.1-alpine, AOF `appendfsync always`, `noeviction` | Redis 7.0.15 с теми же флагами, отдельный dir |
| S3 | SeaweedFS 4.50 | moto 5.0.28 (S3-эмулятор, in-memory) |
| Worker | `worker` (`python -m src.worker`) | тот же модуль; «restart: unless-stopped» эмулирован циклом в shell |
Код приложения, миграции и тесты — те же, что в репозитории. Хуки рестарта/остановки
заменены локальными скриптами (kill/pg_ctl/redis SHUTDOWN), поэтому **доказательства
на compose-стенде нужно собрать самостоятельно**: `python scripts/collect_evidence.py`
(запишет evidence/*.txt и evidence/SUMMARY.txt). S3 в локальном persistence-прогоне
не перезапускался (moto хранит данные в памяти).
| Файл | Что внутри |
| --- | --- |
| smoke.txt, student-tests.txt | `make test` и `student-tests/run_all.py` через 2 реплики: 91 тест + race, PASS |
| pipeline_and_attachments.txt | test_pipeline.py (7) и адаптированный test_attachments.py (17), PASS |
| pipeline_faults.txt | test_pipeline_faults.py: 10 сценариев отказов уровня 4, PASS |
| pipeline_faults_events.txt | журнал job_events этих сценариев (доказательство *как* система восстановилась) |
| worker_fault_log.txt | строки лога worker: внедрённые падения и восстановление своего PEL |
| worker_outage.txt / .json | сценарий защиты уровня 3 (worker stop -> 202 -> рестарт API и broker -> ready) |
| persistence.txt, failover.txt | публичные tests/resilience.py (persistence: API+worker+PG+Redis+broker) |
| latency.json | 30 загрузок: 202 p50 16 мс; до ready p50 0.44 с (с шагом опроса 0.2 с) |
| imaging_memory.txt | пиковый RSS подпроцесса обработки: 40 Мп RGBA PNG — 361 MiB, 40 Мп JPEG — 46 MiB |
+4
View File
@@ -0,0 +1,4 @@
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 141, "failed_attempts": 0, "first_recovery_seconds": 0.115}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
EXIT=0
@@ -0,0 +1,5 @@
synthetic/big.jpg 626630 {'thumbnail': (256, 160), 'crop': (128, 128), 'optimized': (1280, 800)} 0.20s peak RSS 46 MiB
synthetic/big.png 165443 {'thumbnail': (256, 160), 'crop': (128, 128), 'optimized': (1280, 800)} 1.80s peak RSS 361 MiB
tests/fixtures/sample.png 111817 {'thumbnail': (256, 160), 'crop': (128, 128), 'optimized': (320, 200)} 0.05s peak RSS 23 MiB
synthetic/alpha.png 86 {'thumbnail': (50, 30), 'crop': (128, 128), 'optimized': (50, 30)} 0.04s peak RSS 23 MiB
synthetic/orient.jpg 1365 {'thumbnail': (64, 256), 'crop': (128, 128), 'optimized': (100, 400)} 0.04s peak RSS 23 MiB
+14
View File
@@ -0,0 +1,14 @@
{
"n": 30,
"file": "tests/fixtures/sample.png 320x200 109 KiB",
"upload_202_s": {
"p50": 0.016,
"p95": 0.029
},
"upload_to_ready_s": {
"p50": 0.435,
"p95": 0.449,
"max": 0.45
},
"note": "local sandbox, poll interval 0.2 s, 1 worker x 2 consumers"
}
+3
View File
@@ -0,0 +1,3 @@
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
EXIT=0
@@ -0,0 +1,11 @@
.......
----------------------------------------------------------------------
Ran 7 tests in 4.403s
OK
.................
----------------------------------------------------------------------
Ran 17 tests in 3.869s
OK
done
@@ -0,0 +1,18 @@
test_a_crash_between_commit_and_publish (test_pipeline_faults.PipelineFaultTests.test_a_crash_between_commit_and_publish) ... ok
test_b_crash_after_publish_duplicate_is_noop (test_pipeline_faults.PipelineFaultTests.test_b_crash_after_publish_duplicate_is_noop) ... ok
test_c_worker_crash_after_side_effects_before_commit (test_pipeline_faults.PipelineFaultTests.test_c_worker_crash_after_side_effects_before_commit) ... ok
test_d_worker_crash_after_commit_before_ack (test_pipeline_faults.PipelineFaultTests.test_d_worker_crash_after_commit_before_ack) ... ok
test_e_transient_errors_retry_with_backoff (test_pipeline_faults.PipelineFaultTests.test_e_transient_errors_retry_with_backoff) ... ok
test_f_permanent_error_fails_without_retry (test_pipeline_faults.PipelineFaultTests.test_f_permanent_error_fails_without_retry) ... ok
test_g_retry_exhausted_dlq_then_explicit_replay (test_pipeline_faults.PipelineFaultTests.test_g_retry_exhausted_dlq_then_explicit_replay) ... ok
test_h_hung_worker_lease_expires_and_is_fenced (test_pipeline_faults.PipelineFaultTests.test_h_hung_worker_lease_expires_and_is_fenced) ... ok
test_i_staging_removed_after_safe_commit (test_pipeline_faults.PipelineFaultTests.test_i_staging_removed_after_safe_commit) ... /home/claude/venv/lib/python3.13/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
datetime_now = datetime.datetime.utcnow()
ok
test_j_garbage_broker_message_is_acked (test_pipeline_faults.PipelineFaultTests.test_j_garbage_broker_message_is_acked) ... ok
----------------------------------------------------------------------
Ran 10 tests in 71.328s
OK
EXIT=0
@@ -0,0 +1,71 @@
filename | attempt | event | detail | actor
----------------------------------+---------+-----------------+---------------------------------------------------+-------------
a.png | 1 | accepted | | api
a.png | 1 | fault_injected | crash between COMMIT and publish | api:apipub
a.png | 1 | published | stream id 1794253144786-0 | api:apidup
a.png | 1 | claimed | | wf-1
a.png | 1 | succeeded | thumbnail,crop,optimized | wf-1
b.png | 1 | accepted | | api
b.png | 1 | fault_injected | crash after XADD before outbox commit | api:apidup
b.png | 1 | claimed | | wf-1
b.png | 1 | succeeded | thumbnail,crop,optimized | wf-1
b.png | 1 | published | stream id 1794253148012-0 | api:api1
b.png | 1 | redelivery_noop | already_succeeded | wf-0
fault-crash-after-effects.png | 1 | accepted | | api
fault-crash-after-effects.png | 1 | published | stream id 1794253148173-0 | api:api1
fault-crash-after-effects.png | 1 | claimed | | wf-1
fault-crash-after-effects.png | 1 | fault_injected | crash after S3 writes before COMMIT | wf-1
fault-crash-after-effects.png | 1 | lease_takeover | previous owner wf-1 | wf-1
fault-crash-after-effects.png | 1 | succeeded | thumbnail,crop,optimized | wf-1
fault-crash-before-ack.png | 1 | accepted | | api
fault-crash-before-ack.png | 1 | published | stream id 1794253150245-0 | api:api1
fault-crash-before-ack.png | 1 | claimed | | wf-0
fault-crash-before-ack.png | 1 | succeeded | thumbnail,crop,optimized | wf-0
fault-crash-before-ack.png | 1 | fault_injected | crash after COMMIT before XACK | wf-0
fault-crash-before-ack.png | 1 | redelivery_noop | already_succeeded | wf-0
fault-permanent.png | 1 | accepted | | api
fault-permanent.png | 1 | published | stream id 1794253155274-0 | api:api1
fault-permanent.png | 1 | claimed | | wf-1
fault-permanent.png | 1 | failed | invalid_image; injected permanent failure | wf-1
fault-slow.png | 1 | accepted | | api
fault-slow.png | 1 | published | stream id 1794253167381-0 | api:api1
fault-slow.png | 1 | claimed | | wf-1
fault-slow.png | 1 | lease_expired | owner wf-1; next attempt 2 in 0.51s | worker:wf
fault-slow.png | 1 | redelivery_noop | stale_attempt | wf-0
fault-slow.png | 2 | published | stream id 1794253198039-0 | worker:wf
fault-slow.png | 2 | claimed | | wf-0
fault-slow.png | 2 | succeeded | thumbnail,crop,optimized | wf-0
fault-slow.png | 1 | lease_lost | result not published: lease token no longer valid | wf-1
fault-transient-until-3.png | 1 | accepted | | api
fault-transient-until-3.png | 1 | published | stream id 1794253152182-0 | api:api1
fault-transient-until-3.png | 1 | claimed | | wf-1
fault-transient-until-3.png | 1 | retry_scheduled | injected_transient; next attempt 2 in 0.79s | wf-1
fault-transient-until-3.png | 2 | published | stream id 1794253153023-0 | api:api1
fault-transient-until-3.png | 2 | claimed | | wf-0
fault-transient-until-3.png | 2 | retry_scheduled | injected_transient; next attempt 3 in 1.90s | wf-0
fault-transient-until-3.png | 3 | published | stream id 1794253154959-0 | worker:wf
fault-transient-until-3.png | 3 | claimed | | wf-0
fault-transient-until-3.png | 3 | succeeded | thumbnail,crop,optimized | wf-0
fault-transient-until-replay.png | 1 | accepted | | api
fault-transient-until-replay.png | 1 | published | stream id 1794253155506-0 | api:api1
fault-transient-until-replay.png | 1 | claimed | | wf-0
fault-transient-until-replay.png | 1 | retry_scheduled | injected_transient; next attempt 2 in 0.54s | wf-0
fault-transient-until-replay.png | 2 | published | stream id 1794253156965-0 | worker:wf
fault-transient-until-replay.png | 2 | claimed | | wf-1
fault-transient-until-replay.png | 2 | retry_scheduled | injected_transient; next attempt 3 in 1.97s | wf-1
fault-transient-until-replay.png | 3 | published | stream id 1794253158970-0 | worker:wf
fault-transient-until-replay.png | 3 | claimed | | wf-1
fault-transient-until-replay.png | 3 | retry_scheduled | injected_transient; next attempt 4 in 3.54s | wf-1
fault-transient-until-replay.png | 4 | published | stream id 1794253162979-0 | worker:wf
fault-transient-until-replay.png | 4 | claimed | | wf-1
fault-transient-until-replay.png | 4 | retry_scheduled | injected_transient; next attempt 5 in 2.54s | wf-1
fault-transient-until-replay.png | 5 | published | stream id 1794253165987-0 | worker:wf
fault-transient-until-replay.png | 5 | claimed | | wf-1
fault-transient-until-replay.png | 5 | failed | retry_exhausted; injected_transient | wf-1
fault-transient-until-replay.png | 6 | replayed | operator replay; new attempt 6 | test:replay
fault-transient-until-replay.png | 6 | published | stream id 1794253166991-0 | worker:wf
fault-transient-until-replay.png | 6 | claimed | | wf-0
fault-transient-until-replay.png | 6 | succeeded | thumbnail,crop,optimized | wf-0
fault-transient-until-replay.png | 6 | replay_refused | already succeeded (no duplicate execution) | test:replay
(67 rows)
+1
View File
@@ -0,0 +1 @@
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
+111
View File
@@ -0,0 +1,111 @@
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ...
24 parallel POSTs, one key -> 1 message; replicas: ['api1', 'api2']
ok
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
test_exif_orientation_applied_and_stripped (test_pipeline.PipelineTests.test_exif_orientation_applied_and_stripped) ... ok
test_fixture_320x200 (test_pipeline.PipelineTests.test_fixture_320x200) ... ok
test_progressive_jpeg (test_pipeline.PipelineTests.test_progressive_jpeg) ... ok
test_result_is_stable_and_private (test_pipeline.PipelineTests.test_result_is_stable_and_private) ... ok
test_small_source_not_upscaled_except_crop (test_pipeline.PipelineTests.test_small_source_not_upscaled_except_crop) ... ok
test_transparency_on_white (test_pipeline.PipelineTests.test_transparency_on_white) ... ok
test_unknown_variant_is_400 (test_pipeline.PipelineTests.test_unknown_variant_is_400) ... ok
test_a_crash_between_commit_and_publish (test_pipeline_faults.PipelineFaultTests.test_a_crash_between_commit_and_publish) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_b_crash_after_publish_duplicate_is_noop (test_pipeline_faults.PipelineFaultTests.test_b_crash_after_publish_duplicate_is_noop) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_c_worker_crash_after_side_effects_before_commit (test_pipeline_faults.PipelineFaultTests.test_c_worker_crash_after_side_effects_before_commit) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_d_worker_crash_after_commit_before_ack (test_pipeline_faults.PipelineFaultTests.test_d_worker_crash_after_commit_before_ack) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_e_transient_errors_retry_with_backoff (test_pipeline_faults.PipelineFaultTests.test_e_transient_errors_retry_with_backoff) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_f_permanent_error_fails_without_retry (test_pipeline_faults.PipelineFaultTests.test_f_permanent_error_fails_without_retry) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_g_retry_exhausted_dlq_then_explicit_replay (test_pipeline_faults.PipelineFaultTests.test_g_retry_exhausted_dlq_then_explicit_replay) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_h_hung_worker_lease_expires_and_is_fenced (test_pipeline_faults.PipelineFaultTests.test_h_hung_worker_lease_expires_and_is_fenced) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_i_staging_removed_after_safe_commit (test_pipeline_faults.PipelineFaultTests.test_i_staging_removed_after_safe_commit) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_j_garbage_broker_message_is_acked (test_pipeline_faults.PipelineFaultTests.test_j_garbage_broker_message_is_acked) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
----------------------------------------------------------------------
Ran 91 tests in 11.178s
OK (skipped=33)
== Concurrent write test
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
ALL STUDENT TESTS PASSED
EXIT=0
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
EXIT=0

Some files were not shown because too many files have changed in this diff Show More