forked from mtusi2026/mtusi2026lab6
Лабораторная работа 6
This commit is contained in:
+94
-6
@@ -1,30 +1,118 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
# Секреты сюда НЕ пишутся: их создаёт scripts/init_secrets.py в каталоге secrets/.
|
||||
APP_HOST=0.0.0.0
|
||||
# Публичный порт LB на 127.0.0.1 (единственная точка входа API)
|
||||
APP_PORT=8080
|
||||
# Страница состояния HAProxy (UP/DOWN реплик) на 127.0.0.1, только чтение
|
||||
LB_STATS_PORT=8404
|
||||
APP_ENV=lab
|
||||
# Тег образа API и worker (один образ)
|
||||
APP_VERSION=lab6
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
# TTL экземпляра api-short-ttl (профиль ttl) для автотеста истечения
|
||||
SHORT_SESSION_TTL_SECONDS=2
|
||||
# Файлы с секретами внутри контейнера (Compose secrets)
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
# Источник истины для сессий — PostgreSQL; Redis — общий кэш проверок токена
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
SESSION_CACHE_TTL_SECONDS=60
|
||||
# Число реплик API за балансировщиком (HAProxy держит до 6 слотов)
|
||||
API_REPLICAS=2
|
||||
# Хранение результата Idempotency-Key, не меньше 24 ч по контракту
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
# Пул соединений и таймауты (на реплику)
|
||||
DB_POOL_MIN=1
|
||||
DB_POOL_MAX=10
|
||||
DB_POOL_TIMEOUT_SECONDS=3
|
||||
DB_CONNECT_TIMEOUT_SECONDS=3
|
||||
DB_STATEMENT_TIMEOUT_MS=5000
|
||||
CACHE_TIMEOUT_SECONDS=0.25
|
||||
CACHE_RETRY_AFTER_SECONDS=5
|
||||
# Readiness и остановка (согласованы с HAProxy: inter 1s, fall 2, timeout check 1.5s)
|
||||
READY_DB_TIMEOUT_SECONDS=1
|
||||
DRAIN_SECONDS=3
|
||||
GRACEFUL_TIMEOUT_SECONDS=10
|
||||
KEEP_ALIVE_SECONDS=30
|
||||
# Одновременных хешей Argon2id на реплику (19 MiB каждый, лимит памяти 256M)
|
||||
PASSWORD_HASH_CONCURRENCY=4
|
||||
|
||||
# lab4: S3 и вложения
|
||||
# Закреплённая версия образа chrislusf/seaweedfs (не latest)
|
||||
SEAWEEDFS_VERSION=4.50
|
||||
S3_ENDPOINT=http://s3:8333
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
# Ключи — файлы в secrets/ (создаёт scripts/init_secrets.py), внутри контейнера:
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
# Таймауты клиента S3: недоступность S3 -> быстрый 503 только для файловых операций
|
||||
S3_CONNECT_TIMEOUT_SECONDS=2
|
||||
S3_READ_TIMEOUT_SECONDS=10
|
||||
S3_MAX_ATTEMPTS=2
|
||||
# Общий бюджет вызова S3 из запроса, включая DNS (скачивание < timeout server HAProxy 10 с)
|
||||
S3_DOWNLOAD_DEADLINE_SECONDS=5
|
||||
S3_UPLOAD_DEADLINE_SECONDS=10
|
||||
# После отказа S3 файловые запросы N секунд сразу получают 503 (circuit breaker)
|
||||
S3_CIRCUIT_OPEN_SECONDS=5
|
||||
# Лимиты контракта (можно только уменьшить)
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
# Одновременных загрузок на реплику (остальные ждут слот, затем 503 + Retry-After)
|
||||
MAX_CONCURRENT_UPLOADS=4
|
||||
UPLOAD_QUEUE_TIMEOUT_SECONDS=5
|
||||
# Максимальное время приёма тела загрузки (медленный/зависший клиент -> 400)
|
||||
UPLOAD_READ_TIMEOUT_SECONDS=60
|
||||
# Одновременных разборов изображения на реплику
|
||||
IMAGE_DECODE_CONCURRENCY=2
|
||||
# Сборщик незавершённых загрузок (pending) и объектов-сирот, см. src/reconcile.py
|
||||
ATTACHMENT_GC_INTERVAL_SECONDS=300
|
||||
ATTACHMENT_GC_GRACE_SECONDS=900
|
||||
ORPHAN_SWEEP_INTERVAL_SECONDS=3600
|
||||
|
||||
# lab5: брокер, задания, worker. Логические имена из skeleton .env.example:
|
||||
# BROKER_URL_FILE, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS, STAGING_RETENTION_SECONDS
|
||||
# URL брокера с паролем — файл secrets/broker_url (создаёт scripts/init_secrets.py)
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
# Поток Redis Streams и consumer group
|
||||
BROKER_STREAM=attachments.jobs
|
||||
BROKER_GROUP=attachment-workers
|
||||
BROKER_TIMEOUT_SECONDS=2
|
||||
# Версия pipeline вариантов (thumbnail/crop/optimized v1)
|
||||
PIPELINE_VERSION=1
|
||||
# Контейнеров worker и потоков-consumer в каждом (prefetch = 1 на поток)
|
||||
WORKER_REPLICAS=1
|
||||
WORKER_CONCURRENCY=2
|
||||
# Попыток на задание (временные ошибки), потом failed retry_exhausted + DLQ
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
# Аренда (lease) задания; должна покрывать обработку + S3 (>= WORKER_IMAGE_TIMEOUT_SECONDS + 20)
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
# Запас после истечения аренды до перезапуска задания сборщиком
|
||||
JOB_LEASE_GRACE_SECONDS=10
|
||||
# Через сколько секунд простоя сообщение упавшего consumer забирает другой (XAUTOCLAIM), > JOB_TIMEOUT_SECONDS
|
||||
JOB_CLAIM_IDLE_SECONDS=75
|
||||
# Доставок одного сообщения до признания его «ядовитым» (poison_message)
|
||||
JOB_MAX_DELIVERIES=10
|
||||
# Backoff: d = min(MAX, BASE * 2^(attempt-1)), задержка равномерно в [d/2, d]
|
||||
JOB_RETRY_BASE_SECONDS=2
|
||||
JOB_RETRY_MAX_SECONDS=60
|
||||
# Лимиты обработки одного изображения в подпроцессе worker
|
||||
WORKER_IMAGE_TIMEOUT_SECONDS=30
|
||||
WORKER_IMAGE_MEMORY_MB=1024
|
||||
# Staging failed-вложений хранится столько (для replay), затем удаляется сборщиком
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
OTEL_SERVICE_NAME=messenger-api
|
||||
# Worker must set a distinct service.name.
|
||||
# Outbox relay: период sweeper и задержка, дающая сначала сработать быстрому пути
|
||||
RELAY_POLL_INTERVAL_SECONDS=1
|
||||
RELAY_FAST_PATH_GRACE_SECONDS=2
|
||||
|
||||
# lab6: наблюдаемость (src/telemetry.py, infra/otel, infra/prometheus, infra/loki, infra/tempo, infra/grafana)
|
||||
# true — выключить OTLP-экспорт (останутся JSON-логи в stdout); для сравнения off/on
|
||||
OTEL_SDK_DISABLED=false
|
||||
# Collector внутри сети telemetry; API и worker шлют OTLP/HTTP (protobuf)
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
|
||||
# service.name задаётся в compose: messenger-api / messenger-worker
|
||||
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
|
||||
# Порты UI на 127.0.0.1 (пароль Grafana — secrets/grafana_admin_password, логин admin)
|
||||
GRAFANA_PORT=3000
|
||||
PROMETHEUS_PORT=9090
|
||||
|
||||
@@ -0,0 +1,10 @@
|
||||
# Скрипты и конфиги, которые выполняются внутри Linux-контейнеров или sh, — всегда LF,
|
||||
# даже при checkout на Windows (иначе HAProxy/sh спотыкаются о CRLF).
|
||||
*.sh text eol=lf
|
||||
*.cfg text eol=lf
|
||||
*.sql text eol=lf
|
||||
*.py text eol=lf
|
||||
*.yaml text eol=lf
|
||||
Dockerfile text eol=lf
|
||||
# Пакетные файлы Windows — CRLF.
|
||||
*.cmd text eol=crlf
|
||||
@@ -1,18 +1,18 @@
|
||||
## Лабораторная 6
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Попов Константин Дмитриевич, БВТ2303
|
||||
Целевая оценка (3/4/5): 4
|
||||
Трек 5, если заявлен: —
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Что реализовано и что перенесено: весь минимум lab5 без изменений бизнес-API; OTel SDK в API и worker (traces/metrics/logs по OTLP), W3C traceparent через outbox → Redis Streams → worker (producer/consumer spans, retry в той же трассе), Collector (memory_limiter, batch, ограниченные очереди) → Prometheus / Loki / Tempo → Grafana (provisioning + dashboard), SLI/SLO, alert rules ApiHighErrorRate / QueueLagGrowing / TelemetryExportFailing, runbooks, сценарии инцидентов (scripts/incident.py).
|
||||
Команды запуска из чистого clone: `make up`, `make test`, `make obs-urls`.
|
||||
Результаты проверок и ссылка на REPORT.md: REPORT.md, evidence/.
|
||||
Ограничения / известные ошибки: см. REPORT.md «Ограничения».
|
||||
Источники и использование ИИ: REPORT.md.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
+38
@@ -0,0 +1,38 @@
|
||||
# Lab6: API мессенджера и worker обработки вложений (один образ) + OpenTelemetry SDK: FastAPI + PostgreSQL + Redis + S3/SeaweedFS + Redis Streams.
|
||||
FROM python:3.12.7-slim-bookworm
|
||||
|
||||
# lab4: настройки glibc malloc — меньше арен на потоки и возврат больших буферов
|
||||
# ОС сразу после загрузки (замер: базовый RSS 124 -> 88 MiB, см. REPORT.md).
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1 \
|
||||
APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080 \
|
||||
APP_ENV=lab \
|
||||
MALLOC_ARENA_MAX=2 \
|
||||
MALLOC_MMAP_THRESHOLD_=1048576 \
|
||||
MALLOC_TRIM_THRESHOLD_=1048576
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir --disable-pip-version-check -r requirements.txt
|
||||
|
||||
COPY src ./src
|
||||
COPY migrations ./migrations
|
||||
|
||||
RUN useradd --create-home --shell /usr/sbin/nologin appuser \
|
||||
&& chown -R appuser:appuser /app
|
||||
|
||||
USER appuser
|
||||
|
||||
EXPOSE 8080
|
||||
|
||||
# Готовность (а не только жизнь процесса): БД доступна, схема мигрирована,
|
||||
# реплика не в фазе осушения. Интервалы в compose.yaml переопределяют эти.
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=20s --retries=3 \
|
||||
CMD python -c "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).read()" || exit 1
|
||||
|
||||
# exec-форма: Python — PID 1 и получает SIGTERM напрямую.
|
||||
# src/server.py: SIGTERM -> осушение DRAIN_SECONDS (readiness 503) -> graceful stop.
|
||||
STOPSIGNAL SIGTERM
|
||||
CMD ["python", "-m", "src.server"]
|
||||
@@ -4,10 +4,20 @@ CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover
|
||||
.PHONY: help check validate test load test-persistence test-failover \
|
||||
secrets up wait ps down migrate restore rolling-update logs-lb \
|
||||
test-student test-idempotency test-failover-series test-failover-series-kill \
|
||||
test-rolling test-storage test-expiry test-failures test-revocation explain evidence \
|
||||
test-attachments test-consistency test-s3-outage test-upload-memory s3-check wait-s3 reconcile reconcile-apply \
|
||||
test-pipeline test-pipeline-faults test-worker-outage worker-stop worker-start jobs-stats jobs-failed replay \
|
||||
obs-urls obs-probe incident-worker incident-db incident-telemetry alerts-watch destroy
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@echo "up/wait/ps/down/restore/rolling-update: stand; test-*: own checks (see REPORT.md)"
|
||||
@echo "lab4: test-attachments test-consistency test-s3-outage test-upload-memory s3-check reconcile"
|
||||
@echo "lab5: test-pipeline test-pipeline-faults test-worker-outage worker-stop worker-start jobs-stats jobs-failed replay ID=..."
|
||||
@echo "lab6: obs-urls obs-probe incident-worker incident-db incident-telemetry alerts-watch"
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
@@ -28,3 +38,158 @@ test-persistence:
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
# ---------------------------------------------------------------- Решение
|
||||
COMPOSE ?= docker compose --env-file .env
|
||||
|
||||
secrets:
|
||||
$(PYTHON) scripts/init_secrets.py
|
||||
@test -f .env || cp .env.example .env
|
||||
|
||||
up: secrets
|
||||
$(COMPOSE) config --quiet
|
||||
$(COMPOSE) up -d --build
|
||||
$(PYTHON) scripts/ops.py wait
|
||||
$(PYTHON) scripts/ops.py wait-s3
|
||||
$(PYTHON) scripts/ops.py worker-start
|
||||
|
||||
wait:
|
||||
$(PYTHON) scripts/ops.py wait
|
||||
|
||||
ps:
|
||||
$(PYTHON) scripts/ops.py ps
|
||||
|
||||
# Безопасная остановка: volumes (pgdata, s3data, brokerdata, promdata, lokidata, tempodata, grafanadata) сохраняются.
|
||||
down:
|
||||
$(COMPOSE) --profile ttl --profile faults down
|
||||
|
||||
# НАМЕРЕННОЕ удаление всех учебных данных (БД, S3, брокер, история телеметрии).
|
||||
destroy:
|
||||
$(COMPOSE) --profile ttl --profile faults down -v
|
||||
|
||||
migrate:
|
||||
$(COMPOSE) run --rm -T migrate
|
||||
|
||||
restore:
|
||||
$(PYTHON) scripts/ops.py restore
|
||||
|
||||
rolling-update:
|
||||
$(PYTHON) scripts/ops.py rolling-update
|
||||
|
||||
logs-lb:
|
||||
$(COMPOSE) logs --tail 50 lb
|
||||
|
||||
test-student:
|
||||
$(PYTHON) student-tests/run_all.py --base-url "$(BASE_URL)"
|
||||
|
||||
test-idempotency:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_idempotency.py -v
|
||||
|
||||
test-failover-series:
|
||||
$(PYTHON) student-tests/failover_series.py --base-url "$(BASE_URL)" --output evidence/failover_series.json
|
||||
|
||||
test-failover-series-kill:
|
||||
$(PYTHON) student-tests/failover_series.py --base-url "$(BASE_URL)" --mode kill --output evidence/failover_series_kill.json
|
||||
|
||||
test-rolling:
|
||||
$(PYTHON) student-tests/rolling_update_load.py --base-url "$(BASE_URL)" --output evidence/rolling_update.json
|
||||
|
||||
test-storage:
|
||||
$(PYTHON) scripts/ops.py in-network storage
|
||||
|
||||
test-expiry:
|
||||
$(PYTHON) scripts/ops.py in-network expiry
|
||||
|
||||
test-failures:
|
||||
$(PYTHON) student-tests/dependency_failure.py --base-url "$(BASE_URL)" --output evidence/dependency_failure.json
|
||||
|
||||
test-revocation:
|
||||
$(PYTHON) student-tests/revocation_partition.py --base-url "$(BASE_URL)" | tee evidence/revocation_partition.txt
|
||||
|
||||
explain:
|
||||
$(COMPOSE) exec -T postgres psql -U messenger -d messenger -v ON_ERROR_STOP=1 < scripts/sql/explain_history.sql > evidence/explain_history.txt
|
||||
@echo "saved evidence/explain_history.txt"
|
||||
|
||||
# Все проверки на compose-стенде с записью результатов в evidence/ (~6-8 минут).
|
||||
evidence:
|
||||
$(PYTHON) scripts/collect_evidence.py
|
||||
|
||||
# ---------------------------------------------------------------- lab4: вложения и S3
|
||||
test-attachments:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_attachments.py -v
|
||||
|
||||
test-consistency:
|
||||
$(PYTHON) scripts/ops.py in-network consistency
|
||||
|
||||
test-s3-outage:
|
||||
$(PYTHON) student-tests/s3_outage.py --base-url "$(BASE_URL)" --output evidence/s3_outage.json
|
||||
|
||||
test-upload-memory:
|
||||
$(PYTHON) student-tests/upload_memory.py --base-url "$(BASE_URL)" --concurrency 10 --rounds 3 --docker --output evidence/upload_memory_c10.json
|
||||
|
||||
s3-check:
|
||||
$(PYTHON) scripts/ops.py s3-check
|
||||
|
||||
wait-s3:
|
||||
$(PYTHON) scripts/ops.py wait-s3
|
||||
|
||||
reconcile:
|
||||
$(PYTHON) scripts/ops.py reconcile
|
||||
|
||||
reconcile-apply:
|
||||
$(PYTHON) scripts/ops.py reconcile --apply
|
||||
|
||||
# ---------------------------------------------------------------- lab5: очередь и worker
|
||||
test-pipeline:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -p test_pipeline.py -v
|
||||
|
||||
# Внедрённые отказы (outbox, crash до/после ack, retry/backoff, DLQ, replay, lease). ~2-3 мин.
|
||||
test-pipeline-faults:
|
||||
$(PYTHON) scripts/ops.py pipeline-faults
|
||||
|
||||
# Сценарий защиты уровня 3: worker остановлен -> 202 -> рестарт API и broker -> worker -> ready.
|
||||
test-worker-outage:
|
||||
$(PYTHON) student-tests/worker_outage.py --base-url "$(BASE_URL)" --output evidence/worker_outage.json
|
||||
|
||||
worker-stop:
|
||||
$(PYTHON) scripts/ops.py worker-stop
|
||||
|
||||
worker-start:
|
||||
$(PYTHON) scripts/ops.py worker-start
|
||||
|
||||
jobs-stats:
|
||||
$(PYTHON) scripts/ops.py jobs stats
|
||||
|
||||
jobs-failed:
|
||||
$(PYTHON) scripts/ops.py jobs failed
|
||||
|
||||
# make replay ID=<attachment_id> (или ID=--all-failed)
|
||||
replay:
|
||||
@test -n "$(ID)" || (echo "usage: make replay ID=<attachment_id>|--all-failed"; exit 2)
|
||||
$(PYTHON) scripts/ops.py jobs replay $(ID)
|
||||
|
||||
# ---------------------------------------------------------------- lab6: наблюдаемость
|
||||
obs-urls:
|
||||
@echo "Grafana: http://127.0.0.1:3000 (логин admin, пароль: secrets/grafana_admin_password)"
|
||||
@echo "Prometheus: http://127.0.0.1:9090/alerts"
|
||||
|
||||
# Контролируемый upload: печатает X-Request-Id и готовые запросы TraceQL/LogQL
|
||||
obs-probe:
|
||||
$(PYTHON) scripts/incident.py --base-url "$(BASE_URL)" probe
|
||||
|
||||
# Инцидент 1: worker остановлен ~150 с под upload'ами -> QueueLagGrowing firing -> resolved
|
||||
incident-worker:
|
||||
$(PYTHON) scripts/incident.py --base-url "$(BASE_URL)" worker-stop
|
||||
|
||||
# Инцидент 2: таблица messages заблокирована 180 с под нагрузкой -> ApiHighErrorRate firing -> resolved
|
||||
incident-db:
|
||||
$(PYTHON) scripts/incident.py --base-url "$(BASE_URL)" db-lock
|
||||
|
||||
# Инцидент 3: остановить telemetry (по умолчанию otel-collector; SERVICES=tempo,loki)
|
||||
SERVICES ?= otel-collector
|
||||
incident-telemetry:
|
||||
$(PYTHON) scripts/incident.py --base-url "$(BASE_URL)" telemetry-down --services "$(SERVICES)"
|
||||
|
||||
# Журнал переходов alert'ов (запускать в отдельном терминале параллельно с инцидентом)
|
||||
alerts-watch:
|
||||
$(PYTHON) scripts/alerts_watch.py --duration 900
|
||||
|
||||
@@ -1,37 +1,136 @@
|
||||
# Отчёт — лабораторная 6
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Использованные источники, библиотеки и помощь ИИ: OpenTelemetry Python SDK 1.29.0 (`opentelemetry-sdk`, `opentelemetry-exporter-otlp-proto-http`), инструментации 0.50b0 (`fastapi`, `psycopg`, `botocore`); OpenTelemetry Collector contrib 0.115.1, Prometheus 2.55.1, Loki 3.3.2, Tempo 2.6.1, Grafana 11.4.0. Документация: OTel Collector configuration (memory_limiter, batch, sending_queue/retry_on_failure), W3C Trace Context, OTel messaging semantic conventions (producer/consumer, `messaging.*`), HTTP semconv (`http.server.request.duration`), Prometheus histograms / `histogram_quantile`, Loki OTLP ingestion (structured metadata), Grafana provisioning. Остальной стек — как в lab5 (см. `docs/lab5/REPORT.md`). Помощь ИИ (Claude) — при проектировании схемы сигналов, написании `src/telemetry.py`, конфигураций, dashboard, alert rules, сценариев инцидентов и отчёта.
|
||||
|
||||
Минимум lab5 перенесён целиком (HAProxy, 2 реплики API, PostgreSQL, Redis-кэш, SeaweedFS S3, Redis Streams broker, worker, outbox, retry/DLQ). **Бизнес-API не менялся**; новые поля только служебные: `traceparent`/`tracestate` в сообщении задания (уже разрешены `contracts/jobs.schema.json`).
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
**Версии.** API и worker — один образ из `Dockerfile` (`python:3.12.7-slim-bookworm`), `postgres:16.4-alpine`, `redis:7.4.1-alpine` (кэш и broker), `haproxy:2.8.30-alpine`, `chrislusf/seaweedfs:4.50`, **`otel/opentelemetry-collector-contrib:0.115.1`, `prom/prometheus:v2.55.1`, `grafana/loki:3.3.2`, `grafana/tempo:2.6.1`, `grafana/grafana:11.4.0`**. Нужны Docker с Compose v2 и Python 3.9+ на хосте. Оркестрация — Compose.
|
||||
|
||||
```sh
|
||||
make up # = python scripts/init_secrets.py; cp .env.example .env;
|
||||
# docker compose --env-file .env up -d --build; ожидание готовности API/S3/worker
|
||||
make test # публичный smoke через LB http://localhost:8080
|
||||
make obs-urls # Grafana http://127.0.0.1:3000 (admin / secrets/grafana_admin_password), Prometheus :9090
|
||||
make down # безопасная остановка, все volumes сохраняются
|
||||
make destroy # НАМЕРЕННОЕ удаление всех данных (down -v): БД, S3, очередь, история телеметрии
|
||||
```
|
||||
|
||||
Bootstrap: секреты (`secrets/`, вне Git) создаёт `scripts/init_secrets.py`, в т.ч. новый `grafana_admin_password`. Миграции — one-shot `migrate`, бакет — `s3-init` (как в lab5). Provisioning Grafana (datasources + dashboard) и rules Prometheus подключаются из Git read-only при старте — ручной набор не нужен. Повторный `make up` идемпотентен.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
клиент -> HAProxy -> API x2 ──SQL──> PostgreSQL (источник истины, job_outbox)
|
||||
│ └─S3──> SeaweedFS
|
||||
└─outbox relay─XADD(traceparent)─> broker (Redis Streams) ─> worker ─S3/SQL─> ...
|
||||
API/worker ──OTLP/HTTP :4318──> otel-collector ─┬─ traces ─OTLP gRPC─> Tempo (volume tempodata)
|
||||
├─ metrics ─/metrics :8889 <─scrape─ Prometheus (promdata, rules)
|
||||
└─ logs ─OTLP /otlp─> Loki (lokidata)
|
||||
Grafana (grafanadata) читает все три
|
||||
```
|
||||
|
||||
| Роль | Сервис | Образ | Назначение | Volume | Порт наружу |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| Collector | `otel-collector` | contrib 0.115.1 | приём OTLP, memory_limiter, batch, ограниченные очереди, экспорт | — (не хранилище) | нет |
|
||||
| Метрики | `prometheus` | v2.55.1 | TSDB метрик 7 д, вычисление recording/alert rules, состояние firing/resolved | `promdata` | 127.0.0.1:9090 |
|
||||
| Логи | `loki` | 3.3.2 | хранение логов 7 д; индекс только по `service_name`/`service_instance_id`, остальное — structured metadata | `lokidata` | нет |
|
||||
| Трассы | `tempo` | 2.6.1 | хранение spans 72 ч, поиск TraceQL | `tempodata` | нет |
|
||||
| UI | `grafana` | 11.4.0 | запросы и dashboard; сама сигналы не хранит | `grafanadata` | 127.0.0.1:3000 |
|
||||
|
||||
**Почему три хранилища.** Метрика отвечает «сколько и как часто» (дёшево, агрегаты, алерты), но не «какой запрос»; лог отвечает «что именно произошло и почему» в одном процессе; trace отвечает «где ушло время» по цепочке процессов. Prometheus хранит числовые ряды с метками, Loki — строки с минимальным индексом, Tempo — деревья spans по trace_id.
|
||||
|
||||
**Инструментация (`src/telemetry.py`).** Вызывается до создания пула БД/клиента S3:
|
||||
- Resource: `service.name` = `messenger-api` / `messenger-worker`, `service.version` = `APP_VERSION`, `service.instance.id` = `X-Instance-Id` (hostname контейнера), `deployment.environment.name=lab`.
|
||||
- Traces: FastAPI (SERVER span, только шаблон маршрута; health исключены; внутренние send/receive spans отключены), psycopg (SQL **без параметров**), botocore (S3). Redis **не** инструментируется: команды `AUTH` и ключи кэша сессий не должны попасть в spans. Sampler `DropOrphanClientSpans`: CLIENT-span без родителя не сохраняется — это фоновые SQL/S3 (sweeper outbox раз в секунду, GC, readiness, callbacks метрик), иначе Tempo заполнялся бы тысячами пустых трасс. Всё внутри SERVER/PRODUCER/CONSUMER сохраняется (ParentBased AlwaysOn).
|
||||
- Logs: JSON в stdout (для `docker logs`) и OTLP. Поля: `timestamp`, `severity`, `service.name`, `event`, `trace_id`, `span_id` (если есть активный span), плюс технические поля (`request_id`, `http_route`, `outcome`...). Каждый бизнес-запрос даёт строку `event=http.request` с шаблоном маршрута, статусом, длительностью и `request_id`; каждое сообщение worker'а — `event=job.processed`.
|
||||
- `X-Request-Id` записывается атрибутом `messenger.request_id` в SERVER span: ответ с ошибкой → trace → лог.
|
||||
|
||||
**Перенос контекста через очередь (W3C).** `job_payload()` записывает `traceparent` текущего span в JSON задания, который хранится в `job_outbox` (PostgreSQL) — контекст переживает задержку публикации и рестарты. Relay (быстрый путь API или sweeper любого процесса) создаёт **PRODUCER** span `attachments.jobs publish` — ребёнок span'а из строки outbox — и кладёт в брокер уже его `traceparent`. Worker создаёт **CONSUMER** span `attachments.jobs process` — ребёнок producer. Внутри него — SQL claim/complete и S3 GetObject/PutObject. При временной ошибке `retry_or_fail()` пишет новую строку outbox с `traceparent` consumer span → следующая попытка в **той же** трассе (связь parent-child, а не link: одна логическая операция «upload → ready»).
|
||||
|
||||
**Сигналы и их реальные имена в Prometheus** (Collector `prometheus` exporter: точки → `_`, единица → суффикс, counter → `_total`; `job` = service.name, `instance` = service.instance.id):
|
||||
|
||||
| Логический сигнал (contracts/observability.md) | Имя OTel | Имя в Prometheus | Атрибуты | Ед. |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| HTTP requests (counter) | `http.server.request.duration` (count) | `http_server_request_duration_seconds_count` | `http_request_method`, `http_route` (шаблон), `http_response_status_code` → класс через `label_replace` | шт |
|
||||
| HTTP duration | `http.server.request.duration` | `http_server_request_duration_seconds_bucket` | те же; buckets 5 мс…10 с (View) | с |
|
||||
| Jobs processed/failed | `messenger.jobs.processed` | `messenger_jobs_processed_total` | `job_type`, `outcome` = succeeded/retry/failed/noop/lease_lost/poison/error | шт |
|
||||
| Job duration | `messenger.job.duration` | `messenger_job_duration_seconds_bucket` | `job_type`, `outcome`; buckets 50 мс…60 с | с |
|
||||
| Queue depth | `messenger.queue.depth` | `messenger_queue_depth` | `queue`, `state`=queued/processing | шт |
|
||||
| Oldest job age | `messenger.queue.oldest_age` | `messenger_queue_oldest_age_seconds` | `queue` | с |
|
||||
| Outbox backlog | `messenger.outbox.pending` | `messenger_outbox_pending` | `queue` | шт |
|
||||
| DB pool | `messenger.db.pool.connections` / `.waiting` / `.max` | `messenger_db_pool_connections{state=used\|idle}`, `messenger_db_pool_waiting`, `messenger_db_pool_max` | — | шт |
|
||||
| Worker saturation | `messenger.worker.busy` / `.capacity` | `messenger_worker_busy`, `messenger_worker_capacity` | — | слоты |
|
||||
| CPU / RAM процесса | `process.cpu.time`, `process.memory.rss` | `process_cpu_time_seconds_total`, `process_memory_rss_bytes` | — | с, байты |
|
||||
| End-to-end time to ready | `messenger.attachment.time_to_ready` | `messenger_attachment_time_to_ready_seconds_bucket` | `job_type`; от COMMIT задания (ответ 202) до COMMIT ready | с |
|
||||
| Публикации relay | `messenger.jobs.published` | `messenger_jobs_published_total` | `job_type` | шт |
|
||||
|
||||
Глубина/возраст очереди считаются из PostgreSQL (источник истины) и публикуются **API-репликами**: при остановленном worker метрика продолжает жить. Реплики дают одинаковые значения — в запросах `max()`. В метках **нет** user_id/chat_id/message_id/attachment_id/request_id/URL/filename. Технические ID (job_id, attachment_id, request_id) есть только в атрибутах spans и логов — они нужны для поиска конкретного upload, данные синтетические.
|
||||
|
||||
**Что не экспортируется:** тела сообщений, байты изображений, filename (в логах/spans нет), заголовки Authorization/Cookie (инструментация их не пишет), параметры SQL (`db.statement` — шаблон с `%s`), подписанные URL (их нет в API), пароли/токены. Проверено: `grep` по всем выгруженным spans/логам локального прогона на `Authorization|Bearer |password` — 0 совпадений.
|
||||
|
||||
**Перцентили** считаются только из histogram: `histogram_quantile(0.95, sum by (le) (rate(..._bucket[5m])))` — buckets всех реплик суммируются, а не усредняются p95 реплик. Важная найденная ошибка: инструментация 0.50b0 при метрике в секундах ставит buckets по умолчанию 0…10000 (миллисекундные) — все запросы попадали бы в первый bucket; заданы явные buckets через View.
|
||||
|
||||
**SLI/SLO** (`infra/prometheus/rules/messenger.yml`, recording rules):
|
||||
- доступность: `1 − 5xx/все` бизнес-запросы, health исключены, 4xx не ошибка сервиса; **SLO 99% за скользящий 1 ч**;
|
||||
- задержка: доля запросов быстрее 0.5 с (bucket `le="0.5"`); **SLO 95% за 1 ч**;
|
||||
- очередь: возраст старейшего незавершённого задания; цель < 60 с.
|
||||
|
||||
**Alert rules** (состояние — Prometheus `/alerts`, Grafana; доставка наружу не нужна), runbook — [docs/runbooks.md](docs/runbooks.md):
|
||||
|
||||
| Alert | Условие | Окно / for |
|
||||
| --- | --- | --- |
|
||||
| `ApiHighErrorRate` | доля 5xx > 5% и трафик ≥ 0.2 RPS | rate 1m, for 1m |
|
||||
| `QueueLagGrowing` | `max(messenger_queue_oldest_age_seconds) > 60` | for 30s |
|
||||
| `TelemetryExportFailing` | растут `otelcol_exporter_send_failed_*` / `enqueue_failed_*` | rate 1m, for 1m |
|
||||
|
||||
**Collector и ограниченная буферизация** (`infra/otel/collector.yaml`): `memory_limiter` (180 MiB, spike 40) → `batch` (512/1024, 2 с) → exporters с `sending_queue` **20 батчей** и `retry_on_failure` не дольше 60 с; `GOMEMLIMIT=200MiB`, лимит контейнера 384M. Переполнение очереди → отбрасывание с подсчётом (`otelcol_exporter_enqueue_failed_*`). На стороне SDK: `BatchSpanProcessor`/`BatchLogRecordProcessor` с очередью 2048, таймаут экспорта 5 с; при недоступном Collector батч отбрасывается, ошибки SDK — одна JSON-строка в stdout без трейсбека и **не** в OTLP (иначе петля «лог о неудачной отправке логов»). Ни API, ни worker не имеют `depends_on` на телеметрию.
|
||||
|
||||
**Переменные `.env.example` → конфигурация:** `OTEL_SDK_DISABLED` (выключатель), `OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318`, `OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf`, `OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab`; `OTEL_SERVICE_NAME` задаётся в compose отдельно для API и worker. `GRAFANA_PORT`, `PROMETHEUS_PORT` — порты UI на 127.0.0.1. Остальное — как в lab5.
|
||||
|
||||
**Что изменено относительно lab5:** `src/telemetry.py` (новый); `src/main.py` (setup, FastAPI-инструментация, access-лог, метрики пула/очереди), `src/worker.py` (consumer span, метрики заданий/пула/занятости, time-to-ready), `src/outbox.py` (producer span, повторная инъекция контекста), `src/jobs.py` (`traceparent` в payload, `complete()` возвращает время до ready); `requirements.txt` (+OTel); `compose.yaml` (+5 сервисов, сеть `telemetry`, 4 volume, OTEL_* env); `infra/{otel,prometheus,loki,tempo,grafana}`; `scripts/incident.py`, `scripts/alerts_watch.py`; Makefile (`obs-*`, `incident-*`, `alerts-watch`, `destroy`); `docs/runbooks.md`. Отчёт lab5 и его доказательства перенесены в `docs/lab5/`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
**Важно о среде.** Доказательства в `evidence/local-sandbox/` получены в песочнице **без доступа к Docker Hub**: те же исходники запускались напрямую (Python 3.13, PostgreSQL 16.2, Redis 6.2, S3-эмулятор moto вместо SeaweedFS, 1 реплика API без HAProxy) с **настоящими** бинарниками Collector 0.115, Prometheus 2.55.1, Loki 3.3.2, Tempo 2.6.1 и **конфигурациями из этого репозитория**. Grafana там не запускалась (дистрибутив недоступен) — все PromQL-запросы dashboard выполнены через Prometheus API (0 ошибок), LogQL/TraceQL — через API Loki/Tempo. **Docker-стенд**: Windows 10, Ryzen 5 7500f, 32 GB; доказательства в корне `evidence/`.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke при включённой телеметрии | `make test` | `PASS: lab6 public API scenario` | `evidence/local-sandbox/smoke.txt` |
|
||||
| `make check` | `make check` | `PASS: offline skeleton structure` | — |
|
||||
| API и worker отдают OTLP в Collector; три хранилища | `make obs-probe` → Loki/Tempo API | лог `event=http.request` с `trace_id` в Loki; trace с тем же id в Tempo | `trace_retry_chain.txt` |
|
||||
| RPS/errors/duration API; jobs success/error и duration worker | dashboard, Prometheus API | все 31 PromQL dashboard возвращают данные | `metric_names.txt` |
|
||||
| Структурные логи с trace_id/span_id | Loki `{service_name=~"messenger-.+"} \| request_id="<id>"` | API `http.request` и worker `job.processed` одного upload — один `trace_id` | `trace_retry_chain.txt` |
|
||||
| Импортируемый dashboard | `infra/grafana/dashboards/messenger.json` + provisioning | загружается при старте Grafana, папка Messenger | — |
|
||||
| Нет секретов/тел сообщений в telemetry | grep выгрузки spans/logs | 0 совпадений `Authorization`, `Bearer `, `password`; SQL без параметров | — |
|
||||
| Уровень 4: W3C через broker, producer/consumer, retry, S3/DB | upload `fault-transient-until-3.png` при `WORKER_FAULTS=true` | SERVER → PRODUCER → CONSUMER(retry) → PRODUCER → CONSUMER(retry) → PRODUCER → CONSUMER(succeeded) → S3.PutObject×4, SQL — одна трасса из 76 spans | `trace_retry_chain.txt`, `trace_upload_chain.txt` |
|
||||
| p50/p95/p99, ошибки, queue depth/age, DB pool, saturation worker | dashboard «Messenger lab6» | панели с единицами (s, percentunit, reqps, bytes) | `messenger.json` |
|
||||
| SLI/SLO и окно; alert error rate | `make incident-db` + `make alerts-watch` | lock 180 с: pending +60 с, **firing +120 с**, **resolved** через 21 с после снятия lock | `alerts_db_lock_180s.txt` |
|
||||
| Alert queue lag | `make incident-worker` + `make alerts-watch` | queued растёт, `QueueLagGrowing` pending → **firing** → **resolved**; 22 upload'а готовы через 8.7 с после старта worker | `alerts_queue_lag_and_db_short.txt`, `incident_worker_stop.jsonl` |
|
||||
| Медленная БД отличима от медленного handler | `make incident-db` | 503 только на `/messages`; CLIENT span `INSERT` 5.01 с `QueryCanceled` | `db_lock_span.txt` |
|
||||
| Collector memory limiter/batch, недоступный backend | `make incident-telemetry` (`SERVICES=otel-collector` и `SERVICES=tempo,loki`) | API 0 ошибок, ~300 RPS; RSS API 135.0→135.4 MiB; Collector пик 234 MiB, очередь 20/20, потери посчитаны | `telemetry_outage.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Локальная песочница: 1 реплика API (без LB), 1 worker (2 потока), нагрузка `tests/load.py` (closed loop, POST сообщений, 2–4 потока), ~300 успешных RPS. **Docker-стенд**: Windows 10, Ryzen 5 7500f, 32 GB; доказательства в корне `evidence/`.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Worker остановлен 110 с, upload каждые 5 с | 202 продолжаются; queue depth и oldest age растут; QueueLagGrowing firing | queued до 22, age > 90 с, firing; API без ошибок | старт worker → все 22 ready за 8.7 с, alert resolved; потерь нет |
|
||||
| `LOCK TABLE messages` 180 с под нагрузкой | 503 на `/messages` после `statement_timeout` 5 с; ApiHighErrorRate firing; trace показывает SQL | доля 5xx = 100% на маршруте; firing через 120 с; SQL span 5.01 с `QueryCanceled` | resolved через 21 с после снятия lock; запросы с 503 не записаны (клиент повторяет с тем же Idempotency-Key) |
|
||||
| Collector остановлен 45 с | API работает, RAM не растёт, телеметрия за период теряется | 0 ошибок, 303 RPS; RSS 135.0 → 135.4 MiB | после старта экспорт возобновился; spans/логи/метрики за 45 с потеряны (SDK отбрасывает) |
|
||||
| Tempo + Loki остановлены 120 с (Collector жив) | очередь Collector заполняется и ограничена; потери считаются | queue 20/20; `enqueue_failed_spans` 131083, `..._log_records` 22016; пик RSS 234 MiB; API 0 ошибок | после старта backend очередь → 0, новые trace/логи видны; потеря — посчитанное число |
|
||||
|
||||
Детекция ошибок не мгновенная: `rate(...[1m])` первую минуту «разбавлен» трафиком до инцидента (при closed-loop нагрузке RPS падает в сотни раз), поэтому pending наступает примерно через 60 с, firing — ещё через `for: 1m`. Инцидент короче ~2 мин до firing не доходит (наблюдалось на lock 100 с — только pending). Это осознанный компромисс против ложных срабатываний; для быстрой детекции нужны burn-rate alerts с короткими окнами (трек 5, не заявлен).
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Весь стенд на одном Docker-host; Collector, Prometheus, Loki, Tempo — по одному экземпляру без репликации. Потеря host = потеря телеметрии и приложения.
|
||||
- При недоступном Collector телеметрия за этот период теряется (SDK держит только ограниченную очередь в памяти) — так сделано намеренно: приложение важнее телеметрии.
|
||||
- Метрики очереди публикуют API-реплики: если упадут все API, метрика пропадёт (alert на отсутствие данных не настроен).
|
||||
- Sampling 100% (кроме фоновых сиротских SQL) — на учебной нагрузке приемлемо; цену наблюдаемости и tail sampling не исследовал (трек 5 не заявлен).
|
||||
- Метрики `process_*` — RSS/CPU процесса, а не cgroup контейнера; для контейнеров можно добавить cAdvisor.
|
||||
|
||||
@@ -0,0 +1,17 @@
|
||||
# lab5: стенд внедрения отказов worker'а (только учебный, не для обычной работы).
|
||||
# docker compose -f compose.yaml -f compose.faults.yaml up -d --no-deps worker
|
||||
# Включает маркеры в filename (fault-crash-after-effects, fault-crash-before-ack,
|
||||
# fault-transient-until-3, fault-transient-until-replay, fault-permanent, fault-slow)
|
||||
# и укорачивает аренду/backoff, чтобы сценарии проходили за секунды.
|
||||
# Возврат к обычному worker: docker compose up -d --no-deps --force-recreate worker
|
||||
# Используется автоматически: python scripts/ops.py pipeline-faults
|
||||
services:
|
||||
worker:
|
||||
environment:
|
||||
WORKER_FAULTS: "true"
|
||||
JOB_TIMEOUT_SECONDS: "25"
|
||||
JOB_LEASE_GRACE_SECONDS: "2"
|
||||
JOB_CLAIM_IDLE_SECONDS: "30"
|
||||
JOB_RETRY_BASE_SECONDS: "1"
|
||||
JOB_RETRY_MAX_SECONDS: "4"
|
||||
WORKER_IMAGE_TIMEOUT_SECONDS: "5"
|
||||
+741
@@ -0,0 +1,741 @@
|
||||
# Лабораторная 6: стенд lab5 + наблюдаемость.
|
||||
# API x N / worker --OTLP/HTTP--> otel-collector --> Prometheus (метрики, alert rules)
|
||||
# --> Loki (логи)
|
||||
# --> Tempo (трассы)
|
||||
# Grafana (127.0.0.1:3000) читает все три; provisioning и dashboard — infra/grafana.
|
||||
# Сеть telemetry: api, worker, collector, хранилища, grafana. Недоступность любого
|
||||
# telemetry-сервиса не блокирует API (нет depends_on, экспорт асинхронный и ограничен).
|
||||
#
|
||||
# База lab5: HAProxy -> API x N (по умолчанию 2) -> PostgreSQL (метаданные, задания, outbox)
|
||||
# + Redis (кэш сессий)
|
||||
# + SeaweedFS S3 (staging/ и final/ в приватном бакете)
|
||||
# API/worker outbox relay -> broker (Redis Streams, AOF fsync always) -> worker x M
|
||||
# Сети: backend — lb, api, worker, postgres, redis; storage (internal) — api, worker, s3, s3-init;
|
||||
# queue (internal) — api, worker, broker. Наружу (127.0.0.1) опубликован только LB.
|
||||
name: messenger-lab6
|
||||
|
||||
# lab5: общие настройки очереди для API (relay) и worker.
|
||||
x-queue-env: &queue-env
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
BROKER_STREAM: ${BROKER_STREAM:-attachments.jobs}
|
||||
BROKER_GROUP: ${BROKER_GROUP:-attachment-workers}
|
||||
BROKER_TIMEOUT_SECONDS: ${BROKER_TIMEOUT_SECONDS:-2}
|
||||
PIPELINE_VERSION: ${PIPELINE_VERSION:-1}
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||||
JOB_LEASE_GRACE_SECONDS: ${JOB_LEASE_GRACE_SECONDS:-10}
|
||||
JOB_CLAIM_IDLE_SECONDS: ${JOB_CLAIM_IDLE_SECONDS:-75}
|
||||
JOB_MAX_DELIVERIES: ${JOB_MAX_DELIVERIES:-10}
|
||||
JOB_RETRY_BASE_SECONDS: ${JOB_RETRY_BASE_SECONDS:-2}
|
||||
JOB_RETRY_MAX_SECONDS: ${JOB_RETRY_MAX_SECONDS:-60}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
RELAY_POLL_INTERVAL_SECONDS: ${RELAY_POLL_INTERVAL_SECONDS:-1}
|
||||
RELAY_FAST_PATH_GRACE_SECONDS: ${RELAY_FAST_PATH_GRACE_SECONDS:-2}
|
||||
|
||||
# lab6: OpenTelemetry SDK (src/telemetry.py). Очереди SDK ограничены: при недоступном
|
||||
# Collector батчи отбрасываются, RAM процесса не растёт.
|
||||
x-otel-env: &otel-env
|
||||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: ${OTEL_EXPORTER_OTLP_ENDPOINT:-http://otel-collector:4318}
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL: http/protobuf
|
||||
# Python SDK: секунды
|
||||
OTEL_EXPORTER_OTLP_TIMEOUT: "5"
|
||||
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
|
||||
OTEL_SEMCONV_STABILITY_OPT_IN: http
|
||||
OTEL_BSP_MAX_QUEUE_SIZE: "2048"
|
||||
OTEL_BSP_MAX_EXPORT_BATCH_SIZE: "512"
|
||||
OTEL_BSP_EXPORT_TIMEOUT: "5000"
|
||||
OTEL_BLRP_MAX_QUEUE_SIZE: "2048"
|
||||
OTEL_BLRP_EXPORT_TIMEOUT: "5000"
|
||||
OTEL_METRIC_EXPORT_INTERVAL: "10000"
|
||||
|
||||
x-api-env: &api-env
|
||||
APP_ENV: ${APP_ENV:-lab}
|
||||
APP_VERSION: ${APP_VERSION:-lab6}
|
||||
OTEL_SERVICE_NAME: messenger-api
|
||||
<<: [*queue-env, *otel-env]
|
||||
SESSION_STORE: postgres
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
DB_POOL_MIN: ${DB_POOL_MIN:-1}
|
||||
DB_POOL_MAX: ${DB_POOL_MAX:-10}
|
||||
DB_POOL_TIMEOUT_SECONDS: ${DB_POOL_TIMEOUT_SECONDS:-3}
|
||||
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
|
||||
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
|
||||
CACHE_TIMEOUT_SECONDS: ${CACHE_TIMEOUT_SECONDS:-0.25}
|
||||
CACHE_RETRY_AFTER_SECONDS: ${CACHE_RETRY_AFTER_SECONDS:-5}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
READY_DB_TIMEOUT_SECONDS: ${READY_DB_TIMEOUT_SECONDS:-1}
|
||||
DRAIN_SECONDS: ${DRAIN_SECONDS:-3}
|
||||
GRACEFUL_TIMEOUT_SECONDS: ${GRACEFUL_TIMEOUT_SECONDS:-10}
|
||||
KEEP_ALIVE_SECONDS: ${KEEP_ALIVE_SECONDS:-30}
|
||||
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-4}
|
||||
# Реплики НЕ применяют миграции — это делает сервис migrate.
|
||||
RUN_MIGRATIONS_ON_START: "false"
|
||||
# lab4: S3 (credentials API — отдельные, только Read/Write/List одного бакета)
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-2}
|
||||
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-10}
|
||||
S3_MAX_ATTEMPTS: ${S3_MAX_ATTEMPTS:-2}
|
||||
# Общий бюджет вызова S3 (вкл. DNS) и circuit breaker — см. src/main.py s3_call
|
||||
S3_DOWNLOAD_DEADLINE_SECONDS: ${S3_DOWNLOAD_DEADLINE_SECONDS:-5}
|
||||
S3_UPLOAD_DEADLINE_SECONDS: ${S3_UPLOAD_DEADLINE_SECONDS:-10}
|
||||
S3_CIRCUIT_OPEN_SECONDS: ${S3_CIRCUIT_OPEN_SECONDS:-5}
|
||||
# Лимиты загрузки (не выше контракта: 10 MiB, 40 Мп)
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
MAX_CONCURRENT_UPLOADS: ${MAX_CONCURRENT_UPLOADS:-4}
|
||||
UPLOAD_QUEUE_TIMEOUT_SECONDS: ${UPLOAD_QUEUE_TIMEOUT_SECONDS:-5}
|
||||
UPLOAD_READ_TIMEOUT_SECONDS: ${UPLOAD_READ_TIMEOUT_SECONDS:-60}
|
||||
IMAGE_DECODE_CONCURRENCY: ${IMAGE_DECODE_CONCURRENCY:-2}
|
||||
# Сборщик незавершённых загрузок и объектов-сирот (src/reconcile.py)
|
||||
ATTACHMENT_GC_INTERVAL_SECONDS: ${ATTACHMENT_GC_INTERVAL_SECONDS:-300}
|
||||
ATTACHMENT_GC_GRACE_SECONDS: ${ATTACHMENT_GC_GRACE_SECONDS:-900}
|
||||
ORPHAN_SWEEP_INTERVAL_SECONDS: ${ORPHAN_SWEEP_INTERVAL_SECONDS:-3600}
|
||||
|
||||
x-api-healthcheck: &api-healthcheck
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).read()"]
|
||||
interval: 3s
|
||||
timeout: 2s
|
||||
retries: 2
|
||||
start_period: 20s
|
||||
|
||||
x-api-limits: &api-limits
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
# lab4: 4 одновременные загрузки по 10 MiB; замер пика — evidence/upload_memory*.json
|
||||
memory: 320M
|
||||
|
||||
x-api-secrets: &api-secrets
|
||||
- database_url
|
||||
- cache_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- broker_url
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.4-alpine
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
# (API_REPLICAS + 1 при rolling update) x DB_POOL_MAX + migrate + запас < 100
|
||||
command: ["postgres", "-c", "max_connections=100"]
|
||||
secrets:
|
||||
- postgres_password
|
||||
volumes:
|
||||
- pgdata:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger -h 127.0.0.1"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 10s
|
||||
networks: [backend]
|
||||
stop_grace_period: 30s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.00"
|
||||
memory: 512M
|
||||
|
||||
redis:
|
||||
image: redis:7.4.1-alpine
|
||||
restart: unless-stopped
|
||||
user: redis
|
||||
# Только кэш проверок сессии: без RDB/AOF, ограничение памяти и LRU.
|
||||
command:
|
||||
- sh
|
||||
- -c
|
||||
- exec redis-server --requirepass "$$(tr -d '\r\n' < /run/secrets/redis_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru
|
||||
secrets:
|
||||
- redis_password
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(tr -d '\r\n' < /run/secrets/redis_password)\" redis-cli ping | grep -q PONG"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.25"
|
||||
memory: 96M
|
||||
|
||||
# lab5: брокер заданий — ОТДЕЛЬНЫЙ от кэша сессий Redis (тот же закреплённый образ).
|
||||
# Кэш: без persistence и с вытеснением LRU; брокер: AOF с fsync на каждую запись
|
||||
# (ответ на XADD = сообщение на диске, аналог publisher confirm) и noeviction
|
||||
# (поток никогда не вытесняется). Volume brokerdata переживает рестарт/пересоздание.
|
||||
broker:
|
||||
image: redis:7.4.1-alpine
|
||||
restart: unless-stopped
|
||||
user: redis
|
||||
command:
|
||||
- sh
|
||||
- -c
|
||||
- exec redis-server --requirepass "$$(tr -d '\r\n' < /run/secrets/broker_password)" --dir /data --appendonly yes --appendfsync always --save "" --maxmemory 256mb --maxmemory-policy noeviction
|
||||
secrets:
|
||||
- broker_password
|
||||
volumes:
|
||||
- brokerdata:/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(tr -d '\r\n' < /run/secrets/broker_password)\" redis-cli ping | grep -q PONG"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
networks: [queue]
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 320M
|
||||
|
||||
# lab4: S3-совместимое хранилище SeaweedFS (master + volume + filer + S3 gateway в
|
||||
# одном процессе `weed server`). Наружу НЕ публикуется. Административные HTTP-порты
|
||||
# (master 9333, filer 8888, volume 8080) слушают только 127.0.0.1 ВНУТРИ контейнера
|
||||
# (-ip.bind), в сеть storage выставлен только S3 API (8333). Анонимного доступа нет:
|
||||
# identities из secrets/s3_config (bootstrap-admin и messenger-api с правами
|
||||
# Read/Write/List только на свой бакет). Bucket создаёт s3-init.
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:${SEAWEEDFS_VERSION:-4.50}
|
||||
restart: unless-stopped
|
||||
entrypoint: ["/usr/bin/weed"]
|
||||
command:
|
||||
- server
|
||||
- -dir=/data
|
||||
- -ip=127.0.0.1
|
||||
- -ip.bind=127.0.0.1
|
||||
- -s3
|
||||
- -s3.port=8333
|
||||
- -s3.ip.bind=0.0.0.0
|
||||
- -s3.config=/run/secrets/s3_config
|
||||
- -s3.iam=false
|
||||
- -s3.port.iceberg=0
|
||||
- -s3.port.lance=0
|
||||
- -s3.autoCreateBucket=false
|
||||
# lab5: без ограничения 8 одновременных PUT по 9.5 MiB (2 реплики x
|
||||
# MAX_CONCURRENT_UPLOADS=4) доводили weed до лимита 512M -> OOM-kill и
|
||||
# рестарт S3 (docker events: oom/die/start). Лишние загрузки ждут в S3.
|
||||
- -s3.concurrentUploadLimitMB=128
|
||||
- -master.volumeSizeLimitMB=256
|
||||
- -master.electionTimeout=2s
|
||||
- -master.telemetry=false
|
||||
- -volume.max=0
|
||||
# Go runtime не знает о лимите cgroup и при GOGC=100 копит мусор до ~2x живой
|
||||
# кучи. Мягкий лимит заставляет GC работать раньше, чем придёт OOM killer.
|
||||
environment:
|
||||
GOMEMLIMIT: 400MiB
|
||||
secrets:
|
||||
- s3_config
|
||||
volumes:
|
||||
- s3data:/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 10s
|
||||
networks: [storage]
|
||||
# Штатная остановка SeaweedFS длится ~20 с; Docker ждёт 10 с и шлёт SIGKILL.
|
||||
# Подтверждённые записи уже в page cache ОС, том консистентен (см. REPORT.md).
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.00"
|
||||
memory: 512M
|
||||
|
||||
# Идемпотентный bootstrap бакета + проверка приватности и прав API-ключей.
|
||||
# Повторный запуск: "already exists (idempotent no-op)". Admin-ключи есть только здесь.
|
||||
s3-init:
|
||||
build: .
|
||||
command: ["python", "-m", "src.s3_bootstrap"]
|
||||
restart: "no"
|
||||
environment:
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
|
||||
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
secrets:
|
||||
- s3_admin_access_key_id
|
||||
- s3_admin_secret_access_key
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
networks: [storage]
|
||||
healthcheck:
|
||||
disable: true
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 192M
|
||||
|
||||
# Однократные миграции до старта реплик. Повтор — no-op (schema_migrations),
|
||||
# параллельный запуск сериализуется pg_advisory_lock.
|
||||
migrate:
|
||||
build: .
|
||||
command: ["python", "-m", "src.migrate"]
|
||||
restart: "no"
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
|
||||
# DDL может идти дольше обычного запроса API
|
||||
DB_STATEMENT_TIMEOUT_MS: "60000"
|
||||
MIGRATE_WAIT_SECONDS: "60"
|
||||
secrets:
|
||||
- database_url
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
networks: [backend]
|
||||
healthcheck:
|
||||
disable: true
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 256M
|
||||
|
||||
api:
|
||||
build: .
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
restart: unless-stopped
|
||||
environment: *api-env
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
redis:
|
||||
condition: service_healthy
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
# Порт только внутри сети backend — в обход LB API недоступен.
|
||||
expose:
|
||||
- "8080"
|
||||
healthcheck: *api-healthcheck
|
||||
# SIGTERM -> осушение DRAIN_SECONDS (3 с) -> graceful shutdown (<= 10 с).
|
||||
stop_signal: SIGTERM
|
||||
stop_grace_period: 20s
|
||||
read_only: true
|
||||
tmpfs:
|
||||
- /tmp:size=16m
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
# Остановленный s3 исчезает из Docker DNS; короткий таймаут резолвера.
|
||||
dns_opt: ["timeout:1", "attempts:1"]
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources: *api-limits
|
||||
|
||||
# lab5: worker — отдельный процесс без HTTP. Берёт задания из broker, пишет
|
||||
# final/ в S3 и результат в PostgreSQL. Также крутит outbox relay (sweeper +
|
||||
# сборщик просроченных аренд) и сборщик staging/сирот: публикация не зависит от
|
||||
# того, живы ли реплики API. Недоступность worker НЕ делает API синхронным.
|
||||
worker:
|
||||
# Тот же образ, что у API (один Dockerfile); build здесь, чтобы `up --build`
|
||||
# не пытался скачать локальный тег из registry.
|
||||
build: .
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
command: ["python", "-m", "src.worker"]
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
<<: [*queue-env, *otel-env]
|
||||
OTEL_SERVICE_NAME: messenger-worker
|
||||
APP_VERSION: ${APP_VERSION:-lab6}
|
||||
APP_ENV: ${APP_ENV:-lab}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
DB_POOL_MIN: "1"
|
||||
DB_POOL_MAX: ${WORKER_DB_POOL_MAX:-6}
|
||||
DB_POOL_TIMEOUT_SECONDS: ${DB_POOL_TIMEOUT_SECONDS:-3}
|
||||
DB_CONNECT_TIMEOUT_SECONDS: ${DB_CONNECT_TIMEOUT_SECONDS:-3}
|
||||
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-2}
|
||||
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-10}
|
||||
S3_MAX_ATTEMPTS: ${S3_MAX_ATTEMPTS:-2}
|
||||
S3_CIRCUIT_OPEN_SECONDS: ${S3_CIRCUIT_OPEN_SECONDS:-5}
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
WORKER_IMAGE_TIMEOUT_SECONDS: ${WORKER_IMAGE_TIMEOUT_SECONDS:-30}
|
||||
WORKER_IMAGE_MEMORY_MB: ${WORKER_IMAGE_MEMORY_MB:-1024}
|
||||
ATTACHMENT_GC_INTERVAL_SECONDS: ${ATTACHMENT_GC_INTERVAL_SECONDS:-300}
|
||||
ATTACHMENT_GC_GRACE_SECONDS: ${ATTACHMENT_GC_GRACE_SECONDS:-900}
|
||||
ORPHAN_SWEEP_INTERVAL_SECONDS: ${ORPHAN_SWEEP_INTERVAL_SECONDS:-3600}
|
||||
WORKER_FAULTS: "false"
|
||||
secrets:
|
||||
- database_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- broker_url
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
broker:
|
||||
condition: service_healthy
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
# Heartbeat обновляется, только пока все consumer-потоки проходят цикл.
|
||||
test: ["CMD", "python", "-c", "import os,time,sys; sys.exit(0 if time.time()-os.path.getmtime('/tmp/worker-heartbeat') < 90 else 1)"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
start_period: 20s
|
||||
# SIGTERM: не брать новые сообщения, дождаться текущих (< JOB_TIMEOUT_SECONDS).
|
||||
stop_signal: SIGTERM
|
||||
stop_grace_period: 75s
|
||||
read_only: true
|
||||
tmpfs:
|
||||
# forkserver-сокет и heartbeat; изображения в памяти, не на диске
|
||||
- /tmp:size=16m
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
dns_opt: ["timeout:1", "attempts:1"]
|
||||
deploy:
|
||||
replicas: ${WORKER_REPLICAS:-1}
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.00"
|
||||
# 2 подпроцесса обработки (RLIMIT_AS 1024 MiB виртуальной памяти, реальный
|
||||
# пик 361 MiB на 40 Мп RGBA PNG, замер в REPORT.md) + процесс worker
|
||||
memory: 1280M
|
||||
|
||||
# Экземпляр с коротким TTL — только для автотеста истечения сессии (профиль ttl).
|
||||
# Не входит в LB (другое DNS-имя), портов наружу не публикует: тест запускается
|
||||
# внутри сети командой `make test-expiry`
|
||||
api-short-ttl:
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
profiles: [ttl]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
SESSION_TTL_SECONDS: ${SHORT_SESSION_TTL_SECONDS:-2}
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose:
|
||||
- "8080"
|
||||
healthcheck: *api-healthcheck
|
||||
stop_grace_period: 20s
|
||||
read_only: true
|
||||
tmpfs:
|
||||
- /tmp:size=16m
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
# lab4: экземпляры с ВНЕДРЁННЫМИ отказами пути загрузки (профиль faults), только для
|
||||
# student-tests/test_attachment_consistency.py. Не входят в LB (другие DNS-имена),
|
||||
# порты не публикуют. Запуск: python scripts/ops.py in-network consistency
|
||||
api-fault-s3:
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: s3_error_on_put
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
api-fault-db:
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: db_error_after_s3_put
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
# lab5: разрыв COMMIT -> publish. Реплика отвечает 202 (задание и outbox уже
|
||||
# в PostgreSQL), затем в background task до XADD завершает процесс (os._exit).
|
||||
# Восстановление: sweeper любой другой реплики/worker публикует строку outbox.
|
||||
api-fault-publish:
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: crash_after_commit
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
# lab5: разрыв publish -> подтверждение в outbox: XADD выполнен, процесс умирает до
|
||||
# DELETE строки outbox -> повторная публикация (дубль в брокере) -> worker no-op.
|
||||
api-fault-dup:
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: crash_after_publish
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
# Процесс завершается (os._exit) между S3 PUT (staging) и COMMIT — «падение» реплики.
|
||||
api-fault-crash:
|
||||
image: messenger-api:${APP_VERSION:-lab6}
|
||||
profiles: [faults]
|
||||
restart: "no"
|
||||
environment:
|
||||
<<: *api-env
|
||||
FAULT_INJECTION: crash_after_s3_put
|
||||
secrets: *api-secrets
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
expose: ["8080"]
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
networks: [backend, storage, queue, telemetry]
|
||||
deploy:
|
||||
resources: *api-limits
|
||||
|
||||
lb:
|
||||
image: haproxy:2.8.30-alpine
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "127.0.0.1:${APP_PORT:-8080}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8404/lb-health"]
|
||||
interval: 5s
|
||||
timeout: 2s
|
||||
retries: 3
|
||||
stop_grace_period: 5s
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 128M
|
||||
|
||||
# ------------------------------------------------------------------ lab6: наблюдаемость
|
||||
otel-collector:
|
||||
image: otel/opentelemetry-collector-contrib:0.115.1
|
||||
restart: unless-stopped
|
||||
command: ["--config=/etc/otelcol/collector.yaml"]
|
||||
volumes:
|
||||
- ./infra/otel/collector.yaml:/etc/otelcol/collector.yaml:ro
|
||||
environment:
|
||||
# Go runtime: мягкий лимит ниже лимита контейнера (memory_limiter — 180 MiB)
|
||||
GOMEMLIMIT: 200MiB
|
||||
networks: [telemetry]
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
# Замер: пик RSS 234 MiB при недоступных Tempo+Loki и ~300 RPS (очереди 20 батчей полны).
|
||||
memory: 384M
|
||||
|
||||
prometheus:
|
||||
image: prom/prometheus:v2.55.1
|
||||
restart: unless-stopped
|
||||
command:
|
||||
- --config.file=/etc/prometheus/prometheus.yml
|
||||
- --storage.tsdb.path=/prometheus
|
||||
- --storage.tsdb.retention.time=7d
|
||||
- --web.enable-lifecycle
|
||||
volumes:
|
||||
- ./infra/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
|
||||
- ./infra/prometheus/rules:/etc/prometheus/rules:ro
|
||||
- promdata:/prometheus
|
||||
ports:
|
||||
# Только чтение состояния alerts/запросов с хоста: http://127.0.0.1:9090/alerts
|
||||
- "127.0.0.1:${PROMETHEUS_PORT:-9090}:9090"
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9090/-/ready"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
networks: [telemetry]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 512M
|
||||
|
||||
loki:
|
||||
image: grafana/loki:3.3.2
|
||||
restart: unless-stopped
|
||||
command: ["-config.file=/etc/loki/loki.yaml"]
|
||||
volumes:
|
||||
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
|
||||
- lokidata:/loki
|
||||
networks: [telemetry]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 512M
|
||||
|
||||
# Образ Tempo работает от uid 10001, а новый named volume принадлежит root:
|
||||
# однократно отдаём каталог пользователю tempo (как в примерах Grafana).
|
||||
tempo-init:
|
||||
image: grafana/tempo:2.6.1
|
||||
user: root
|
||||
entrypoint: ["chown", "10001:10001", "/var/tempo"]
|
||||
restart: "no"
|
||||
volumes:
|
||||
- tempodata:/var/tempo
|
||||
network_mode: none
|
||||
|
||||
tempo:
|
||||
image: grafana/tempo:2.6.1
|
||||
restart: unless-stopped
|
||||
command: ["-config.file=/etc/tempo/tempo.yaml"]
|
||||
volumes:
|
||||
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
|
||||
- tempodata:/var/tempo
|
||||
depends_on:
|
||||
tempo-init:
|
||||
condition: service_completed_successfully
|
||||
networks: [telemetry]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 512M
|
||||
|
||||
grafana:
|
||||
image: grafana/grafana:11.4.0
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
GF_SECURITY_ADMIN_USER: admin
|
||||
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
|
||||
GF_USERS_ALLOW_SIGN_UP: "false"
|
||||
GF_AUTH_ANONYMOUS_ENABLED: "false"
|
||||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||||
GF_DASHBOARDS_DEFAULT_HOME_DASHBOARD_PATH: /var/lib/grafana/dashboards/messenger.json
|
||||
secrets:
|
||||
- grafana_admin_password
|
||||
volumes:
|
||||
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
|
||||
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
|
||||
- grafanadata:/var/lib/grafana
|
||||
ports:
|
||||
- "127.0.0.1:${GRAFANA_PORT:-3000}:3000"
|
||||
depends_on:
|
||||
prometheus:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:3000/api/health"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
networks: [telemetry]
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 256M
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
s3data:
|
||||
brokerdata:
|
||||
# lab6: история телеметрии переживает пересоздание контейнеров
|
||||
promdata:
|
||||
lokidata:
|
||||
tempodata:
|
||||
grafanadata:
|
||||
|
||||
networks:
|
||||
backend:
|
||||
# Внутренняя сеть хранилища объектов: без выхода наружу и без LB.
|
||||
storage:
|
||||
internal: true
|
||||
# lab5: сеть брокера — только API (relay), worker и broker.
|
||||
queue:
|
||||
internal: true
|
||||
# lab6: OTLP и хранилища телеметрии. Не internal: Grafana/Prometheus публикуются
|
||||
# на 127.0.0.1; OTLP-порты Collector и порты Loki/Tempo наружу не публикуются.
|
||||
telemetry:
|
||||
|
||||
secrets:
|
||||
postgres_password:
|
||||
file: ./secrets/postgres_password
|
||||
redis_password:
|
||||
file: ./secrets/redis_password
|
||||
database_url:
|
||||
file: ./secrets/database_url
|
||||
cache_url:
|
||||
file: ./secrets/cache_url
|
||||
s3_config:
|
||||
file: ./secrets/s3_config.json
|
||||
s3_admin_access_key_id:
|
||||
file: ./secrets/s3_admin_access_key_id
|
||||
s3_admin_secret_access_key:
|
||||
file: ./secrets/s3_admin_secret_access_key
|
||||
s3_access_key_id:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
broker_password:
|
||||
file: ./secrets/broker_password
|
||||
broker_url:
|
||||
file: ./secrets/broker_url
|
||||
grafana_admin_password:
|
||||
file: ./secrets/grafana_admin_password
|
||||
@@ -0,0 +1,231 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0; PostgreSQL 16, Redis 7, HAProxy 2.8 LTS. Документация: Docker Compose (services, deploy, depends_on, healthcheck), HAProxy 2.8 Configuration Manual (server-template, resolvers, http-check, retries/redispatch, http-error), PostgreSQL (INSERT … ON CONFLICT, deferrable constraints, advisory locks), Uvicorn (graceful shutdown). Помощь ИИ (Claude) использовалась при проектировании схемы идемпотентности и drain-фазы, написании скриптов стенда, тестов и формулировке отчёта; решения проверены тестами, приведёнными ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`. Зависимости Python закреплены в `requirements.txt`. Нужны Docker Desktop / Docker Engine с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Вариант оркестрации — **Compose + HAProxy** (Swarm не используется).
|
||||
|
||||
```powershell
|
||||
$env:PYTHONUTF8 = "1"
|
||||
# 1. Локальные секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
|
||||
python scripts/init_secrets.py
|
||||
copy .env.example .env # Linux/macOS: cp .env.example .env
|
||||
|
||||
# 2. Проверка, сборка и запуск: postgres+redis -> migrate (однократно) -> api x2 -> lb
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
|
||||
# 3. Ожидание готовности: 2 реплики healthy, обе UP в HAProxy, /health/ready через LB = 200
|
||||
python scripts/ops.py wait
|
||||
python scripts/ops.py ps # X-Instance-Id <-> контейнер <-> статус в LB
|
||||
```
|
||||
|
||||
Время прогрева: первая сборка образа 1–2 мин; дальше стенд готов примерно через 20–30 с (healthcheck PostgreSQL, миграции, `start_period` API, `rise 2` в HAProxy).
|
||||
|
||||
```powershell
|
||||
# Публичные проверки (Linux/macOS: make check / make test / make test-persistence ... )
|
||||
python scripts/check_contract.py
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd # Linux/macOS: scripts/restart.sh
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd # Linux/macOS: scripts/stop-one.sh
|
||||
python scripts/ops.py restore # вернуть остановленную реплику; затем повторить failover для другой
|
||||
|
||||
# Собственные проверки уровня 4
|
||||
python student-tests/run_all.py --base-url http://localhost:8080 # API, auth, идемпотентность через реплики, race
|
||||
python scripts/ops.py in-network storage # тесты с прямым доступом к БД (внутри compose-сети)
|
||||
python scripts/ops.py in-network expiry # истечение сессии (api-short-ttl, TTL 2 с)
|
||||
python student-tests/failover_series.py --output evidence/failover_series.json # каждая реплика по очереди, SIGTERM
|
||||
python student-tests/failover_series.py --mode kill --output evidence/failover_series_kill.json # то же, SIGKILL
|
||||
python student-tests/rolling_update_load.py --output evidence/rolling_update.json # rolling update под нагрузкой
|
||||
python tests/load.py --duration 30 --concurrency 8 --output evidence/load.json
|
||||
|
||||
# Всё перечисленное одной командой с записью результатов в evidence/ (~8–10 мин):
|
||||
python scripts/collect_evidence.py
|
||||
```
|
||||
|
||||
**Rolling update.** Задать новый тег `APP_VERSION` (например, `lab3.1`) в `.env` или в окружении и выполнить `python scripts/ops.py rolling-update`: сборка образа, однократные миграции (`docker compose run --rm migrate`), затем для каждой старой реплики: +1 новая → healthy и UP в HAProxy → graceful stop старой → удаление.
|
||||
|
||||
**Остановка.** Безопасная, данные сохраняются: `docker compose --env-file .env --profile ttl down` (volume `pgdata` остаётся). Намеренное удаление всех учебных данных — только вручную: `docker compose --env-file .env --profile ttl down -v`. Hooks и тесты никогда не удаляют volumes.
|
||||
|
||||
**Действия оператора:** создать секреты до первого запуска; пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` не перезаписывает существующие файлы. После `stop-one`/тестов отказа вернуть реплику `python scripts/ops.py restore`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```
|
||||
127.0.0.1:8080 (единственная публичная точка входа API)
|
||||
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки GET /health/ready
|
||||
│ 127.0.0.1:8404 — страница состояния (UP/DOWN реплик), только чтение
|
||||
│ обнаружение реплик: Docker DNS имени `api` -> server-template api1..api6
|
||||
▼
|
||||
┌───────── api (deploy.replicas = 2, без ports, без container_name) ─────────┐
|
||||
│ api-1: X-Instance-Id = hostname = короткий ID контейнера 0.5 CPU / 256M │
|
||||
│ api-2: ... 0.5 CPU / 256M │
|
||||
└──────┬──────────────────────────────────────────────────────────┬──────────┘
|
||||
▼ ▼
|
||||
postgres 16 (1 CPU / 512M, volume pgdata) redis 7 (0.25 CPU / 96M)
|
||||
источник истины: users, chats, messages, общий кэш проверок токена,
|
||||
sessions, idempotency_keys, schema_migrations без persistence
|
||||
▲
|
||||
migrate (one-shot): python -m src.migrate — до старта реплик, один раз
|
||||
```
|
||||
|
||||
Порядок старта задаётся `depends_on`: `postgres`, `redis` (healthy) → `migrate` (`service_completed_successfully`) → `api` (healthy) → `lb`. API-реплики не публикуют порты: `expose: 8080` только внутри сети `backend`. Наружу (на 127.0.0.1) опубликован только `lb`.
|
||||
|
||||
### Почему HAProxy, а не Nginx
|
||||
|
||||
В open-source Nginx нет активных health checks: он узнаёт об отказе только по ошибкам живых запросов (`max_fails`). HAProxy сам опрашивает `/health/ready` с заданным периодом. Поэтому время обнаружения отказа можно указать числом, а фаза осушения при SIGTERM действительно выводит реплику из ротации до остановки. `server-template` + `resolvers` синхронизируют список реплик с DNS-записями сервиса `api` каждые 2 с. Масштабирование и rolling update поэтому не требуют перезапуска или перечитывания конфига LB. Sticky sessions не используются (`balance roundrobin`, без cookie).
|
||||
|
||||
### Что перенесено из lab2 и что изменено
|
||||
|
||||
Перенесены без изменения семантики: модели и валидация, формат ошибок, keyset-пагинация, Argon2id, Basic → Bearer, сессии в PostgreSQL + кэш в Redis с надёжной инвалидацией (`session_cache_invalidations`), собственные тесты lab2. Схема lab2 уже рассчитана на несколько реплик: сессии лежат в общей БД, кэш — в общем Redis, а долг инвалидации перечитывается всеми репликами не реже раза в секунду.
|
||||
|
||||
Изменено в lab3:
|
||||
|
||||
1. **Переход 2 → 3 по контракту:** `X-Instance-Id` во всех ответах API, включая ошибки и health (middleware + `error_response`). Обязательный `Idempotency-Key` для `POST /chats/{id}/messages`.
|
||||
2. **Общая идемпотентность** — таблица `idempotency_keys` (миграция `003`), подробности ниже.
|
||||
3. **Миграции вынесены из реплик** в one-shot сервис `migrate` (`RUN_MIGRATIONS_ON_START=false`). Реплика готова только когда в `schema_migrations` есть последняя версия, которую знает её образ.
|
||||
4. **Graceful shutdown с осушением** (`src/server.py`): по SIGTERM реплика сразу отвечает 503 на readiness, но ещё 3 с обслуживает запросы, затем штатно останавливается.
|
||||
5. **Лимит одновременных хешей Argon2id** (`PASSWORD_HASH_CONCURRENCY=4`). У реплики лимит 256M, а threadpool FastAPI — до 40 потоков; без лимита всплеск входов мог бы занять 40 × 19 MiB и привести к OOM-kill.
|
||||
6. **Readiness** использует отдельный короткий таймаут БД (`READY_DB_TIMEOUT_SECONDS=1`) меньше `timeout check` HAProxy.
|
||||
7. Тесты lab2 адаптированы к переходу: при отправке сообщения добавляется `Idempotency-Key`, имя проекта сменилось на `messenger-lab3`. Тест истечения сессии и тесты хранилища теперь идут внутри compose-сети, без публикации портов в обход LB.
|
||||
|
||||
### Идемпотентность отправки сообщения (`src/storage.py`, `migrations/003_idempotency_keys.sql`)
|
||||
|
||||
- Ключ: `PRIMARY KEY (user_id, method, chat_id, idem_key)` — ровно область из контракта «пользователь + метод + путь чата + ключ». В строке хранятся SHA-256 канонического JSON тела (`sort_keys`, без пробелов: порядок ключей и форматирование не важны), `message_id`, `expires_at = now + IDEMPOTENCY_TTL_SECONDS (86400)`.
|
||||
- **Одна транзакция READ COMMITTED:**
|
||||
1. `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE expires_at <= now() RETURNING`. Конкурентная транзакция с тем же ключом **ждёт на уникальном индексе**, пока первая не сделает COMMIT/ROLLBACK. Это и даёт «ровно одно сообщение» при одновременных повторах через разные реплики: арбитр — PostgreSQL, а не память процесса.
|
||||
2. Ключ наш → `INSERT messages … WHERE EXISTS (членство)` с заранее выбранным id. FK `message_id → messages` объявлен `DEFERRABLE INITIALLY DEFERRED` и проверяется при COMMIT, поэтому `message_id NOT NULL` с первого шага.
|
||||
3. Ключ уже подтверждён → снова проверяется членство (и сессия — dependency `current_user`). Hash совпал → 201 и то же сообщение (+ информационный заголовок `Idempotency-Replayed: true`); не совпал → 409.
|
||||
- Любая ошибка или обрыв до COMMIT откатывает и ключ, и сообщение: транзиентный 5xx не фиксируется. 404 и 400 ключ не «сжигают». Истёкший, но ещё не удалённый ключ можно занять заново. Фоновая очистка раз в 5 мин удаляет истёкшие ключи пачками под `pg_try_advisory_xact_lock`, то есть одной репликой за раз.
|
||||
- Порядок проверок: аутентификация → ключ (нет/неверный → 400) → тело → доступ к чату (404).
|
||||
|
||||
### Readiness, таймауты и остановка — согласованные значения
|
||||
|
||||
| Параметр | Значение | Почему |
|
||||
| --- | --- | --- |
|
||||
| HAProxy `inter` / `fastinter` / `fall` / `rise` | 1 с / 0.5 с / 2 / 2 | DOWN после 2 неудачных проверок подряд, вторая — через 0.5 с |
|
||||
| HAProxy `timeout check` | 1.5 с | больше `READY_DB_TIMEOUT_SECONDS` = 1 с |
|
||||
| HAProxy `timeout connect`, `retries`, `option redispatch 1` | 1 с, 2, да | несостоявшееся соединение повторяется на другой реплике; запрос ещё не отправлен — безопасно и для POST |
|
||||
| HAProxy `timeout server` | 10 с | > максимум запроса API: пул 3 с + `statement_timeout` 5 с |
|
||||
| `resolvers` hold valid/obsolete | 2 с / 2 с | новые/исчезнувшие контейнеры попадают в LB за ≤ ~2–3 с |
|
||||
| API `DRAIN_SECONDS` | 3 с | > худшее обнаружение DOWN при ответах 503 (≈ 1 + 0.5 с + задержка проверок) |
|
||||
| API `GRACEFUL_TIMEOUT_SECONDS` | 10 с | дождаться запросов в обработке (≤ 8 с) |
|
||||
| compose `stop_grace_period` (api) | 20 с | > 3 + 10 — SIGKILL не прилетает во время graceful stop |
|
||||
| Docker healthcheck api | 3 с / timeout 2 с / retries 2 / start_period 20 с | для `depends_on` и `ops.py` (rolling update ждёт healthy) |
|
||||
| Uvicorn keep-alive | 30 с | дольше, чем LB держит простаивающие соединения к серверу |
|
||||
|
||||
**Максимальное время обнаружения отказа балансировщиком:** graceful stop (сразу 503) и падение процесса (соединение отклонено) — до ≈ 1.5–2 с; зависшая реплика без ответа — до 1 + 1.5 + 0.5 + 1.5 = **4.5 с**. Пока реплика не помечена DOWN, запрос к ней, не сумевший соединиться за 1 с, уходит на другую. **Измерено** (`evidence/failover_series*.json`, `evidence/shutdown_timeline.txt`): DOWN через 0.96–1.41 с после SIGTERM и через 1.10–1.28 с после SIGKILL.
|
||||
|
||||
**Временная шкала graceful stop** (`evidence/shutdown_timeline.txt`): SIGTERM → +0.01 с readiness 503 → +1.30 с HAProxy DOWN (новые запросы больше не приходят) → +3.02 с закрыт listening-сокет → +3.12 с процесс завершён. LB выводит реплику из ротации на ~1.7 с раньше, чем она перестаёт принимать соединения, поэтому graceful stop не даёт ошибок клиенту.
|
||||
|
||||
**Критичные зависимости readiness:** PostgreSQL (и наличие мигрированной схемы). Redis не критичен — это кэш с обходом (circuit breaker 5 с), как в lab2. Если ни одна реплика не готова, LB сам отвечает `503` в общем JSON-формате ошибок с тем же `X-Request-Id` (`http-error`, `evidence/lb_errors.txt`). `X-Instance-Id` в таком ответе нет — контракт это допускает.
|
||||
|
||||
### Миграции и совместимость с работающей версией
|
||||
|
||||
- `migrate` выполняется **один раз** до старта реплик. Повтор — no-op (`schema_migrations`); две одновременные копии сериализуются `pg_advisory_lock` (`evidence/migrations.txt`: копия B применила 3 миграции, копия A — `nothing applied`). Реплики миграции не запускают и не готовы, пока схема не мигрирована: на пустой БД readiness = 503 `Database schema is not migrated`, после `migrate` — 200 без рестарта.
|
||||
- Rolling update применяет миграции **до** замены реплик, поэтому допускаются только **расширяющие** (expand) миграции, совместимые со старой версией. `003` только добавляет таблицу. Проверено: код lab2 (старая версия) проходит smoke lab2 на схеме lab3 одновременно с репликами lab3 (`evidence/migrations.txt`).
|
||||
- Ограничение: смешанный парк «lab2 + lab3» во время обновления формально совместим по схеме, но реплики lab2 не требуют и не записывают `Idempotency-Key`. Поэтому гарантия идемпотентности действует только когда все реплики уже lab3. Удаляющие/переименовывающие миграции нужно делить на expand → переключение кода → contract отдельным релизом.
|
||||
|
||||
### Соответствие `.env.example` и реальной конфигурации
|
||||
|
||||
| Переменная | Где используется |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | внутри контейнера Uvicorn слушает `0.0.0.0:8080`; `APP_PORT` — публикуемый порт LB `127.0.0.1:${APP_PORT}` |
|
||||
| `LB_STATS_PORT` | страница состояния HAProxy `127.0.0.1:8404` (`ops.py`, тесты отказов) |
|
||||
| `APP_ENV`, `APP_VERSION` | `APP_VERSION` — тег образа `messenger-api:${APP_VERSION}` (rolling update) и строка в логе старта |
|
||||
| `SESSION_TTL_SECONDS`, `SHORT_SESSION_TTL_SECONDS` | TTL сессий; второй — для `api-short-ttl` (профиль `ttl`) |
|
||||
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Compose secrets `/run/secrets/database_url`, `/run/secrets/cache_url` |
|
||||
| `SESSION_STORE` | `postgres` — источник истины сессий; Redis — общий кэш |
|
||||
| `SESSION_CACHE_TTL_SECONDS` | TTL записи кэша и «надгробия» logout |
|
||||
| `API_REPLICAS` | `deploy.replicas` сервиса `api` (2); ожидаемое число реплик в `ops.py` |
|
||||
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения результата ключа (≥ 86400, иначе API не стартует) |
|
||||
| `DB_POOL_*`, `DB_*_TIMEOUT*` | пул (1..10 на реплику), ожидание соединения 3 с, connect 3 с, statement 5 с |
|
||||
| `CACHE_TIMEOUT_SECONDS`, `CACHE_RETRY_AFTER_SECONDS` | таймаут Redis 250 мс и обход кэша на 5 с после ошибки |
|
||||
| `READY_DB_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `GRACEFUL_TIMEOUT_SECONDS`, `KEEP_ALIVE_SECONDS` | readiness и остановка — таблица выше |
|
||||
| `PASSWORD_HASH_CONCURRENCY` | одновременных хешей Argon2id на реплику |
|
||||
|
||||
`max_connections=100` у PostgreSQL ≥ (2 реплики + 1 во время rolling update) × 10 + migrate + api-short-ttl + запас.
|
||||
|
||||
### Инфраструктура
|
||||
|
||||
| Роль | Service | Версия | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | `haproxy:2.8.30-alpine` | `wget /lb-health` (monitor-uri) | — (конфиг ro bind) | `backend`; **127.0.0.1:8080**, 127.0.0.1:8404 | — | 0.5 CPU / 128M |
|
||||
| api × 2 | `api` | сборка `Dockerfile`, `python:3.12.7-slim-bookworm` | `/health/ready` (БД + схема + не в drain) | нет, `read_only` + tmpfs `/tmp` | `backend`, `expose 8080` (наружу нет) | secrets `database_url`, `cache_url` | 0.5 CPU / 256M |
|
||||
| миграции | `migrate` | тот же Dockerfile | one-shot, exit 0 | — | `backend` | secret `database_url` | 0.5 CPU / 256M |
|
||||
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | `backend`, наружу нет | secret `postgres_password` | 1 CPU / 512M |
|
||||
| redis | `redis` | `redis:7.4.1-alpine`, user `redis` | `redis-cli ping` | нет (кэш) | `backend`, наружу нет | secret `redis_password` | 0.25 CPU / 96M |
|
||||
| тест TTL | `api-short-ttl` (профиль `ttl`) | образ api | `/health/ready` | — | `backend`, не в LB, портов нет | как api | 0.5 CPU / 256M |
|
||||
|
||||
`container_name` нигде не задан. Секреты общие только там, где нужны: пароль PostgreSQL есть только у `postgres`, пароль Redis — у `redis`, строки подключения — у `api`/`migrate`. Bootstrap: схема создаётся сервисом `migrate` на пустом volume; повтор безопасен. Hooks: `scripts/restart.sh|.cmd` → `ops.py restart` (stop lb+api → restart postgres+redis → start api → healthy → start lb); `scripts/stop-one.sh|.cmd` → `ops.py stop-one` (одна реплика по `TARGET_INSTANCE_ID`, остаётся остановленной). Каждое действие пишется в `evidence/ops.log`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
**Стенд, на котором сняты приложенные результаты.** Windows 10, Ryzen 5 7500f, 32 GB RAM. PostgreSQL 16, Redis 7 и HAProxy **2.8.30**, Docker Desktop. Код приложения, миграции и **тот же `infra/haproxy/haproxy.cfg`** использованы как есть. Только `server-template` + DNS заменены на 6 статических слотов, реплики запущены как `python -m src.server` (2 процесса), CPU/RAM-лимитов нет. Compose-файл проверен `docker compose config`, конфиг HAProxy — `haproxy -c` той же версии 2.8.30, что в образе. `scripts/ops.py` прогнан против заглушки `docker`.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
|
||||
| Контракт | `make check`, `make validate`, `docker compose config --quiet`, `haproxy -c` | все PASS / valid | `evidence/check.txt` |
|
||||
| Стенд в `compose.yaml`, ≥ 2 реплики, одна точка входа, общая БД и хранилище сессий | `compose.yaml`; `python scripts/ops.py ps` | `api` × 2 без `ports`; публикуется только `lb`; одна `postgres`, один `redis` | `compose.yaml`, `evidence/stand.txt` (после `collect_evidence.py`) |
|
||||
| Разные запросы одного пользователя — разными репликами без повторного входа | 20 × `GET /users/me` с одним токеном через LB | чередование двух `X-Instance-Id`, все 200 | `evidence/instances.txt` |
|
||||
| Остановка любой одной реплики: ≤ 10 с, чтение/запись продолжаются, подтверждённые доступны | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` × 2 (вторая реплика после восстановления первой) + SIGKILL | PASS ×3; `failed_attempts: 0`; запись не прерывалась (первая запись после возврата hook — 3.3 с = длительность graceful hook; при SIGKILL — 0.11 с); остановлены разные реплики | `evidence/failover.txt` |
|
||||
| Какой процесс реально остановлен | журнал hook | `SIGTERM nat-api-4` в прогоне 1, `SIGTERM nat-api-3` в прогоне 2 (в compose — `evidence/ops.log`: имя контейнера, IP, состояние после) | `evidence/failover.txt` |
|
||||
| Повтор POST с тем же ключом не создаёт дубль, в т.ч. конкурентно и при смене реплики | smoke; `test_idempotency.py` (24 параллельных POST, Barrier); failover-тест повторяет неопределённые POST тем же ключом | 24 × 201, один `id`, ответы через **обе** реплики, в истории 1 сообщение; дублей нет ни в одном сценарии отказа | `evidence/student-tests.txt`, `evidence/failover*.txt` |
|
||||
| Persistence: рестарт стенда с volumes и тем же токеном | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; PID до/после: postgres 1469→2901, redis 1479→2911, api 2846→2917 и 2866→2925, HAProxy перезапущен | `evidence/persistence.txt` |
|
||||
| Миграции отдельно и согласованно | сервис `migrate`; readiness проверяет схему | реплики не мигрируют; повтор no-op; гонка двух `migrate` безопасна | `evidence/migrations.txt` |
|
||||
|
||||
### Уровень 4
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Health/readiness, timeouts и SIGTERM согласованы; LB исключает недоступный backend; период проверок и макс. время обнаружения | `infra/haproxy/haproxy.cfg`, `src/server.py`; замер шкалы остановки | проверки каждые 1 с (0.5 с после первой неудачи), fall 2; обнаружение ≤ 1.5–2 с (503/RST), ≤ 4.5 с (зависание). Замер: 503 на readiness через 0.01 с, DOWN через 1.30 с, приём прекращён через 3.02 с | таблица выше, `evidence/shutdown_timeline.txt`, `evidence/lb_log_sample.txt` |
|
||||
| Последовательно остановить каждую реплику (восстанавливая предыдущую); RPS, ошибки, время восстановления | `failover_series.py` (4 писателя + 2 читателя, timeout клиента 2 с) | **SIGTERM:** 0 ошибок; DOWN в LB через 1.41 / 0.96 с; RPS 407 → 324 (одна реплика) → 354 после restore; p95 30–31 мс; реплика снова в ротации через 3.0 / 2.6 с после restore. **SIGKILL:** 6 / 3 оборванных запроса (502) в окне ≤ 0.21 с после kill, все записи повторены тем же ключом без дублей; DOWN через 1.28 / 1.10 с | `evidence/failover_series.json`, `evidence/failover_series_kill.json`, `evidence/failover_series.txt` |
|
||||
| Общая идемпотентность параллельными запросами с одним ключом | `test_idempotency.py`, `test_storage_idempotency.py` | 24 параллельных → 1 сообщение через 2 реплики; 12 разных тел с одним ключом → один победитель, остальные 409; 16 потоков на уровне хранилища → одна вставка; сбой после вставки ключа и сообщения → ни ключа, ни сообщения, повтор успешен | `evidence/student-tests.txt` |
|
||||
| CPU/RAM-лимиты; API без портов в обход LB; секреты/хранилища общие только где нужно; нет `container_name` | `compose.yaml` | лимиты у всех сервисов (api 0.5 CPU / 256M); у `api` только `expose`; `container_name` отсутствует; RSS реплики под нагрузкой 132 MB < 256M | `compose.yaml`, `evidence/load.txt` |
|
||||
| Rolling update под нагрузкой | `rolling_update_load.py` → `ops.py rolling-update` (на нативном стенде — тот же алгоритм) | замена 2 реплик за 11.8 с, **0 ошибок**, RPS 388 → 381 во время → 385 после, p95 31 → 34 мс; после — только новые реплики; 5709 подтверждённых сообщений на месте, дублей нет | `evidence/rolling_update.json`, `evidence/rolling_update.txt` |
|
||||
| Миграции однократно и совместимы с работающей версией | сервис `migrate`; код lab2 на схеме lab3 | см. раздел «Миграции»; ограничение смешанного парка описано | `evidence/migrations.txt` |
|
||||
| Возможности lab2 сохранены | `run_all.py` (47 тестов + race), `test_expiry` на экземпляре с TTL 2 с | все PASS (1 skip — expiry в общем прогоне, запускается отдельно и проходит) | `evidence/student-tests.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Гипотеза.** Если всё состояние, от которого зависит корректность (данные, сессии, ключи идемпотентности), лежит в общем PostgreSQL, а LB активно проверяет готовность и реплика по SIGTERM сначала выходит из ротации, то: (1) graceful-остановка любой реплики и rolling update проходят без ошибок для клиента; (2) падение реплики даёт только кратковременные ошибки запросов, которые были в обработке, и клиент безопасно повторяет их с тем же ключом; (3) дублей и потерь подтверждённых сообщений нет. Подтверждено измерениями ниже.
|
||||
|
||||
**Методика.** Генератор `student-tests/loadgen.py`: 4 писателя (POST с `Idempotency-Key`; при обрыве, timeout или 5xx — повтор с тем же ключом и телом до 201) и 2 читателя (история, `/users/me`); timeout клиента 2 с; опрос страницы HAProxy каждые 100 мс. Каждый раунд: 5 с прогрева → действие → 15 с без реплики → restore → 3 с. После раунда — полный обход истории и сверка со всеми подтверждёнными ответами. Стенд — см. «Доказательства»: клиент на той же машине, без лимитов. Повторов для статистики нет: разброс RPS между раундами ±5–8 %.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| SIGTERM реплики 1 под нагрузкой | 0 ошибок, LB выводит до остановки | 0 ошибок; DOWN через 1.41 с; реплика отвечала ещё 1.34 с (до DOWN) | hook 3.3 с; RPS 407 → 324 → 354; возврат в ротацию 3.0 с после restore; потерь нет |
|
||||
| SIGTERM реплики 2 | то же | 0 ошибок; DOWN через 0.96 с | hook 3.4 с; RPS 393 → 304 → 348; возврат 2.6 с; потерь нет |
|
||||
| SIGKILL реплики 1 | ошибки только у запросов в обработке, повтор без дублей | 6 × 502 в окне 0.21 с, 4 повтора записи тем же ключом; DOWN через 1.28 с | новые запросы успешны сразу (redispatch); возврат 2.8 с; дублей нет |
|
||||
| SIGKILL реплики 2 | то же | 3 × 502 в окне 0.14 с, 1 повтор записи; DOWN через 1.10 с | возврат 2.7 с; дублей нет |
|
||||
| Публичный failover (×2 graceful, ×1 kill) | PASS, ≤ 10 с | PASS; 0 failed attempts | первая запись после hook: 3.3 с / 3.4 с / 0.11 с |
|
||||
| Rolling update 2 реплик под нагрузкой | 0 ошибок, после — только новые | 0 ошибок; `[api1,api2] → [api1,api2,api3] → [api2,api3] → … → [api3,api4]` | 11.8 с; RPS не просел (388 / 381 / 385) |
|
||||
| Рестарт API + PostgreSQL + Redis + LB | данные и сессия сохраняются | PASS, тот же токен | потерь нет |
|
||||
| Все реплики недоступны | LB отвечает 503 в формате контракта | JSON 503 с `request_id` = `X-Request-Id` | — |
|
||||
|
||||
**Нагрузка** (`tests/load.py`, closed-loop POST, без retry): 30 с, concurrency 8 → 10 955 успешных, 0 ошибок, **364 RPS**, p50 19.9 мс, p95 42.8 мс, p99 53.4 мс (только успешные); набор данных — один чат, ~11 тыс. новых сообщений. RSS каждой реплики 132 MB, 14 потоков. Во время отказа одной реплики RPS падает примерно на 20 %: при 2 vCPU на машину одна реплика (один процесс Uvicorn) упирается в CPU. Это пропускная способность HTTP-подтверждений в данном профиле, а не максимум системы; с лимитами 0.5 CPU на реплику в Docker цифры будут ниже.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Отказы, которые выдерживаются:** остановка или падение любой одной API-реплики, rolling update реплик, рестарт всего стенда с volumes. **Не выдерживаются:** отказ `lb`, `postgres` (единственная копия, без репликации) и Docker-host — это SPOF. Отказ `redis` не влияет на корректность (обход кэша, как в lab2).
|
||||
- При падении (SIGKILL) запросы, которые реплика обрабатывала в этот момент, завершаются ошибкой 502. LB не повторяет уже отправленные POST — по контракту это делает клиент с тем же `Idempotency-Key`. Для `POST /users` и `POST /chats` повтор после неопределённого результата может создать второй объект (контракт этого не запрещает и прозрачных повторов не требует).
|
||||
- HAProxy держит до 6 слотов реплик (`server-template api 1-6`). Больше — поменять число в конфиге.
|
||||
- Страница состояния HAProxy на 127.0.0.1:8404 без аутентификации, только чтение и только localhost.
|
||||
- Приложенные результаты сняты на нативном эквиваленте стенда (см. «Доказательства»), без CPU/RAM-лимитов и без Docker DNS. Перед защитой их нужно повторить `python scripts/collect_evidence.py` на Docker; конкретные цифры на ноутбуке будут другими.
|
||||
- Время обнаружения на Docker дополнительно включает DNS-синхронизацию (до ~2 с на появление новой реплики в LB). На отказ это не влияет: остановленную реплику исключают активные проверки раньше, чем DNS.
|
||||
- Идемпотентность гарантирована, только когда все реплики — lab3 (см. «Миграции»).
|
||||
- HTTP без TLS — допустимо только на локальном учебном стенде. Пароль Redis передаётся `redis-server` аргументом внутри контейнера (как в lab2).
|
||||
|
||||
## Вопросы защиты — кратко
|
||||
|
||||
- **Отказ процесса vs отказ узла.** Процесс (контейнер реплики) падает, остальные реплики на том же host живы, общие PostgreSQL/Redis/LB целы — это и проверяет лаба. При отказе узла пропадает всё, что на нём: здесь это весь стенд, включая LB и единственную БД. Защита от него — несколько host, репликация БД, LB с переносом адреса (трек 2 уровня 5, не заявлен).
|
||||
- **Почему depends_on/healthcheck — не балансировщик.** `depends_on` управляет только порядком старта, а Docker healthcheck лишь меняет статус контейнера. Ни один из них не перенаправляет трафик и не выводит больную реплику из ротации. Это делает LB своими проверками (здесь — HAProxy `http-check` каждые 1 с).
|
||||
- **Какие POST можно повторять после timeout.** Только те, что защищены ключом идемпотентности: здесь `POST /chats/{id}/messages` с тем же `Idempotency-Key` и тем же телом. Ключ защищает от дубля, если ответ потерялся после COMMIT: повтор вернёт исходное сообщение, а не создаст второе. `POST /users`, `POST /chats`, `POST /auth/sessions` после неопределённого результата повторять «вслепую» нельзя — создастся новый объект или новая сессия.
|
||||
- **Сессии в локальной памяти при росте числа реплик.** Токен, выданный репликой A, неизвестен реплике B: каждый второй запрос получит 401, logout на одной реплике не отзовёт сессию на другой, рестарт реплики разлогинит её пользователей. «Чинить» это sticky sessions — значит терять сессии при отказе реплики. Поэтому сессии лежат в общем PostgreSQL (кэш — общий Redis), а ключи идемпотентности — в общей БД.
|
||||
@@ -0,0 +1,25 @@
|
||||
# Доказательства
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
## Файлы этой работы (lab3)
|
||||
|
||||
`python scripts/collect_evidence.py` на compose-стенде перезаписывает их результатами Docker; `SUMMARY.txt` — итог по шагам.
|
||||
|
||||
| Файл | Что доказывает |
|
||||
| --- | --- |
|
||||
| `check.txt` | make check / validate, `docker compose config`, `haproxy -c` |
|
||||
| `smoke.txt` | публичный smoke lab3 через LB |
|
||||
| `instances.txt` | одна сессия обслуживается разными репликами (X-Instance-Id) |
|
||||
| `student-tests.txt` | собственные тесты: lab2 + идемпотентность через реплики + хранилище + expiry |
|
||||
| `failover.txt` | публичный failover для обеих реплик и SIGKILL; какой процесс/контейнер остановлен |
|
||||
| `failover_series*.json/.txt` | уровень 4: каждая реплика по очереди под нагрузкой — RPS, ошибки, обнаружение, восстановление |
|
||||
| `rolling_update*.json/.txt` | уровень 4: rolling update под нагрузкой |
|
||||
| `persistence.txt` | рестарт API + PostgreSQL + Redis + LB с тем же токеном |
|
||||
| `migrations.txt` | миграции однократно, readiness ждёт схему, совместимость со старой версией |
|
||||
| `shutdown_timeline.txt` | SIGTERM → readiness 503 → DOWN в LB → выход процесса |
|
||||
| `lb_errors.txt`, `lb_log_sample.txt` | ответы и журнал балансировщика |
|
||||
| `load.json`, `load.txt` | нагрузка 30 с, RSS реплик |
|
||||
| `ops.log` | журнал scripts/ops.py (реальные контейнеры — после прогона на Docker) |
|
||||
@@ -0,0 +1,34 @@
|
||||
# 2026-10-26 19:35:57 UTC
|
||||
OK Контракт (offline) evidence/check.txt
|
||||
OK Compose config evidence/check.txt
|
||||
OK Стенд: контейнеры evidence/stand.txt
|
||||
OK Стенд: реплики и статус в LB evidence/stand.txt
|
||||
OK Стенд: лимиты CPU/RAM evidence/stand.txt
|
||||
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
|
||||
OK Публичный smoke evidence/smoke.txt
|
||||
OK Собственные тесты (HTTP через LB) evidence/student-tests.txt
|
||||
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
|
||||
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
|
||||
OK Failover #1: реплики до evidence/failover.txt
|
||||
OK Failover #1: make test-failover evidence/failover.txt
|
||||
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #1: restore evidence/failover.txt
|
||||
OK Failover #2: реплики до evidence/failover.txt
|
||||
OK Failover #2: make test-failover evidence/failover.txt
|
||||
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #2: restore evidence/failover.txt
|
||||
OK Failover #3: реплики до evidence/failover.txt
|
||||
OK Failover #3: make test-failover evidence/failover.txt
|
||||
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #3: restore evidence/failover.txt
|
||||
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
|
||||
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
|
||||
OK Rolling update lab3 -> lab3.1 под нагрузкой evidence/rolling_update.txt
|
||||
OK Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой evidence/rolling_update.txt
|
||||
OK Реплики после обновлений evidence/rolling_update.txt
|
||||
OK Persistence: контейнеры до evidence/persistence.txt
|
||||
OK Persistence: make test-persistence evidence/persistence.txt
|
||||
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
|
||||
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
|
||||
OK CPU/RAM после нагрузки evidence/load.txt
|
||||
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-10-26 19:29:57 UTC | Контракт (offline) | exit 0 | 0.1s
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-10-26 19:29:57 UTC | Compose config | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
|
||||
@@ -0,0 +1,66 @@
|
||||
# 2026-10-26 19:30:28 UTC | Failover #1: реплики до | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
# 2026-10-26 19:30:44 UTC | Failover #1: make test-failover | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 4.672}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:30:44 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
|
||||
|
||||
# 2026-10-26 19:30:51 UTC | Failover #1: restore | exit 0 | 6.4s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:30:51.183Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 6.3s
|
||||
|
||||
# 2026-10-26 19:30:51 UTC | Failover #2: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:07 UTC | Failover #2: make test-failover | exit 0 | 16.2s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.094}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:31:07 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
|
||||
|
||||
# 2026-10-26 19:31:13 UTC | Failover #2: restore | exit 0 | 6.0s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:31:13.832Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 5.9s
|
||||
|
||||
# 2026-10-26 19:31:14 UTC | Failover #3: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:30 UTC | Failover #3: make test-failover | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.766}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:31:30 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 exited unhealthy messenger-api:lab3 - -
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:37 UTC | Failover #3: restore | exit 0 | 6.4s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:31:37.160Z restore: started ['messenger-lab3-api-1']; 2 replicas healthy and UP in LB after 6.3s
|
||||
|
||||
# остановленные публичным тестом реплики: ['a21409fffeec', 'a21409fffeec', 'c4c5ae5b0949']
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "a21409fffeec",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.09,
|
||||
"lb_detect_down_seconds": 1.77,
|
||||
"target_last_served_after_stop_seconds": 1.67,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.7,
|
||||
"lb_back_up_seconds": 1.39,
|
||||
"target_back_in_rotation_seconds": 6.69,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1322,
|
||||
"ok": 1322,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 264.4,
|
||||
"write_ok_rps": 159.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1059,
|
||||
"ok": 1059,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 105.9,
|
||||
"write_ok_rps": 64.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 47.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 439,
|
||||
"ok": 439,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 87.8,
|
||||
"write_ok_rps": 53.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.0,
|
||||
"requests": 1618,
|
||||
"ok": 1618,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 161.8,
|
||||
"write_ok_rps": 96.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.77,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.39,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.77,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.28,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2674,
|
||||
"stored_messages": 2674,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c4c5ae5b0949",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.03,
|
||||
"lb_detect_down_seconds": 0.97,
|
||||
"target_last_served_after_stop_seconds": 0.91,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.56,
|
||||
"lb_back_up_seconds": 0.67,
|
||||
"target_back_in_rotation_seconds": 6.56,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1353,
|
||||
"ok": 1353,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 269.7,
|
||||
"write_ok_rps": 158.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 990,
|
||||
"ok": 990,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 99.0,
|
||||
"write_ok_rps": 59.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 62.0,
|
||||
"p95": 156.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.03,
|
||||
"requests": 410,
|
||||
"ok": 410,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 81.8,
|
||||
"write_ok_rps": 49.1,
|
||||
"latency_ms_ok": {
|
||||
"p50": 93.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.03,
|
||||
"to_s": 29.86,
|
||||
"requests": 1602,
|
||||
"ok": 1601,
|
||||
"errors": 1,
|
||||
"error_ratio": 0.0006,
|
||||
"ok_rps": 162.9,
|
||||
"write_ok_rps": 98.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
5.98,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.7,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.94,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
23.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2604,
|
||||
"stored_messages": 2604,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-26 19:32:39 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 61.9s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
|
||||
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
-- stopping a21409fffeec (mode=stop) under load
|
||||
hook 4.09s | LB DOWN after 1.77 s | errors 0 (-) | RPS before 264.4, outage 105.9, after restore 161.8 | p95 outage 110.0 ms | back in rotation 6.69 s | data ok=True
|
||||
-- stopping c4c5ae5b0949 (mode=stop) under load
|
||||
hook 4.03s | LB DOWN after 0.97 s | errors 0 (-) | RPS before 269.7, outage 99.0, after restore 162.9 | p95 outage 156.0 ms | back in rotation 6.56 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
# 2026-10-26 19:33:42 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.1s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
|
||||
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
-- stopping a21409fffeec (mode=kill) under load
|
||||
hook 1.01s | LB DOWN after 2.53 s | errors 0 (-) | RPS before 235.6, outage 76.1, after restore 146.5 | p95 outage 187.0 ms | back in rotation 7.06 s | data ok=True
|
||||
-- stopping c4c5ae5b0949 (mode=kill) under load
|
||||
hook 0.92s | LB DOWN after 2.38 s | errors 0 (-) | RPS before 270.1, outage 78.3, after restore 149.7 | p95 outage 187.0 ms | back in rotation 7.19 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "a21409fffeec",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.01,
|
||||
"lb_detect_down_seconds": 2.53,
|
||||
"target_last_served_after_stop_seconds": 0.5,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.09,
|
||||
"lb_back_up_seconds": 1.45,
|
||||
"target_back_in_rotation_seconds": 7.06,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1178,
|
||||
"ok": 1178,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 235.6,
|
||||
"write_ok_rps": 137.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 761,
|
||||
"ok": 761,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 76.1,
|
||||
"write_ok_rps": 46.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1015.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.01,
|
||||
"requests": 454,
|
||||
"ok": 454,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 90.5,
|
||||
"write_ok_rps": 53.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.01,
|
||||
"to_s": 30.44,
|
||||
"requests": 1527,
|
||||
"ok": 1527,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 146.5,
|
||||
"write_ok_rps": 85.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.53,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.94,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.48,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2318,
|
||||
"stored_messages": 2318,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c4c5ae5b0949",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 0.92,
|
||||
"lb_detect_down_seconds": 2.38,
|
||||
"target_last_served_after_stop_seconds": 0.44,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.25,
|
||||
"lb_back_up_seconds": 1.45,
|
||||
"target_back_in_rotation_seconds": 7.19,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1355,
|
||||
"ok": 1355,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 270.1,
|
||||
"write_ok_rps": 156.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 783,
|
||||
"ok": 783,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 78.3,
|
||||
"write_ok_rps": 47.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1016.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.02,
|
||||
"requests": 439,
|
||||
"ok": 439,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 87.8,
|
||||
"write_ok_rps": 52.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 125.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.02,
|
||||
"to_s": 30.56,
|
||||
"requests": 1579,
|
||||
"ok": 1579,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 149.7,
|
||||
"write_ok_rps": 89.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.39,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.58,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.11,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2474,
|
||||
"stored_messages": 2474,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# 2026-10-26 19:29:59 UTC | одна сессия, 20 запросов GET /users/me через LB
|
||||
1 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C08C-1F90-6ADFAA37167-088A-0008
|
||||
2 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C09C-1F90-6ADFAA37189-088B-0008
|
||||
3 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A0-1F90-6ADFAA371A4-088C-0008
|
||||
4 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0A4-1F90-6ADFAA371B1-088D-0008
|
||||
5 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A6-1F90-6ADFAA371B5-088E-0008
|
||||
6 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0AA-1F90-6ADFAA371B8-088F-0008
|
||||
7 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0B2-1F90-6ADFAA371D0-0890-0008
|
||||
8 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0BE-1F90-6ADFAA371E0-0891-0008
|
||||
9 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0C6-1F90-6ADFAA371E3-0892-0008
|
||||
10 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0CE-1F90-6ADFAA371FE-0893-0008
|
||||
11 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0D6-1F90-6ADFAA37202-0894-0008
|
||||
12 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0E4-1F90-6ADFAA3721D-0895-0008
|
||||
13 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0EC-1F90-6ADFAA37220-0896-0008
|
||||
14 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0FC-1F90-6ADFAA3723C-0897-0008
|
||||
15 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C106-1F90-6ADFAA3724B-0898-0008
|
||||
16 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C10E-1F90-6ADFAA3724D-0899-0008
|
||||
17 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C11A-1F90-6ADFAA37268-089A-0008
|
||||
18 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C126-1F90-6ADFAA3726B-089C-0008
|
||||
19 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C130-1F90-6ADFAA37286-089D-0008
|
||||
20 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C140-1F90-6ADFAA3728A-089E-0008
|
||||
разных реплик: 2
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker)
|
||||
# все реплики остановлены -> ответ формирует сам HAProxy (http-error): общий JSON-формат ошибок, X-Request-Id совпадает с request_id; X-Instance-Id нет (контракт это допускает)
|
||||
$ curl -si http://127.0.0.1:8080/api/v1/users/me
|
||||
HTTP/1.1 503 Service Unavailable
|
||||
x-request-id: 7F000001CD38-1F90-6ADCA7141E5-336F-0B75
|
||||
content-length: 128
|
||||
content-type: application/json
|
||||
|
||||
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"7F000001CD38-1F90-6ADCA7141E5-336F-0B75"}}
|
||||
|
||||
$ curl -si -H "X-Request-Id: demo-123" http://127.0.0.1:8080/health/ready
|
||||
HTTP/1.1 503 Service Unavailable
|
||||
x-request-id: demo-123
|
||||
content-length: 97
|
||||
content-type: application/json
|
||||
|
||||
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"demo-123"}}
|
||||
@@ -0,0 +1,62 @@
|
||||
# 2026-10-26 19:35:57 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env logs --no-color --tail 60 lb
|
||||
lb-1 | 172.18.0.1:34156 [26/Oct/2026:19:35:54.564] public api/api1 0/0/0/7/7 201 401 ---- 8/8/7/1/0 0/0 rid=AC120001856C-1F90-6ADFAB9A234-1128-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34116 [26/Oct/2026:19:35:54.563] public api/api1 0/0/0/10/10 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018544-1F90-6ADFAB9A233-1126-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34168 [26/Oct/2026:19:35:54.578] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018578-1F90-6ADFAB9A242-1129-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34064 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/58/59 201 401 ---- 8/8/7/7/0 0/0 rid=AC1200018510-1F90-6ADFAB9A218-111F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34040 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/62/62 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000184F8-1F90-6ADFAB9A218-111D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34098 [26/Oct/2026:19:35:54.537] public api/api2 0/0/0/61/62 201 401 ---- 6/6/5/5/0 0/0 rid=AC1200018532-1F90-6ADFAB9A219-1121-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34100 [26/Oct/2026:19:35:54.538] public api/api2 0/0/0/63/63 201 401 ---- 6/6/5/4/0 0/0 rid=AC1200018534-1F90-6ADFAB9A21A-1123-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34162 [26/Oct/2026:19:35:54.578] public api/api2 0/0/0/27/28 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018572-1F90-6ADFAB9A242-112A-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34186 [26/Oct/2026:19:35:54.600] public api/api1 0/0/0/7/7 201 401 ---- 6/6/3/0/0 0/0 rid=AC120001858A-1F90-6ADFAB9A258-112C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34128 [26/Oct/2026:19:35:54.563] public api/api2 0/0/0/44/44 201 401 ---- 5/5/2/2/0 0/0 rid=AC1200018550-1F90-6ADFAB9A233-1125-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34182 [26/Oct/2026:19:35:54.587] public api/api2 0/0/0/21/21 201 401 ---- 4/4/1/1/0 0/0 rid=AC1200018586-1F90-6ADFAB9A24B-112B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34142 [26/Oct/2026:19:35:54.564] public api/api2 0/0/0/45/45 201 401 ---- 3/3/0/0/0 0/0 rid=AC120001855E-1F90-6ADFAB9A234-1127-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34198 [26/Oct/2026:19:35:54.614] public api/api1 0/0/0/14/14 201 401 ---- 8/8/6/2/0 0/0 rid=AC1200018596-1F90-6ADFAB9A25F-112E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34230 [26/Oct/2026:19:35:54.621] public api/api1 0/0/0/10/11 201 401 ---- 7/7/5/1/0 0/0 rid=AC12000185B6-1F90-6ADFAB9A26A-1130-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34242 [26/Oct/2026:19:35:54.622] public api/api1 0/0/0/9/9 201 401 ---- 6/6/4/0/0 0/0 rid=AC12000185C2-1F90-6ADFAB9A26E-1132-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34270 [26/Oct/2026:19:35:54.638] public api/api1 0/0/0/6/7 201 401 ---- 8/8/6/1/0 0/0 rid=AC12000185DE-1F90-6ADFAB9A27D-1134-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34266 [26/Oct/2026:19:35:54.640] public api/api1 0/0/0/6/6 201 401 ---- 7/7/5/0/0 0/0 rid=AC12000185DA-1F90-6ADFAB9A26E-1136-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34278 [26/Oct/2026:19:35:54.656] public api/api1 0/0/0/5/5 201 401 ---- 8/8/6/0/0 0/0 rid=AC12000185E6-1F90-6ADFAB9A27F-1138-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34302 [26/Oct/2026:19:35:54.686] public api/api1 0/0/0/6/6 201 401 ---- 8/8/7/0/0 0/0 rid=AC12000185FE-1F90-6ADFAB9A299-113A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34282 [26/Oct/2026:19:35:54.639] public api/api2 0/0/0/66/66 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185EA-1F90-6ADFAB9A27F-1135-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34254 [26/Oct/2026:19:35:54.622] public api/api2 0/0/0/83/84 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000185CE-1F90-6ADFAB9A26E-1133-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34294 [26/Oct/2026:19:35:54.671] public api/api2 0/0/0/36/36 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000185F6-1F90-6ADFAB9A28C-1139-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34338 [26/Oct/2026:19:35:54.715] public api/api1 0/0/0/5/5 201 401 ---- 8/8/5/0/0 0/0 rid=AC1200018622-1F90-6ADFAB9A2CB-113C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34346 [26/Oct/2026:19:35:54.734] public api/api1 0/0/1/6/7 201 401 ---- 8/8/7/0/0 0/0 rid=AC120001862A-1F90-6ADFAB9A2CC-113E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34360 [26/Oct/2026:19:35:54.745] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018638-1F90-6ADFAB9A2E9-1140-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34290 [26/Oct/2026:19:35:54.652] public api/api2 0/0/0/56/123 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185F2-1F90-6ADFAB9A28C-1137-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34192 [26/Oct/2026:19:35:54.609] public api/api2 0/0/0/171/172 201 401 ---- 8/8/7/6/0 0/0 rid=AC1200018590-1F90-6ADFAB9A25E-112D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34240 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/159/160 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000185C0-1F90-6ADFAB9A26C-1131-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34214 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/160/161 201 401 ---- 6/6/5/4/0 0/0 rid=AC12000185A6-1F90-6ADFAB9A269-112F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34312 [26/Oct/2026:19:35:54.698] public api/api2 0/0/0/87/87 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018608-1F90-6ADFAB9A2BA-113B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34374 [26/Oct/2026:19:35:54.779] public api/api1 0/0/0/8/8 201 401 ---- 4/4/3/0/0 0/0 rid=AC1200018646-1F90-6ADFAB9A30B-1142-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34364 [26/Oct/2026:19:35:54.755] public api/api2 0/0/0/35/35 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001863C-1F90-6ADFAB9A2F3-1141-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34326 [26/Oct/2026:19:35:54.734] public api/api2 0/0/0/59/59 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018616-1F90-6ADFAB9A2CB-113F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34354 [26/Oct/2026:19:35:54.725] public api/api2 0/0/0/68/68 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018632-1F90-6ADFAB9A2D5-113D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34384 [26/Oct/2026:19:35:54.801] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC1200018650-1F90-6ADFAB9A31B-1144-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34426 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/15/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC120001867A-1F90-6ADFAB9A322-1148-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34392 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018658-1F90-6ADFAB9A31D-1146-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34440 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 5/5/4/0/0 0/0 rid=AC1200018688-1F90-6ADFAB9A322-114A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34390 [26/Oct/2026:19:35:54.799] public api/api2 0/0/1/18/20 201 401 ---- 4/4/3/3/0 0/0 rid=AC1200018656-1F90-6ADFAB9A31C-1143-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34382 [26/Oct/2026:19:35:54.801] public api/api2 0/0/0/18/18 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001864E-1F90-6ADFAB9A31B-1145-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34408 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/17/17 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018668-1F90-6ADFAB9A322-1147-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34422 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/18/18 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018676-1F90-6ADFAB9A322-1149-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34462 [26/Oct/2026:19:35:54.837] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC120001869E-1F90-6ADFAB9A344-114E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34508 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC12000186CC-1F90-6ADFAB9A346-1152-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34450 [26/Oct/2026:19:35:54.834] public api/api1 0/0/0/20/20 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018692-1F90-6ADFAB9A33F-114C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34490 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/17 201 401 ---- 5/5/4/0/0 0/0 rid=AC12000186BA-1F90-6ADFAB9A346-1150-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34534 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/10/10 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186E6-1F90-6ADFAB9A361-1156-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34530 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/12/12 201 401 ---- 7/7/6/0/0 0/0 rid=AC12000186E2-1F90-6ADFAB9A361-1155-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34446 [26/Oct/2026:19:35:54.834] public api/api2 0/0/0/59/59 201 401 ---- 8/8/6/6/0 0/0 rid=AC120001868E-1F90-6ADFAB9A337-114B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34458 [26/Oct/2026:19:35:54.836] public api/api2 0/0/0/62/62 201 401 ---- 8/8/6/5/0 0/0 rid=AC120001869A-1F90-6ADFAB9A343-114D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34538 [26/Oct/2026:19:35:54.897] public api/api1 0/0/1/8/9 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186EA-1F90-6ADFAB9A372-1158-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34478 [26/Oct/2026:19:35:54.837] public api/api2 0/0/0/71/71 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000186AE-1F90-6ADFAB9A345-114F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34570 [26/Oct/2026:19:35:54.904] public api/api1 0/0/0/9/9 201 401 ---- 8/8/5/0/0 0/0 rid=AC120001870A-1F90-6ADFAB9A388-115A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34594 [26/Oct/2026:19:35:54.934] public api/api1 0/0/1/5/6 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018722-1F90-6ADFAB9A391-115D-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34498 [26/Oct/2026:19:35:54.838] public api/api2 0/0/0/71/136 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000186C2-1F90-6ADFAB9A346-1151-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34522 [26/Oct/2026:19:35:54.856] public api/api2 0/0/0/121/121 201 401 ---- 5/5/4/4/0 0/0 rid=AC12000186DA-1F90-6ADFAB9A358-1153-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34536 [26/Oct/2026:19:35:54.882] public api/api2 0/0/0/96/96 201 401 ---- 4/4/3/3/0 0/0 rid=AC12000186E8-1F90-6ADFAB9A372-1157-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34528 [26/Oct/2026:19:35:54.865] public api/api2 0/0/0/114/115 201 401 ---- 3/3/2/2/0 0/0 rid=AC12000186E0-1F90-6ADFAB9A361-1154-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34556 [26/Oct/2026:19:35:54.899] public api/api2 0/0/0/86/86 201 401 ---- 2/2/1/1/0 0/0 rid=AC12000186FC-1F90-6ADFAB9A383-1159-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34586 [26/Oct/2026:19:35:54.934] public api/api2 0/0/1/51/53 201 401 ---- 1/1/0/0/0 0/0 rid=AC120001871A-1F90-6ADFAB9A391-115C-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.093,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 4367,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 145.117,
|
||||
"successful_latency_ms": {
|
||||
"p50": 32.0,
|
||||
"p95": 157.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
# 2026-10-26 19:35:55 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.4s
|
||||
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.093,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 4367,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 145.117,
|
||||
"successful_latency_ms": {
|
||||
"p50": 32.0,
|
||||
"p95": 157.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
# 2026-10-26 19:35:57 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab3-api-6 19.92% 89.26MiB / 256MiB 34.87%
|
||||
messenger-lab3-api-5 0.67% 89.33MiB / 256MiB 34.89%
|
||||
messenger-lab3-lb-1 0.14% 14.34MiB / 128MiB 11.20%
|
||||
messenger-lab3-postgres-1 11.42% 68.96MiB / 512MiB 13.47%
|
||||
messenger-lab3-redis-1 2.36% 4.148MiB / 96MiB 4.32%
|
||||
|
||||
@@ -0,0 +1,26 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
|
||||
## 1. Реплика не готова, пока схема не мигрирована; migrate однократный, повтор — no-op; две копии одновременно — advisory lock
|
||||
$ # реплика против ПУСТОЙ БД, миграции ещё не выполнялись (RUN_MIGRATIONS_ON_START=false)
|
||||
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready
|
||||
{"error":{"code":"unavailable","message":"Database schema is not migrated","request_id":"1f3109e3-a934-4c1b-bfbd-22350e35e05d"}} 503
|
||||
$ psql -c "select to_regclass('schema_migrations')"
|
||||
NULL
|
||||
$ python -m src.migrate # = сервис migrate (one-shot)
|
||||
applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
$ python -m src.migrate # повтор: no-op
|
||||
schema is up to date; nothing applied
|
||||
$ # две копии migrate одновременно (advisory lock) на ещё одной пустой БД
|
||||
NOTICE: database "messenger_race" does not exist, skipping
|
||||
copy A: schema is up to date; nothing applied
|
||||
copy B: applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
schema_migrations rows: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready # та же реплика, без рестарта
|
||||
{"status":"ok"} 200
|
||||
|
||||
## 2. Совместимость миграции 003 со старой версией (rolling update): код lab2 работает на схеме lab3 одновременно с репликами lab3
|
||||
$ # старая версия: код lab2 (без Idempotency-Key/X-Instance-Id) против БД, мигрированной до 003
|
||||
migrations applied at startup: none
|
||||
$ cd lab2 && python tests/smoke.py --base-url http://127.0.0.1:18098 # контракт lab2
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
$ cd lab3 && python tests/smoke.py --base-url http://127.0.0.1:8080 # одновременно реплики lab3 за LB
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,24 @@
|
||||
# 2026-10-26 19:35:10 UTC | Persistence: контейнеры до | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab3-api-5 Up 31 seconds (healthy) 32 seconds ago
|
||||
messenger-lab3-api-6 Up 21 seconds (healthy) 22 seconds ago
|
||||
messenger-lab3-lb-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
messenger-lab3-migrate-1 Exited (0) 4 minutes ago 44 minutes ago
|
||||
messenger-lab3-postgres-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
messenger-lab3-redis-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
# 2026-10-26 19:35:24 UTC | Persistence: make test-persistence | exit 0 | 14.1s
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:35:24 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab3-api-5 Up 7 seconds (healthy) 46 seconds ago
|
||||
messenger-lab3-api-6 Up 7 seconds (healthy) 36 seconds ago
|
||||
messenger-lab3-lb-1 Up Less than a second (health: starting) 44 minutes ago
|
||||
messenger-lab3-migrate-1 Exited (0) 5 minutes ago 44 minutes ago
|
||||
messenger-lab3-postgres-1 Up 7 seconds (healthy) 44 minutes ago
|
||||
messenger-lab3-redis-1 Up 7 seconds (healthy) 44 minutes ago
|
||||
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 27.69,
|
||||
"replicas_before": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
],
|
||||
"replicas_after": [
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1342,
|
||||
"ok": 1342,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 267.5,
|
||||
"write_ok_rps": 159.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 32.7,
|
||||
"requests": 6993,
|
||||
"ok": 6993,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 252.6,
|
||||
"write_ok_rps": 149.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 140.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3",
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 32.7,
|
||||
"to_s": 40.77,
|
||||
"requests": 2045,
|
||||
"ok": 2045,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 253.6,
|
||||
"write_ok_rps": 152.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.02,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
11.42,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.23,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
14.77,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.16,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.72,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.66,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 6166,
|
||||
"stored_messages": 6166,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 28.38,
|
||||
"replicas_before": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"replicas_after": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1161,
|
||||
"ok": 1161,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 232.2,
|
||||
"write_ok_rps": 136.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 33.38,
|
||||
"requests": 6950,
|
||||
"ok": 6950,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 244.9,
|
||||
"write_ok_rps": 145.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 156.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"a21409fffeec",
|
||||
"b6e350f043f3",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 33.38,
|
||||
"to_s": 41.41,
|
||||
"requests": 2008,
|
||||
"ok": 2008,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 250.0,
|
||||
"write_ok_rps": 147.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.5,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.73,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.25,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.28,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.73,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.34,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 5981,
|
||||
"stored_messages": 5981,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-10-26 19:34:26 UTC | Rolling update lab3 -> lab3.1 под нагрузкой | exit 0 | 44.1s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
|
||||
replicas before: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
2026-10-26T19:33:48.176Z rolling-update: start; replicas=2 old=['c4c5ae5b0949', 'a21409fffeec']
|
||||
2026-10-26T19:33:51.770Z rolling-update: images built in 3.6s (tag lab3.1)
|
||||
2026-10-26T19:33:53.990Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-10-26T19:34:04.788Z rolling-update: step 1/2 new=6e2f0c643449 (messenger-api:lab3.1, ready+UP in 6.8s) replaced old=c4c5ae5b0949 (graceful stop 3.8s)
|
||||
2026-10-26T19:34:15.884Z rolling-update: step 2/2 new=b6e350f043f3 (messenger-api:lab3.1, ready+UP in 6.7s) replaced old=a21409fffeec (graceful stop 4.3s)
|
||||
2026-10-26T19:34:16.330Z rolling-update: done in 28.1s; replicas now ['6e2f0c643449', 'b6e350f043f3']
|
||||
update 28.4s rc=0 | replicas ['a21409fffeec', 'c4c5ae5b0949'] -> ['6e2f0c643449', 'b6e350f043f3'] | errors during update 0 (-) | RPS before 232.2, during 244.9, after 250.0 | p95 during 93.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
# 2026-10-26 19:35:09 UTC | Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой | exit 0 | 43.4s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
|
||||
replicas before: ['6e2f0c643449', 'b6e350f043f3']
|
||||
2026-10-26T19:34:32.642Z rolling-update: start; replicas=2 old=['6e2f0c643449', 'b6e350f043f3']
|
||||
2026-10-26T19:34:35.497Z rolling-update: images built in 2.9s (tag lab3)
|
||||
2026-10-26T19:34:37.818Z rolling-update: migrations once in 2.3s: schema is up to date; nothing applied
|
||||
2026-10-26T19:34:48.605Z rolling-update: step 1/2 new=c38982836a1d (messenger-api:lab3, ready+UP in 7.0s) replaced old=6e2f0c643449 (graceful stop 3.7s)
|
||||
2026-10-26T19:34:59.414Z rolling-update: step 2/2 new=ecaa2acc2a0a (messenger-api:lab3, ready+UP in 6.8s) replaced old=b6e350f043f3 (graceful stop 3.9s)
|
||||
2026-10-26T19:34:59.817Z rolling-update: done in 27.4s; replicas now ['c38982836a1d', 'ecaa2acc2a0a']
|
||||
update 27.7s rc=0 | replicas ['6e2f0c643449', 'b6e350f043f3'] -> ['c38982836a1d', 'ecaa2acc2a0a'] | errors during update 0 (-) | RPS before 267.5, during 252.6, after 253.6 | p95 during 78.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
|
||||
# 2026-10-26 19:35:09 UTC | Реплики после обновлений | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c38982836a1d messenger-lab3-api-5 running healthy messenger-api:lab3 api2 UP
|
||||
ecaa2acc2a0a messenger-lab3-api-6 running healthy messenger-api:lab3 api3 UP
|
||||
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
|
||||
# Настройки: HAProxy inter 1s / fastinter 500ms / fall 2 / rise 2 / timeout check 1.5s; API DRAIN_SECONDS=3, GRACEFUL_TIMEOUT_SECONDS=10
|
||||
# graceful stop timeline, t=0 — начало наблюдения; интервал опроса 50 мс
|
||||
+0.02s (от SIGTERM -0.48s) LB api3: UP
|
||||
+0.02s (от SIGTERM -0.48s) nat-api-3 /health/ready -> 200
|
||||
+0.50s (от SIGTERM -0.00s) SIGTERM -> nat-api-3 (pid 3196)
|
||||
+0.51s (от SIGTERM +0.01s) nat-api-3 /health/ready -> 503
|
||||
+1.26s (от SIGTERM +0.76s) LB api3: UP 1/2
|
||||
+1.80s (от SIGTERM +1.30s) LB api3: DOWN
|
||||
+3.52s (от SIGTERM +3.02s) nat-api-3 /health/ready -> connection refused
|
||||
+3.62s (от SIGTERM +3.12s) nat-api-3 process exited
|
||||
|
||||
# лог реплики:
|
||||
2026-10-24 15:39:19,576 INFO messenger.server signal 15: instance nat-api-3 draining for 3.0s (readiness=503), then graceful stop
|
||||
2026-10-24 15:39:22,580 INFO uvicorn.error Shutting down
|
||||
2026-10-24 15:39:22,681 INFO messenger.api shutdown: instance=nat-api-3 closing pool
|
||||
2026-10-24 15:39:22,682 INFO uvicorn.error Finished server process [3196]
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-10-26 19:30:00 UTC | Публичный smoke | exit 0 | 0.9s
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,33 @@
|
||||
# 2026-10-26 19:29:57 UTC | Стенд: контейнеры | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab3-api-1 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 12 minutes (healthy) 8080/tcp
|
||||
messenger-lab3-api-2 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 13 minutes (healthy) 8080/tcp
|
||||
messenger-lab3-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 39 minutes ago Up 13 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m src.migra…" migrate 39 minutes ago Exited (0) 13 minutes ago
|
||||
messenger-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 39 minutes ago Up 13 minutes (healthy) 5432/tcp
|
||||
messenger-lab3-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 39 minutes ago Up 13 minutes (healthy) 6379/tcp
|
||||
# 2026-10-26 19:29:57 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:29:59 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab3-lb-1 1.87% 12.87MiB / 128MiB 10.06%
|
||||
messenger-lab3-api-2 16.79% 204.4MiB / 256MiB 79.86%
|
||||
messenger-lab3-api-1 0.31% 222.9MiB / 256MiB 87.07%
|
||||
messenger-lab3-postgres-1 2.23% 58.11MiB / 512MiB 11.35%
|
||||
messenger-lab3-redis-1 0.22% 4.559MiB / 96MiB 4.75%
|
||||
|
||||
# 2026-10-26 19:29:59 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
|
||||
SERVICE PORTS
|
||||
api 8080/tcp
|
||||
api 8080/tcp
|
||||
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
postgres 5432/tcp
|
||||
redis 6379/tcp
|
||||
|
||||
@@ -0,0 +1,134 @@
|
||||
# 2026-10-26 19:30:06 UTC | Собственные тесты (HTTP через LB) | exit 0 | 6.2s
|
||||
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests) ... ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 47 tests in 4.640s
|
||||
|
||||
OK (skipped=13)
|
||||
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# 2026-10-26 19:30:14 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.5s
|
||||
$ python scripts/ops.py in-network storage
|
||||
Container messenger-lab3-api-run-bdc116a8fd34 Creating
|
||||
Container messenger-lab3-api-run-bdc116a8fd34 Created
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.223s
|
||||
|
||||
OK
|
||||
Container messenger-lab3-api-run-630b208e9588 Creating
|
||||
Container messenger-lab3-api-run-630b208e9588 Created
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.864s
|
||||
|
||||
OK
|
||||
|
||||
# 2026-10-26 19:30:27 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 13.7s
|
||||
$ python scripts/ops.py in-network expiry
|
||||
Container messenger-lab3-redis-1 Running
|
||||
Container messenger-lab3-postgres-1 Running
|
||||
Container messenger-lab3-api-1 Running
|
||||
Container messenger-lab3-api-2 Running
|
||||
Container messenger-lab3-api-short-ttl-1 Creating
|
||||
Container messenger-lab3-api-short-ttl-1 Created
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Starting
|
||||
Container messenger-lab3-migrate-1 Started
|
||||
Container messenger-lab3-migrate-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-redis-1 Waiting
|
||||
Container messenger-lab3-redis-1 Healthy
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Exited
|
||||
Container messenger-lab3-api-2 Waiting
|
||||
Container messenger-lab3-api-1 Waiting
|
||||
Container messenger-lab3-api-2 Healthy
|
||||
Container messenger-lab3-api-1 Healthy
|
||||
Container messenger-lab3-api-short-ttl-1 Starting
|
||||
Container messenger-lab3-api-short-ttl-1 Started
|
||||
Container messenger-lab3-api-run-a36baf72714e Creating
|
||||
Container messenger-lab3-api-run-a36baf72714e Created
|
||||
ready: http://api-short-ttl:8080/health/ready
|
||||
Container messenger-lab3-api-run-c445a7ef00cd Creating
|
||||
Container messenger-lab3-api-run-c445a7ef00cd Created
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 1 test in 3.620s
|
||||
|
||||
OK
|
||||
|
||||
@@ -0,0 +1,273 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
> Перенесено из корня репозитория lab4 при переходе на lab5 без изменений по существу. Пути `evidence/...` в этом файле указывают на `docs/lab4/evidence/`. Отчёт lab5 — [REPORT.md](../../REPORT.md).
|
||||
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0, **boto3 1.35.99**, **Pillow 11.1.0**; PostgreSQL 16.4, Redis 7.4.1, HAProxy 2.8.30, **SeaweedFS 4.50**. Документация: Amazon S3 (PutObject, Content-MD5, ListObjectsV2), SeaweedFS wiki (Amazon S3 API, S3 credentials/identities, `weed server`), спецификация PNG (ISO/IEC 15948: чанки, CRC, Adam7), JPEG (ITU T.81: маркеры SOF/SOS/EOI), Pillow (`Image.open`, `draft`), glibc `mallopt` (MALLOC_ARENA_MAX, MALLOC_MMAP_THRESHOLD_). Помощь ИИ (Claude) — при проектировании схемы согласованности БД/S3, проверки изображений, тестов, экспериментов и при написании отчёта.
|
||||
|
||||
Решения lab3 (балансировщик, реплики, идемпотентность, drain, rolling update) перенесены без изменений семантики; их отчёт и доказательства сохранены в [docs/lab3/REPORT.md](../lab3/REPORT.md).
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`; **`chrislusf/seaweedfs:4.50`** (тег задаётся `SEAWEEDFS_VERSION` в `.env`, не `latest`). Нужны Docker Engine / Docker Desktop с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Оркестрация — **Compose + HAProxy** (Swarm не используется).
|
||||
|
||||
```sh
|
||||
# 1. Секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
|
||||
python scripts/init_secrets.py # + 4 файла S3-ключей и secrets/s3_config.json
|
||||
cp .env.example .env # Windows: copy .env.example .env
|
||||
|
||||
# 2. Сборка и запуск: postgres+redis -> migrate; s3 -> s3-init (bucket) -> api x2 -> lb
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
|
||||
# 3. Готовность: 2 реплики healthy и UP в HAProxy; S3 реально пишет/читает
|
||||
python scripts/ops.py wait
|
||||
python scripts/ops.py wait-s3
|
||||
python scripts/ops.py ps
|
||||
```
|
||||
|
||||
Прогрев: первая сборка 1–3 мин, далее стенд готов за ~30–40 с (healthcheck PostgreSQL и SeaweedFS, миграции, bootstrap бакета, `start_period` API, `rise 2` в HAProxy).
|
||||
|
||||
```sh
|
||||
# Публичные проверки
|
||||
python scripts/check_contract.py
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.sh # Windows: scripts\restart.cmd
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.sh # Windows: scripts\stop-one.cmd
|
||||
python scripts/ops.py restore # вернуть реплику, затем failover повторить для второй
|
||||
|
||||
# Собственные проверки уровня 4 (lab4)
|
||||
python student-tests/run_all.py --base-url http://localhost:8080 # lab2-3 + test_attachments.py (17 тестов)
|
||||
python scripts/ops.py in-network consistency # БД<->S3: сборщик, сироты, обрыв загрузки, внедрённые отказы
|
||||
python scripts/ops.py s3-check # приватный бакет вне API, права ключей, закрытые админ-порты
|
||||
python scripts/ops.py reconcile # сверка БД<->S3, dry-run (--apply — исправить)
|
||||
python student-tests/s3_outage.py --output evidence/s3_outage.json
|
||||
python student-tests/upload_memory.py --concurrency 10 --docker --output evidence/upload_memory_c10.json
|
||||
|
||||
# Всё перечисленное (и проверки lab3) одной командой с записью в evidence/:
|
||||
python scripts/collect_evidence.py # ~12–15 мин; --quick ~7–8 мин
|
||||
```
|
||||
|
||||
**Остановка.** Безопасная (данные PostgreSQL и S3 сохраняются): `docker compose --env-file .env --profile ttl --profile faults down`. Намеренное удаление всех учебных данных (volumes `pgdata`, `s3data`) — только вручную: `docker compose --env-file .env --profile ttl --profile faults down -v`. Hooks и тесты volumes не удаляют.
|
||||
|
||||
**Действия оператора.** Создать секреты до первого запуска (пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` существующие файлы не перезаписывает; S3-ключи не связаны с данными и могут быть заменены — см. docstring скрипта). После `stop-one` вернуть реплику `python scripts/ops.py restore`. Если тег `chrislusf/seaweedfs:4.50` недоступен в вашем registry-зеркале, укажите соседний проверенный тег в `SEAWEEDFS_VERSION`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```
|
||||
127.0.0.1:8080 (единственная публичная точка входа)
|
||||
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки /health/ready
|
||||
│ POST .../attachments: timeout server 90 s, остальное 10 s
|
||||
▼ сеть backend
|
||||
┌──────── api x2 (read-only rootfs, tmpfs /tmp 16m, 0.5 CPU / 320M) ────────┐
|
||||
│ загрузка: поток -> лимит 10 MiB -> проверка PNG/JPEG -> [1] pending в БД │
|
||||
│ -> [2] S3 PUT (Content-MD5) -> [3] ready в БД -> 201 │
|
||||
│ скачивание: проверка членства -> поток из S3 (64 KiB) -> клиент │
|
||||
│ фон: сборщик pending/сирот (advisory lock, одна реплика за раз) │
|
||||
└──────┬───────────────────────┬────────────────────────────┬───────────────┘
|
||||
▼ backend ▼ backend ▼ storage (internal: true)
|
||||
postgres 16 (pgdata) redis 7 (кэш сессий) s3: SeaweedFS 4.50 (s3data)
|
||||
users, chats, messages, только S3 API :8333 в сети storage;
|
||||
sessions, idempotency_keys, master/filer/volume UI — 127.0.0.1
|
||||
attachments, message_attachments внутри контейнера; без анонимов
|
||||
▲ ▲
|
||||
migrate (one-shot) s3-init (one-shot, admin-ключи):
|
||||
бакет + проверки прав и приватности
|
||||
```
|
||||
|
||||
Порядок старта: `postgres`, `redis` (healthy) → `migrate`; `s3` (healthy) → `s3-init` (оба `service_completed_successfully`) → `api` (healthy) → `lb`.
|
||||
|
||||
**Источник истины.** PostgreSQL — для всех метаданных, включая вложения (владелец, чат, имя, тип, размер, SHA-256, размеры в пикселях, ключ объекта, состояние). Байты оригинала — только в приватном бакете `messenger-attachments`. На API нет ни volume, ни каталога для файлов: rootfs read-only, `/tmp` — tmpfs 16 MiB (тело загрузки держится в памяти процесса до записи в S3, не на диске; `python scripts/ops.py api-fs`).
|
||||
|
||||
### Выбор S3-сервера: SeaweedFS
|
||||
|
||||
MinIO с осени 2025 г. не публикует community-образы и бинарники для свежих релизов, а консоль администратора у него встроена в тот же процесс. SeaweedFS (Apache-2.0): версия закрепляется тегом, S3-identities с правами на конкретный бакет задаются статическим JSON-конфигом (`-s3.config`), а все административные HTTP-интерфейсы (master 9333, filer 8888, volume 8080) привязываются к 127.0.0.1 внутри контейнера (`-ip.bind=127.0.0.1`), наружу в сеть `storage` выставлен только S3 (`-s3.ip.bind=0.0.0.0`). Встроенный IAM API отключён (`-s3.iam=false`), автосоздание бакетов — тоже (`-s3.autoCreateBucket=false`).
|
||||
|
||||
| Роль | Сервис | Образ | Health/readiness | Volume | Сеть / порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| LB | `lb` | haproxy:2.8.30-alpine | `/lb-health`; бэкенды по `/health/ready` | — | backend; 127.0.0.1:8080, :8404 | — |
|
||||
| API ×2 | `api` | сборка `Dockerfile` | `/health/ready` (PostgreSQL + схема) | нет (read-only) | backend + storage; без ports | secrets: database_url, cache_url, s3_access_key_id, s3_secret_access_key |
|
||||
| БД | `postgres` | postgres:16.4-alpine | `pg_isready` | `pgdata` | backend | postgres_password |
|
||||
| Кэш сессий | `redis` | redis:7.4.1-alpine | `redis-cli ping` | нет (только кэш) | backend | redis_password |
|
||||
| S3 | `s3` | chrislusf/seaweedfs:4.50 | `wget /healthz` (+ `ops.py wait-s3`) | `s3data` | storage (internal); только :8333 | secret s3_config (identities) |
|
||||
| Миграции | `migrate` | сборка | one-shot | — | backend | database_url |
|
||||
| Bucket bootstrap | `s3-init` | сборка | one-shot | — | storage | admin + api S3-ключи |
|
||||
| Тестовые отказы | `api-fault-*` (профиль `faults`) | образ API | `/health/ready` | — | backend + storage | как у api |
|
||||
|
||||
### Модель данных (`migrations/004_attachments.sql`)
|
||||
|
||||
- `attachments(id, chat_id, owner_id, filename, content_type, size_bytes, sha256, width, height, object_key UNIQUE, state pending|ready, created_at, updated_at)`. CHECK-ограничения повторяют контракт: имя 1–255, тип png/jpeg, размер 1..10 485 760, `width*height ≤ 40 000 000`, sha256 в нижнем регистре.
|
||||
- `object_key = "originals/" + случайный UUID`. Он **не** совпадает с `id` вложения, не содержит `filename` и не раскрывается в API.
|
||||
- `message_attachments(message_id, attachment_id, chat_id, position)`: порядок `attachment_ids` сохраняется. **Составные внешние ключи** `(message_id, chat_id) → messages(id, chat_id)` и `(attachment_id, chat_id) → attachments(id, chat_id)` на уровне БД запрещают привязать файл чужого чата. `ON DELETE RESTRICT` не даёт удалить вложение, на которое ссылается сообщение.
|
||||
- `messages_text_len` расширен до 0..4000: `text=""` допустим только вместе с вложениями (проверяет API). Миграция только расширяющая — реплики lab3 работают на новой схеме (rolling update).
|
||||
|
||||
### Загрузка, `201` и границы транзакций
|
||||
|
||||
`POST /api/v1/chats/{id}/attachments?filename=…` (сырые bytes, `src/main.py`):
|
||||
|
||||
1. Дешёвые проверки до чтения тела: аутентификация → `filename` (400) → `Content-Type` только `image/png|image/jpeg` (415) → `Content-Length > 10 MiB` → 413 без чтения → членство в чате (404) → слот загрузки (`MAX_CONCURRENT_UPLOADS=4` на реплику; ожидание ≤ 5 с, иначе 503 + `Retry-After`).
|
||||
2. Тело читается потоком; как только счётчик превысил 10 MiB — 413 (и для chunked без `Content-Length`). Остаток тела (до 10 MiB) дочитывается в никуда, чтобы клиент получил 413, а не обрыв. Общий дедлайн приёма — `UPLOAD_READ_TIMEOUT_SECONDS=60` (медленный клиент → 400). Обрыв клиентом → ничего не записано.
|
||||
3. Проверка содержимого (`src/images.py`, ≤ 2 одновременных на реплику):
|
||||
- сигнатура PNG/JPEG; **сигнатура должна совпасть с заявленным Content-Type** (подмена MIME → 415);
|
||||
- размеры из IHDR / SOFn **до** распаковки: > 40 Мп → 413 (pixel bomb 8000×6000 размером ~50 КБ отклоняется за миллисекунды);
|
||||
- PNG: все CRC, порядок IHDR…IDAT…IEND, допустимые bit depth/color type, **потоковая распаковка zlib с выводом кусками по 64 KiB «в никуда»**: объём должен в точности совпасть с ожидаемым (с учётом Adam7). Так обнаруживаются обрезанные и испорченные данные, а zip-бомба обрывается, как только вывод превысил ожидание; память O(64 KiB) при любом размере картинки;
|
||||
- JPEG: обход маркеров (длины сегментов, SOF до SOS, обязательный EOI → обрезанный файл = 415). Baseline дополнительно декодируется Pillow в режиме `draft` (1/8 масштаба). Progressive Pillow не декодирует: libjpeg держит коэффициенты всего кадра, замер — **119 MiB** на 39.7 Мп против **4.9 MiB** у baseline;
|
||||
- независимый парсер Pillow должен увидеть тот же формат и размеры.
|
||||
4. `[1]` `INSERT attachments … state='pending'` (с проверкой членства в том же операторе) — **COMMIT до S3**.
|
||||
5. `[2]` S3 `PutObject` с `Content-MD5` (S3 сам отклоняет повреждённую передачу — BadDigest; проверено) и `x-amz-meta-sha256`.
|
||||
6. `[3]` `UPDATE … SET state='ready' WHERE id=… AND state='pending'` — **COMMIT** → `201 Attachment {status: ready, variants: [], error_code: null}`.
|
||||
|
||||
**Когда честно вернуть 201:** только после шага `[3]`. Байты к этому моменту записаны в S3 (PUT подтверждён с проверкой MD5), а метаданные зафиксированы в PostgreSQL. Ответ 201 до любого из этих событий означал бы, что «готовое» вложение может не скачаться.
|
||||
|
||||
**S3 PUT прошёл, а COMMIT `[3]` — нет.** Остаются строка `pending` (не видна в API, прикрепить нельзя) и объект. При ошибке БД API сразу компенсирует: удаляет объект и пытается удалить строку, клиент получает 503. Если процесс умер (компенсации нет), строку и объект уберёт сборщик после grace period. Обе ветки проверены внедрением отказа (`api-fault-db`, `api-fault-crash`).
|
||||
|
||||
### Согласованность БД и S3: компенсация + сборщик (`src/reconcile.py`)
|
||||
|
||||
Главный инвариант: **ключ объекта записан в БД раньше, чем объект появится в бакете.** Поэтому объект без строки может появиться только после того, как строку удалили. Ключ одноразовый, удалённая строка не возрождается.
|
||||
|
||||
| Ситуация | Кто исправляет | Как |
|
||||
| --- | --- | --- |
|
||||
| Ошибка S3 в `[2]` | запрос | DELETE своей pending-строки, 503 |
|
||||
| Ошибка БД в `[3]` | запрос | DELETE объекта (+ попытка DELETE строки), 503 |
|
||||
| Процесс умер между `[1]`/`[2]`/`[3]`, обрыв, сеть | сборщик, проход A | pending старше grace: **сначала** `DELETE … WHERE state='pending' RETURNING object_key` (атомарный захват; если запрос успел `[3]`, строка уже ready и не трогается), **потом** DELETE объекта |
|
||||
| Объект без строки (сбой удаления в A, ручная запись) | сборщик, проход B | листинг `originals/` страницами; нет строки **и** `LastModified` старше grace → повторная проверка → DELETE |
|
||||
| ready-строка без объекта | только отчёт (C) | байты не восстановить; авто-удаление метаданных опасно — `missing_objects` в отчёте |
|
||||
|
||||
- **Grace period** `ATTACHMENT_GC_GRACE_SECONDS=900` (минимум 300, конфиг меньше не примет). Это намного больше самой долгой загрузки: чтение ≤ 60 с + проверка + S3 PUT (connect 2 с + read 10 с) × 2 попытки ≈ 90 с. Если загрузка всё же переживёт grace, `[3]` вернёт 0 строк → API удалит свой объект и ответит 503.
|
||||
- **Свежие и используемые вложения не удаляются:** сборщик трогает только `pending` старше grace. ready-строки не удаляет никогда, а на используемые ещё и стоит FK RESTRICT. Тесты: `test_fresh_pending_is_kept`, `test_ready_and_referenced_are_never_collected` (прямой `DELETE` получает ForeignKeyViolation), `test_pending_cannot_be_attached`.
|
||||
- Фоновый проход A — каждые 300 с, полный обход бакета B — раз в час. Выполняет одна реплика за раз (`pg_try_advisory_lock`). Ручной запуск: `python scripts/ops.py reconcile` (**dry-run** по умолчанию, ничего не меняет) и `… reconcile --apply`. Повторный `--apply` — no-op (проверено). Стоимость обхода на стенде: 238 объектов — 0.036 с (листинг + один `SELECT … = ANY` на страницу из 1000 ключей).
|
||||
|
||||
### Ограничение памяти и потоковая обработка
|
||||
|
||||
- Лимит байт применяется **во время** чтения (на 10 MiB + 1 байт). В памяти одной загрузки — тело (≤ 10 MiB) + кратковременно куски до склейки. Проверка PNG — O(64 KiB), JPEG baseline — ≤ ~5 MiB. Тело уходит в S3 как `BytesIO` поверх тех же bytes, без копии.
|
||||
- Одновременно на реплику ≤ 4 загрузки (`MAX_CONCURRENT_UPLOADS`). Остальные ждут слот ≤ 5 с **до чтения тела**, поэтому их байты не накапливаются в памяти. Скачивание идёт потоком из S3 кусками по 64 KiB (`StreamingResponse`), без буферизации файла.
|
||||
- Найдено и исправлено замерами (см. «Эксперименты»): `zlib.unconsumed_tail` копировал остаток IDAT на каждом шаге (пик 2× файла и квадратичное копирование), а botocore склеивал заголовки с телом `bytes` в один буфер. В образе также настроен glibc malloc (`MALLOC_ARENA_MAX=2`, фиксированный порог mmap 1 MiB), чтобы большие буферы возвращались ОС сразу.
|
||||
|
||||
### Безопасность бакета и ключей
|
||||
|
||||
- **Bootstrap идемпотентен** (`src/s3_bootstrap.py`, сервис `s3-init`): `CreateBucket` → `BucketAlreadyOwnedByYou` считается успехом (`evidence/sandbox/s3_bootstrap.txt`: повторный запуск — `already exists (idempotent no-op)`). После создания бакета s3-init проверяет права ключей и приватность; при нарушении он завершается с ошибкой, и API не стартует.
|
||||
- **Отдельные ключи API** (`messenger_api`) имеют только `Read/Write/List` на `messenger-attachments`. `CreateBucket`/`DeleteBucket` → AccessDenied. Admin-ключи (`bootstrap_admin`) смонтированы только в `s3-init`. Identity `anonymous` не объявлена.
|
||||
- **Проверка приватности вне API** (`python scripts/ops.py s3-check`): из сети `storage`, без подписи, к S3 напрямую. Анонимный GET реального объекта последнего вложения → 403, анонимный листинг бакета и списка бакетов → 403. Тот же объект с ключами API → 200 и совпадающий SHA-256.
|
||||
- **Админ-консоль не открыта в общей сети:** порты 9333/8888/8080/19333/18888 с адреса `s3` закрыты (проверка в том же скрипте). Сеть `storage` — `internal: true`. LB в неё не входит, порты S3 на хост не публикуются.
|
||||
- **Случайный ключ и приватный бакет не заменяют ACL приложения:** доступ к `GET /attachments/{id}` и `/content` проверяется по членству в чате на каждый запрос (посторонний → 404 без раскрытия существования). Download идёт через API без redirect и без подписанных URL. Ответ содержит `X-Content-Type-Options: nosniff`, `Cache-Control: private, no-store`, `Content-Disposition` с безопасно закодированным именем.
|
||||
|
||||
### Недоступность S3 и readiness
|
||||
|
||||
S3 **не входит** в readiness: если бы реплики при падении S3 становились not-ready, LB вывел бы обе, и вместе с файлами пропали бы чат и вход. Вместо этого файловые операции быстро отвечают `503 unavailable` + `Retry-After` (таймауты клиента S3: connect 2 с, read 10 с, ≤ 2 попытки), а всё остальное работает. Критичные зависимости readiness — по-прежнему PostgreSQL и мигрированная схема.
|
||||
|
||||
Таймауты boto3 не покрывают DNS: в Docker остановленный контейнер `s3` пропадает из DNS, и разрешение имени висит секундами. В первом прогоне на Docker Desktop загрузка ждала 12–13 с, а скачивание превысило `timeout server` HAProxy (10 с) и получило **504 от LB** вместо 503. Исправление (`src/main.py`, `s3_call`; `src/objectstore.py`, `CircuitBreaker`):
|
||||
- у каждого вызова S3 из запроса есть общий дедлайн: скачивание 5 с, загрузка 10 с;
|
||||
- после отказа circuit breaker 5 с сразу отвечает 503, затем делает одну пробную попытку;
|
||||
- у API в compose `dns_opt: timeout:1, attempts:1`.
|
||||
|
||||
Проверено на худшем случае — S3, который принимает соединение и молчит: upload 503 за 10.0 с, download 503 за 5.0 с (`evidence/sandbox/s3_outage_hang.json`). При S3, который сразу отказывает: 1.8–2.3 с и 0.01 с (breaker открыт).
|
||||
|
||||
**Особенность SeaweedFS после рестарта** (замер): `/healthz` отвечает сразу, но первые операции блокируются. Первое чтение после рестарта шло ~15 с, первая запись ~29 с: выборы Raft-лидера (`electionTimeout` 10 с), затем heartbeat volume-сервера. С `-master.electionTimeout=2s` первая запись — ~19 с. Поэтому restart-hook и `ops.py wait-s3` ждут **реальной** готовности: проба put/get/delete и чтение существующего объекта, каждая операция < 2 с (`s3_bootstrap.py --wait-ready`); на стенде готовность наступала через 14.5–17.1 с. Штатная остановка SeaweedFS длится ~22 с, поэтому `stop_grace_period: 10s` (как у Docker по умолчанию) и затем SIGKILL. Подтверждённые записи к этому моменту уже в page cache ОС; тест сохранности после такого рестарта проходит.
|
||||
|
||||
### Что перенесено из lab3 и что изменено
|
||||
|
||||
Перенесены без изменения семантики: всё API lab2–3, HAProxy-конфигурация (обнаружение реплик через DNS, drain, `retries`/`redispatch`), идемпотентность, миграции one-shot, rolling update, hooks и собственные тесты lab2–3 (47 HTTP-тестов + 12 тестов хранилища проходят на lab4).
|
||||
|
||||
Изменено в lab4:
|
||||
|
||||
1. Переход контракта 3 → 4: поля `attachment_ids` в запросе и ответе сообщения (отсутствие = `[]` и для отпечатка идемпотентности; порядок значим), три новых endpoint.
|
||||
2. Сервисы `s3`, `s3-init`, volume `s3data`, сеть `storage`; секреты S3; профиль `faults`.
|
||||
3. HAProxy: для `POST …/attachments` — `timeout server 90s` (`http-request set-timeout`), остальным запросам — прежние 10 с.
|
||||
4. Лимит памяти API 256M → 320M (4 загрузки по 10 MiB, замер ниже); glibc malloc tuning в `Dockerfile`.
|
||||
5. `scripts/ops.py`: restart включает S3 и ждёт его прогрева; новые `wait-s3`, `s3-check`, `reconcile`, `api-fs`, `in-network consistency`. `collect_evidence.py` дополнен проверками lab4.
|
||||
|
||||
### Соответствие `.env.example` и реальной конфигурации
|
||||
|
||||
Переменные lab3 — без изменений (см. [docs/lab3/REPORT.md](../lab3/REPORT.md)). Новые:
|
||||
|
||||
| Переменная | Значение | Где используется |
|
||||
| --- | --- | --- |
|
||||
| `SEAWEEDFS_VERSION` | 4.50 | тег образа `s3` |
|
||||
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | http://s3:8333, us-east-1, messenger-attachments | api, s3-init, `src/config.py` |
|
||||
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | /run/secrets/… | ключи API (compose secrets) |
|
||||
| `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS`, `S3_MAX_ATTEMPTS` | 2, 10, 2 | `src/objectstore.py` |
|
||||
| `S3_DOWNLOAD_DEADLINE_SECONDS`, `S3_UPLOAD_DEADLINE_SECONDS`, `S3_CIRCUIT_OPEN_SECONDS` | 5, 10, 5 | общий бюджет вызова S3 (вкл. DNS), circuit breaker |
|
||||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | 10485760, 40000000 | не выше контракта (иначе API не стартует) |
|
||||
| `MAX_CONCURRENT_UPLOADS`, `UPLOAD_QUEUE_TIMEOUT_SECONDS` | 4, 5 | слоты загрузки на реплику |
|
||||
| `UPLOAD_READ_TIMEOUT_SECONDS` | 60 | дедлайн приёма тела |
|
||||
| `IMAGE_DECODE_CONCURRENCY` | 2 | разборов изображения на реплику |
|
||||
| `ATTACHMENT_GC_INTERVAL_SECONDS`, `ATTACHMENT_GC_GRACE_SECONDS`, `ORPHAN_SWEEP_INTERVAL_SECONDS` | 300, 900, 3600 | `src/reconcile.py` |
|
||||
| `FAULT_INJECTION` | пусто | только сервисы `api-fault-*` |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
**Где получены результаты.** Код проверен на стенде из тех же компонентов, запущенных нативными процессами: PostgreSQL 16, Redis 7, SeaweedFS 4.50 (тот же бинарник, те же флаги), HAProxy 2.8.30 с этим `haproxy.cfg` (статические серверы вместо DNS-шаблона) и 2 реплики API. Среда: Windows 10, Ryzen 5 7500f, 32 GB, Python 3.12, без cgroup-лимитов. Результаты — в `evidence/`.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | PASS: файл → сообщение с attachment_ids → download Бобом, SHA-256 совпал, Ева 404 | evidence/sandbox/smoke.txt; evidence/smoke.txt |
|
||||
| Возможности lab3 сохранены | `run_all.py`, `in-network storage`, failover, persistence | 47 HTTP + 12 DB-тестов lab2–3 OK; failover/persistence PASS | evidence/sandbox/student-tests.txt |
|
||||
| S3 в общем стенде; метаданные в PostgreSQL, байты в приватном бакете | `compose.yaml`, `ops.py api-fs`, `s3-check` | API без volumes, read-only rootfs; объекты только в `s3data` | evidence/s3_private.txt |
|
||||
| 201 ready после сохранения; оригинал побайтно | `test_png_roundtrip…`, `test_exactly_max_size_is_accepted` | 201, `status=ready`, `variants=[]`; SHA-256 и Content-Length совпадают (вкл. ровно 10 485 760 байт) | evidence/sandbox/student-tests.txt |
|
||||
| Message с attachment_ids, посторонний без доступа | smoke, `test_message_with_attachments…` | порядок id сохранён; Ева: 404 на метаданные и bytes | там же |
|
||||
| PNG/JPEG ≤10 MiB, ≤40 Мп; MIME по содержимому; опасные имена; лимиты до распаковки | `test_too_large_*`, `test_too_many_pixels`, `test_mime_spoofing_is_415`, `test_dangerous_filenames_are_400` | 413/413/415/400; 48 Мп файл 50 КБ → 413 без распаковки | там же |
|
||||
| Upload → стоп обслужившей реплики → download через другую | `make test-failover` ×2 | PASS, 138–139 записей, 0 ошибок; файл скачан после остановки | evidence/sandbox/failover.txt |
|
||||
| Restart стенда сохраняет метаданные и оригинал | `make test-persistence` | PASS; сменились PID PostgreSQL, SeaweedFS и обеих реплик; файл скачан со старым токеном | evidence/sandbox/persistence.txt |
|
||||
| Недоступность S3, чужой чат, restart | `s3_outage.py`; `test_attachment_from_other_chat…`; persistence | 503 за 1.0–1.7 с, чат работает; 404; PASS | evidence/sandbox/s3_outage.json |
|
||||
|
||||
### Уровень 4
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `student-tests/test_attachments.py` (17 тестов) | 413 (Content-Length и chunked), 415 (обрезанный PNG/JPEG, неверный CRC, неверный объём IDAT, мусор, пустое тело, GIF), 415 (6 подмен MIME), 404 (чужое/неизвестное id, файл другого чата, Ева в своём чате), 400 (12 опасных имён); каждый негативный ответ < 500 в общем формате | evidence/sandbox/student-tests.txt |
|
||||
| Обрыв загрузки и отказ между S3/БД не оставляют вечных объектов; компенсация/сверка с grace | `test_attachment_consistency.py` (10 тестов) в сети стенда | обрыв → 0 строк, 0 объектов; ошибка S3 → 503 + нет строки; ошибка БД после PUT → 503 + объект удалён; **падение процесса после PUT** → pending + объект → сборщик удаляет оба; dry-run ничего не меняет; повтор no-op; свежие/ready/используемые не удаляются | evidence/sandbox/consistency.txt; evidence/consistency.txt |
|
||||
| Лимиты/таймауты/потоковая обработка; ≥10 одновременных загрузок с замером пика | `upload_memory.py --concurrency 10/20` | 10×9.5 MiB ×3 волны: 30/30 201, пик RSS 156–166 MiB на реплику (база 88–95); при 20 одновременных пик тот же (159–162); без лимитера 262–291 MiB | evidence/sandbox/upload_memory_*.json |
|
||||
| Bootstrap идемпотентен | повторный `s3-init` | `already exists (idempotent no-op)`, все проверки ok | evidence/sandbox/s3_bootstrap.txt |
|
||||
| Отдельные S3 credentials с ограниченными правами | `s3_bootstrap` проверки | API-ключи: put/get своего бакета — ok; CreateBucket/DeleteBucket — AccessDenied | evidence/sandbox/s3_private.txt |
|
||||
| Админ-консоль не в общей сети | `ops.py s3-check` | 9333/8888/8080/19333/18888 закрыты, S3 :8333 — единственный | там же |
|
||||
| Private bucket вне API | `ops.py s3-check` | анонимный GET реального объекта → 403, листинг → 403; с ключами API тот же объект → 200, SHA-256 совпал | там же |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Стенд замеров:** Windows 10, Ryzen 5 7500f, 32 GB; все процессы (2 реплики API, HAProxy, PostgreSQL, Redis, SeaweedFS, генератор нагрузки) на одном хосте. Реплика: 1 процесс Uvicorn, threadpool по умолчанию. Файлы — синтетический шум, PNG без сжатия, 9.5 MiB (несжимаемые, проверка проходит по полной программе). Память — VmRSS процесса реплики (опрос каждые 20 мс) и пик RSS, который считает ядро (VmHWM, обнуляется перед прогоном). Загрузки через LB (roundrobin по двум репликам), повторы — волнами.
|
||||
|
||||
**Гипотеза:** пик памяти реплики ≈ база + `MAX_CONCURRENT_UPLOADS` × (~2 × размер файла) и не зависит от числа одновременных клиентов; без лимитера память растёт линейно с конкуренцией.
|
||||
|
||||
| Прогон | Одновременно | Загрузок | 201 / SHA ok | p50 / p95, с | База → пик RSS, MiB (реплика 1 / 2) |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| до исправлений (zlib tail, bytes в botocore) | 10 | 30 | 30 / 30 | 2.01 / 2.29 | 124 → 237 / 124 → 244 |
|
||||
| исправления кода, malloc по умолчанию | 10 | 30 | 30 / 30 | 1.20 / 1.34 | 124 → 187 / 124 → 187 |
|
||||
| + MALLOC_ARENA_MAX=2, mmap ≥ 1 MiB (**итог**) | 10 | 30 | 30 / 30 | 1.32 / 2.07 | 95 → 163 / 95 → 156 (пик ядра VmHWM 166 / 165) |
|
||||
| итог, вдвое больше клиентов | 20 | 40 | 40 / 40 | 2.16 / 3.08 | 115 → 162 / 97 → 159 |
|
||||
| лимитер выключен (`MAX_CONCURRENT_UPLOADS=64`) | 20 | 40 | 40 / 40 | 2.90 / 3.03 | 88 → 262 / 89 → 291 |
|
||||
|
||||
Вывод: гипотеза подтверждена. Прирост ~61–72 MiB ≈ 4 слота × 2 × 9.5 MiB. При удвоении клиентов пик не растёт (лишние ждут слот, их тело ещё не прочитано), растёт только задержка. Без лимитера пик +170–200 MiB при той же пропускной способности: при лимите 256 MiB контейнер был бы убит OOM. Поэтому лимит API — 320M, запас ~155 MiB. Микрозамеры (tracemalloc, 9.5 MiB PNG): проверка 19 MiB → 1.5 MiB и 0.17 → 0.06 с; `put_object(bytes)` 25 MiB → `BytesIO` 0.1 MiB. Ограничения: один хост и общий CPU для клиента и сервера; RSS не включает page cache; в Docker тот же скрипт (`--docker`) читает VmHWM процесса API внутри контейнера, `docker stats` и cgroup `memory.peak`.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| SIGTERM обслужившей реплики (public failover ×2) | записи идут через другую, файл скачивается | 138/139 записей, 0 ошибок, файл совпал | первая запись после hook ≤ 4.5 с (hook ждёт drain 3 с); потерь нет |
|
||||
| Каждая реплика по очереди под нагрузкой (`failover_series.py`) | 0 ошибок, LB DOWN < 2 с | DOWN 1.30 / 1.53 с, 0 ошибок, RPS 318 → 239 / 283 → 243 | возврат в ротацию 2.9 / 3.1 с; данные целы |
|
||||
| Рестарт API + PostgreSQL + Redis + S3 + LB | данные, сессия и файл сохранены | PASS, PID всех процессов сменились | ~38 с hook (из них прогрев S3 16 с); потерь нет |
|
||||
| Остановка S3 | файлы → 503 быстро, остальное работает | upload 503 за 1.0–1.7 с, download 503 за 1.0 с, readiness 200, сообщения 201 | после старта S3 прогрев 17 с; старый файл побайтно цел |
|
||||
| S3 «висит» (принимает соединение, не отвечает) | 503 в пределах дедлайна, не 504 | upload 503 за 10.0 с, download 503 за 5.0 с | прогрев 16 с; старый файл цел |
|
||||
| Ошибка S3 PUT (`api-fault-s3`) | 503, строки нет | 503, 0 строк | сразу |
|
||||
| Ошибка БД после PUT (`api-fault-db`) | 503, объект удалён | 503, 0 строк, число объектов не изменилось | сразу |
|
||||
| Падение процесса после PUT (`api-fault-crash`) | pending + объект, убирает сборщик | 1 pending + объект → после grace (сдвинутого в тесте) 0 / 0 | ≤ grace + интервал (900 + 300 с по умолчанию) |
|
||||
| Обрыв клиентом на 0.2 из 5 MiB | ничего не записано | 0 строк, объектов столько же | сразу |
|
||||
| Нагрузка lab3 (`tests/load.py`, 20 с, c=4) | без регрессии | 276 RPS, 0 ошибок, p50/p95/p99 13/24/33 мс | — |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- Один Docker-host, один PostgreSQL, один процесс SeaweedFS без репликации: отказ host/БД/S3 не переживается. S3 недоступен → файловые операции 503 (остальное работает). Восстановление S3 занимает 15–30 с прогрева.
|
||||
- Тело загрузки держится в памяти процесса (≤ 10 MiB × 4 слота). Это ограничено и измерено, но не «настоящий» стриминг в S3. Следующий шаг — multipart upload кусками по 5 MiB с проверкой по частям или presigned upload (трек 1).
|
||||
- Progressive JPEG проверяется структурно (маркеры, EOI), без декодирования пикселей: экономия ~115 MiB на 40 Мп. Испорченные энтропийные данные внутри структурно целого progressive-файла не обнаруживаются (их увидит lab5 при создании thumbnail → `failed`).
|
||||
- `missing_objects` (ready без байтов) сборщик только сообщает; решение о судьбе метаданных — за оператором.
|
||||
- Ключи идемпотентности, созданные репликой lab3 до обновления, имели отпечаток без `attachment_ids`; повтор такого ключа на lab4 даст 409 (окно 24 ч после rolling update).
|
||||
- SIGKILL SeaweedFS через 10 с при остановке: безопасно для подтверждённых записей при живом ядре ОС, не при потере питания.
|
||||
- Docker-прогон (`collect_evidence.py`) выполняется на машине студента. Нативный прогон подтверждает код, HAProxy-конфиг и флаги SeaweedFS, но не compose-обвязку.
|
||||
|
||||
## Вопросы защиты — кратко
|
||||
|
||||
- **Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?** Volume привязан к одному контейнеру и host. Другая реплика его не видит, поэтому после остановки загрузившей реплики файл недоступен (тест failover это и проверяет). У volume нет общего API доступа, ключей с правами и проверки целостности (Content-MD5), он не масштабируется независимо от API, а с read-only rootfs его пришлось бы ещё и открывать на запись. S3 — общий сервис с собственными ACL, его читают все реплики.
|
||||
- **Когда можно честно вернуть 201?** Только после того, как S3 подтвердил PUT (с проверкой MD5) **и** COMMIT перевёл строку в `ready`. Раньше — нельзя: «готовое» вложение могло бы не скачаться.
|
||||
- **S3 PUT прошёл, COMMIT — нет?** Остаются невидимая pending-строка и объект. Ошибку БД API компенсирует сам (удаляет объект, 503). Если процесс умер, сборщик после grace сначала атомарно удаляет pending-строку, потом объект. Объект без строки убирает проход по бакету. Строка всегда создаётся раньше объекта, поэтому «вечных» объектов нет.
|
||||
- **Почему случайный ключ и приватный бакет не заменяют ACL приложения?** Приватный бакет защищает от анонимного доступа к S3, но клиенты в него и не ходят: все запросы идут через API с ключами API, которые читают **любой** объект бакета. Кто из пользователей что может скачать, знает только приложение (членство в чате). Случайный ключ — защита «неугадываемостью»: он может утечь (лог, ссылка), а доступ после выхода из чата или для чужого пользователя он не ограничивает. Поэтому каждый запрос проверяет членство и отвечает 404 постороннему.
|
||||
@@ -0,0 +1,11 @@
|
||||
# Доказательства
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
## Что лежит здесь (lab4)
|
||||
|
||||
- `sandbox/` — результаты, полученные при разработке на стенде из тех же компонентов, запущенных нативными процессами (PostgreSQL 16, Redis 7, SeaweedFS 4.50, HAProxy 2.8.30, 2 реплики API; без Docker). Как получены — REPORT.md, раздел «Доказательства критериев».
|
||||
- Остальные файлы создаёт `python scripts/collect_evidence.py` на compose-стенде (сводка — `SUMMARY.txt`). Токены и пароли в файлы не пишутся.
|
||||
- Доказательства lab3 сохранены в `docs/lab3/evidence/`.
|
||||
@@ -0,0 +1,46 @@
|
||||
# 2026-11-04 14:12:25 UTC
|
||||
OK Контракт (offline) evidence/check.txt
|
||||
OK Compose config evidence/check.txt
|
||||
OK Стенд: контейнеры evidence/stand.txt
|
||||
OK Стенд: реплики и статус в LB evidence/stand.txt
|
||||
OK Стенд: лимиты CPU/RAM evidence/stand.txt
|
||||
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
|
||||
OK Образ SeaweedFS (закреплённая версия) evidence/stand.txt
|
||||
OK S3 bootstrap: лог первого запуска s3-init evidence/s3_bootstrap.txt
|
||||
OK S3 bootstrap: повторный запуск (идемпотентность) evidence/s3_bootstrap.txt
|
||||
OK Публичный smoke evidence/smoke.txt
|
||||
OK Собственные тесты (HTTP через LB, включая test_attachments.py) evidence/student-tests.txt
|
||||
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
|
||||
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
|
||||
OK Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) evidence/consistency.txt
|
||||
OK Сверка БД <-> S3 (dry-run) evidence/reconcile.txt
|
||||
OK Приватный бакет вне API, права ключей, закрытые админ-порты evidence/s3_private.txt
|
||||
OK На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes evidence/s3_private.txt
|
||||
OK API: файлы в /tmp (tmpfs) после загрузок evidence/s3_private.txt
|
||||
OK Пик памяти: 10 одновременных загрузок по 9.5 MiB evidence/upload_memory.txt
|
||||
OK Пик памяти: 20 одновременных загрузок evidence/upload_memory.txt
|
||||
OK Failover #1: реплики до evidence/failover.txt
|
||||
OK Failover #1: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #1: restore evidence/failover.txt
|
||||
OK Failover #2: реплики до evidence/failover.txt
|
||||
OK Failover #2: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #2: restore evidence/failover.txt
|
||||
OK Failover #3: реплики до evidence/failover.txt
|
||||
OK Failover #3: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #3: restore evidence/failover.txt
|
||||
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
|
||||
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
|
||||
OK Недоступность S3 и восстановление evidence/s3_outage.txt
|
||||
OK Rolling update lab4 -> lab4.1 под нагрузкой evidence/rolling_update.txt
|
||||
OK Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой evidence/rolling_update.txt
|
||||
OK Реплики после обновлений evidence/rolling_update.txt
|
||||
OK Persistence: контейнеры до evidence/persistence.txt
|
||||
OK Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) evidence/persistence.txt
|
||||
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
|
||||
OK Persistence: сверка БД <-> S3 после рестарта evidence/persistence.txt
|
||||
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
|
||||
OK CPU/RAM после нагрузки evidence/load.txt
|
||||
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-11-04 14:03:55 UTC | Контракт (offline) | exit 0 | 0.1s
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-11-04 14:03:55 UTC | Compose config | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
|
||||
@@ -0,0 +1,75 @@
|
||||
# 2026-11-04 14:04:49 UTC | Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) | exit 0 | 15.8s
|
||||
$ python scripts/ops.py in-network consistency
|
||||
Container messenger-lab4-redis-1 Running
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-postgres-1 Running
|
||||
Container messenger-lab4-api-1 Running
|
||||
Container messenger-lab4-api-2 Running
|
||||
Container messenger-lab4-api-fault-s3-1 Creating
|
||||
Container messenger-lab4-api-fault-db-1 Creating
|
||||
Container messenger-lab4-api-fault-crash-1 Creating
|
||||
Container messenger-lab4-api-fault-db-1 Created
|
||||
Container messenger-lab4-api-fault-s3-1 Created
|
||||
Container messenger-lab4-api-fault-crash-1 Created
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-s3-init-1 Starting
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-s3-init-1 Started
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-s3-init-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-redis-1 Waiting
|
||||
Container messenger-lab4-redis-1 Healthy
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-s3-init-1 Exited
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-fault-crash-1 Starting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-fault-s3-1 Starting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-fault-db-1 Starting
|
||||
Container messenger-lab4-api-fault-crash-1 Started
|
||||
Container messenger-lab4-api-fault-s3-1 Started
|
||||
Container messenger-lab4-api-fault-db-1 Started
|
||||
Container messenger-lab4-api-run-46322fbc844a Creating
|
||||
Container messenger-lab4-api-run-46322fbc844a Created
|
||||
ready: http://api-fault-s3:8080/health/ready
|
||||
Container messenger-lab4-api-run-ff8a88e550db Creating
|
||||
Container messenger-lab4-api-run-ff8a88e550db Created
|
||||
ready: http://api-fault-db:8080/health/ready
|
||||
Container messenger-lab4-api-run-476fc515a8f0 Creating
|
||||
Container messenger-lab4-api-run-476fc515a8f0 Created
|
||||
ready: http://api-fault-crash:8080/health/ready
|
||||
Container messenger-lab4-api-run-9b2dce8846fe Creating
|
||||
Container messenger-lab4-api-run-9b2dce8846fe Created
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... /usr/local/lib/python3.12/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
|
||||
datetime_now = datetime.datetime.utcnow()
|
||||
ok
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 10 tests in 4.224s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,66 @@
|
||||
# 2026-11-04 14:05:30 UTC | Failover #1: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
# 2026-11-04 14:05:46 UTC | Failover #1: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.187}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:05:46 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
|
||||
|
||||
# 2026-11-04 14:05:52 UTC | Failover #1: restore | exit 0 | 6.3s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-04T14:05:52.981Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.2s
|
||||
|
||||
# 2026-11-04 14:05:53 UTC | Failover #2: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:06:09 UTC | Failover #2: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 123, "failed_attempts": 0, "first_recovery_seconds": 4.203}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:06:09 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 exited unhealthy messenger-api:lab4 - -
|
||||
|
||||
# 2026-11-04 14:06:16 UTC | Failover #2: restore | exit 0 | 6.6s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-04T14:06:16.514Z restore: started ['messenger-lab4-api-2']; 2 replicas healthy and UP in LB after 6.5s
|
||||
|
||||
# 2026-11-04 14:06:16 UTC | Failover #3: реплики до | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:06:33 UTC | Failover #3: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.3s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.203}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:06:33 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 exited unhealthy messenger-api:lab4 - -
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:06:40 UTC | Failover #3: restore | exit 0 | 6.7s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-04T14:06:40.028Z restore: started ['messenger-lab4-api-1']; 2 replicas healthy and UP in LB after 6.6s
|
||||
|
||||
# остановленные публичным тестом реплики: ['4fc3ad11e268', '4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "4fc3ad11e268",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.12,
|
||||
"lb_detect_down_seconds": 1.56,
|
||||
"target_last_served_after_stop_seconds": 1.56,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.62,
|
||||
"lb_back_up_seconds": 1.28,
|
||||
"target_back_in_rotation_seconds": 7.62,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1155,
|
||||
"ok": 1155,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 231.0,
|
||||
"write_ok_rps": 137.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 125.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1010,
|
||||
"ok": 1010,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 101.0,
|
||||
"write_ok_rps": 61.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 588,
|
||||
"ok": 588,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 117.6,
|
||||
"write_ok_rps": 43.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 219.0
|
||||
},
|
||||
"instances": [
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.92,
|
||||
"requests": 1531,
|
||||
"ok": 1531,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 140.2,
|
||||
"write_ok_rps": 82.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 110.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.56,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.28,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.61,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.17,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2426,
|
||||
"stored_messages": 2426,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c9fab9c9e2c1",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.83,
|
||||
"lb_detect_down_seconds": 1.55,
|
||||
"target_last_served_after_stop_seconds": 1.39,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.0,
|
||||
"lb_back_up_seconds": 1.62,
|
||||
"target_back_in_rotation_seconds": 6.99,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1015,
|
||||
"ok": 1015,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 203.0,
|
||||
"write_ok_rps": 121.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 172.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 833,
|
||||
"ok": 833,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 83.3,
|
||||
"write_ok_rps": 49.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 371,
|
||||
"ok": 371,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 74.2,
|
||||
"write_ok_rps": 44.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 93.0,
|
||||
"p95": 187.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.27,
|
||||
"requests": 1496,
|
||||
"ok": 1496,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 145.7,
|
||||
"write_ok_rps": 86.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.55,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.62,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.58,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2215,
|
||||
"stored_messages": 2215,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-04 14:07:43 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 63.4s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
|
||||
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
-- stopping 4fc3ad11e268 (mode=stop) under load
|
||||
hook 4.12s | LB DOWN after 1.56 s | errors 0 (-) | RPS before 231.0, outage 101.0, after restore 140.2 | p95 outage 110.0 ms | back in rotation 7.62 s | data ok=True
|
||||
-- stopping c9fab9c9e2c1 (mode=stop) under load
|
||||
hook 4.83s | LB DOWN after 1.55 s | errors 0 (-) | RPS before 203.0, outage 83.3, after restore 145.7 | p95 outage 187.0 ms | back in rotation 6.99 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
# 2026-11-04 14:08:46 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 62.7s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
|
||||
replicas observed through LB: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
-- stopping 4fc3ad11e268 (mode=kill) under load
|
||||
hook 1.09s | LB DOWN after 1.97 s | errors 6 (502) | RPS before 244.2, outage 77.1, after restore 119.5 | p95 outage 187.0 ms | back in rotation 7.52 s | data ok=True
|
||||
-- stopping c9fab9c9e2c1 (mode=kill) under load
|
||||
hook 1.14s | LB DOWN after 2.59 s | errors 6 (502) | RPS before 186.8, outage 82.9, after restore 134.8 | p95 outage 188.0 ms | back in rotation 6.83 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
|
||||
@@ -0,0 +1,298 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "4fc3ad11e268",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.09,
|
||||
"lb_detect_down_seconds": 1.97,
|
||||
"target_last_served_after_stop_seconds": 0.47,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 6,
|
||||
"error_kinds": [
|
||||
"502"
|
||||
],
|
||||
"error_window_seconds": 0.56,
|
||||
"restore_hook_seconds": 7.53,
|
||||
"lb_back_up_seconds": 2.0,
|
||||
"target_back_in_rotation_seconds": 7.52,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1221,
|
||||
"ok": 1221,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 244.2,
|
||||
"write_ok_rps": 145.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 777,
|
||||
"ok": 771,
|
||||
"errors": 6,
|
||||
"error_ratio": 0.0077,
|
||||
"ok_rps": 77.1,
|
||||
"write_ok_rps": 40.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 63.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1015.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 565,
|
||||
"ok": 565,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 113.0,
|
||||
"write_ok_rps": 44.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 281.0
|
||||
},
|
||||
"instances": [
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.84,
|
||||
"requests": 1296,
|
||||
"ok": 1296,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 119.5,
|
||||
"write_ok_rps": 68.1,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 172.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.97,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.45,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.97,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2100,
|
||||
"stored_messages": 2100,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 4,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c9fab9c9e2c1",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.14,
|
||||
"lb_detect_down_seconds": 2.59,
|
||||
"target_last_served_after_stop_seconds": 0.51,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 6,
|
||||
"error_kinds": [
|
||||
"502"
|
||||
],
|
||||
"error_window_seconds": 0.59,
|
||||
"restore_hook_seconds": 6.83,
|
||||
"lb_back_up_seconds": 1.61,
|
||||
"target_back_in_rotation_seconds": 6.83,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 934,
|
||||
"ok": 934,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 186.8,
|
||||
"write_ok_rps": 111.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 835,
|
||||
"ok": 829,
|
||||
"errors": 6,
|
||||
"error_ratio": 0.0072,
|
||||
"ok_rps": 82.9,
|
||||
"write_ok_rps": 40.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 32.0,
|
||||
"p95": 188.0,
|
||||
"p99": 1000.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 541,
|
||||
"ok": 541,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 108.2,
|
||||
"write_ok_rps": 37.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 203.0,
|
||||
"p99": 282.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.16,
|
||||
"requests": 1369,
|
||||
"ok": 1369,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 134.8,
|
||||
"write_ok_rps": 77.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.59,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.61,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.95,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.53,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 1941,
|
||||
"stored_messages": 1941,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 4,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# 2026-11-04 14:04:00 UTC | одна сессия, 20 запросов GET /users/me через LB
|
||||
1 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001993A-1F90-6AEB3B50162-0571-0008
|
||||
2 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019944-1F90-6AEB3B50169-0572-0008
|
||||
3 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001994A-1F90-6AEB3B5017C-0573-0008
|
||||
4 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019958-1F90-6AEB3B50199-0574-0008
|
||||
5 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001995E-1F90-6AEB3B5019C-0575-0008
|
||||
6 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019960-1F90-6AEB3B501B7-0576-0008
|
||||
7 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019966-1F90-6AEB3B501C6-0577-0008
|
||||
8 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019974-1F90-6AEB3B501C9-0578-0008
|
||||
9 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019978-1F90-6AEB3B501E5-0579-0008
|
||||
10 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019980-1F90-6AEB3B501F4-057A-0008
|
||||
11 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019984-1F90-6AEB3B50205-057B-0008
|
||||
12 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC1200019988-1F90-6AEB3B50209-057C-0008
|
||||
13 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC1200019998-1F90-6AEB3B5020C-057D-0008
|
||||
14 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC120001999C-1F90-6AEB3B50223-057E-0008
|
||||
15 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC120001999E-1F90-6AEB3B50226-057F-0008
|
||||
16 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199AE-1F90-6AEB3B50241-0580-0008
|
||||
17 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199BA-1F90-6AEB3B50245-0581-0008
|
||||
18 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199CA-1F90-6AEB3B50260-0582-0008
|
||||
19 200 X-Instance-Id=4fc3ad11e268 X-Request-Id=AC12000199D2-1F90-6AEB3B50263-0584-0008
|
||||
20 200 X-Instance-Id=c9fab9c9e2c1 X-Request-Id=AC12000199DE-1F90-6AEB3B50266-0585-0008
|
||||
разных реплик: 2
|
||||
@@ -0,0 +1,62 @@
|
||||
# 2026-11-04 14:12:25 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env logs --no-color --tail 60 lb
|
||||
lb-1 | 172.18.0.1:56696 [04/Nov/2026:14:12:22.325] public api/api2 0/0/0/11/11 201 421 ---- 8/8/7/2/0 0/0 rid=AC120001DD78-1F90-6AEB3D46145-0F07-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56712 [04/Nov/2026:14:12:22.328] public api/api2 0/0/0/10/11 201 421 ---- 8/8/6/1/0 0/0 rid=AC120001DD88-1F90-6AEB3D46148-0F09-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56732 [04/Nov/2026:14:12:22.330] public api/api2 0/0/0/9/9 201 421 ---- 7/7/5/0/0 0/0 rid=AC120001DD9C-1F90-6AEB3D4614A-0F0B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56746 [04/Nov/2026:14:12:22.340] public api/api2 0/0/0/6/6 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DDAA-1F90-6AEB3D46154-0F0D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56734 [04/Nov/2026:14:12:22.349] public api/api2 0/0/1/6/7 201 421 ---- 8/8/6/0/0 0/0 rid=AC120001DD9E-1F90-6AEB3D46152-0F0F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56764 [04/Nov/2026:14:12:22.365] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDBC-1F90-6AEB3D4615C-0F11-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56666 [04/Nov/2026:14:12:22.308] public api/api1 0/0/0/88/89 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD5A-1F90-6AEB3D46134-0F04-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56788 [04/Nov/2026:14:12:22.398] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDD4-1F90-6AEB3D4618E-0F13-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56688 [04/Nov/2026:14:12:22.324] public api/api1 0/0/0/84/85 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD70-1F90-6AEB3D46144-0F06-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56802 [04/Nov/2026:14:12:22.410] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE2-1F90-6AEB3D4619A-0F15-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56698 [04/Nov/2026:14:12:22.325] public api/api1 0/0/0/99/100 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DD7A-1F90-6AEB3D46145-0F08-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56808 [04/Nov/2026:14:12:22.427] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DDE8-1F90-6AEB3D461AB-0F17-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56748 [04/Nov/2026:14:12:22.341] public api/api1 0/0/0/156/157 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DDAC-1F90-6AEB3D46155-0F0E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56768 [04/Nov/2026:14:12:22.358] public api/api1 0/0/0/140/140 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DDC0-1F90-6AEB3D46166-0F10-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56784 [04/Nov/2026:14:12:22.395] public api/api1 0/0/0/103/104 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DDD0-1F90-6AEB3D46174-0F12-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56678 [04/Nov/2026:14:12:22.334] public api/api1 0/0/1/164/166 201 421 ---- 8/8/4/4/0 0/0 rid=AC120001DD66-1F90-6AEB3D4613D-0F0C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56728 [04/Nov/2026:14:12:22.328] public api/api1 0/0/0/171/172 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DD98-1F90-6AEB3D46148-0F0A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56800 [04/Nov/2026:14:12:22.406] public api/api1 0/0/0/96/96 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE0-1F90-6AEB3D46196-0F14-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56806 [04/Nov/2026:14:12:22.418] public api/api1 0/0/0/88/88 201 421 ---- 8/8/5/3/0 0/0 rid=AC120001DDE6-1F90-6AEB3D461A2-0F16-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56846 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE0E-1F90-6AEB3D461F5-0F1A-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56856 [04/Nov/2026:14:12:22.501] public api/api2 0/0/0/12/12 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DE18-1F90-6AEB3D461F5-0F1C-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56872 [04/Nov/2026:14:12:22.502] public api/api1 0/0/0/12/12 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DE28-1F90-6AEB3D461F6-0F1D-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56824 [04/Nov/2026:14:12:22.434] public api/api1 0/0/0/84/84 201 421 ---- 8/8/3/2/0 0/0 rid=AC120001DDF8-1F90-6AEB3D461B2-0F18-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56840 [04/Nov/2026:14:12:22.501] public api/api1 0/0/0/17/18 201 421 ---- 7/7/2/1/0 0/0 rid=AC120001DE08-1F90-6AEB3D461F5-0F1B-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56898 [04/Nov/2026:14:12:22.512] public api/api2 0/0/0/6/6 201 421 ---- 6/6/1/0/0 0/0 rid=AC120001DE42-1F90-6AEB3D46200-0F1E-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56860 [04/Nov/2026:14:12:22.518] public api/api2 0/0/1/11/12 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DE1C-1F90-6AEB3D461F6-0F20-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56926 [04/Nov/2026:14:12:22.521] public api/api2 0/0/0/12/12 201 421 ---- 8/8/5/1/0 0/0 rid=AC120001DE5E-1F90-6AEB3D46209-0F24-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56888 [04/Nov/2026:14:12:22.519] public api/api2 0/0/0/14/14 201 421 ---- 7/7/4/0/0 0/0 rid=AC120001DE38-1F90-6AEB3D461FD-0F22-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56874 [04/Nov/2026:14:12:22.519] public api/api1 0/0/0/15/16 201 421 ---- 6/6/5/3/0 0/0 rid=AC120001DE2A-1F90-6AEB3D461F8-0F21-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56916 [04/Nov/2026:14:12:22.520] public api/api1 0/0/0/14/14 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DE54-1F90-6AEB3D46208-0F23-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56904 [04/Nov/2026:14:12:22.516] public api/api1 0/0/0/19/20 201 421 ---- 7/7/5/3/0 0/0 rid=AC120001DE48-1F90-6AEB3D46204-0F1F-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56956 [04/Nov/2026:14:12:22.536] public api/api2 0/0/0/12/12 201 421 ---- 8/8/7/3/0 0/0 rid=AC120001DE7C-1F90-6AEB3D46218-0F2B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56942 [04/Nov/2026:14:12:22.535] public api/api2 0/0/0/15/16 201 421 ---- 8/8/6/2/0 0/0 rid=AC120001DE6E-1F90-6AEB3D46217-0F29-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56930 [04/Nov/2026:14:12:22.534] public api/api2 0/0/0/17/17 201 421 ---- 7/7/5/1/0 0/0 rid=AC120001DE62-1F90-6AEB3D46209-0F27-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56984 [04/Nov/2026:14:12:22.538] public api/api2 0/0/0/15/15 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DE98-1F90-6AEB3D4621A-0F2D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57024 [04/Nov/2026:14:12:22.564] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/1/0 0/0 rid=AC120001DEC0-1F90-6AEB3D4622A-0F30-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56998 [04/Nov/2026:14:12:22.565] public api/api2 0/0/0/8/8 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEA6-1F90-6AEB3D46227-0F2F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57044 [04/Nov/2026:14:12:22.596] public api/api2 0/0/0/6/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DED4-1F90-6AEB3D4623E-0F33-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56934 [04/Nov/2026:14:12:22.533] public api/api1 0/0/0/80/80 201 421 ---- 8/8/7/7/0 0/0 rid=AC120001DE66-1F90-6AEB3D46215-0F26-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57066 [04/Nov/2026:14:12:22.615] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DEEA-1F90-6AEB3D46267-0F35-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56952 [04/Nov/2026:14:12:22.535] public api/api1 0/0/0/88/88 201 421 ---- 8/8/6/6/0 0/0 rid=AC120001DE78-1F90-6AEB3D46217-0F2A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56900 [04/Nov/2026:14:12:22.534] public api/api1 0/0/1/88/90 201 421 ---- 7/7/5/5/0 0/0 rid=AC120001DE44-1F90-6AEB3D46202-0F28-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:56970 [04/Nov/2026:14:12:22.537] public api/api1 0/0/0/87/87 201 421 ---- 6/6/4/4/0 0/0 rid=AC120001DE8A-1F90-6AEB3D46219-0F2C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57018 [04/Nov/2026:14:12:22.565] public api/api1 0/0/0/62/63 201 421 ---- 8/8/6/5/0 0/0 rid=AC120001DEBA-1F90-6AEB3D46229-0F31-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57036 [04/Nov/2026:14:12:22.572] public api/api1 0/0/0/55/55 201 421 ---- 7/7/5/4/0 0/0 rid=AC120001DECC-1F90-6AEB3D4623C-0F32-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57014 [04/Nov/2026:14:12:22.553] public api/api1 0/0/0/74/75 201 421 ---- 6/6/4/3/0 0/0 rid=AC120001DEB6-1F90-6AEB3D46229-0F2E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57052 [04/Nov/2026:14:12:22.604] public api/api1 0/0/0/23/24 201 421 ---- 5/5/3/2/0 0/0 rid=AC120001DEDC-1F90-6AEB3D4625C-0F34-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57114 [04/Nov/2026:14:12:22.626] public api/api2 0/0/0/7/7 201 421 ---- 8/8/5/2/0 0/0 rid=AC120001DF1A-1F90-6AEB3D46272-0F37-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57138 [04/Nov/2026:14:12:22.629] public api/api2 0/0/0/9/9 201 421 ---- 8/8/4/1/0 0/0 rid=AC120001DF32-1F90-6AEB3D46275-0F39-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57142 [04/Nov/2026:14:12:22.630] public api/api2 0/0/0/10/10 201 421 ---- 8/8/4/0/0 0/0 rid=AC120001DF36-1F90-6AEB3D46276-0F3B-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57156 [04/Nov/2026:14:12:22.641] public api/api2 0/0/0/5/5 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF44-1F90-6AEB3D46276-0F3D-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57170 [04/Nov/2026:14:12:22.648] public api/api2 0/0/0/4/4 201 421 ---- 8/8/5/0/0 0/0 rid=AC120001DF52-1F90-6AEB3D46288-0F3F-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57168 [04/Nov/2026:14:12:22.657] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/0/0 0/0 rid=AC120001DF50-1F90-6AEB3D46282-0F41-0008 inst=7d965c2245c9 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57096 [04/Nov/2026:14:12:22.625] public api/api1 0/0/0/86/86 201 421 ---- 7/7/6/6/0 0/0 rid=AC120001DF08-1F90-6AEB3D46271-0F36-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57108 [04/Nov/2026:14:12:22.626] public api/api1 0/0/0/89/89 201 421 ---- 6/6/5/5/0 0/0 rid=AC120001DF14-1F90-6AEB3D46272-0F38-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57160 [04/Nov/2026:14:12:22.656] public api/api1 0/0/0/61/61 201 421 ---- 5/5/4/4/0 0/0 rid=AC120001DF48-1F90-6AEB3D4627B-0F42-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57122 [04/Nov/2026:14:12:22.630] public api/api1 0/0/0/91/91 201 421 ---- 4/4/3/3/0 0/0 rid=AC120001DF22-1F90-6AEB3D46276-0F3A-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57082 [04/Nov/2026:14:12:22.642] public api/api1 0/0/0/81/81 201 421 ---- 3/3/2/2/0 0/0 rid=AC120001DEFA-1F90-6AEB3D4626F-0F3E-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57164 [04/Nov/2026:14:12:22.640] public api/api1 0/0/0/83/83 201 421 ---- 2/2/1/1/0 0/0 rid=AC120001DF4C-1F90-6AEB3D46280-0F3C-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
lb-1 | 172.18.0.1:57180 [04/Nov/2026:14:12:22.654] public api/api1 0/0/0/69/70 201 421 ---- 1/1/0/0/0 0/0 rid=AC120001DF5C-1F90-6AEB3D4628E-0F40-0008 inst=4749f3b4b256 "POST /api/v1/chats/698779cf-d855-4184-b4be-60607d5fd0c8/messages"
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.156,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 3821,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 126.708,
|
||||
"successful_latency_ms": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 266.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-11-04 14:12:22 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.6s
|
||||
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.156,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 3821,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 126.708,
|
||||
"successful_latency_ms": {
|
||||
"p50": 31.0,
|
||||
"p95": 187.0,
|
||||
"p99": 266.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
# 2026-11-04 14:12:24 UTC | CPU/RAM после нагрузки | exit 0 | 2.1s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab4-api-6 17.48% 88.79MiB / 320MiB 27.75%
|
||||
messenger-lab4-api-5 17.67% 89.4MiB / 320MiB 27.94%
|
||||
messenger-lab4-lb-1 2.18% 14.14MiB / 128MiB 11.05%
|
||||
messenger-lab4-postgres-1 0.14% 68.93MiB / 512MiB 13.46%
|
||||
messenger-lab4-redis-1 2.43% 4.82MiB / 96MiB 5.02%
|
||||
messenger-lab4-s3-1 0.31% 97.91MiB / 512MiB 19.12%
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
# 2026-11-04 14:11:03 UTC | Persistence: контейнеры до | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab4-api-5 Up 32 seconds (healthy) 32 seconds ago
|
||||
messenger-lab4-api-6 Up 20 seconds (healthy) 21 seconds ago
|
||||
messenger-lab4-lb-1 Up 11 minutes (healthy) 13 minutes ago
|
||||
messenger-lab4-migrate-1 Exited (0) 6 minutes ago 13 minutes ago
|
||||
messenger-lab4-postgres-1 Up 12 minutes (healthy) 13 minutes ago
|
||||
messenger-lab4-redis-1 Up 12 minutes (healthy) 13 minutes ago
|
||||
messenger-lab4-s3-1 Up About a minute (healthy) 13 minutes ago
|
||||
messenger-lab4-s3-init-1 Exited (0) 6 minutes ago 13 minutes ago
|
||||
# 2026-11-04 14:11:49 UTC | Persistence: make test-persistence (API + PostgreSQL + Redis + S3 + LB) | exit 0 | 45.6s
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-04 14:11:49 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab4-api-5 Up 7 seconds (healthy) About a minute ago
|
||||
messenger-lab4-api-6 Up 7 seconds (healthy) About a minute ago
|
||||
messenger-lab4-lb-1 Up 1 second (health: starting) 14 minutes ago
|
||||
messenger-lab4-migrate-1 Exited (0) 7 minutes ago 14 minutes ago
|
||||
messenger-lab4-postgres-1 Up 38 seconds (healthy) 14 minutes ago
|
||||
messenger-lab4-redis-1 Up 39 seconds (healthy) 14 minutes ago
|
||||
messenger-lab4-s3-1 Up 28 seconds (healthy) 14 minutes ago
|
||||
messenger-lab4-s3-init-1 Exited (0) 7 minutes ago 14 minutes ago
|
||||
|
||||
# 2026-11-04 14:11:52 UTC | Persistence: сверка БД <-> S3 после рестарта | exit 0 | 2.4s
|
||||
$ python scripts/ops.py reconcile
|
||||
Container messenger-lab4-api-run-e029350f1930 Creating
|
||||
Container messenger-lab4-api-run-e029350f1930 Created
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 900,
|
||||
"stale_pending": 0,
|
||||
"stale_pending_ids": [],
|
||||
"objects_listed": 182,
|
||||
"orphan_objects": 0,
|
||||
"orphan_objects_within_grace": 0,
|
||||
"orphan_objects_sample": [],
|
||||
"bucket_scan_seconds": 0.062,
|
||||
"ready_rows": 182,
|
||||
"missing_objects": 0,
|
||||
"missing_object_ids": [],
|
||||
"total_seconds": 0.073
|
||||
}
|
||||
|
||||
@@ -0,0 +1,19 @@
|
||||
# 2026-11-04 14:04:52 UTC | Сверка БД <-> S3 (dry-run) | exit 0 | 2.2s
|
||||
$ python scripts/ops.py reconcile
|
||||
Container messenger-lab4-api-run-fb929425df7f Creating
|
||||
Container messenger-lab4-api-run-fb929425df7f Created
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 900,
|
||||
"stale_pending": 0,
|
||||
"stale_pending_ids": [],
|
||||
"objects_listed": 107,
|
||||
"orphan_objects": 0,
|
||||
"orphan_objects_within_grace": 0,
|
||||
"orphan_objects_sample": [],
|
||||
"bucket_scan_seconds": 0.014,
|
||||
"ready_rows": 107,
|
||||
"missing_objects": 0,
|
||||
"missing_object_ids": [],
|
||||
"total_seconds": 0.025
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 28.28,
|
||||
"replicas_before": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
],
|
||||
"replicas_after": [
|
||||
"4749f3b4b256",
|
||||
"7d965c2245c9"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1026,
|
||||
"ok": 1026,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 205.2,
|
||||
"write_ok_rps": 123.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 157.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 33.28,
|
||||
"requests": 5808,
|
||||
"ok": 5808,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 205.4,
|
||||
"write_ok_rps": 122.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 172.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"4749f3b4b256",
|
||||
"7d965c2245c9",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 33.28,
|
||||
"to_s": 41.34,
|
||||
"requests": 1492,
|
||||
"ok": 1492,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 185.1,
|
||||
"write_ok_rps": 111.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4749f3b4b256",
|
||||
"7d965c2245c9"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
11.78,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.7,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.26,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
18.2,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.8,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.51,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 4970,
|
||||
"stored_messages": 4970,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 29.38,
|
||||
"replicas_before": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"replicas_after": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1180,
|
||||
"ok": 1180,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 236.0,
|
||||
"write_ok_rps": 140.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 125.0
|
||||
},
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 34.38,
|
||||
"requests": 6657,
|
||||
"ok": 6657,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 226.6,
|
||||
"write_ok_rps": 133.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 157.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 34.38,
|
||||
"to_s": 42.45,
|
||||
"requests": 1674,
|
||||
"ok": 1674,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 207.2,
|
||||
"write_ok_rps": 121.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"1c20a55eebeb",
|
||||
"ee285aa5856f"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.44,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
13.16,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.72,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.44,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
26.94,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
31.47,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 5617,
|
||||
"stored_messages": 5617,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-11-04 14:10:19 UTC | Rolling update lab4 -> lab4.1 под нагрузкой | exit 0 | 44.8s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
|
||||
replicas before: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
2026-11-04T14:09:41.527Z rolling-update: start; replicas=2 old=['c9fab9c9e2c1', '4fc3ad11e268']
|
||||
2026-11-04T14:09:45.307Z rolling-update: images built in 3.8s (tag lab4.1)
|
||||
2026-11-04T14:09:47.489Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-11-04T14:09:59.096Z rolling-update: step 1/2 new=1c20a55eebeb (messenger-api:lab4.1, ready+UP in 7.0s) replaced old=c9fab9c9e2c1 (graceful stop 4.4s)
|
||||
2026-11-04T14:10:09.967Z rolling-update: step 2/2 new=ee285aa5856f (messenger-api:lab4.1, ready+UP in 6.6s) replaced old=4fc3ad11e268 (graceful stop 4.0s)
|
||||
2026-11-04T14:10:10.389Z rolling-update: done in 29.1s; replicas now ['1c20a55eebeb', 'ee285aa5856f']
|
||||
update 29.4s rc=0 | replicas ['4fc3ad11e268', 'c9fab9c9e2c1'] -> ['1c20a55eebeb', 'ee285aa5856f'] | errors during update 0 (-) | RPS before 236.0, during 226.6, after 207.2 | p95 during 93.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
# 2026-11-04 14:11:03 UTC | Rolling update обратно lab4.1 -> lab4 (откат) под нагрузкой | exit 0 | 43.8s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
|
||||
replicas before: ['1c20a55eebeb', 'ee285aa5856f']
|
||||
2026-11-04T14:10:26.009Z rolling-update: start; replicas=2 old=['1c20a55eebeb', 'ee285aa5856f']
|
||||
2026-11-04T14:10:28.537Z rolling-update: images built in 2.5s (tag lab4)
|
||||
2026-11-04T14:10:30.771Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-11-04T14:10:42.303Z rolling-update: step 1/2 new=4749f3b4b256 (messenger-api:lab4, ready+UP in 7.2s) replaced old=1c20a55eebeb (graceful stop 4.1s)
|
||||
2026-11-04T14:10:53.630Z rolling-update: step 2/2 new=7d965c2245c9 (messenger-api:lab4, ready+UP in 7.0s) replaced old=ee285aa5856f (graceful stop 4.2s)
|
||||
2026-11-04T14:10:54.052Z rolling-update: done in 28.0s; replicas now ['4749f3b4b256', '7d965c2245c9']
|
||||
update 28.3s rc=0 | replicas ['1c20a55eebeb', 'ee285aa5856f'] -> ['4749f3b4b256', '7d965c2245c9'] | errors during update 0 (-) | RPS before 205.2, during 205.4, after 185.1 | p95 during 94.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
|
||||
# 2026-11-04 14:11:03 UTC | Реплики после обновлений | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4749f3b4b256 messenger-lab4-api-5 running healthy messenger-api:lab4 api2 UP
|
||||
7d965c2245c9 messenger-lab4-api-6 running healthy messenger-api:lab4 api3 UP
|
||||
|
||||
@@ -0,0 +1,225 @@
|
||||
# 2026-11-04 14:03:57 UTC | S3 bootstrap: лог первого запуска s3-init | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env logs --no-color s3-init
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "endpoint_host": "s3",
|
||||
s3-init-1 | "bucket": "messenger-attachments",
|
||||
s3-init-1 | "checks": [
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials: put/get own bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": ""
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous GET object is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list bucket is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "anonymous list buckets is denied",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "HTTP 403"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot create buckets",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "api credentials cannot delete the bucket",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "AccessDenied"
|
||||
s3-init-1 | },
|
||||
s3-init-1 | {
|
||||
s3-init-1 | "check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
s3-init-1 | "ok": true,
|
||||
s3-init-1 | "detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
s3-init-1 | }
|
||||
s3-init-1 | ],
|
||||
s3-init-1 | "bucket_action": "already exists (idempotent no-op)",
|
||||
s3-init-1 | "ok": true
|
||||
s3-init-1 | }
|
||||
# 2026-11-04 14:04:00 UTC | S3 bootstrap: повторный запуск (идемпотентность) | exit 0 | 2.3s
|
||||
$ docker compose --env-file .env run --rm -T s3-init
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-s3-init-run-8fa89d92841c Creating
|
||||
Container messenger-lab4-s3-init-run-8fa89d92841c Created
|
||||
{
|
||||
"endpoint_host": "s3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
}
|
||||
],
|
||||
"bucket_action": "already exists (idempotent no-op)",
|
||||
"ok": true
|
||||
}
|
||||
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"scenario": "S3 outage and recovery",
|
||||
"max_fail_seconds": 15.0,
|
||||
"s3_warmup_seconds": 20.34,
|
||||
"checks": [
|
||||
{
|
||||
"check": "baseline upload 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "text message 201 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "history 200 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "attachment metadata 200 (PostgreSQL only)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "message referencing existing attachment 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 6.53s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "6.53s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "upload #2 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 6.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "6.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "download -> 503 during outage",
|
||||
"ok": true,
|
||||
"detail": "503 in 3.66s"
|
||||
},
|
||||
{
|
||||
"check": "download failed fast",
|
||||
"ok": true,
|
||||
"detail": "3.66s"
|
||||
},
|
||||
{
|
||||
"check": "session still valid",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "S3 read/write warm-up after start",
|
||||
"ok": true,
|
||||
"detail": "20.34s"
|
||||
},
|
||||
{
|
||||
"check": "old file downloads byte-for-byte after recovery",
|
||||
"ok": true,
|
||||
"detail": "200 0.02s"
|
||||
},
|
||||
{
|
||||
"check": "new upload 201 after recovery (same token, no API restart)",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,24 @@
|
||||
# 2026-11-04 14:09:34 UTC | Недоступность S3 и восстановление | exit 0 | 48.7s
|
||||
$ python student-tests/s3_outage.py --base-url http://127.0.0.1:8080 --output evidence/s3_outage.json
|
||||
PASS baseline upload 201 — 201
|
||||
$ docker compose --env-file .env stop s3
|
||||
PASS readiness stays 200 while S3 is down (S3 is not a readiness dependency) — 200
|
||||
PASS text message 201 during S3 outage — 201
|
||||
PASS history 200 during S3 outage — 200
|
||||
PASS attachment metadata 200 (PostgreSQL only) — 200
|
||||
PASS message referencing existing attachment 201 — 201
|
||||
PASS upload #1 -> 503 unavailable — 503 unavailable in 6.53s
|
||||
PASS upload #1 failed fast (<= 15s) — 6.53s
|
||||
PASS upload #1 has Retry-After
|
||||
PASS upload #2 -> 503 unavailable — 503 unavailable in 6.31s
|
||||
PASS upload #2 failed fast (<= 15s) — 6.31s
|
||||
PASS upload #2 has Retry-After
|
||||
PASS download -> 503 during outage — 503 in 3.66s
|
||||
PASS download failed fast — 3.66s
|
||||
PASS session still valid — 200
|
||||
$ docker compose --env-file .env start s3
|
||||
$ C:\Users\mrend\AppData\Local\Programs\Python\Python312\python.exe scripts/ops.py wait-s3
|
||||
PASS S3 read/write warm-up after start — 20.34s
|
||||
PASS old file downloads byte-for-byte after recovery — 200 0.02s
|
||||
PASS new upload 201 after recovery (same token, no API restart) — 201
|
||||
PASS
|
||||
@@ -0,0 +1,67 @@
|
||||
# 2026-11-04 14:04:54 UTC | Приватный бакет вне API, права ключей, закрытые админ-порты | exit 0 | 2.3s
|
||||
$ python scripts/ops.py s3-check
|
||||
Container messenger-lab4-api-run-33922d9bc56f Creating
|
||||
Container messenger-lab4-api-run-33922d9bc56f Created
|
||||
{
|
||||
"endpoint_host": "s3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET of a real attachment object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "same object is readable with API credentials and matches sha256",
|
||||
"ok": true,
|
||||
"detail": "111817 bytes"
|
||||
}
|
||||
],
|
||||
"ok": true
|
||||
}
|
||||
# 2026-11-04 14:04:54 UTC | На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes | exit 0 | 0.5s
|
||||
$ python scripts/ops.py api-fs
|
||||
messenger-lab4-api-1 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
|
||||
messenger-lab4-api-2 ReadonlyRootfs=True Tmpfs={'/tmp': 'size=16m'} Mounts=['bind:/run/secrets/database_url', 'bind:/run/secrets/cache_url', 'bind:/run/secrets/s3_access_key_id', 'bind:/run/secrets/s3_secret_access_key']
|
||||
|
||||
# 2026-11-04 14:04:55 UTC | API: файлы в /tmp (tmpfs) после загрузок | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env exec -T api sh -c df -h /tmp; echo files_in_tmp=$(find /tmp -type f | wc -l)
|
||||
Filesystem Size Used Avail Use% Mounted on
|
||||
tmpfs 16M 0 16M 0% /tmp
|
||||
files_in_tmp=0
|
||||
|
||||
@@ -0,0 +1,6 @@
|
||||
# 2026-11-02T13:36:48Z | offline contract
|
||||
$ python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-11-02T13:36:48Z | full OpenAPI validation
|
||||
$ python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-02T13:37:02Z | DB<->S3 consistency, aborted upload, injected faults (api-11 s3_error_on_put, api-12 db_error_after_s3_put, api-13 crash_after_s3_put)
|
||||
$ BASE_URL=... FAULT_*_URL=... python -m unittest discover -s student-tests -p test_attachment_consistency.py -v
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... ok
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 10 tests in 4.391s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,12 @@
|
||||
# 2026-11-02T13:28:02Z failover run 1: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 138, "failed_attempts": 0, "first_recovery_seconds": 4.468}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
2026-11-02T13:27:47Z stop-one api-1 pid 7684
|
||||
restored; next run
|
||||
# 2026-11-02T13:28:23Z failover run 2: python3 tests/resilience.py --mode failover --action-script <stop-one hook>
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 139, "failed_attempts": 0, "first_recovery_seconds": 4.475}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
2026-11-02T13:28:08Z stop-one api-1 pid 7937
|
||||
restored; next run
|
||||
@@ -0,0 +1,268 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "api-1",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"stop_hook_seconds": 5.0,
|
||||
"lb_detect_down_seconds": 1.3,
|
||||
"target_last_served_after_stop_seconds": 1.31,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 1.86,
|
||||
"lb_back_up_seconds": 2.91,
|
||||
"target_back_in_rotation_seconds": 2.87,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1597,
|
||||
"ok": 1597,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 318.1,
|
||||
"write_ok_rps": 187.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.7,
|
||||
"p95": 38.6,
|
||||
"p99": 50.6
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 2392,
|
||||
"ok": 2392,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 239.2,
|
||||
"write_ok_rps": 140.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 24.4,
|
||||
"p95": 39.5,
|
||||
"p99": 48.8
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.02,
|
||||
"requests": 1057,
|
||||
"ok": 1057,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 211.4,
|
||||
"write_ok_rps": 124.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 27.6,
|
||||
"p95": 44.5,
|
||||
"p99": 54.8
|
||||
},
|
||||
"instances": [
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.02,
|
||||
"to_s": 26.15,
|
||||
"requests": 1671,
|
||||
"ok": 1671,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 272.8,
|
||||
"write_ok_rps": 160.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 21.2,
|
||||
"p95": 39.0,
|
||||
"p99": 49.4
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.02,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.32,
|
||||
[
|
||||
"api-2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.93,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 3957,
|
||||
"stored_messages": 3957,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "api-2",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"stop_hook_seconds": 5.23,
|
||||
"lb_detect_down_seconds": 1.53,
|
||||
"target_last_served_after_stop_seconds": 1.47,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 1.45,
|
||||
"lb_back_up_seconds": 3.05,
|
||||
"target_back_in_rotation_seconds": 3.05,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.01,
|
||||
"requests": 1416,
|
||||
"ok": 1416,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 282.9,
|
||||
"write_ok_rps": 164.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 19.4,
|
||||
"p95": 41.3,
|
||||
"p99": 53.4
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.01,
|
||||
"to_s": 15.01,
|
||||
"requests": 2431,
|
||||
"ok": 2431,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 243.1,
|
||||
"write_ok_rps": 142.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 24.8,
|
||||
"p95": 39.6,
|
||||
"p99": 46.3
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.01,
|
||||
"to_s": 20.01,
|
||||
"requests": 1154,
|
||||
"ok": 1154,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 230.7,
|
||||
"write_ok_rps": 136.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 25.4,
|
||||
"p95": 39.9,
|
||||
"p99": 46.5
|
||||
},
|
||||
"instances": [
|
||||
"api-1"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.01,
|
||||
"to_s": 26.3,
|
||||
"requests": 1851,
|
||||
"ok": 1851,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 293.9,
|
||||
"write_ok_rps": 172.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 19.8,
|
||||
"p95": 35.8,
|
||||
"p99": 42.1
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.01,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.53,
|
||||
[
|
||||
"api-1"
|
||||
]
|
||||
],
|
||||
[
|
||||
23.06,
|
||||
[
|
||||
"api-1",
|
||||
"api-2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 4020,
|
||||
"stored_messages": 4020,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 20.0,
|
||||
"elapsed_seconds": 20.055,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 5544,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 276.435,
|
||||
"successful_latency_ms": {
|
||||
"p50": 13.241,
|
||||
"p95": 23.756,
|
||||
"p99": 32.552
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-11-02T13:24:54Z native sandbox: python3 tests/resilience.py --mode persistence --action-script <restart hook>
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
# hook log: PIDs before/after (postgres, seaweedfs, api x2) + S3 warm-up
|
||||
2026-11-02T13:24:15Z restart begin pg=6347 s3=6937 api=6405,6525
|
||||
{"s3_ready_after_s": 16.4, "last_cycle_s": 1.028, "existing_object_read": true}
|
||||
2026-11-02T13:24:53Z restart end pg=7134 s3=7149 api=7195,7219
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-02T13:37:06Z | reconcile dry-run
|
||||
$ python -m src.reconcile
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 900,
|
||||
"stale_pending": 0,
|
||||
"stale_pending_ids": [],
|
||||
"objects_listed": 238,
|
||||
"orphan_objects": 0,
|
||||
"orphan_objects_within_grace": 0,
|
||||
"orphan_objects_sample": [],
|
||||
"bucket_scan_seconds": 0.036,
|
||||
"ready_rows": 238,
|
||||
"missing_objects": 0,
|
||||
"missing_object_ids": [],
|
||||
"total_seconds": 0.045
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
# 2026-11-02T13:36:49Z | S3 bootstrap, 2nd run on existing bucket (idempotent)
|
||||
$ python -m src.s3_bootstrap
|
||||
{
|
||||
"endpoint_host": "127.0.0.3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
}
|
||||
],
|
||||
"bucket_action": "already exists (idempotent no-op)",
|
||||
"ok": true
|
||||
}
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"scenario": "S3 outage and recovery",
|
||||
"max_fail_seconds": 15.0,
|
||||
"s3_warmup_seconds": 16.42,
|
||||
"checks": [
|
||||
{
|
||||
"check": "baseline upload 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "text message 201 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "history 200 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "attachment metadata 200 (PostgreSQL only)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "message referencing existing attachment 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 1.75s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "1.75s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "upload #2 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 2.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "2.31s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "download -> 503 during outage",
|
||||
"ok": true,
|
||||
"detail": "503 in 0.01s"
|
||||
},
|
||||
{
|
||||
"check": "download failed fast",
|
||||
"ok": true,
|
||||
"detail": "0.01s"
|
||||
},
|
||||
{
|
||||
"check": "session still valid",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "S3 read/write warm-up after start",
|
||||
"ok": true,
|
||||
"detail": "16.42s"
|
||||
},
|
||||
{
|
||||
"check": "old file downloads byte-for-byte after recovery",
|
||||
"ok": true,
|
||||
"detail": "200 0.01s"
|
||||
},
|
||||
{
|
||||
"check": "new upload 201 after recovery (same token, no API restart)",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"scenario": "S3 outage and recovery",
|
||||
"max_fail_seconds": 15.0,
|
||||
"s3_warmup_seconds": 16.09,
|
||||
"checks": [
|
||||
{
|
||||
"check": "baseline upload 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "readiness stays 200 while S3 is down (S3 is not a readiness dependency)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "text message 201 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "history 200 during S3 outage",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "attachment metadata 200 (PostgreSQL only)",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "message referencing existing attachment 201",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 10.02s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "10.02s"
|
||||
},
|
||||
{
|
||||
"check": "upload #1 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "upload #2 -> 503 unavailable",
|
||||
"ok": true,
|
||||
"detail": "503 unavailable in 10.01s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 failed fast (<= 15s)",
|
||||
"ok": true,
|
||||
"detail": "10.01s"
|
||||
},
|
||||
{
|
||||
"check": "upload #2 has Retry-After",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "download -> 503 during outage",
|
||||
"ok": true,
|
||||
"detail": "503 in 5.01s"
|
||||
},
|
||||
{
|
||||
"check": "download failed fast",
|
||||
"ok": true,
|
||||
"detail": "5.01s"
|
||||
},
|
||||
{
|
||||
"check": "session still valid",
|
||||
"ok": true,
|
||||
"detail": "200"
|
||||
},
|
||||
{
|
||||
"check": "S3 read/write warm-up after start",
|
||||
"ok": true,
|
||||
"detail": "16.09s"
|
||||
},
|
||||
{
|
||||
"check": "old file downloads byte-for-byte after recovery",
|
||||
"ok": true,
|
||||
"detail": "200 0.02s"
|
||||
},
|
||||
{
|
||||
"check": "new upload 201 after recovery (same token, no API restart)",
|
||||
"ok": true,
|
||||
"detail": "201"
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,54 @@
|
||||
# 2026-11-02T13:37:07Z | private bucket outside API (anonymous S3 requests), key permissions, admin ports
|
||||
$ python -m src.s3_bootstrap --check-only --sample-from-db
|
||||
{
|
||||
"endpoint_host": "127.0.0.3",
|
||||
"bucket": "messenger-attachments",
|
||||
"checks": [
|
||||
{
|
||||
"check": "api credentials: put/get own bucket",
|
||||
"ok": true,
|
||||
"detail": ""
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list bucket is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "anonymous list buckets is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot create buckets",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "api credentials cannot delete the bucket",
|
||||
"ok": true,
|
||||
"detail": "AccessDenied"
|
||||
},
|
||||
{
|
||||
"check": "SeaweedFS admin/UI ports are not reachable on the shared network",
|
||||
"ok": true,
|
||||
"detail": "checked [9333, 8888, 8080, 19333, 18888]"
|
||||
},
|
||||
{
|
||||
"check": "anonymous GET of a real attachment object is denied",
|
||||
"ok": true,
|
||||
"detail": "HTTP 403"
|
||||
},
|
||||
{
|
||||
"check": "same object is readable with API credentials and matches sha256",
|
||||
"ok": true,
|
||||
"detail": "111817 bytes"
|
||||
}
|
||||
],
|
||||
"ok": true
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-11-02T13:36:50Z | public smoke
|
||||
$ python3 tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,120 @@
|
||||
# 2026-11-02T13:37:16Z | student tests over HTTP via LB (lab2-4); DB-level tests skip here and run below with DB access
|
||||
$ python3 student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
|
||||
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
|
||||
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
|
||||
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
|
||||
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
|
||||
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
|
||||
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
|
||||
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
|
||||
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
|
||||
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
|
||||
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
|
||||
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
|
||||
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
|
||||
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
|
||||
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
|
||||
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ...
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['api-1', 'api-2']
|
||||
ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 74 tests in 6.028s
|
||||
|
||||
OK (skipped=23)
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# DB-level tests (lab2-3) with direct DB access
|
||||
$ python -m unittest discover -s student-tests -p "test_storage_*.py"; ... -p test_session_cache.py
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.022s
|
||||
|
||||
OK
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.564s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,43 @@
|
||||
{
|
||||
"label": "final code; peak via VmHWM and 20ms sampling",
|
||||
"date_utc": "2026-11-02T13:41:45Z",
|
||||
"host": "Linux x86_64, 2 CPU",
|
||||
"source": "/proc VmRSS (20 ms)",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"sha256_ok": 30,
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"duration_s": 5.06,
|
||||
"latency_201_s": {
|
||||
"p50": 1.316,
|
||||
"p95": 2.069,
|
||||
"max": 2.088280546000078,
|
||||
"mean": 1.407
|
||||
},
|
||||
"memory": {
|
||||
"pid-9293": {
|
||||
"baseline_mib": 95.5,
|
||||
"peak_mib": 163.4,
|
||||
"growth_mib": 67.9,
|
||||
"samples": 356
|
||||
},
|
||||
"pid-9364": {
|
||||
"baseline_mib": 95.4,
|
||||
"peak_mib": 156.1,
|
||||
"growth_mib": 60.6,
|
||||
"samples": 356
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"pid-9293": 165.8,
|
||||
"pid-9364": 165.3
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-02T13:11:09Z",
|
||||
"host": "Linux x86_64, 2 CPU",
|
||||
"source": "/proc VmRSS (20 ms)",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 40
|
||||
},
|
||||
"sha256_ok": 40,
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"duration_s": 6.14,
|
||||
"latency_201_s": {
|
||||
"p50": 2.159,
|
||||
"p95": 3.077,
|
||||
"max": 3.089563180000141,
|
||||
"mean": 2.079
|
||||
},
|
||||
"memory": {
|
||||
"pid-3762": {
|
||||
"baseline_mib": 114.5,
|
||||
"peak_mib": 161.7,
|
||||
"growth_mib": 47.2,
|
||||
"samples": 387
|
||||
},
|
||||
"pid-3834": {
|
||||
"baseline_mib": 96.5,
|
||||
"peak_mib": 159.1,
|
||||
"growth_mib": 62.6,
|
||||
"samples": 387
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=64 (limiter effectively off)",
|
||||
"date_utc": "2026-11-02T13:11:34Z",
|
||||
"host": "Linux x86_64, 2 CPU",
|
||||
"source": "/proc VmRSS (20 ms)",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 40
|
||||
},
|
||||
"sha256_ok": 40,
|
||||
"instances": [
|
||||
"api-1",
|
||||
"api-2"
|
||||
],
|
||||
"duration_s": 6.06,
|
||||
"latency_201_s": {
|
||||
"p50": 2.901,
|
||||
"p95": 3.031,
|
||||
"max": 3.03438846999984,
|
||||
"mean": 2.702
|
||||
},
|
||||
"memory": {
|
||||
"pid-4062": {
|
||||
"baseline_mib": 88.2,
|
||||
"peak_mib": 261.6,
|
||||
"growth_mib": 173.4,
|
||||
"samples": 400
|
||||
},
|
||||
"pid-4133": {
|
||||
"baseline_mib": 88.7,
|
||||
"peak_mib": 291.4,
|
||||
"growth_mib": 202.8,
|
||||
"samples": 400
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-11-04 14:04:01 UTC | Публичный smoke | exit 0 | 0.8s
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,42 @@
|
||||
# 2026-11-04 14:03:55 UTC | Стенд: контейнеры | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab4-api-1 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
|
||||
messenger-lab4-api-2 messenger-api:lab4 "python -m src.server" api 6 minutes ago Up 3 minutes (healthy) 8080/tcp
|
||||
messenger-lab4-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 6 minutes ago Up 4 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
messenger-lab4-migrate-1 messenger-lab4-migrate "python -m src.migra…" migrate 6 minutes ago Exited (0) 2 minutes ago
|
||||
messenger-lab4-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 6 minutes ago Up 5 minutes (healthy) 5432/tcp
|
||||
messenger-lab4-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 6 minutes ago Up 5 minutes (healthy) 6379/tcp
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs:4.50 "/usr/bin/weed serve…" s3 6 minutes ago Up About a minute (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
messenger-lab4-s3-init-1 messenger-lab4-s3-init "python -m src.s3_bo…" s3-init 6 minutes ago Exited (0) 2 minutes ago
|
||||
# 2026-11-04 14:03:55 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c9fab9c9e2c1 messenger-lab4-api-1 running healthy messenger-api:lab4 api1 UP
|
||||
4fc3ad11e268 messenger-lab4-api-2 running healthy messenger-api:lab4 api2 UP
|
||||
|
||||
# 2026-11-04 14:03:57 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.4s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab4-lb-1 0.14% 13.6MiB / 128MiB 10.63%
|
||||
messenger-lab4-api-2 0.26% 90.05MiB / 320MiB 28.14%
|
||||
messenger-lab4-api-1 0.30% 106MiB / 320MiB 33.13%
|
||||
messenger-lab4-postgres-1 0.13% 71.34MiB / 512MiB 13.93%
|
||||
messenger-lab4-redis-1 2.31% 5.629MiB / 96MiB 5.86%
|
||||
messenger-lab4-s3-1 0.21% 508.3MiB / 512MiB 99.28%
|
||||
|
||||
# 2026-11-04 14:03:57 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
|
||||
SERVICE PORTS
|
||||
api 8080/tcp
|
||||
api 8080/tcp
|
||||
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
postgres 5432/tcp
|
||||
redis 6379/tcp
|
||||
s3 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
|
||||
# 2026-11-04 14:03:57 UTC | Образ SeaweedFS (закреплённая версия) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env images s3
|
||||
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs 4.50 linux/amd64 c2658820e763 197MB 10 days ago
|
||||
|
||||
@@ -0,0 +1,168 @@
|
||||
# 2026-11-04 14:04:10 UTC | Собственные тесты (HTTP через LB, включая test_attachments.py) | exit 0 | 9.4s
|
||||
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
|
||||
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
|
||||
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
|
||||
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
|
||||
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
|
||||
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
|
||||
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
|
||||
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
|
||||
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
|
||||
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
|
||||
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
|
||||
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
|
||||
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
|
||||
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
|
||||
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
|
||||
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ... ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 74 tests in 7.352s
|
||||
|
||||
OK (skipped=23)
|
||||
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['4fc3ad11e268', 'c9fab9c9e2c1']
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# 2026-11-04 14:04:18 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.9s
|
||||
$ python scripts/ops.py in-network storage
|
||||
Container messenger-lab4-api-run-7c01226dcaba Creating
|
||||
Container messenger-lab4-api-run-7c01226dcaba Created
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.302s
|
||||
|
||||
OK
|
||||
Container messenger-lab4-api-run-b6f4e53090a5 Creating
|
||||
Container messenger-lab4-api-run-b6f4e53090a5 Created
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.860s
|
||||
|
||||
OK
|
||||
|
||||
# 2026-11-04 14:04:33 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 15.2s
|
||||
$ python scripts/ops.py in-network expiry
|
||||
Container messenger-lab4-redis-1 Running
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-postgres-1 Running
|
||||
Container messenger-lab4-api-1 Running
|
||||
Container messenger-lab4-api-2 Running
|
||||
Container messenger-lab4-api-short-ttl-1 Creating
|
||||
Container messenger-lab4-api-short-ttl-1 Created
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-s3-init-1 Starting
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-s3-init-1 Started
|
||||
Container messenger-lab4-s3-init-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-redis-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-redis-1 Healthy
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-s3-init-1 Exited
|
||||
Container messenger-lab4-api-2 Waiting
|
||||
Container messenger-lab4-api-1 Waiting
|
||||
Container messenger-lab4-api-2 Healthy
|
||||
Container messenger-lab4-api-1 Healthy
|
||||
Container messenger-lab4-api-short-ttl-1 Starting
|
||||
Container messenger-lab4-api-short-ttl-1 Started
|
||||
Container messenger-lab4-api-run-ae85ff205e89 Creating
|
||||
Container messenger-lab4-api-run-ae85ff205e89 Created
|
||||
ready: http://api-short-ttl:8080/health/ready
|
||||
Container messenger-lab4-api-run-87803f7efa19 Creating
|
||||
Container messenger-lab4-api-run-87803f7efa19 Created
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 1 test in 3.644s
|
||||
|
||||
OK
|
||||
|
||||
@@ -0,0 +1,108 @@
|
||||
# 2026-11-04 14:05:09 UTC | Пик памяти: 10 одновременных загрузок по 9.5 MiB | exit 0 | 14.2s
|
||||
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 10 --rounds 3 --docker --label c=10, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c10.json
|
||||
{
|
||||
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:09Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"sha256_ok": 30,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 7.44,
|
||||
"latency_201_s": {
|
||||
"p50": 2.016,
|
||||
"p95": 3.75,
|
||||
"max": 3.75,
|
||||
"mean": 2.007
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 119.7,
|
||||
"peak_mib": 153.5,
|
||||
"growth_mib": 33.8,
|
||||
"samples": 6
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 117.6,
|
||||
"peak_mib": 149.7,
|
||||
"growth_mib": 32.1,
|
||||
"samples": 6
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 172.1,
|
||||
"messenger-lab4-api-1": 175.4
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 158.0,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
# 2026-11-04 14:05:29 UTC | Пик памяти: 20 одновременных загрузок | exit 0 | 20.4s
|
||||
$ python student-tests/upload_memory.py --base-url http://127.0.0.1:8080 --concurrency 20 --rounds 2 --docker --label c=20, MAX_CONCURRENT_UPLOADS=4 --output evidence/upload_memory_c20.json
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:29Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 39,
|
||||
"503": 1
|
||||
},
|
||||
"sha256_ok": 39,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 13.24,
|
||||
"latency_201_s": {
|
||||
"p50": 4.609,
|
||||
"p95": 7.312,
|
||||
"max": 7.421999999998661,
|
||||
"mean": 4.437
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 113.6,
|
||||
"peak_mib": 160.9,
|
||||
"growth_mib": 47.3,
|
||||
"samples": 9
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 109.6,
|
||||
"peak_mib": 158.9,
|
||||
"growth_mib": 49.3,
|
||||
"samples": 9
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 174.2,
|
||||
"messenger-lab4-api-1": 176.6
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 176.2,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,51 @@
|
||||
{
|
||||
"label": "c=10, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:09Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"sha256_ok": 30,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 7.44,
|
||||
"latency_201_s": {
|
||||
"p50": 2.016,
|
||||
"p95": 3.75,
|
||||
"max": 3.75,
|
||||
"mean": 2.007
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 119.7,
|
||||
"peak_mib": 153.5,
|
||||
"growth_mib": 33.8,
|
||||
"samples": 6
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 117.6,
|
||||
"peak_mib": 149.7,
|
||||
"growth_mib": 32.1,
|
||||
"samples": 6
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 172.1,
|
||||
"messenger-lab4-api-1": 175.4
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 158.0,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,52 @@
|
||||
{
|
||||
"label": "c=20, MAX_CONCURRENT_UPLOADS=4",
|
||||
"date_utc": "2026-11-04T14:05:29Z",
|
||||
"host": "Windows AMD64, 12 CPU",
|
||||
"source": "docker stats + cgroup peak",
|
||||
"concurrency": 20,
|
||||
"rounds": 2,
|
||||
"file_mib": 9.5,
|
||||
"uploads": 40,
|
||||
"statuses": {
|
||||
"201": 39,
|
||||
"503": 1
|
||||
},
|
||||
"sha256_ok": 39,
|
||||
"instances": [
|
||||
"4fc3ad11e268",
|
||||
"c9fab9c9e2c1"
|
||||
],
|
||||
"duration_s": 13.24,
|
||||
"latency_201_s": {
|
||||
"p50": 4.609,
|
||||
"p95": 7.312,
|
||||
"max": 7.421999999998661,
|
||||
"mean": 4.437
|
||||
},
|
||||
"memory": {
|
||||
"messenger-lab4-api-2": {
|
||||
"baseline_mib": 113.6,
|
||||
"peak_mib": 160.9,
|
||||
"growth_mib": 47.3,
|
||||
"samples": 9
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"baseline_mib": 109.6,
|
||||
"peak_mib": 158.9,
|
||||
"growth_mib": 49.3,
|
||||
"samples": 9
|
||||
}
|
||||
},
|
||||
"process_peak_rss_mib": {
|
||||
"messenger-lab4-api-2": 174.2,
|
||||
"messenger-lab4-api-1": 176.6
|
||||
},
|
||||
"cgroup_peak_mib_before": {
|
||||
"messenger-lab4-api-2": 174.8,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
},
|
||||
"cgroup_peak_mib_after": {
|
||||
"messenger-lab4-api-2": 176.2,
|
||||
"messenger-lab4-api-1": 183.2
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,257 @@
|
||||
# Отчёт — лабораторная 5
|
||||
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, **redis-py 5.2.1 (Redis Streams)**, argon2-cffi 23.1.0, boto3 1.35.99, **Pillow 11.1.0 (JPEG/WebP, ImageOps.exif_transpose)**; PostgreSQL 16.4, Redis 7.4.1 (кэш сессий **и отдельный брокер**), HAProxy 2.8.30, SeaweedFS 4.50. Документация: Redis Streams (XADD, XREADGROUP, XACK, XAUTOCLAIM, XPENDING, XTRIM MINID), Redis persistence (AOF, `appendfsync always`), RabbitMQ reliability/confirms (различие publisher confirm и consumer ack), шаблон transactional outbox, AWS Architecture Blog «Exponential Backoff And Jitter», Pillow (draft, reduce/reducing_gap, сохранение JPEG/WebP), Python `multiprocessing` (forkserver) и `resource` (RLIMIT_AS/RLIMIT_CPU). Помощь ИИ (Claude) — при проектировании outbox/аренд/fencing, написании worker, тестов отказов и отчёта.
|
||||
|
||||
Минимум lab4 перенесён целиком (балансировщик, ≥2 реплики, сессии, идемпотентность, приватный S3, проверки изображений, сборщик БД↔S3). Единственное объявленное изменение API: `POST /chats/{id}/attachments` отвечает **202 queued** вместо 201 ready.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
**Версии.** API и worker — один образ из `Dockerfile` (`python:3.12.7-slim-bookworm`); `postgres:16.4-alpine`; `redis:7.4.1-alpine` (два сервиса: `redis` — кэш сессий, `broker` — очередь); `haproxy:2.8.30-alpine`; `chrislusf/seaweedfs:4.50`. Нужны Docker Engine/Desktop с Compose v2 и Python 3.9+ на хосте (`scripts/ops.py` и тесты — только стандартная библиотека). Оркестрация — **Compose** (Swarm не используется).
|
||||
|
||||
```sh
|
||||
$env:PYTHONUTF8 = "1"
|
||||
# 1. Секреты (один раз; secrets/ в .gitignore, значения не печатаются) и .env
|
||||
python scripts/init_secrets.py # lab5 добавляет secrets/broker_password и secrets/broker_url
|
||||
cp .env.example .env # Windows: copy .env.example .env
|
||||
|
||||
# 2. Сборка и запуск:
|
||||
# postgres, redis, broker -> migrate (001..005); s3 -> s3-init (bucket) -> api x2 + worker -> lb
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
|
||||
# 3. Готовность: 2 реплики healthy и UP в HAProxy, S3 реально пишет/читает, worker healthy
|
||||
python scripts/ops.py wait
|
||||
python scripts/ops.py wait-s3
|
||||
python scripts/ops.py worker-start # идемпотентно: дождаться healthy worker
|
||||
python scripts/ops.py ps
|
||||
```
|
||||
|
||||
Всё то же одной командой: `make up` (= init_secrets + config + up --build + ожидания). Прогрев после первой сборки ~30–40 с.
|
||||
|
||||
```sh
|
||||
# Публичные проверки
|
||||
make check # офлайн, без сервера
|
||||
make test # smoke lab5: 202 -> ready -> thumbnail 256x160
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.sh # Windows: scripts\restart.cmd
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.sh # Windows: scripts\stop-one.cmd
|
||||
python scripts/ops.py restore
|
||||
|
||||
# Собственные проверки lab5
|
||||
make test-pipeline # варианты по фактическим байтам (7 тестов)
|
||||
make test-worker-outage # сценарий защиты уровня 3 (останавливает/запускает worker, рестарт API и broker)
|
||||
make test-pipeline-faults # 10 внедрённых отказов уровня 4 (~2–3 мин; worker временно пересоздаётся)
|
||||
python student-tests/run_all.py --base-url http://localhost:8080 # lab2-4 (+ test_pipeline.py)
|
||||
|
||||
# Всё сразу с записью в evidence/ (~20 мин; только на учебном стенде)
|
||||
python scripts/collect_evidence.py # или --quick (~10 мин)
|
||||
```
|
||||
|
||||
**Операторские команды очереди** (выполняются в one-off контейнере образа worker, секреты не печатаются):
|
||||
|
||||
```sh
|
||||
python scripts/ops.py jobs stats # задания по статусам, outbox, DLQ, длина/pending/lag потока
|
||||
python scripts/ops.py jobs failed # реестр dead_letters
|
||||
python scripts/ops.py jobs show <attachment_id> # задание + журнал событий (job_events)
|
||||
python scripts/ops.py jobs replay <attachment_id> # явный replay failed (make replay ID=...)
|
||||
python scripts/ops.py jobs replay --all-failed --error-code retry_exhausted --dry-run
|
||||
python scripts/ops.py worker-stop | worker-start | worker-kill | api-restart | broker-restart
|
||||
python scripts/ops.py reconcile [--apply] # сверка БД <-> S3 (staging/, final/, originals/)
|
||||
```
|
||||
|
||||
**Остановка.** Безопасная (volumes `pgdata`, `s3data`, `brokerdata` сохраняются): `make down` или `docker compose --env-file .env --profile ttl --profile faults down`. **Намеренное удаление всех учебных данных:** `docker compose --env-file .env --profile ttl --profile faults down -v` (удаляет БД, бакет и очередь безвозвратно).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```
|
||||
клиент ──HTTP──> HAProxy ──> API x2 ──[1] INSERT pending ─────────────────────────> PostgreSQL
|
||||
├──[2] PUT staging/<random> (Content-MD5) ───────> S3 (SeaweedFS)
|
||||
├──[3] COMMIT: queued + attachment_jobs + job_outbox ──> PostgreSQL
|
||||
│ └─> 202 queued
|
||||
└──[4] после ответа: relay XADD (fsync) ─────────> broker (Redis Streams)
|
||||
│ XREADGROUP (prefetch 1)
|
||||
worker (WORKER_CONCURRENCY consumer'ов) <───────────────────────────────────────────────┘
|
||||
claim: аренда в PostgreSQL (lease_token, lease_until)
|
||||
читает staging (ключ из БД) -> SHA-256 -> PUT final/<id>/original
|
||||
подпроцесс (RLIMIT_AS, timeout): thumbnail/crop/optimized -> PUT final/<id>/p1/<variant>
|
||||
COMMIT (fenced по lease_token): attachment_variants + state=ready ──> PostgreSQL
|
||||
XACK ──> broker; DELETE staging (иначе — сборщик)
|
||||
sweeper outbox + сборщик просроченных аренд: в каждой реплике API и в worker
|
||||
```
|
||||
|
||||
**Источник истины** — PostgreSQL: состояние вложения, задание, outbox, результаты, журнал. S3 хранит байты (staging/ и final/), брокер — только транспорт уведомлений (может быть пересоздан из outbox/таблицы заданий). Брокер **не** входит в синхронный путь API: при его недоступности upload всё равно отвечает 202, строка ждёт в `job_outbox`; `/health/ready` от брокера не зависит.
|
||||
|
||||
### Что сохранено в момент 202
|
||||
|
||||
1. Все байты оригинала в приватном S3 `staging/<random>` (PUT с Content-MD5, SHA-256 в метаданных объекта и в БД). Ключ генерирует сервер, filename в ключ не попадает.
|
||||
2. Метаданные вложения (`state=queued`, size, sha256, размеры, будущий конечный ключ).
|
||||
3. Намерение обработать: строка `attachment_jobs` (job_id, attempt=1, max_attempts) и строка `job_outbox` с JSON-сообщением **в той же транзакции**.
|
||||
|
||||
Сообщение в брокере на момент 202 может ещё не существовать — это нормально: его гарантирует outbox, а не HTTP-запрос. Остановка API сразу после 202 работу не теряет (тест A).
|
||||
|
||||
### Состояния и окна отказа
|
||||
|
||||
Внутреннее `pending` (приём идёт) наружу не видно; публичные: `queued → processing → ready | failed`.
|
||||
|
||||
| Окно отказа | Что произойдёт | Где доказано |
|
||||
| --- | --- | --- |
|
||||
| после staging PUT до COMMIT задания | строка pending + staging-объект; клиенту ошибка (не 202). Сборщик через grace удаляет и строку, и объект | lab4 `test_attachment_consistency.py` (crash_after_s3_put теперь между staging и COMMIT) |
|
||||
| после COMMIT до publish | строка outbox осталась; sweeper любого процесса публикует через `RELAY_FAST_PATH_GRACE_SECONDS` | `test_a` (api-fault-publish, `FAULT_INJECTION=crash_after_commit`) |
|
||||
| после publish до подтверждения в outbox | XADD выполнен, DELETE строки — нет -> повторная публикация, дубль в брокере -> worker no-op | `test_b` (api-fault-dup, `crash_after_publish`) |
|
||||
| после записи S3 до COMMIT результата | сообщение в PEL; перезапущенный consumer читает свой PEL, перехватывает свою аренду, перезаписывает **те же** байты, COMMIT | `test_c` (`fault-crash-after-effects`) |
|
||||
| после COMMIT результата до ack | повторная доставка -> claim видит succeeded -> `redelivery_noop already_succeeded`, ack | `test_d` (`fault-crash-before-ack`) |
|
||||
| worker завис дольше аренды | сборщик аренд -> attempt+1 через outbox -> другой consumer -> ready; проснувшийся старый результат отсечён fencing'ом (`lease_lost`) | `test_h` (`fault-slow`) |
|
||||
|
||||
### Брокер: Redis Streams как durable at-least-once очередь
|
||||
|
||||
Выбран Redis Streams (разрешён README): тот же закреплённый образ, что и для кэша, но **отдельный сервис** с другими гарантиями. Кэш сессий — без persistence и с LRU-вытеснением; объединять их нельзя.
|
||||
|
||||
- **Durability:** `--appendonly yes --appendfsync always` — Redis отвечает на XADD только после fsync AOF. Успешный XADD — наш **publisher confirm**: сообщение переживает рестарт/падение брокера с volume `brokerdata` (проверено в сценарии `worker_outage`: lag=1 до и после рестарта брокера). `--maxmemory-policy noeviction`: поток никогда не вытесняется; при переполнении XADD упадёт, строка останется в outbox.
|
||||
- **Доставка at-least-once:** consumer group; XREADGROUP кладёт сообщение в PEL до XACK. **Consumer ack** worker делает только после COMMIT результата (или перехода в retry/failed) — это другая граница, чем confirm при публикации.
|
||||
- **Упавший consumer:** имя consumer = `<hostname>-<поток>`; после `restart` контейнера hostname тот же, и consumer первым делом читает свой PEL (`XREADGROUP ... 0`). Если контейнер пересоздан, сообщения забирает любой живой consumer через `XAUTOCLAIM` после `JOB_CLAIM_IDLE_SECONDS` (75 с > аренды 60 с).
|
||||
- **Prefetch/конкуренция:** каждый consumer-поток берёт `COUNT 1`, потоков `WORKER_CONCURRENCY=2`, контейнеров `WORKER_REPLICAS=1` -> одновременно в обработке не больше 2 сообщений.
|
||||
- **Очистка потока:** `XTRIM MINID` до минимума из (самый старый pending, last-delivered-id+1) — удаляются только доставленные и подтверждённые записи.
|
||||
- **Содержимое сообщения** — ровно `contracts/jobs.schema.json` (`schema_version, job_id, type, attachment_id, pipeline_version, attempt, created_at`): без байтов, credentials, URL и filename. Worker проверяет схему строго; мусор подтверждается и логируется (`test_j`); сообщение, доставленное больше `JOB_MAX_DELIVERIES` раз, переводит задание в `failed poison_message`.
|
||||
|
||||
### Transactional outbox
|
||||
|
||||
`job_outbox` пишется в одной транзакции с `attachment_jobs` и `state=queued`. Публикация:
|
||||
|
||||
- **быстрый путь** — после отправки 202 (FastAPI background task) API берёт свою строку `FOR UPDATE SKIP LOCKED`, делает XADD, удаляет строку, пишет событие `published`, COMMIT;
|
||||
- **sweeper** — в каждой реплике API и в worker раз в `RELAY_POLL_INTERVAL_SECONDS` публикует строки с `available_at <= now()`. У свежей строки `available_at = now()+2 c`, чтобы не соревноваться с быстрым путём; у retry — время следующей попытки (так реализован отложенный повтор без delayed-очереди брокера).
|
||||
|
||||
`SKIP LOCKED` разносит строки между relay; несколько relay безопасны. Сбой между XADD и COMMIT relay даёт дубль — это и есть at-least-once, дубль гасит идемпотентный worker.
|
||||
|
||||
### Worker, идемпотентность и аренды
|
||||
|
||||
- **Ключ идемпотентности эффекта** — `(attachment_id, pipeline_version, variant)`: PRIMARY KEY `attachment_variants` + **детерминированные ключи S3** `final/<id>/original`, `final/<id>/p1/{thumbnail.jpg,crop.jpg,optimized.webp}`. Повтор пишет те же байты по тем же ключам (Pillow-вывод детерминирован при одной версии библиотек — проверено в `test_a`/`test_c` сравнением SHA-256 с эталонной загрузкой). `job_id` не меняется при redelivery и retry.
|
||||
- **Аренда (lease)**: claim атомарно ставит `status=processing, lease_token=<uuid>, lease_owner=<consumer>, lease_until=now()+JOB_TIMEOUT_SECONDS` (`SELECT ... FOR UPDATE`). Захват разрешён только для текущей попытки и если задание queued, или аренда истекла, или аренда принадлежит этому же consumer (его прошлая инкарнация мертва: consumer обрабатывает одно сообщение за раз).
|
||||
- **Fencing**: публикация результата, retry и failed выполняются с условием `lease_token = <мой> AND status='processing'`. Worker, у которого аренду отобрали, ничего не может изменить (`test_h`, событие `lease_lost`). `ready` никогда не откатывается в processing старым дублем; `attachments.pipeline_version` обновляется только если новая версия ≥ текущей.
|
||||
- **Зависший vs долгий worker:** аренда (60 с) > максимальной длительности попытки (обработка ≤ 30 с + S3-дедлайны), это проверяется при старте конфигурации. Пока аренда не истекла, второй worker задание не возьмёт (`leased_by_other`, ack дубля). Истекла + `JOB_LEASE_GRACE_SECONDS` -> сборщик аренд переводит задание в queued attempt+1 через outbox. Healthcheck worker'а — heartbeat, который пишется, только пока **все** consumer-потоки проходят цикл.
|
||||
- **Staging** удаляется worker'ом после COMMIT и XACK; если не удалось — сборщик (проход D) удалит staging у ready-вложений. Staging failed-вложений хранится `STAGING_RETENTION_SECONDS` (24 ч) для replay, затем удаляется (replay после этого отклоняется: нужен повторный upload). Текущую работу (queued/processing) сборщик не трогает.
|
||||
|
||||
### Варианты изображений (pipeline_version = 1)
|
||||
|
||||
| Вариант | Формат | Правило | Параметры |
|
||||
| --- | --- | --- | --- |
|
||||
| thumbnail | JPEG | вписан в 256×256, пропорции, без увеличения, округление вниз (мин. 1 px): 320×200 → 256×160 | quality 85, optimize, baseline, 4:2:0 |
|
||||
| crop | JPEG | центрированный квадрат min(w,h) → 128×128 (маленькие увеличиваются) | quality 85 |
|
||||
| optimized | WebP | вписан в 1280×1280 без увеличения | lossy, quality 80, method 4; уменьшение каждого маленького файла не обещается |
|
||||
|
||||
Общее: EXIF orientation применяется **до** расчёта размеров (400×100 c orientation=6 → thumbnail 64×256); прозрачность компонуется на белый (масштабирование RGBA в Pillow — с premultiplied alpha); **EXIF и XMP не копируются** (Pillow пишет их только при явной передаче), ICC-профиль сохраняется, чтобы не исказить цвет. Целочисленная арифметика размеров исключает ошибки округления float.
|
||||
|
||||
**Ограничения ресурсов worker** (недоверенный файл, даже прошедший проверки API):
|
||||
|
||||
| Ресурс | Ограничение | Поведение |
|
||||
| --- | --- | --- |
|
||||
| байты | staging-объект > `MAX_UPLOAD_BYTES` не читается; SHA-256 и размер сверяются с БД | failed `invalid_image` / `processing_failed` |
|
||||
| пиксели | размеры из заголовка до декодирования, > `MAX_IMAGE_PIXELS` | failed `invalid_image` |
|
||||
| память | обработка в отдельном процессе (forkserver) с `RLIMIT_AS = WORKER_IMAGE_MEMORY_MB` (1024) | MemoryError/смерть процесса → failed `resource_limit` |
|
||||
| время | процесс убивается через `WORKER_IMAGE_TIMEOUT_SECONDS` (30), `RLIMIT_CPU` — страховка | временная ошибка `processing_timeout`, повтор ≤ JOB_MAX_ATTEMPTS |
|
||||
|
||||
JPEG декодируется сразу в уменьшенном масштабе (`draft`), поэтому 40 Мп JPEG — пик 46 MiB; худший случай 40 Мп RGBA PNG — **361 MiB** (было 518 MiB, пока альфа компоновалась до масштабирования; порядок операций изменён). Отсюда лимит контейнера worker 1280 MiB при 2 подпроцессах. Замер: `evidence/local/imaging_memory.txt`; проверка самих лимитов: `python -m src.imaging FILE --memory-mb 200` → `resource_limit`, `--timeout 0.3` → `timeout`.
|
||||
|
||||
### Retry, backoff, DLQ, replay
|
||||
|
||||
- **Классификация ошибок.** Временные: S3 недоступен/таймаут, таймаут обработки, внедрённый `injected_transient` → retry. Постоянные: битое/неподдерживаемое изображение, превышение пикселей/байт, лимит памяти, нет источника, несовпадение SHA-256 staging → сразу `failed` без повторов (`test_f`). Если недоступна сама БД, сообщение **не** подтверждается и вернётся из PEL — решение о retry без БД принять нельзя.
|
||||
- **Backoff с jitter** («equal jitter»): `d = min(JOB_RETRY_MAX_SECONDS, JOB_RETRY_BASE_SECONDS·2^(attempt−1))`, задержка равномерно в `[d/2, d]` (нижняя граница гарантирует паузу, случайная часть разносит повторы многих заданий). Реализован через `job_outbox.available_at`: попытка не начнётся раньше (проверено по журналу в `test_e`).
|
||||
- **Предел:** `JOB_MAX_ATTEMPTS=5`; затем `failed retry_exhausted`, запись в `dead_letters` (реестр failed/DLQ), событие в `job_events`.
|
||||
- **Replay** — только явная команда оператора (`ops.py jobs replay`). Разрешён только для `failed`; успешное задание **не исполняется повторно** (`noop`, событие `replay_refused`); без staging-источника — отказ. Новая попытка: attempt+1, свежий бюджет попыток, `replay_count+1`, `dead_letters.replayed_at`, публикация через outbox (`test_g`).
|
||||
|
||||
### Роли и сервисы
|
||||
|
||||
| Роль | Сервис | Версия | Health/readiness | Volume | Сеть/порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | haproxy:2.8.30-alpine | `/lb-health`; проверка `/health/ready` реплик | — | backend; 127.0.0.1:8080 (единственный публичный), 8404 stats | — |
|
||||
| api ×2 | `api` | сборка из Dockerfile | `/health/ready` (PG + схема 005 + не drain) | нет (read-only rootfs, tmpfs /tmp) | backend, storage, queue; 8080 только внутри | secrets: database_url, cache_url, s3_*, broker_url |
|
||||
| worker | `worker` | тот же образ | heartbeat-файл < 90 с | нет (read-only, tmpfs) | backend, storage, queue | secrets: database_url, s3_*, broker_url |
|
||||
| broker | `broker` | redis:7.4.1-alpine, AOF always, noeviction | `redis-cli ping` | brokerdata | queue (internal) | secrets: broker_password |
|
||||
| postgres | `postgres` | postgres:16.4-alpine | pg_isready | pgdata | backend | secrets: postgres_password |
|
||||
| кэш сессий | `redis` | redis:7.4.1-alpine, без persistence | ping | — | backend | secrets: redis_password |
|
||||
| s3 | `s3` | chrislusf/seaweedfs:4.50 | /healthz + прогрев `ops.py wait-s3` | s3data | storage (internal) | secrets: s3_config.json |
|
||||
| bootstrap | `migrate`, `s3-init` | тот же образ | one-shot, идемпотентны | — | backend / storage | — |
|
||||
|
||||
Топология брокера (поток + группа) создаётся кодом идемпотентно (`XGROUP CREATE ... MKSTREAM`, BUSYGROUP = no-op).
|
||||
|
||||
### Переменные `.env.example` → реальная конфигурация
|
||||
|
||||
| Логическое имя (skeleton) | Реализация |
|
||||
| --- | --- |
|
||||
| `BROKER_URL_FILE` | `/run/secrets/broker_url` (создаёт `init_secrets.py`) |
|
||||
| `WORKER_CONCURRENCY=2` | число consumer-потоков в контейнере worker (prefetch 1 на поток) |
|
||||
| `JOB_MAX_ATTEMPTS=5` | `attachment_jobs.max_attempts` при создании задания |
|
||||
| `JOB_TIMEOUT_SECONDS=60` | срок аренды; ≥ `WORKER_IMAGE_TIMEOUT_SECONDS + 20` (проверка при старте) |
|
||||
| `STAGING_RETENTION_SECONDS=86400` | хранение staging failed-вложений (окно replay) |
|
||||
| дополнительно | `JOB_LEASE_GRACE_SECONDS`, `JOB_CLAIM_IDLE_SECONDS`, `JOB_MAX_DELIVERIES`, `JOB_RETRY_BASE/MAX_SECONDS`, `WORKER_IMAGE_TIMEOUT_SECONDS`, `WORKER_IMAGE_MEMORY_MB`, `RELAY_*`, `BROKER_STREAM/GROUP`, `PIPELINE_VERSION`, `WORKER_REPLICAS` — описаны в `.env.example` |
|
||||
|
||||
### Что изменено относительно lab4
|
||||
|
||||
- `migrations/005_async_processing.sql`: состояния `queued/processing/failed`, `staging_key`, `error_code`, `pipeline_version`; таблицы `attachment_variants`, `attachment_jobs`, `job_outbox`, `dead_letters`, `job_events`.
|
||||
- `src/main.py`: upload → staging + задание + outbox → **202**; content: 409 для queued/processing/failed, варианты; сообщение с failed-вложением → 409, с queued/processing — разрешено.
|
||||
- Новые модули: `src/broker.py`, `src/outbox.py`, `src/jobs.py` (переходы состояний), `src/worker.py`, `src/imaging.py`, `src/jobs_admin.py`.
|
||||
- `src/reconcile.py`: префиксы `staging/`, `final/`, `originals/` (lab4), проход D — очистка staging.
|
||||
- `compose.yaml`: сервисы `broker`, `worker`, `api-fault-publish`, `api-fault-dup`, сеть `queue`; `compose.faults.yaml`.
|
||||
- Тесты lab4, ожидавшие 201, переведены на 202 + ожидание ready (`test_attachments.py`, `test_attachment_consistency.py`, `s3_outage.py`, `upload_memory.py`). Публичные `tests/` и контракт не изменялись.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | `PASS: lab5 public API scenario` (202 → ready, оригинал, JPEG thumbnail 256×160) | evidence/local/smoke.txt |
|
||||
| Минимум lab4 сохранён | `student-tests/run_all.py` через 2 реплики | 91 тест OK (33 skip — требуют сеть compose), race 100/100, persistence и failover PASS | evidence/local/student-tests.txt, persistence.txt, failover.txt |
|
||||
| 3: 202 только после durable staging + задания | `test_pipeline.py`, `test_i`, `test_a` | 202 приходит до публикации, задача доходит до ready даже при падении API сразу после 202 | pipeline_and_attachments.txt, pipeline_faults.txt |
|
||||
| 3: отдельные broker и worker, durable, at-least-once, ack после эффекта | compose: `broker` (AOF always) + `worker`; `test_c`, `test_d` | ack только после COMMIT; падение до ack → повторная доставка без дубля | compose.yaml, pipeline_faults_events.txt |
|
||||
| 3: worker недоступен → API не делает resize | `make test-worker-outage` | worker остановлен: 202, GET queued, content 409, сообщения 201; после старта worker — ready | worker_outage.txt/.json |
|
||||
| 3: состояния queued/processing/ready/failed, original неизменен, thumbnail по контракту | `test_pipeline.py` | SHA-256 оригинала совпадает; thumbnail 256×160 по SOF-заголовку JPEG | pipeline_and_attachments.txt |
|
||||
| 3: ограниченный retry, failed с безопасным error_code, повтор не создаёт 2-й набор | `test_e`, `test_g`, `assert_single_result` | ровно 3 строки variants и 1 событие succeeded во всех сценариях; `retry_exhausted`/`invalid_image` | pipeline_faults.txt |
|
||||
| 3: демонстрация worker stop → upload → рестарт API → рестарт broker → worker → ready | `make test-worker-outage` | lag=1 до и после рестарта брокера, ready через ~0.03 с после старта worker | worker_outage.txt |
|
||||
| 4: crop 128 и WebP; лимиты bytes/pixels/time/memory | `test_pipeline.py`, `python -m src.imaging` | crop 128×128, WebP по RIFF-заголовку; EXIF удалён; orientation/alpha/малые исходники; `resource_limit`, `timeout` | pipeline_and_attachments.txt, imaging_memory.txt |
|
||||
| 4: outbox, crash между COMMIT и publish | `test_a` (api-fault-publish) | `fault_injected` от api-fault-publish, `published` другим процессом, attempt=1, ready | pipeline_faults_events.txt |
|
||||
| 4: backoff+jitter, постоянные/временные, DLQ, безопасный replay | `test_e`, `test_f`, `test_g` | интервалы в [d/2, d]; permanent без повторов; replay → ready; повторный replay → noop | pipeline_faults.txt |
|
||||
| 4: остановка worker после записи объекта до ack | `test_c`, `test_d` | `lease_takeover` своим consumer после рестарта; те же SHA-256; `redelivery_noop already_succeeded` | worker_fault_log.txt |
|
||||
| 4: lease для зависшего processing, ограниченная конкуренция, очистка staging | `test_h`, `test_i` | `lease_expired` → attempt 2 у другого consumer → ready; старый `lease_lost`; staging_key=NULL | pipeline_faults_events.txt |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
Локальная песочница: 2 vCPU, 7 GiB RAM, Linux, Python 3.13 (в образе — 3.12.7), без лимитов cgroup. Набор: синтетические изображения (`tests/fixtures/sample.png` 320×200, генерируемые 40 Мп PNG/JPEG). Повторов: сценарии отказов — 1 полный прогон, все 10 PASS; задержка — 30 последовательных загрузок. Основной compose-стенд: Windows 10, 32GB, Ryzen 5 7500f; доказательства в `/evidence`.
|
||||
|
||||
| Измерение | Результат |
|
||||
| --- | --- |
|
||||
| upload → 202 (sample.png, 109 KiB) | p50 16 мс, p95 29 мс |
|
||||
| upload → ready (опрос каждые 0.2 с) | p50 0.44 с, p95 0.45 с, max 0.45 с |
|
||||
| пик RSS подпроцесса обработки | 23 MiB (320×200), 46 MiB (40 Мп JPEG), 361 MiB (40 Мп RGBA PNG) |
|
||||
| время обработки 40 Мп | JPEG 0.2 с, RGBA PNG 1.8 с |
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| worker остановлен, upload | 202 queued, content 409, остальной API работает | так и есть, сообщения 201 | ready после старта worker; потерь нет |
|
||||
| рестарт API и broker (volumes целы) при неподтверждённой задаче | задача остаётся в потоке | lag=1 до и после | — / нет |
|
||||
| API умер после COMMIT до XADD | sweeper другого процесса публикует | published другим actor через ~2 с | ≤ RELAY_FAST_PATH_GRACE + 1 с / нет |
|
||||
| API умер после XADD до подтверждения outbox | дубль, no-op | `redelivery_noop already_succeeded` | — / нет, 1 набор вариантов |
|
||||
| worker умер после записи S3 до COMMIT | свой PEL после рестарта, те же байты | `lease_takeover`, SHA-256 = эталон | ~1–2 с (рестарт процесса) / нет |
|
||||
| worker умер после COMMIT до XACK | повторная доставка no-op | `redelivery_noop already_succeeded` | ~1–2 с / нет |
|
||||
| worker «завис» дольше аренды | новая попытка, fencing старой | `lease_expired` → ready на attempt 2 → `lease_lost` | аренда + grace + ≤5 с / нет |
|
||||
| временные ошибки ×2 | backoff+jitter, ready на 3-й | задержки 0.5–1 с и 1–2 с (base 1, cap 4 в стенде отказов) | — |
|
||||
| временная ошибка всегда | failed retry_exhausted, DLQ, replay | 5 попыток → failed → replay → ready → replay ещё раз = noop | — |
|
||||
| мусор в потоке | ack, worker жив | pending=0 | — |
|
||||
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Один Docker-host:** брокер, PostgreSQL и S3 — по одному экземпляру. Выдерживаются рестарты и падения процессов с сохранением volumes, но не потеря диска/хоста. Redis без репликации: при потере volume брокера неопубликованные строки outbox сохранятся, а уже опубликованные, но не обработанные задачи потребуют повторной публикации (`jobs replay` работает только для failed; для queued без сообщения нужен ручной requeue — сборщик аренд покрывает только processing).
|
||||
- **At-least-once + идемпотентность ≠ exactly-once:** дубли сообщений и повторная запись тех же объектов S3 возможны и ожидаемы; уникален только опубликованный результат. Детерминизм байтов вариантов гарантирован в пределах одной версии Pillow/libjpeg/libwebp; при обновлении библиотек нужна новая `pipeline_version` (версионирование нескольких pipeline — трек 5, не заявлен).
|
||||
- Fencing защищает БД, но не S3: «проснувшийся» старый worker может перезаписать объект варианта теми же (детерминированными) байтами после публикации результата.
|
||||
- Классификация ошибок упрощена: таймаут обработки считается временным, поэтому «тяжёлый» файл может занять до 5 попыток по 30 с.
|
||||
- Маркеры отказов в filename работают **только** при `WORKER_FAULTS=true` (`compose.faults.yaml`); в обычном стенде filename на обработку не влияет.
|
||||
- Старые ready-вложения lab4 остаются без вариантов (запрос варианта → 404 по контракту); фоновой догенерации нет.
|
||||
- HTTP без TLS — только локальный учебный стенд (TLS — lab7).
|
||||
|
||||
## Вопросы защиты — кратко
|
||||
|
||||
- **Publisher confirm vs consumer ack.** Confirm — брокер принял и сохранил сообщение (у нас: ответ XADD после fsync AOF), это граница «producer → брокер»; после него relay удаляет строку outbox. Ack (XACK) — consumer сообщает, что обработка устойчиво завершена (COMMIT результата/перевода в retry/failed), это граница «брокер → consumer»; до него сообщение остаётся в PEL и будет доставлено снова.
|
||||
- **Что сохранено в момент 202?** Байты в S3 staging, метаданные, задание и outbox в одной транзакции PostgreSQL. Сообщения в брокере может ещё не быть — его гарантирует outbox.
|
||||
- **Почему повторная доставка нормальна и где ключ идемпотентности?** At-least-once неизбежно даёт дубли (падение до ack, повтор publish). Ключ эффекта — `(attachment_id, pipeline_version, variant)`: PK `attachment_variants` + детерминированные ключи S3; задание — `job_id` (UNIQUE `(attachment_id, pipeline_version)`); повтор успешного — no-op с ack.
|
||||
- **Как отличить зависший worker от долго работающего?** Аренда с заведомо большим сроком, чем максимальная попытка (жёсткий таймаут подпроцесса + дедлайны S3). Пока аренда действует — задание не отдаётся второму worker; после истечения + grace — новая попытка, а результат старой отсекается fencing-токеном. Heartbeat контейнера проверяет, что все consumer-потоки живы.
|
||||
@@ -0,0 +1,5 @@
|
||||
# Доказательства
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
@@ -0,0 +1,54 @@
|
||||
# 2026-11-10 14:26:03 UTC
|
||||
OK Контракт (offline) evidence/check.txt
|
||||
OK Compose config evidence/check.txt
|
||||
OK Стенд: контейнеры evidence/stand.txt
|
||||
OK Стенд: реплики и статус в LB evidence/stand.txt
|
||||
OK Стенд: лимиты CPU/RAM evidence/stand.txt
|
||||
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
|
||||
OK Образ SeaweedFS (закреплённая версия) evidence/stand.txt
|
||||
OK lab5: broker (Redis AOF) и worker evidence/stand.txt
|
||||
OK lab5: конфигурация durability брокера evidence/stand.txt
|
||||
OK S3 bootstrap: лог первого запуска s3-init evidence/s3_bootstrap.txt
|
||||
OK S3 bootstrap: повторный запуск (идемпотентность) evidence/s3_bootstrap.txt
|
||||
OK Публичный smoke evidence/smoke.txt
|
||||
OK Собственные тесты (HTTP через LB, включая test_attachments.py) evidence/student-tests.txt
|
||||
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
|
||||
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
|
||||
OK Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) evidence/consistency.txt
|
||||
OK Сверка БД <-> S3 (dry-run) evidence/reconcile.txt
|
||||
OK Приватный бакет вне API, права ключей, закрытые админ-порты evidence/s3_private.txt
|
||||
OK На API нет хранилища оригиналов: read-only rootfs, только tmpfs, без volumes evidence/s3_private.txt
|
||||
OK API: файлы в /tmp (tmpfs) после загрузок evidence/s3_private.txt
|
||||
OK Пик памяти: 10 одновременных загрузок по 9.5 MiB evidence/upload_memory.txt
|
||||
OK Пик памяти: 20 одновременных загрузок evidence/upload_memory.txt
|
||||
OK Failover #1: реплики до evidence/failover.txt
|
||||
OK Failover #1: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #1: restore evidence/failover.txt
|
||||
OK Failover #2: реплики до evidence/failover.txt
|
||||
OK Failover #2: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #2: restore evidence/failover.txt
|
||||
OK Failover #3: реплики до evidence/failover.txt
|
||||
OK Failover #3: make test-failover (вкл. скачивание файла через другую реплику) evidence/failover.txt
|
||||
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #3: restore evidence/failover.txt
|
||||
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
|
||||
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
|
||||
OK Недоступность S3 и восстановление evidence/s3_outage.txt
|
||||
OK Варианты изображений по фактическим байтам (test_pipeline.py) evidence/pipeline.txt
|
||||
OK Сценарий защиты 3: worker остановлен -> 202 -> рестарт API и broker -> worker -> ready evidence/worker_outage.txt
|
||||
OK Уровень 4: внедрённые отказы pipeline (outbox, crash до/после ack, retry, DLQ, replay, lease) evidence/pipeline_faults.txt
|
||||
OK Очередь после сценариев: задания, outbox, DLQ, lag evidence/pipeline_faults.txt
|
||||
OK Реестр failed (DLQ) evidence/pipeline_faults.txt
|
||||
OK Worker: последние строки лога evidence/worker_log_sample.txt
|
||||
OK Rolling update lab5 -> lab5.1 под нагрузкой evidence/rolling_update.txt
|
||||
OK Rolling update обратно lab5.1 -> lab5 (откат) под нагрузкой evidence/rolling_update.txt
|
||||
OK Реплики после обновлений evidence/rolling_update.txt
|
||||
OK Persistence: контейнеры до evidence/persistence.txt
|
||||
OK Persistence: make test-persistence (API + worker + PostgreSQL + Redis + broker + S3 + LB) evidence/persistence.txt
|
||||
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
|
||||
OK Persistence: сверка БД <-> S3 после рестарта evidence/persistence.txt
|
||||
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
|
||||
OK CPU/RAM после нагрузки evidence/load.txt
|
||||
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-11-10 14:13:49 UTC | Контракт (offline) | exit 0 | 0.1s
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-11-10 14:13:49 UTC | Compose config | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
|
||||
@@ -0,0 +1,75 @@
|
||||
# 2026-11-10 14:15:11 UTC | Согласованность БД <-> S3, обрыв загрузки, внедрённые отказы (api-fault-*) | exit 0 | 20.0s
|
||||
$ python scripts/ops.py in-network consistency
|
||||
Container messenger-lab5-redis-1 Running
|
||||
Container messenger-lab5-api-1 Running
|
||||
Container messenger-lab5-api-2 Running
|
||||
Container messenger-lab5-postgres-1 Running
|
||||
Container messenger-lab5-s3-1 Running
|
||||
Container messenger-lab5-api-fault-s3-1 Creating
|
||||
Container messenger-lab5-api-fault-db-1 Creating
|
||||
Container messenger-lab5-api-fault-crash-1 Creating
|
||||
Container messenger-lab5-api-fault-s3-1 Created
|
||||
Container messenger-lab5-api-fault-db-1 Created
|
||||
Container messenger-lab5-api-fault-crash-1 Created
|
||||
Container messenger-lab5-s3-1 Waiting
|
||||
Container messenger-lab5-postgres-1 Waiting
|
||||
Container messenger-lab5-s3-1 Healthy
|
||||
Container messenger-lab5-postgres-1 Healthy
|
||||
Container messenger-lab5-s3-init-1 Starting
|
||||
Container messenger-lab5-migrate-1 Starting
|
||||
Container messenger-lab5-s3-init-1 Started
|
||||
Container messenger-lab5-migrate-1 Started
|
||||
Container messenger-lab5-migrate-1 Waiting
|
||||
Container messenger-lab5-s3-init-1 Waiting
|
||||
Container messenger-lab5-postgres-1 Waiting
|
||||
Container messenger-lab5-redis-1 Waiting
|
||||
Container messenger-lab5-redis-1 Healthy
|
||||
Container messenger-lab5-postgres-1 Healthy
|
||||
Container messenger-lab5-migrate-1 Exited
|
||||
Container messenger-lab5-s3-init-1 Exited
|
||||
Container messenger-lab5-api-1 Waiting
|
||||
Container messenger-lab5-api-2 Waiting
|
||||
Container messenger-lab5-api-1 Waiting
|
||||
Container messenger-lab5-api-2 Waiting
|
||||
Container messenger-lab5-api-1 Waiting
|
||||
Container messenger-lab5-api-2 Waiting
|
||||
Container messenger-lab5-api-1 Healthy
|
||||
Container messenger-lab5-api-2 Healthy
|
||||
Container messenger-lab5-api-1 Healthy
|
||||
Container messenger-lab5-api-2 Healthy
|
||||
Container messenger-lab5-api-fault-db-1 Starting
|
||||
Container messenger-lab5-api-fault-s3-1 Starting
|
||||
Container messenger-lab5-api-1 Healthy
|
||||
Container messenger-lab5-api-2 Healthy
|
||||
Container messenger-lab5-api-fault-crash-1 Starting
|
||||
Container messenger-lab5-api-fault-db-1 Started
|
||||
Container messenger-lab5-api-fault-s3-1 Started
|
||||
Container messenger-lab5-api-fault-crash-1 Started
|
||||
Container messenger-lab5-api-run-e891dd567ea2 Creating
|
||||
Container messenger-lab5-api-run-e891dd567ea2 Created
|
||||
ready: http://api-fault-s3:8080/health/ready
|
||||
Container messenger-lab5-api-run-a25e14654677 Creating
|
||||
Container messenger-lab5-api-run-a25e14654677 Created
|
||||
ready: http://api-fault-db:8080/health/ready
|
||||
Container messenger-lab5-api-run-53cacd2097d3 Creating
|
||||
Container messenger-lab5-api-run-53cacd2097d3 Created
|
||||
ready: http://api-fault-crash:8080/health/ready
|
||||
Container messenger-lab5-api-run-66f13fe194f4 Creating
|
||||
Container messenger-lab5-api-run-66f13fe194f4 Created
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... /usr/local/lib/python3.12/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
|
||||
datetime_now = datetime.datetime.utcnow()
|
||||
ok
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... ok
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... ok
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... ok
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... ok
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... ok
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... ok
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... ok
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... ok
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 10 tests in 4.594s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,66 @@
|
||||
# 2026-11-10 14:15:40 UTC | Failover #1: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
|
||||
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
|
||||
# 2026-11-10 14:16:30 UTC | Failover #1: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 49.3s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 4.297}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-10 14:16:30 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
|
||||
3a0e06f14a63 messenger-lab5-api-2 exited unhealthy messenger-api:lab5 - -
|
||||
|
||||
# 2026-11-10 14:16:37 UTC | Failover #1: restore | exit 0 | 6.6s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-10T14:16:37.028Z restore: started ['messenger-lab5-api-2']; 2 replicas healthy and UP in LB after 6.5s
|
||||
|
||||
# 2026-11-10 14:16:37 UTC | Failover #2: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
|
||||
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
|
||||
|
||||
# 2026-11-10 14:16:54 UTC | Failover #2: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 16.8s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 4.532}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-10 14:16:54 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
|
||||
3a0e06f14a63 messenger-lab5-api-2 exited unhealthy messenger-api:lab5 - -
|
||||
|
||||
# 2026-11-10 14:17:01 UTC | Failover #2: restore | exit 0 | 6.6s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-10T14:17:00.997Z restore: started ['messenger-lab5-api-2']; 2 replicas healthy and UP in LB after 6.5s
|
||||
|
||||
# 2026-11-10 14:17:01 UTC | Failover #3: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4b1faad0399c messenger-lab5-api-1 running healthy messenger-api:lab5 api1 UP
|
||||
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
|
||||
|
||||
# 2026-11-10 14:17:18 UTC | Failover #3: make test-failover (вкл. скачивание файла через другую реплику) | exit 0 | 17.0s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 123, "failed_attempts": 0, "first_recovery_seconds": 4.437}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-11-10 14:17:18 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
4b1faad0399c messenger-lab5-api-1 exited unhealthy messenger-api:lab5 - -
|
||||
3a0e06f14a63 messenger-lab5-api-2 running healthy messenger-api:lab5 api2 UP
|
||||
|
||||
# 2026-11-10 14:17:25 UTC | Failover #3: restore | exit 0 | 6.7s
|
||||
$ python scripts/ops.py restore
|
||||
2026-11-10T14:17:25.258Z restore: started ['messenger-lab5-api-1']; 2 replicas healthy and UP in LB after 6.6s
|
||||
|
||||
# остановленные публичным тестом реплики: ['3a0e06f14a63', '3a0e06f14a63', '4b1faad0399c']
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "3a0e06f14a63",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.47,
|
||||
"lb_detect_down_seconds": 1.88,
|
||||
"target_last_served_after_stop_seconds": 1.83,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.72,
|
||||
"lb_back_up_seconds": 0.95,
|
||||
"target_back_in_rotation_seconds": 6.72,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1083,
|
||||
"ok": 1083,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 216.6,
|
||||
"write_ok_rps": 125.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1238,
|
||||
"ok": 1238,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 123.8,
|
||||
"write_ok_rps": 74.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 531,
|
||||
"ok": 531,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 106.2,
|
||||
"write_ok_rps": 60.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 63.0,
|
||||
"p95": 109.0,
|
||||
"p99": 391.0
|
||||
},
|
||||
"instances": [
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 29.98,
|
||||
"requests": 1831,
|
||||
"ok": 1831,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 183.4,
|
||||
"write_ok_rps": 110.1,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 171.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.88,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.95,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.92,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2768,
|
||||
"stored_messages": 2768,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "4b1faad0399c",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.55,
|
||||
"lb_detect_down_seconds": 2.05,
|
||||
"target_last_served_after_stop_seconds": 1.97,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.06,
|
||||
"lb_back_up_seconds": 2.08,
|
||||
"target_back_in_rotation_seconds": 7.06,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1346,
|
||||
"ok": 1346,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 269.2,
|
||||
"write_ok_rps": 160.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1371,
|
||||
"ok": 1371,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 137.1,
|
||||
"write_ok_rps": 82.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 31.0,
|
||||
"p95": 94.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 564,
|
||||
"ok": 564,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 112.8,
|
||||
"write_ok_rps": 66.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 62.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.38,
|
||||
"requests": 1657,
|
||||
"ok": 1657,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 159.7,
|
||||
"write_ok_rps": 90.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.05,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.08,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
23.05,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.51,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2905,
|
||||
"stored_messages": 2905,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-11-10 14:18:28 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 62.8s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
|
||||
replicas observed through LB: ['3a0e06f14a63', '4b1faad0399c']
|
||||
-- stopping 3a0e06f14a63 (mode=stop) under load
|
||||
hook 4.47s | LB DOWN after 1.88 s | errors 0 (-) | RPS before 216.6, outage 123.8, after restore 183.4 | p95 outage 109.0 ms | back in rotation 6.72 s | data ok=True
|
||||
-- stopping 4b1faad0399c (mode=stop) under load
|
||||
hook 4.55s | LB DOWN after 2.05 s | errors 0 (-) | RPS before 269.2, outage 137.1, after restore 159.7 | p95 outage 94.0 ms | back in rotation 7.06 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
# 2026-11-10 14:19:31 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.0s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
|
||||
replicas observed through LB: ['3a0e06f14a63', '4b1faad0399c']
|
||||
-- stopping 3a0e06f14a63 (mode=kill) under load
|
||||
hook 1.20s | LB DOWN after 2.39 s | errors 3 (502) | RPS before 280.4, outage 89.8, after restore 171.1 | p95 outage 110.0 ms | back in rotation 7.06 s | data ok=True
|
||||
-- stopping 4b1faad0399c (mode=kill) under load
|
||||
hook 0.83s | LB DOWN after 2.34 s | errors 6 (502) | RPS before 260.4, outage 89.4, after restore 156.0 | p95 outage 110.0 ms | back in rotation 7.28 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
|
||||
@@ -0,0 +1,298 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "3a0e06f14a63",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.2,
|
||||
"lb_detect_down_seconds": 2.39,
|
||||
"target_last_served_after_stop_seconds": 0.56,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 3,
|
||||
"error_kinds": [
|
||||
"502"
|
||||
],
|
||||
"error_window_seconds": 0.64,
|
||||
"restore_hook_seconds": 7.12,
|
||||
"lb_back_up_seconds": 1.42,
|
||||
"target_back_in_rotation_seconds": 7.06,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1402,
|
||||
"ok": 1402,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 280.4,
|
||||
"write_ok_rps": 161.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 901,
|
||||
"ok": 898,
|
||||
"errors": 3,
|
||||
"error_ratio": 0.0033,
|
||||
"ok_rps": 89.8,
|
||||
"write_ok_rps": 52.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 32.0,
|
||||
"p95": 110.0,
|
||||
"p99": 1015.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 518,
|
||||
"ok": 518,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 103.6,
|
||||
"write_ok_rps": 60.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.44,
|
||||
"requests": 1786,
|
||||
"ok": 1786,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 171.1,
|
||||
"write_ok_rps": 101.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 94.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.39,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.42,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.53,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.02,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2698,
|
||||
"stored_messages": 2698,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 1,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "4b1faad0399c",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 0.83,
|
||||
"lb_detect_down_seconds": 2.34,
|
||||
"target_last_served_after_stop_seconds": 0.09,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 6,
|
||||
"error_kinds": [
|
||||
"502"
|
||||
],
|
||||
"error_window_seconds": 0.28,
|
||||
"restore_hook_seconds": 7.3,
|
||||
"lb_back_up_seconds": 1.33,
|
||||
"target_back_in_rotation_seconds": 7.28,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1302,
|
||||
"ok": 1302,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 260.4,
|
||||
"write_ok_rps": 153.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 125.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 900,
|
||||
"ok": 894,
|
||||
"errors": 6,
|
||||
"error_ratio": 0.0067,
|
||||
"ok_rps": 89.4,
|
||||
"write_ok_rps": 52.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 32.0,
|
||||
"p95": 110.0,
|
||||
"p99": 1016.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 565,
|
||||
"ok": 565,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 113.0,
|
||||
"write_ok_rps": 66.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 62.0,
|
||||
"p95": 109.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.5,
|
||||
"requests": 1638,
|
||||
"ok": 1638,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 156.0,
|
||||
"write_ok_rps": 92.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"3a0e06f14a63",
|
||||
"4b1faad0399c"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.34,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.33,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
22.2,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.74,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2599,
|
||||
"stored_messages": 2599,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 4,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# 2026-11-10 14:14:03 UTC | одна сессия, 20 запросов GET /users/me через LB
|
||||
1 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019A78-1F90-6AF326AB268-0BC1-0008
|
||||
2 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019A88-1F90-6AF326AB27B-0BC2-0008
|
||||
3 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019A8E-1F90-6AF326AB27F-0BC3-0008
|
||||
4 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019A9C-1F90-6AF326AB282-0BC4-0008
|
||||
5 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019AA4-1F90-6AF326AB296-0BC5-0008
|
||||
6 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AA8-1F90-6AF326AB2A5-0BC6-0008
|
||||
7 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019AAA-1F90-6AF326AB2B4-0BC7-0008
|
||||
8 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AB0-1F90-6AF326AB2C4-0BC8-0008
|
||||
9 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019ABA-1F90-6AF326AB2D3-0BC9-0008
|
||||
10 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019ABE-1F90-6AF326AB2E2-0BCA-0008
|
||||
11 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019ACC-1F90-6AF326AB2E5-0BCB-0008
|
||||
12 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019ADC-1F90-6AF326AB2F2-0BCC-0008
|
||||
13 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019ADE-1F90-6AF326AB300-0BCD-0008
|
||||
14 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AE4-1F90-6AF326AB303-0BCE-0008
|
||||
15 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019AEA-1F90-6AF326AB305-0BCF-0008
|
||||
16 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019AF6-1F90-6AF326AB320-0BD0-0008
|
||||
17 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019B06-1F90-6AF326AB323-0BD1-0008
|
||||
18 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019B0C-1F90-6AF326AB33F-0BD2-0008
|
||||
19 200 X-Instance-Id=4b1faad0399c X-Request-Id=AC1400019B16-1F90-6AF326AB34E-0BD3-0008
|
||||
20 200 X-Instance-Id=3a0e06f14a63 X-Request-Id=AC1400019B24-1F90-6AF326AB351-0BD4-0008
|
||||
разных реплик: 2
|
||||
@@ -0,0 +1,62 @@
|
||||
# 2026-11-10 14:26:03 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env logs --no-color --tail 60 lb
|
||||
lb-1 | 172.20.0.1:36070 [10/Nov/2026:14:26:00.806] public api/api1 0/0/0/24/25 201 421 ---- 7/7/4/3/0 0/0 rid=AC1400018CE6-1F90-6AF32978326-1436-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36082 [10/Nov/2026:14:26:00.818] public api/api1 0/0/0/14/14 201 421 ---- 8/8/4/2/0 0/0 rid=AC1400018CF2-1F90-6AF32978332-1438-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36116 [10/Nov/2026:14:26:00.827] public api/api2 0/0/0/6/6 201 421 ---- 7/7/3/1/0 0/0 rid=AC1400018D14-1F90-6AF3297833B-143B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36130 [10/Nov/2026:14:26:00.831] public api/api2 0/0/0/7/8 201 421 ---- 8/8/4/1/0 0/0 rid=AC1400018D22-1F90-6AF3297833F-143D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36078 [10/Nov/2026:14:26:00.822] public api/api1 0/0/0/18/18 201 421 ---- 8/8/3/2/0 0/0 rid=AC1400018CEE-1F90-6AF3297832C-143A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36104 [10/Nov/2026:14:26:00.838] public api/api2 0/0/0/6/6 201 421 ---- 8/8/4/1/0 0/0 rid=AC1400018D08-1F90-6AF32978338-143F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36182 [10/Nov/2026:14:26:00.842] public api/api2 0/0/0/6/6 201 421 ---- 8/8/4/0/0 0/0 rid=AC1400018D56-1F90-6AF3297834A-1441-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36196 [10/Nov/2026:14:26:00.850] public api/api2 0/0/0/4/4 201 421 ---- 8/8/7/1/0 0/0 rid=AC1400018D64-1F90-6AF32978352-1443-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36122 [10/Nov/2026:14:26:00.854] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/1/0 0/0 rid=AC1400018D1A-1F90-6AF3297833D-1445-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36212 [10/Nov/2026:14:26:00.856] public api/api2 0/0/0/6/6 201 421 ---- 8/8/6/0/0 0/0 rid=AC1400018D74-1F90-6AF32978358-1447-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36224 [10/Nov/2026:14:26:00.884] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018D80-1F90-6AF3297835E-1449-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36118 [10/Nov/2026:14:26:00.828] public api/api1 0/0/0/76/76 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018D16-1F90-6AF3297833C-143C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36156 [10/Nov/2026:14:26:00.834] public api/api1 0/0/0/78/78 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018D3C-1F90-6AF32978342-143E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36276 [10/Nov/2026:14:26:00.914] public api/api2 0/0/0/6/6 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018DB4-1F90-6AF32978392-144B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36190 [10/Nov/2026:14:26:00.846] public api/api1 0/0/0/77/77 201 421 ---- 8/8/7/6/0 0/0 rid=AC1400018D5E-1F90-6AF3297834E-1442-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36168 [10/Nov/2026:14:26:00.841] public api/api1 0/0/0/82/83 201 421 ---- 7/7/6/5/0 0/0 rid=AC1400018D48-1F90-6AF32978349-1440-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36166 [10/Nov/2026:14:26:00.854] public api/api1 0/0/0/72/73 201 421 ---- 8/8/7/5/0 0/0 rid=AC1400018D46-1F90-6AF32978343-1446-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36262 [10/Nov/2026:14:26:00.906] public api/api1 0/0/0/21/21 201 421 ---- 8/8/6/4/0 0/0 rid=AC1400018DA6-1F90-6AF3297838A-144A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36238 [10/Nov/2026:14:26:00.864] public api/api1 0/0/0/64/64 201 421 ---- 7/7/5/3/0 0/0 rid=AC1400018D8E-1F90-6AF32978360-1448-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36146 [10/Nov/2026:14:26:00.853] public api/api1 0/0/1/74/75 201 421 ---- 6/6/5/3/0 0/0 rid=AC1400018D32-1F90-6AF32978340-1444-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36282 [10/Nov/2026:14:26:00.922] public api/api2 0/0/0/6/6 201 421 ---- 5/5/4/1/0 0/0 rid=AC1400018DBA-1F90-6AF3297839A-144D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36250 [10/Nov/2026:14:26:00.915] public api/api1 0/0/0/14/15 201 421 ---- 5/5/3/2/0 0/0 rid=AC1400018D9A-1F90-6AF3297837C-144C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36294 [10/Nov/2026:14:26:00.926] public api/api2 0/0/0/8/8 201 421 ---- 8/8/6/2/0 0/0 rid=AC1400018DC6-1F90-6AF3297839E-144F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36324 [10/Nov/2026:14:26:00.930] public api/api2 0/0/0/10/10 201 421 ---- 8/8/6/2/0 0/0 rid=AC1400018DE4-1F90-6AF329783A2-1451-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36378 [10/Nov/2026:14:26:00.935] public api/api2 0/0/0/7/7 201 421 ---- 8/8/6/1/0 0/0 rid=AC1400018E1A-1F90-6AF329783A7-1455-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36336 [10/Nov/2026:14:26:00.931] public api/api2 0/0/0/12/12 201 421 ---- 7/7/5/0/0 0/0 rid=AC1400018DF0-1F90-6AF329783A3-1453-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36396 [10/Nov/2026:14:26:00.945] public api/api2 0/0/0/5/5 201 421 ---- 8/8/7/1/0 0/0 rid=AC1400018E2C-1F90-6AF329783B1-1457-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36362 [10/Nov/2026:14:26:00.945] public api/api2 0/0/0/7/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018E0A-1F90-6AF329783A4-1459-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36416 [10/Nov/2026:14:26:00.977] public api/api2 0/0/0/7/7 201 421 ---- 8/8/7/0/0 0/0 rid=AC1400018E40-1F90-6AF329783BA-145B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36308 [10/Nov/2026:14:26:00.926] public api/api1 0/0/0/78/78 201 421 ---- 8/8/7/7/0 0/0 rid=AC1400018DD4-1F90-6AF3297839E-144E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36320 [10/Nov/2026:14:26:00.928] public api/api1 0/0/0/77/78 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018DE0-1F90-6AF329783A0-1450-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36428 [10/Nov/2026:14:26:01.006] public api/api2 0/0/0/6/6 201 420 ---- 8/8/6/0/0 0/0 rid=AC1400018E4C-1F90-6AF3297906-145D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36348 [10/Nov/2026:14:26:00.931] public api/api1 0/0/0/86/86 201 421 ---- 8/8/6/6/0 0/0 rid=AC1400018DFC-1F90-6AF329783A3-1452-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36342 [10/Nov/2026:14:26:00.930] public api/api1 0/0/0/88/88 201 421 ---- 8/8/5/5/0 0/0 rid=AC1400018DF6-1F90-6AF329783A2-1454-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36418 [10/Nov/2026:14:26:00.986] public api/api1 0/0/0/35/36 201 421 ---- 8/8/4/4/0 0/0 rid=AC1400018E42-1F90-6AF329783DA-145C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36384 [10/Nov/2026:14:26:00.942] public api/api1 0/0/0/80/81 201 421 ---- 7/7/4/3/0 0/0 rid=AC1400018E20-1F90-6AF329783AE-1456-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36392 [10/Nov/2026:14:26:00.945] public api/api1 0/0/0/77/78 201 421 ---- 6/6/3/2/0 0/0 rid=AC1400018E28-1F90-6AF329783B1-1458-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36402 [10/Nov/2026:14:26:00.952] public api/api1 0/0/0/71/71 201 421 ---- 6/6/2/1/0 0/0 rid=AC1400018E32-1F90-6AF329783B8-145A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36444 [10/Nov/2026:14:26:01.014] public api/api1 0/0/0/14/14 201 420 ---- 8/8/5/2/0 0/0 rid=AC1400018E5C-1F90-6AF329790E-145E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36438 [10/Nov/2026:14:26:01.023] public api/api2 0/0/0/11/11 201 420 ---- 8/8/5/2/0 0/0 rid=AC1400018E56-1F90-6AF3297908-145F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36496 [10/Nov/2026:14:26:01.025] public api/api2 0/0/0/11/11 201 420 ---- 8/8/5/2/0 0/0 rid=AC1400018E90-1F90-6AF3297919-1461-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36482 [10/Nov/2026:14:26:01.025] public api/api1 0/0/0/11/11 201 420 ---- 7/7/4/2/0 0/0 rid=AC1400018E82-1F90-6AF3297919-1462-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36488 [10/Nov/2026:14:26:01.025] public api/api2 0/0/0/12/12 201 420 ---- 6/6/3/1/0 0/0 rid=AC1400018E88-1F90-6AF3297919-1463-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36512 [10/Nov/2026:14:26:01.036] public api/api2 0/0/0/10/10 201 420 ---- 8/8/7/2/0 0/0 rid=AC1400018EA0-1F90-6AF3297924-1465-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36462 [10/Nov/2026:14:26:01.038] public api/api2 0/0/0/11/11 201 420 ---- 8/8/7/2/0 0/0 rid=AC1400018E6E-1F90-6AF3297915-1467-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36524 [10/Nov/2026:14:26:01.039] public api/api2 0/0/0/9/10 201 420 ---- 7/7/6/1/0 0/0 rid=AC1400018EAC-1F90-6AF3297927-1469-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36546 [10/Nov/2026:14:26:01.048] public api/api2 0/0/0/8/8 201 420 ---- 8/8/7/1/0 0/0 rid=AC1400018EC2-1F90-6AF3297930-146B-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36568 [10/Nov/2026:14:26:01.051] public api/api2 0/0/0/7/7 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018ED8-1F90-6AF3297933-146D-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36592 [10/Nov/2026:14:26:01.059] public api/api2 0/0/0/4/4 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018EF0-1F90-6AF329793B-146F-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36508 [10/Nov/2026:14:26:01.030] public api/api1 0/0/0/68/68 201 420 ---- 8/8/7/7/0 0/0 rid=AC1400018E9C-1F90-6AF329791E-1464-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36470 [10/Nov/2026:14:26:01.025] public api/api1 0/0/0/73/73 201 420 ---- 7/7/6/6/0 0/0 rid=AC1400018E76-1F90-6AF3297919-1460-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36612 [10/Nov/2026:14:26:01.100] public api/api2 0/0/0/5/6 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018F04-1F90-6AF3297964-1471-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36620 [10/Nov/2026:14:26:01.108] public api/api2 0/0/0/4/4 201 420 ---- 8/8/7/0/0 0/0 rid=AC1400018F0C-1F90-6AF329796C-1473-0008 inst=cec102b25e41 "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36618 [10/Nov/2026:14:26:01.100] public api/api1 0/0/0/17/17 201 420 ---- 7/7/6/6/0 0/0 rid=AC1400018F0A-1F90-6AF3297964-1472-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36584 [10/Nov/2026:14:26:01.057] public api/api1 0/0/0/61/61 201 420 ---- 6/6/5/5/0 0/0 rid=AC1400018EE8-1F90-6AF3297939-146E-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36536 [10/Nov/2026:14:26:01.040] public api/api1 0/0/0/81/81 201 420 ---- 5/5/4/4/0 0/0 rid=AC1400018EB8-1F90-6AF3297928-146A-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36516 [10/Nov/2026:14:26:01.039] public api/api1 0/0/0/83/83 201 420 ---- 4/4/3/3/0 0/0 rid=AC1400018EA4-1F90-6AF3297927-1468-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36452 [10/Nov/2026:14:26:01.038] public api/api1 0/0/1/84/85 201 420 ---- 3/3/2/2/0 0/0 rid=AC1400018E64-1F90-6AF3297913-1466-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36600 [10/Nov/2026:14:26:01.065] public api/api1 0/0/0/57/58 201 420 ---- 2/2/1/1/0 0/0 rid=AC1400018EF8-1F90-6AF3297941-1470-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
lb-1 | 172.20.0.1:36562 [10/Nov/2026:14:26:01.051] public api/api1 0/0/0/72/72 201 420 ---- 1/1/0/0/0 0/0 rid=AC1400018ED2-1F90-6AF3297933-146C-0008 inst=9adbb2f64abd "POST /api/v1/chats/2e3b890e-2af9-4acf-8c20-41d8ad16ad39/messages"
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 5,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.094,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 5150,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 171.13,
|
||||
"successful_latency_ms": {
|
||||
"p50": 31.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,31 @@
|
||||
# 2026-11-10 14:26:01 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.5s
|
||||
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
|
||||
{
|
||||
"lab": 5,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.094,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 5150,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 171.13,
|
||||
"successful_latency_ms": {
|
||||
"p50": 31.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
# 2026-11-10 14:26:03 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab5-api-6 20.42% 95.3MiB / 320MiB 29.78%
|
||||
messenger-lab5-api-5 19.69% 94.15MiB / 320MiB 29.42%
|
||||
messenger-lab5-worker-1 0.13% 77.54MiB / 1.25GiB 6.06%
|
||||
messenger-lab5-lb-1 0.34% 13.26MiB / 128MiB 10.36%
|
||||
messenger-lab5-postgres-1 3.10% 71.41MiB / 512MiB 13.95%
|
||||
messenger-lab5-redis-1 0.21% 4.559MiB / 96MiB 4.75%
|
||||
messenger-lab5-s3-1 2.87% 99.73MiB / 512MiB 19.48%
|
||||
messenger-lab5-broker-1 2.79% 8.617MiB / 320MiB 2.69%
|
||||
|
||||
@@ -0,0 +1,33 @@
|
||||
# Локальный прогон (без Docker) — что это и чем НЕ является
|
||||
|
||||
Дата: 2026-11-09. Эти файлы получены при разработке в изолированной Linux-песочнице,
|
||||
где **Docker Hub недоступен** (образы не скачиваются), поэтому compose-стенд там не
|
||||
поднимался. Те же процессы запускались нативно:
|
||||
|
||||
| Роль | В compose.yaml | В локальном прогоне |
|
||||
| --- | --- | --- |
|
||||
| API x2 | `api` (образ из Dockerfile) | `python -m src.server` x2 (INSTANCE_ID=api1/api2) |
|
||||
| LB | HAProxy 2.8.30 | 40-строчный round-robin TCP-прокси на asyncio (только для теста) |
|
||||
| PostgreSQL | postgres:16.4-alpine | PostgreSQL 16 (системный) |
|
||||
| Кэш сессий | redis:7.4.1-alpine | Redis 7.0.15, без persistence |
|
||||
| Broker | redis:7.4.1-alpine, AOF `appendfsync always`, `noeviction` | Redis 7.0.15 с теми же флагами, отдельный dir |
|
||||
| S3 | SeaweedFS 4.50 | moto 5.0.28 (S3-эмулятор, in-memory) |
|
||||
| Worker | `worker` (`python -m src.worker`) | тот же модуль; «restart: unless-stopped» эмулирован циклом в shell |
|
||||
|
||||
Код приложения, миграции и тесты — те же, что в репозитории. Хуки рестарта/остановки
|
||||
заменены локальными скриптами (kill/pg_ctl/redis SHUTDOWN), поэтому **доказательства
|
||||
на compose-стенде нужно собрать самостоятельно**: `python scripts/collect_evidence.py`
|
||||
(запишет evidence/*.txt и evidence/SUMMARY.txt). S3 в локальном persistence-прогоне
|
||||
не перезапускался (moto хранит данные в памяти).
|
||||
|
||||
| Файл | Что внутри |
|
||||
| --- | --- |
|
||||
| smoke.txt, student-tests.txt | `make test` и `student-tests/run_all.py` через 2 реплики: 91 тест + race, PASS |
|
||||
| pipeline_and_attachments.txt | test_pipeline.py (7) и адаптированный test_attachments.py (17), PASS |
|
||||
| pipeline_faults.txt | test_pipeline_faults.py: 10 сценариев отказов уровня 4, PASS |
|
||||
| pipeline_faults_events.txt | журнал job_events этих сценариев (доказательство *как* система восстановилась) |
|
||||
| worker_fault_log.txt | строки лога worker: внедрённые падения и восстановление своего PEL |
|
||||
| worker_outage.txt / .json | сценарий защиты уровня 3 (worker stop -> 202 -> рестарт API и broker -> ready) |
|
||||
| persistence.txt, failover.txt | публичные tests/resilience.py (persistence: API+worker+PG+Redis+broker) |
|
||||
| latency.json | 30 загрузок: 202 p50 16 мс; до ready p50 0.44 с (с шагом опроса 0.2 с) |
|
||||
| imaging_memory.txt | пиковый RSS подпроцесса обработки: 40 Мп RGBA PNG — 361 MiB, 40 Мп JPEG — 46 MiB |
|
||||
@@ -0,0 +1,4 @@
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 141, "failed_attempts": 0, "first_recovery_seconds": 0.115}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
EXIT=0
|
||||
@@ -0,0 +1,5 @@
|
||||
synthetic/big.jpg 626630 {'thumbnail': (256, 160), 'crop': (128, 128), 'optimized': (1280, 800)} 0.20s peak RSS 46 MiB
|
||||
synthetic/big.png 165443 {'thumbnail': (256, 160), 'crop': (128, 128), 'optimized': (1280, 800)} 1.80s peak RSS 361 MiB
|
||||
tests/fixtures/sample.png 111817 {'thumbnail': (256, 160), 'crop': (128, 128), 'optimized': (320, 200)} 0.05s peak RSS 23 MiB
|
||||
synthetic/alpha.png 86 {'thumbnail': (50, 30), 'crop': (128, 128), 'optimized': (50, 30)} 0.04s peak RSS 23 MiB
|
||||
synthetic/orient.jpg 1365 {'thumbnail': (64, 256), 'crop': (128, 128), 'optimized': (100, 400)} 0.04s peak RSS 23 MiB
|
||||
@@ -0,0 +1,14 @@
|
||||
{
|
||||
"n": 30,
|
||||
"file": "tests/fixtures/sample.png 320x200 109 KiB",
|
||||
"upload_202_s": {
|
||||
"p50": 0.016,
|
||||
"p95": 0.029
|
||||
},
|
||||
"upload_to_ready_s": {
|
||||
"p50": 0.435,
|
||||
"p95": 0.449,
|
||||
"max": 0.45
|
||||
},
|
||||
"note": "local sandbox, poll interval 0.2 s, 1 worker x 2 consumers"
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
EXIT=0
|
||||
@@ -0,0 +1,11 @@
|
||||
.......
|
||||
----------------------------------------------------------------------
|
||||
Ran 7 tests in 4.403s
|
||||
|
||||
OK
|
||||
.................
|
||||
----------------------------------------------------------------------
|
||||
Ran 17 tests in 3.869s
|
||||
|
||||
OK
|
||||
done
|
||||
@@ -0,0 +1,18 @@
|
||||
test_a_crash_between_commit_and_publish (test_pipeline_faults.PipelineFaultTests.test_a_crash_between_commit_and_publish) ... ok
|
||||
test_b_crash_after_publish_duplicate_is_noop (test_pipeline_faults.PipelineFaultTests.test_b_crash_after_publish_duplicate_is_noop) ... ok
|
||||
test_c_worker_crash_after_side_effects_before_commit (test_pipeline_faults.PipelineFaultTests.test_c_worker_crash_after_side_effects_before_commit) ... ok
|
||||
test_d_worker_crash_after_commit_before_ack (test_pipeline_faults.PipelineFaultTests.test_d_worker_crash_after_commit_before_ack) ... ok
|
||||
test_e_transient_errors_retry_with_backoff (test_pipeline_faults.PipelineFaultTests.test_e_transient_errors_retry_with_backoff) ... ok
|
||||
test_f_permanent_error_fails_without_retry (test_pipeline_faults.PipelineFaultTests.test_f_permanent_error_fails_without_retry) ... ok
|
||||
test_g_retry_exhausted_dlq_then_explicit_replay (test_pipeline_faults.PipelineFaultTests.test_g_retry_exhausted_dlq_then_explicit_replay) ... ok
|
||||
test_h_hung_worker_lease_expires_and_is_fenced (test_pipeline_faults.PipelineFaultTests.test_h_hung_worker_lease_expires_and_is_fenced) ... ok
|
||||
test_i_staging_removed_after_safe_commit (test_pipeline_faults.PipelineFaultTests.test_i_staging_removed_after_safe_commit) ... /home/claude/venv/lib/python3.13/site-packages/botocore/auth.py:424: DeprecationWarning: datetime.datetime.utcnow() is deprecated and scheduled for removal in a future version. Use timezone-aware objects to represent datetimes in UTC: datetime.datetime.now(datetime.UTC).
|
||||
datetime_now = datetime.datetime.utcnow()
|
||||
ok
|
||||
test_j_garbage_broker_message_is_acked (test_pipeline_faults.PipelineFaultTests.test_j_garbage_broker_message_is_acked) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 10 tests in 71.328s
|
||||
|
||||
OK
|
||||
EXIT=0
|
||||
@@ -0,0 +1,71 @@
|
||||
filename | attempt | event | detail | actor
|
||||
----------------------------------+---------+-----------------+---------------------------------------------------+-------------
|
||||
a.png | 1 | accepted | | api
|
||||
a.png | 1 | fault_injected | crash between COMMIT and publish | api:apipub
|
||||
a.png | 1 | published | stream id 1794253144786-0 | api:apidup
|
||||
a.png | 1 | claimed | | wf-1
|
||||
a.png | 1 | succeeded | thumbnail,crop,optimized | wf-1
|
||||
b.png | 1 | accepted | | api
|
||||
b.png | 1 | fault_injected | crash after XADD before outbox commit | api:apidup
|
||||
b.png | 1 | claimed | | wf-1
|
||||
b.png | 1 | succeeded | thumbnail,crop,optimized | wf-1
|
||||
b.png | 1 | published | stream id 1794253148012-0 | api:api1
|
||||
b.png | 1 | redelivery_noop | already_succeeded | wf-0
|
||||
fault-crash-after-effects.png | 1 | accepted | | api
|
||||
fault-crash-after-effects.png | 1 | published | stream id 1794253148173-0 | api:api1
|
||||
fault-crash-after-effects.png | 1 | claimed | | wf-1
|
||||
fault-crash-after-effects.png | 1 | fault_injected | crash after S3 writes before COMMIT | wf-1
|
||||
fault-crash-after-effects.png | 1 | lease_takeover | previous owner wf-1 | wf-1
|
||||
fault-crash-after-effects.png | 1 | succeeded | thumbnail,crop,optimized | wf-1
|
||||
fault-crash-before-ack.png | 1 | accepted | | api
|
||||
fault-crash-before-ack.png | 1 | published | stream id 1794253150245-0 | api:api1
|
||||
fault-crash-before-ack.png | 1 | claimed | | wf-0
|
||||
fault-crash-before-ack.png | 1 | succeeded | thumbnail,crop,optimized | wf-0
|
||||
fault-crash-before-ack.png | 1 | fault_injected | crash after COMMIT before XACK | wf-0
|
||||
fault-crash-before-ack.png | 1 | redelivery_noop | already_succeeded | wf-0
|
||||
fault-permanent.png | 1 | accepted | | api
|
||||
fault-permanent.png | 1 | published | stream id 1794253155274-0 | api:api1
|
||||
fault-permanent.png | 1 | claimed | | wf-1
|
||||
fault-permanent.png | 1 | failed | invalid_image; injected permanent failure | wf-1
|
||||
fault-slow.png | 1 | accepted | | api
|
||||
fault-slow.png | 1 | published | stream id 1794253167381-0 | api:api1
|
||||
fault-slow.png | 1 | claimed | | wf-1
|
||||
fault-slow.png | 1 | lease_expired | owner wf-1; next attempt 2 in 0.51s | worker:wf
|
||||
fault-slow.png | 1 | redelivery_noop | stale_attempt | wf-0
|
||||
fault-slow.png | 2 | published | stream id 1794253198039-0 | worker:wf
|
||||
fault-slow.png | 2 | claimed | | wf-0
|
||||
fault-slow.png | 2 | succeeded | thumbnail,crop,optimized | wf-0
|
||||
fault-slow.png | 1 | lease_lost | result not published: lease token no longer valid | wf-1
|
||||
fault-transient-until-3.png | 1 | accepted | | api
|
||||
fault-transient-until-3.png | 1 | published | stream id 1794253152182-0 | api:api1
|
||||
fault-transient-until-3.png | 1 | claimed | | wf-1
|
||||
fault-transient-until-3.png | 1 | retry_scheduled | injected_transient; next attempt 2 in 0.79s | wf-1
|
||||
fault-transient-until-3.png | 2 | published | stream id 1794253153023-0 | api:api1
|
||||
fault-transient-until-3.png | 2 | claimed | | wf-0
|
||||
fault-transient-until-3.png | 2 | retry_scheduled | injected_transient; next attempt 3 in 1.90s | wf-0
|
||||
fault-transient-until-3.png | 3 | published | stream id 1794253154959-0 | worker:wf
|
||||
fault-transient-until-3.png | 3 | claimed | | wf-0
|
||||
fault-transient-until-3.png | 3 | succeeded | thumbnail,crop,optimized | wf-0
|
||||
fault-transient-until-replay.png | 1 | accepted | | api
|
||||
fault-transient-until-replay.png | 1 | published | stream id 1794253155506-0 | api:api1
|
||||
fault-transient-until-replay.png | 1 | claimed | | wf-0
|
||||
fault-transient-until-replay.png | 1 | retry_scheduled | injected_transient; next attempt 2 in 0.54s | wf-0
|
||||
fault-transient-until-replay.png | 2 | published | stream id 1794253156965-0 | worker:wf
|
||||
fault-transient-until-replay.png | 2 | claimed | | wf-1
|
||||
fault-transient-until-replay.png | 2 | retry_scheduled | injected_transient; next attempt 3 in 1.97s | wf-1
|
||||
fault-transient-until-replay.png | 3 | published | stream id 1794253158970-0 | worker:wf
|
||||
fault-transient-until-replay.png | 3 | claimed | | wf-1
|
||||
fault-transient-until-replay.png | 3 | retry_scheduled | injected_transient; next attempt 4 in 3.54s | wf-1
|
||||
fault-transient-until-replay.png | 4 | published | stream id 1794253162979-0 | worker:wf
|
||||
fault-transient-until-replay.png | 4 | claimed | | wf-1
|
||||
fault-transient-until-replay.png | 4 | retry_scheduled | injected_transient; next attempt 5 in 2.54s | wf-1
|
||||
fault-transient-until-replay.png | 5 | published | stream id 1794253165987-0 | worker:wf
|
||||
fault-transient-until-replay.png | 5 | claimed | | wf-1
|
||||
fault-transient-until-replay.png | 5 | failed | retry_exhausted; injected_transient | wf-1
|
||||
fault-transient-until-replay.png | 6 | replayed | operator replay; new attempt 6 | test:replay
|
||||
fault-transient-until-replay.png | 6 | published | stream id 1794253166991-0 | worker:wf
|
||||
fault-transient-until-replay.png | 6 | claimed | | wf-0
|
||||
fault-transient-until-replay.png | 6 | succeeded | thumbnail,crop,optimized | wf-0
|
||||
fault-transient-until-replay.png | 6 | replay_refused | already succeeded (no duplicate execution) | test:replay
|
||||
(67 rows)
|
||||
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,111 @@
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests.test_chat_list_pagination) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests.test_cursor_from_other_chat_returns_400) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests.test_duplicate_username_returns_409) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests.test_empty_message_returns_400) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests.test_malformed_json_returns_400) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests.test_naive_timestamp_cursor_returns_400) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests.test_outsider_cannot_access_chat) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests.test_pagination_returns_all_messages_without_duplicates) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests.test_password_never_returned) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests.test_registration_without_password_returns_400) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests.test_sender_id_in_body_rejected) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests.test_short_password_returns_400) ... ok
|
||||
test_crash_between_put_and_commit_dry_run_then_apply_then_noop (test_attachment_consistency.AttachmentConsistencyTests.test_crash_between_put_and_commit_dry_run_then_apply_then_noop) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_fresh_pending_is_kept (test_attachment_consistency.AttachmentConsistencyTests.test_fresh_pending_is_kept) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_missing_object_is_reported_not_deleted (test_attachment_consistency.AttachmentConsistencyTests.test_missing_object_is_reported_not_deleted) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_orphan_object_deleted_only_after_grace (test_attachment_consistency.AttachmentConsistencyTests.test_orphan_object_deleted_only_after_grace) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_pending_cannot_be_attached (test_attachment_consistency.AttachmentConsistencyTests.test_pending_cannot_be_attached) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_ready_and_referenced_are_never_collected (test_attachment_consistency.AttachmentConsistencyTests.test_ready_and_referenced_are_never_collected) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_aborted_upload_leaves_no_row_and_no_object (test_attachment_consistency.UploadFailureTests.test_aborted_upload_leaves_no_row_and_no_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_db_failure_after_put_returns_503_and_deletes_object (test_attachment_consistency.UploadFailureTests.test_db_failure_after_put_returns_503_and_deletes_object) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_process_crash_after_put_is_collected_by_gc (test_attachment_consistency.UploadFailureTests.test_process_crash_after_put_is_collected_by_gc) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_s3_put_failure_returns_503_and_compensates (test_attachment_consistency.UploadFailureTests.test_s3_put_failure_returns_503_and_compensates) ... skipped 'DATABASE_URL and S3 settings are not configured'
|
||||
test_attachment_from_other_chat_is_404_and_nothing_saved (test_attachments.AttachmentTests.test_attachment_from_other_chat_is_404_and_nothing_saved) ... ok
|
||||
test_content_type_with_parameters_is_accepted (test_attachments.AttachmentTests.test_content_type_with_parameters_is_accepted) ... ok
|
||||
test_corrupted_images_are_415 (test_attachments.AttachmentTests.test_corrupted_images_are_415) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTests.test_dangerous_filenames_are_400) ... ok
|
||||
test_exactly_max_size_is_accepted (test_attachments.AttachmentTests.test_exactly_max_size_is_accepted) ... ok
|
||||
test_idempotency_includes_attachment_ids (test_attachments.AttachmentTests.test_idempotency_includes_attachment_ids) ... ok
|
||||
test_invalid_and_unknown_attachment_ids (test_attachments.AttachmentTests.test_invalid_and_unknown_attachment_ids) ... ok
|
||||
test_jpeg_baseline_and_progressive (test_attachments.AttachmentTests.test_jpeg_baseline_and_progressive) ... ok
|
||||
test_message_attachment_validation (test_attachments.AttachmentTests.test_message_attachment_validation) ... ok
|
||||
test_message_with_attachments_visible_to_members (test_attachments.AttachmentTests.test_message_with_attachments_visible_to_members) ... ok
|
||||
test_mime_spoofing_is_415 (test_attachments.AttachmentTests.test_mime_spoofing_is_415) ... ok
|
||||
test_original_variant_and_unknown_variants (test_attachments.AttachmentTests.test_original_variant_and_unknown_variants) ... ok
|
||||
test_outsider_and_unknown_chat_upload_404 (test_attachments.AttachmentTests.test_outsider_and_unknown_chat_upload_404) ... ok
|
||||
test_png_roundtrip_member_reads_outsider_404 (test_attachments.AttachmentTests.test_png_roundtrip_member_reads_outsider_404) ... ok
|
||||
test_too_large_chunked_without_content_length (test_attachments.AttachmentTests.test_too_large_chunked_without_content_length) ... ok
|
||||
test_too_large_with_content_length (test_attachments.AttachmentTests.test_too_large_with_content_length) ... ok
|
||||
test_too_many_pixels (test_attachments.AttachmentTests.test_too_many_pixels) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests.test_basic_on_business_endpoint_rejected) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests.test_login_with_body_rejected)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests.test_logout_revokes_only_current_session) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests.test_malformed_basic_headers) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests.test_password_with_colon_and_unicode) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests.test_session_shape_and_token_entropy) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests.test_unknown_and_garbage_tokens) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests.test_wrong_password_and_unknown_user_look_the_same) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests.test_x_user_id_gives_no_access) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests.test_duplicate_and_missing_caller_rejected) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests.test_unknown_member_rolls_back_whole_chat)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests.test_same_username_parallel_registration) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests.test_auth_checked_before_key) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests.test_concurrent_same_key_across_replicas_creates_one_message) ...
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['api1', 'api2']
|
||||
ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests.test_concurrent_same_key_different_bodies_one_winner) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests.test_failed_access_does_not_burn_key) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests.test_json_formatting_and_key_order_do_not_matter) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests.test_key_survives_new_session_of_same_user) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests.test_missing_or_invalid_key_is_400) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests.test_replay_rechecks_session) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests.test_scope_is_user_and_chat) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests.test_sequential_replay_and_conflict) ... ok
|
||||
test_exif_orientation_applied_and_stripped (test_pipeline.PipelineTests.test_exif_orientation_applied_and_stripped) ... ok
|
||||
test_fixture_320x200 (test_pipeline.PipelineTests.test_fixture_320x200) ... ok
|
||||
test_progressive_jpeg (test_pipeline.PipelineTests.test_progressive_jpeg) ... ok
|
||||
test_result_is_stable_and_private (test_pipeline.PipelineTests.test_result_is_stable_and_private) ... ok
|
||||
test_small_source_not_upscaled_except_crop (test_pipeline.PipelineTests.test_small_source_not_upscaled_except_crop) ... ok
|
||||
test_transparency_on_white (test_pipeline.PipelineTests.test_transparency_on_white) ... ok
|
||||
test_unknown_variant_is_400 (test_pipeline.PipelineTests.test_unknown_variant_is_400) ... ok
|
||||
test_a_crash_between_commit_and_publish (test_pipeline_faults.PipelineFaultTests.test_a_crash_between_commit_and_publish) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_b_crash_after_publish_duplicate_is_noop (test_pipeline_faults.PipelineFaultTests.test_b_crash_after_publish_duplicate_is_noop) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_c_worker_crash_after_side_effects_before_commit (test_pipeline_faults.PipelineFaultTests.test_c_worker_crash_after_side_effects_before_commit) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_d_worker_crash_after_commit_before_ack (test_pipeline_faults.PipelineFaultTests.test_d_worker_crash_after_commit_before_ack) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_e_transient_errors_retry_with_backoff (test_pipeline_faults.PipelineFaultTests.test_e_transient_errors_retry_with_backoff) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_f_permanent_error_fails_without_retry (test_pipeline_faults.PipelineFaultTests.test_f_permanent_error_fails_without_retry) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_g_retry_exhausted_dlq_then_explicit_replay (test_pipeline_faults.PipelineFaultTests.test_g_retry_exhausted_dlq_then_explicit_replay) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_h_hung_worker_lease_expires_and_is_fenced (test_pipeline_faults.PipelineFaultTests.test_h_hung_worker_lease_expires_and_is_fenced) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_i_staging_removed_after_safe_commit (test_pipeline_faults.PipelineFaultTests.test_i_staging_removed_after_safe_commit) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_j_garbage_broker_message_is_acked (test_pipeline_faults.PipelineFaultTests.test_j_garbage_broker_message_is_acked) ... skipped 'needs API at http://127.0.0.1:8090 and DB/S3/broker env'
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 91 tests in 11.178s
|
||||
|
||||
OK (skipped=33)
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
EXIT=0
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
EXIT=0
|
||||
@@ -0,0 +1,8 @@
|
||||
2026-11-09 22:39:08,453 ERROR messenger.worker FAULT_INJECTION: worker exits after S3 writes before COMMIT (job 689dc4ad-bf5d-4d33-a7f4-d557aef94b2a)
|
||||
22:39:08 wf exited (os._exit(70)); supervisor restarts it like docker restart: unless-stopped
|
||||
2026-11-09 22:39:09,883 INFO messenger.worker wf-1: recovering own unacked message 1794253148173-0
|
||||
2026-11-09 22:39:10,530 ERROR messenger.worker FAULT_INJECTION: worker exits after COMMIT before XACK (job 6746ae17-f4cc-48b1-9864-c6e80507c2bf)
|
||||
22:39:10 wf exited (os._exit(70)); supervisor restarts it like docker restart: unless-stopped
|
||||
2026-11-09 22:39:11,945 INFO messenger.worker wf-0: recovering own unacked message 1794253150245-0
|
||||
2026-11-09 22:39:57,386 INFO messenger.worker wf-0: claimed idle message 1794253167381-0 (deliveries=2)
|
||||
2026-11-09 22:40:12,653 WARNING messenger.worker wf-1: lease lost for job acf17aa8-ef8d-4338-8beb-bd9bab29be8b; result not published (fenced)
|
||||
@@ -0,0 +1,80 @@
|
||||
[
|
||||
{
|
||||
"seconds": 0.02,
|
||||
"step": "worker stopped",
|
||||
"t": 0.14
|
||||
},
|
||||
{
|
||||
"status": 202,
|
||||
"attachment_id": "3985fc73-5e47-411d-8d68-c44551e77cb9",
|
||||
"attachment_status": "queued",
|
||||
"step": "upload accepted",
|
||||
"t": 0.15
|
||||
},
|
||||
{
|
||||
"metadata_status": "queued",
|
||||
"content_status": 409,
|
||||
"message_with_attachment": 201,
|
||||
"plain_message": 201,
|
||||
"message_id": "d589ad3f-63a3-4258-a981-701a2a7bfb5e",
|
||||
"step": "while worker is down",
|
||||
"t": 3.17
|
||||
},
|
||||
{
|
||||
"length": 1,
|
||||
"lag": 1,
|
||||
"pending": 0,
|
||||
"jobs": {
|
||||
"succeeded": 32,
|
||||
"failed": 1,
|
||||
"queued": 1
|
||||
},
|
||||
"outbox_rows": 0,
|
||||
"step": "broker before restarts",
|
||||
"t": 3.37
|
||||
},
|
||||
{
|
||||
"seconds": 3.06,
|
||||
"step": "api replicas restarted",
|
||||
"t": 6.43
|
||||
},
|
||||
{
|
||||
"seconds": 2.03,
|
||||
"step": "broker restarted (volume kept)",
|
||||
"t": 8.46
|
||||
},
|
||||
{
|
||||
"metadata_status": "queued",
|
||||
"length": 1,
|
||||
"lag": 1,
|
||||
"pending": 0,
|
||||
"jobs": {
|
||||
"succeeded": 32,
|
||||
"failed": 1,
|
||||
"queued": 1
|
||||
},
|
||||
"outbox_rows": 0,
|
||||
"step": "after restarts",
|
||||
"t": 10.66
|
||||
},
|
||||
{
|
||||
"seconds": 3.01,
|
||||
"step": "worker started",
|
||||
"t": 13.67
|
||||
},
|
||||
{
|
||||
"attachment_id": "3985fc73-5e47-411d-8d68-c44551e77cb9",
|
||||
"variants": [
|
||||
"thumbnail",
|
||||
"crop",
|
||||
"optimized"
|
||||
],
|
||||
"thumbnail_jpeg_size": [
|
||||
256,
|
||||
160
|
||||
],
|
||||
"original_sha256_ok": true,
|
||||
"step": "ready",
|
||||
"t": 13.7
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,11 @@
|
||||
{"seconds": 0.02, "step": "worker stopped", "t": 0.14}
|
||||
{"status": 202, "attachment_id": "3985fc73-5e47-411d-8d68-c44551e77cb9", "attachment_status": "queued", "step": "upload accepted", "t": 0.15}
|
||||
{"metadata_status": "queued", "content_status": 409, "message_with_attachment": 201, "plain_message": 201, "message_id": "d589ad3f-63a3-4258-a981-701a2a7bfb5e", "step": "while worker is down", "t": 3.17}
|
||||
{"length": 1, "lag": 1, "pending": 0, "jobs": {"succeeded": 32, "failed": 1, "queued": 1}, "outbox_rows": 0, "step": "broker before restarts", "t": 3.37}
|
||||
{"seconds": 3.06, "step": "api replicas restarted", "t": 6.43}
|
||||
{"seconds": 2.03, "step": "broker restarted (volume kept)", "t": 8.46}
|
||||
{"metadata_status": "queued", "length": 1, "lag": 1, "pending": 0, "jobs": {"succeeded": 32, "failed": 1, "queued": 1}, "outbox_rows": 0, "step": "after restarts", "t": 10.66}
|
||||
{"seconds": 3.01, "step": "worker started", "t": 13.67}
|
||||
{"attachment_id": "3985fc73-5e47-411d-8d68-c44551e77cb9", "variants": ["thumbnail", "crop", "optimized"], "thumbnail_jpeg_size": [256, 160], "original_sha256_ok": true, "step": "ready", "t": 13.7}
|
||||
PASS: accepted job survived worker stop + API restart + broker restart and became ready
|
||||
EXIT=0
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user