исправлены тесты и сценарии отказов

This commit is contained in:
2026-11-17 15:51:21 +03:00
parent baee48072c
commit bdcf40aad5
14 changed files with 280 additions and 22 deletions
+4 -4
View File
@@ -6,13 +6,13 @@
Что реализовано и что перенесено: база lab5; OTLP у API и worker, Collector, Prometheus, Loki, Tempo, Grafana provisioning. Инциденты и измерения burn rate ещё не сняты.
Команды запуска из чистого clone: см. REPORT.md (`cp .env.example .env`, `docker compose --env-file .env up -d --build --scale api=2`).
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Результаты проверок и ссылка на REPORT.md: make check PASS, make test PASS, persistence PASS, failover PASS, lab5 worker-down PASS, lab6 incidents PASS. Вывод в evidence/ и REPORT.md.
Ограничения / известные ошибки: полный замер времени обнаружения короткого всплеска против длинной деградации ещё не снят; на этом прогоне firing был у TimeToReadyFastBurn.
Источники и использование ИИ: TODO
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+6 -2
View File
@@ -22,9 +22,13 @@ load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
ifeq ($(ACTION_SCRIPT),)
$(error Set ACTION_SCRIPT to your implemented executable restart hook)
endif
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
ifeq ($(ACTION_SCRIPT),)
$(error Set ACTION_SCRIPT to your implemented executable stop-one hook)
endif
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
+15 -13
View File
@@ -1,8 +1,8 @@
# Отчёт — лабораторная 6
- Автор, группа: Булацев, БПИ2301
- Целевая оценка; выбранный трек 5: 5, трек 2 «SLO и обнаружение инцидентов». Эксперименты со всплеском и длинной деградацией ещё не прогнаны.
- Commit/PR: локальные коммиты, PR не открыт
- Целевая оценка; выбранный трек 5: 5, трек 2 «SLO и обнаружение инцидентов». На стенде воспроизведены отказ worker, Postgres и collector; отдельный замер короткого всплеска против длинной деградации ещё не снят.
- Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6/pulls/37
- Использованные источники, библиотеки и помощь ИИ: контракт lab6, OpenTelemetry Python SDK 1.29.0, Collector Contrib 0.128.0, Prometheus 2.55.1, Loki 3.3.2, Tempo 2.7.1, Grafana 11.4.0. Реализация перенесена из lab5 и дополнена с помощью Cursor.
## Запуск из чистого clone
@@ -44,27 +44,29 @@ SLO и burn-rate: `infra/slo.md`, правила `infra/prometheus/alerts.yml`.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| База lab5 перенесена | код и compose | API, worker, broker, S3, Postgres на месте | compose.yaml |
| Сигналы и дашборд | provisioning Grafana | конфиги в Git, прогон стенда ещё впереди | infra/grafana/dashboards/messenger.json |
| Трасса upload → worker | traceparent в job и AMQP | код связи есть, снимок трассы ещё не снят | migrations/007_job_trace.sql |
| SLO / burn rate | правила Prometheus | пороги заданы, firing на стенде ещё не снят | infra/prometheus/alerts.yml |
| Инциденты трека 2 | короткий всплеск и длинная деградация | не выполнено в этом коммите | — |
| make check | `make PYTHON=python check` | PASS, offline skeleton | evidence/make-check.txt |
| Публичный smoke | `make PYTHON=python BASE_URL=http://127.0.0.1:8082 test` | PASS lab6 public API scenario | evidence/make-test.txt |
| Сохранность | `make test-persistence ACTION_SCRIPT=scripts/restart.cmd` | PASS, сессия и данные живы после restart | evidence/persistence.txt |
| Отказ одной реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.cmd` | 2 реплики до отказа, 104 успешных записи, 1 ошибка, восстановление за 3.316 с | evidence/failover.txt |
| Worker остановлен | `python -X utf8 scripts/lab5_checks.py` | upload 202, content 409, после старта worker ready и thumbnail | evidence/lab5-worker-down.txt |
| Очередь, БД, collector | `python -X utf8 scripts/lab6_incidents.py` | возраст очереди вырос до 23 с, `TimeToReadyFastBurn` был firing; live 200 и ready/бизнес 503 без Postgres; регистрация 201 без collector | evidence/lab6-incidents.txt |
## Эксперименты и отказы
Гипотеза трека 2: пара окон 5m+1h ловит короткий всплеск 5xx быстрее, чем пара 30m+6h, а длинная деградация остаётся видна после того, как короткое окно уже чистое. Ложные срабатывания на одном шумном интервале режет требование совпадения обоих окон.
Прогон, время обнаружения и время восстановления ещё не измерены.
На этой машине lab4 занимает `127.0.0.1:8080` и `:9000`, lab5 — `:8081` и `:9001`, поэтому прогон шёл с `compose.altports.yaml`: API `127.0.0.1:8082`, S3 `127.0.0.1:9002`. `PYTHONUTF8=1`, потому что публичные проверки читают `lab.json` в локальной кодировке Windows.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| Остановка worker | растёт oldest job age, alert QueueLagHigh | ещё не прогнано | — |
| Медленная или недоступная БД | 5xx и pool waiting, это не медленный handler | ещё не прогнано | — |
| Недоступный backend телеметрии | API жив, очередь SDK ограничена | ещё не прогнано | — |
| Короткий всплеск и длинная деградация | fast burn и slow burn расходятся по времени | ещё не прогнано | — |
| Остановка worker | upload остаётся 202, content 409, растёт возраст очереди | 202 и 409, `messenger_queue_oldest_age_seconds` дошёл до 23.4; `TimeToReadyFastBurn` был firing | worker поднят, тот же attachment стал ready; после сценария alert уже не firing |
| Postgres остановлен | `/health/live` жив, ready и запись дают 503 | live 200, ready 503, 8 из 8 регистраций 503 | ready снова 200 после `compose start postgres`; данные не удалялись |
| Collector остановлен | API принимает запрос | регистрация 201 | collector запущен снова |
| Restart хранилищ и API | тот же токен и вложение | PASS persistence | volumes сохранены |
| Остановка одной API-реплики | вторая продолжает запись | 2 instance id до отказа, восстановление записи за 3.316 с | остановленная реплика поднята отдельно |
## Ограничения и следующие шаги
Алерты вычисляет Prometheus; отдельной доставки нет. Анонимный Admin Grafana слушает только `127.0.0.1`. Возраст очереди — возраст строки `queued` в Postgres, а не lag consumer RabbitMQ. Две реплики публикуют один и тот же gauge глубины, поэтому на графике `max`.
Дальше: поднять стенд, снять одну трассу и связанный лог, остановить worker и замедлить БД, затем прогнать оба сценария burn rate и записать времена.
Дальше: снять одну трассу upload до S3 вместе со структурным логом и отдельно измерить время обнаружения короткого всплеска и длинной деградации. `QueueLagHigh` в этом прогоне не дождались: worker вернули, когда возраст очереди был около 23 с, порог правила — 30 с.
+3 -3
View File
@@ -1,9 +1,9 @@
# Local-only overlay so this stand can run beside lab4, which already owns 8080 and 9000.
# Local-only overlay so this stand can run beside lab4 (8080/9000) and lab5 (8081/9001).
# Not part of the submission. Delete it and use compose.yaml when those ports are free.
services:
lb:
ports: !override
- "127.0.0.1:8081:8080"
- "127.0.0.1:8082:8080"
s3:
ports: !override
- "127.0.0.1:9001:9000"
- "127.0.0.1:9002:9000"
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
+222
View File
@@ -0,0 +1,222 @@
#!/usr/bin/env python3
"""Lab6 failure scenarios. Prints statuses, ids and metric values. Never tokens."""
import base64
import json
import os
import subprocess
import time
import urllib.error
import urllib.parse
import urllib.request
import uuid
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
BASE = os.environ.get("BASE_URL", "http://127.0.0.1:8080")
PROM = os.environ.get("PROMETHEUS_URL", "http://127.0.0.1:9090")
FIXTURE = ROOT / "tests" / "fixtures" / "sample.png"
def compose(*args: str) -> None:
command = ["docker", "compose", "--env-file", ".env", "-f", "compose.yaml"]
if os.environ.get("COMPOSE_ALTPORTS") == "1":
command.extend(["-f", "compose.altports.yaml"])
subprocess.run([*command, *args], cwd=ROOT, check=True)
class Api:
def __init__(self) -> None:
self.opener = urllib.request.build_opener(urllib.request.ProxyHandler({}))
def call(self, method, path, body=None, token=None, raw=None, content_type=None, headers=None, timeout=15):
hdrs = dict(headers or {})
data = raw
if body is not None:
data = json.dumps(body).encode("utf-8")
hdrs["Content-Type"] = "application/json"
if content_type:
hdrs["Content-Type"] = content_type
if token:
hdrs["Authorization"] = "Bearer " + token
request = urllib.request.Request(BASE + path, data=data, headers=hdrs, method=method)
try:
response = self.opener.open(request, timeout=timeout)
except urllib.error.HTTPError as error:
response = error
with response:
payload = response.read()
return response.status, payload
def expect(status, got, label):
if got != status:
raise SystemExit("FAIL %s expected %s got %s" % (label, status, got))
print("PASS", label, got)
def prom_query(expr: str):
url = PROM + "/api/v1/query?" + urllib.parse.urlencode({"query": expr})
with urllib.request.urlopen(url, timeout=10) as response:
body = json.loads(response.read().decode())
if body.get("status") != "success":
raise SystemExit("FAIL prometheus query")
result = body["data"]["result"]
if not result:
return None
return float(result[0]["value"][1])
def alerts():
with urllib.request.urlopen(PROM + "/api/v1/alerts", timeout=10) as response:
body = json.loads(response.read().decode())
names = []
for item in body["data"]["alerts"]:
if item.get("state") == "firing":
names.append(item["labels"].get("alertname", ""))
return sorted(names)
def wait_ready_http():
deadline = time.monotonic() + 90
while time.monotonic() < deadline:
try:
status, _ = Api().call("GET", "/health/ready", timeout=3)
if status == 200:
return
except Exception:
pass
time.sleep(1)
raise SystemExit("FAIL API did not become ready")
def user(api: Api):
username = "l6_" + uuid.uuid4().hex[:10]
password = "T3st-" + uuid.uuid4().hex
status, _ = api.call(
"POST",
"/api/v1/users",
{"username": username, "display_name": "Lab6", "password": password},
)
expect(201, status, "register")
basic = base64.b64encode((username + ":" + password).encode()).decode()
status, payload = api.call("POST", "/api/v1/auth/sessions", headers={"Authorization": "Basic " + basic})
expect(201, status, "login")
return json.loads(payload)["token"]
def main() -> None:
api = Api()
token = user(api)
status, chat_raw = api.call(
"POST",
"/api/v1/chats",
{"title": "lab6-incidents", "member_ids": []},
token=token,
)
# member_ids must include someone? empty may 400. Create with only self via API rules.
if status != 201:
me_status, me_raw = api.call("GET", "/api/v1/users/me", token=token)
expect(200, me_status, "me")
me = json.loads(me_raw)["id"]
status, chat_raw = api.call(
"POST",
"/api/v1/chats",
{"title": "lab6-incidents", "member_ids": [me]},
token=token,
)
expect(201, status, "chat")
chat_id = json.loads(chat_raw)["id"]
print("chat", chat_id)
print("-- worker stopped: queue age grows, content stays 409 --")
compose("stop", "worker")
content = FIXTURE.read_bytes()
status, attachment_raw = api.call(
"POST",
"/api/v1/chats/%s/attachments?filename=sample.png" % chat_id,
token=token,
raw=content,
content_type="image/png",
)
expect(202, status, "upload while worker stopped")
attachment_id = json.loads(attachment_raw)["id"]
print("attachment", attachment_id)
status, _ = api.call("GET", "/api/v1/attachments/%s/content" % attachment_id, token=token)
expect(409, status, "content before ready")
deadline = time.monotonic() + 80
age = None
while time.monotonic() < deadline:
age = prom_query("max(messenger_queue_oldest_age_seconds)")
print("queue_oldest_age_seconds", age, "firing", ",".join(alerts()) or "-")
if age is not None and age >= 15:
break
time.sleep(5)
if age is None or age < 5:
raise SystemExit("FAIL queue age did not grow")
compose("start", "worker")
ready_deadline = time.monotonic() + 90
while time.monotonic() < ready_deadline:
status, body = api.call("GET", "/api/v1/attachments/" + attachment_id, token=token)
expect(200, status, "poll")
parsed = json.loads(body)
if parsed["status"] == "ready":
print("PASS attachment ready after worker start", attachment_id)
break
if parsed["status"] == "failed":
raise SystemExit("FAIL attachment failed")
time.sleep(0.5)
else:
raise SystemExit("FAIL attachment did not become ready")
time.sleep(12)
print("queue_oldest_age_seconds_after", prom_query("max(messenger_queue_oldest_age_seconds)"))
print("-- postgres stopped: live stays 200, ready becomes 503 --")
compose("stop", "postgres")
time.sleep(2)
status, _ = api.call("GET", "/health/live")
expect(200, status, "live while postgres stopped")
status, _ = api.call("GET", "/health/ready")
expect(503, status, "ready while postgres stopped")
burst_503 = 0
for _ in range(8):
status, _ = api.call(
"POST",
"/api/v1/users",
{
"username": "l6d_" + uuid.uuid4().hex[:8],
"display_name": "DbDown",
"password": "T3st-" + uuid.uuid4().hex,
},
)
if status == 503:
burst_503 += 1
else:
print("unexpected status during postgres stop", status)
if burst_503 < 8:
raise SystemExit("FAIL expected every business write to be 503")
print("PASS business 503 while postgres stopped", burst_503)
compose("start", "postgres")
wait_ready_http()
print("PASS ready after postgres start")
print("-- collector stopped: API still accepts a registration --")
compose("stop", "otel-collector")
time.sleep(1)
status, _ = api.call(
"POST",
"/api/v1/users",
{
"username": "l6c_" + uuid.uuid4().hex[:10],
"display_name": "CollectorDown",
"password": "T3st-" + uuid.uuid4().hex,
},
)
expect(201, status, "register while collector is down")
compose("start", "otel-collector")
print("PASS collector restarted")
print("firing_at_end", ",".join(alerts()) or "-")
if __name__ == "__main__":
main()
+4
View File
@@ -0,0 +1,4 @@
@echo off
cd /d "%~dp0\.."
docker compose --env-file .env restart postgres redis s3 rabbitmq api worker
exit /b %ERRORLEVEL%
+3
View File
@@ -0,0 +1,3 @@
@echo off
powershell -NoProfile -ExecutionPolicy Bypass -File "%~dp0stop-one.ps1"
exit /b %ERRORLEVEL%
+23
View File
@@ -0,0 +1,23 @@
$ErrorActionPreference = "Stop"
if (-not $env:TARGET_INSTANCE_ID) {
Write-Error "TARGET_INSTANCE_ID is required"
exit 1
}
Set-Location (Join-Path $PSScriptRoot "..")
$ids = docker compose --env-file .env ps -q api
$found = $false
foreach ($id in $ids) {
if (-not $id) { continue }
$iid = ""
try { $iid = (docker exec $id cat /tmp/instance-id).Trim() } catch { $iid = "" }
$hostName = (docker inspect -f "{{.Config.Hostname}}" $id).Trim()
if ($iid -eq $env:TARGET_INSTANCE_ID -or $hostName -eq $env:TARGET_INSTANCE_ID) {
docker stop -t 5 $id | Out-Null
$found = $true
break
}
}
if (-not $found) {
Write-Error "no running API replica matched TARGET_INSTANCE_ID"
exit 1
}