14 changed files with 33946 additions and 52 deletions
+11 -9
View File
@@ -1,21 +1,23 @@
## Лабораторная 6
Автор / группа: Маслов, БВТ2301.
Целевая оценка:5. Трек2 — SLO и обнаружение инцидентов.
Целевая оценка: 5. Трек 2 — SLO и обнаружение инцидентов.
Собственная ЛР5: устойчивые jobs/outbox/relay/worker, четыре варианта, retry/replay/версии/cleanup. Добавлены OTel instrumentation API/relay/consumer/isolated child/DB/S3, persistent Prometheus/Loki/Tempo, Grafana provisioning18панелей, low-cardinality/privacy, конечные буферы Collector и multi-window burn-rate alerts.
К собственному приложению ЛР5 добавлена наблюдаемость API, relay, worker, отдельного процесса обработки, PostgreSQL и S3: OpenTelemetry, постоянные Prometheus/Loki/Tempo, provisioning Grafana на18панелей и правила оповещений по нескольким временным окнам. Метки ограничены; текст сообщений, имена файлов и credentials не экспортируются.
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`; API localhost8086/Grafana3006. Команды/определения/источники: [REPORT](../REPORT.md).
Полный чистый clone прошёл smoke,112HTTP,26unit, cluster/failover/rolling/persistence, все19сценариев отказов pipeline, очистку с реальным возрастом S3, причинные traces/logs, privacy и сохранность observability после рестарта. В обоих COMMIT→ACK окнах pending подтверждён до SIGKILL; после восстановления второй публикации нет. У7контейнеров приложения сверены source hashes и OCI revision.
Реальные проверки:112HTTP/26unit; normal/retry causal traces и связанные logs; privacy canaries; реальные запросы Grafana. Полный SLO опыт1823.238с:6370подтверждённых сообщений и359файлов сохранены; краткие сбои0critical paging, warning API был; длинные инциденты firing/resolved измерены;90с отказ Loki/Tempo, queue≤64/RSS<384MiB и360успешных writes. Сводки/CSV/график в evidence. Проверка полного свежего clone ещё выполняется отдельно и не заявляется завершённой.
Исследование1823.238с: все6370подтверждённых сообщений и359файлов сохранены; краткие отказы не вызывали critical paging (warning API был), длительные инциденты обнаружены и сняты; во время90с отказа Loki/Tempo прошли360message writes, очередь Collector≤64 и RSS<384MiB. CSV, сводки и графики приложены. Условия и погрешность замеров описаны в REPORT.
Ограничения: один host/одиночные stateful сервисы, учебные30mокна, цель99% намеренно нарушена контролируемыми сбоями; в конце опыта4неплановых503 сохранены в raw данных. Возможна потеря telemetry при отказе backend. HTTP только локальный; TLS/mTLS — ЛР7.
Ограничения: один host и одиночные stateful сервисы; учебные30mокна; цель99% намеренно нарушена контролируемыми сбоями;4неплановых503 в конце исследования сохранены в raw данных. Возможна потеря telemetry при отказе backend. SLO опыт выполнен на0.5CPU/API, финальная регрессия — на2CPU/API; разные профили явно указаны. ЛР6 использует локальный HTTP, TLS/mTLS вынесен в ЛР7.
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`. API localhost8086, Grafana3006. Полные команды, результаты и ответы на4вопроса: REPORT.md. Финальная проверенная runtime-ревизия:231d965b1a10a26a845f66a9c148a5ce7ff07701.
Источники: собственная ЛР5, задание, официальная документация OTel/Grafana/Prometheus. Использована помощь ИИ при проектировании, реализации, проверках и подготовке отчёта; чужие студенческие решения не использовались.
- [ ] Весь обязательный минимум подтверждён повторной полной регрессией из чистого клона.
- [x] Обязательный минимум подтверждён полной регрессией из чистого клона.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; реальные receipts приложены.
- [x] Отказы observability/SLO своего уровня воспроизведены.
- [x] Секреты и приватные ключи вне Git; значения не включены в отчёт.
- [x] README задания сохранён, REPORT описывает своё решение.
- [x] Отказы observability/SLO выбранного трека воспроизведены.
- [x] Секреты и приватные ключи вне Git, значения не включены в отчёт.
- [x] README задания сохранён; REPORT описывает именно это решение.
+28 -4
View File
@@ -70,13 +70,37 @@ SDK traces/logs: очередь 512 записей, batch64, конечные т
## Проверка и разбор инцидентов
Реальные результаты до clean clone:112 HTTP tests PASS416.52с (`http-first.json`),26 unit, smoke/offline/full OpenAPI/lint. `telemetry-first.json` подтверждает цепочку normal upload25spans/1attempt и retry33spans/2attempts; реальные parent IDs API→producer→consumer→child→DB/S3, связанные Loki trace/span/request IDs, privacy canaries,1131 ограниченных metric series,18панелей/3 datasource health и реальные Grafana query frames.
Полный повтор из чистого клона завершился PASS: [clean-clone-final.json](evidence/clean-clone-final.json). Проверенная ревизия приложения и конфигурации — `231d965b1a10a26a845f66a9c148a5ce7ff07701`; дальнейшие изменения относятся к документации и результатам.
Для API инцидента сохранена ошибочная трасса с db.postgresql ≥2с и ERROR, при этом очередь не объясняет деградацию. Для worker инцидента upload202 продолжает работать, возраст и очередь растут, worker spans прекращаются; после запуска для того же attachment появляется consumer/processing chain и ready. Диагностировать следует по этим наблюдениям, а не одному коду500. Пошаговые действия и точные запросы: [RUNBOOK](infra/otel/RUNBOOK.md).
| Проверка | Подтверждённый результат |
|---|---|
| Структура, полный OpenAPI, lint, unit | PASS, 26 unit-тестов |
| Публичный smoke и собственная HTTP-регрессия | PASS, 112 HTTP-тестов за556.50с |
| Общая идемпотентность, rollback, отказ каждой API, rolling replacement | PASS, подтверждённые сообщения сохранены |
| Исходные публичные failover/persistence | PASS; failover120успешных writes/5неуспешных попыток, recovery3.206с≤10с; прежняя сессия, сообщения и файл сохранены |
| Отказы pipeline | Все19сценариев PASS, [полный результат](evidence/pipeline-final.json), [таблица](evidence/pipeline-analysis-final/effects.csv), [график](evidence/pipeline-analysis-final/pipeline-results.png) |
| COMMIT перед ACK | В обоих повторах ready/PUB1/4файла и реальные pending до SIGKILL, child_finished отсутствует; после восстановления подтверждение очереди без второй публикации |
| Старая версия после новой | Два повтора: v2 сохранена, устаревшая v1 не опубликована |
| Очистка | Реальный возраст S3≥1051.823с при retention300с; dry-run не меняет данные, удалены10устаревших объектов, повтор0действий; current/active/fresh сохранены; replay без исходника отклонён |
| Telemetry и provisioning | Причинные normal/retry traces и связанные logs, privacy canaries, низкая cardinality, 18Grafana panels и реальные datasource queries — PASS |
| Persistence observability | Перезапуск четырёх хранилищ: прежние metrics/trace/log и настройка Grafana сохранены |
| Запущенный код | SHA-256 всех Python-файлов и OCI revision совпали с проверенной ревизией у2API/worker/relay/observer/reconciler/controller; fsck PASS |
Предварительные неуспешные опыты сохранены с complete=false. Они выявили имя actual RSS metric, недостаточный запас памяти, слишком раннее фиксированное ожидание resolved и строковый тип Compose mem_limit. Последнее исправлено нормализацией чисел. Ни один неполный опыт не выдан за успешный30минутный.
Все проверки выполнялись на новых secrets, venv, образе, портах и named volumes. Временный проект после проверки удалён; основные тома сохранены. Контракт и публичные tests не ослаблялись. `telemetry-first.json` и SLO исследование содержат также отдельные исходные измерения; результаты ЛР5 не выдаются за измерения ЛР6.
Первый fresh clone (`clean-clone-final-failed.json`, source2c7b89b) прошёл static checks/26unit, но остановился на unhealthy одной API-реплики до HTTP suite. Его результат сохранён как INCOMPLETE. Выявлено несовпадение default API RAM384MiB с фактически исследованными768MiB; default приведён к исследованному профилю, задан конечный startup health budget и добавлены progress/санитизированная диагностика до удаления временного стенда. Причина первого неуспешного health без сохранённых container logs окончательно не установлена. Повторный fresh clone sourcea19e805 прошёл112HTTP за558.13с и реальные telemetry/persistence проверки; затем публичный resilience test поймал login2.12489с при своём timeout2с. Неуспешный receipt `clean-clone-final-failed-af292f62.json` сохранён. Default API повышен с0.5до1CPU; параметры Argon2 и публичный тест не менялись. Целевая проверка `cpu-budget-public.json` дала10из10логинов при timeout2с, максимум0.66730с, и PASS исходных public failover/persistence; recovery9.174с≤10с, сообщения/файл/прежняя сессия сохранены. Новый полный fresh clone с telemetry persistence/cluster/pipeline/cleanup выполняется отдельно; до его успешного receipt воспроизводимость из чистого клона не заявляется.
Итоговый профиль API —2CPU/768MiB на реплику, Argon2id64MiB/t3/p4 и2KDF slots. Отдельный [CPU benchmark](evidence/password-cpu-profile.json) дал при1CPU медиану0.30070с/максимум0.66556с, при2CPU0.13229/0.19519с на30hashes. Это измерение отдельного KDF, не HTTP latency. Сам бенчмарк timeout2с не воспроизвёл; рабочий профиль подтверждён полным прогоном выше. Исторический SLO опыт выполнен на0.5CPU/768MiB и исходниках752a5e6; его результаты не выдаются за измерения финального профиля.
Неуспешные попытки сохранены и не используются как PASS:
| Receipt | Причина остановки |
|---|---|
| clean-clone-final-failed.json | Unhealthy API до HTTP; точная причина без container logs не установлена |
| clean-clone-final-failed-af292f62.json | После112HTTP/telemetry/persistence вход занял2.12489с при public timeout2с и квоте0.5CPU |
| clean-clone-final-failed-8ffd4695.json | Наблюдатель пропустил узкое COMMIT→ACK окно; переделан на заранее запущенный процесс, worker timeout/lease сохранены |
| clean-clone-final-failed-04082c1f.json | Конкурирующий стенд; массовые503 и задержки,49PASS/19FAIL/44ERROR |
| clean-clone-final-failed-708b4c7d.json |112HTTP/telemetry/persistence прошли, но регистрация public resilience не уложилась в2с при1CPU; точное место задержки по access tail не установлено |
Повторный verifier сначала проверяет smoke/cluster/pipeline/GC, затем112HTTP/telemetry/persistence и7runtime hashes. Проверки сохранены целиком; такой порядок раньше обнаруживает сбои узких окон. Разбор самого SLO инцидента и действия оператора: [RUNBOOK](infra/otel/RUNBOOK.md).
## Ответы на контрольные вопросы
+1 -1
View File
@@ -88,7 +88,7 @@ services:
condition: service_healthy
s3-bootstrap:
condition: service_completed_successfully
cpus: ${API_CPUS:-1}
cpus: ${API_CPUS:-2}
mem_limit: ${API_MEMORY:-768m}
memswap_limit: ${API_MEMORY:-768m}
healthcheck:
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because it is too large Load Diff
+130
View File
@@ -0,0 +1,130 @@
{
"scope": "isolated Argon2 library benchmark, not end-to-end HTTP latency",
"same_memory_time_parameters": true,
"one_cpu": {
"cpus": 1,
"memory_limit_bytes": 268435456,
"memory_cost_kib": 65536,
"time_cost": 3,
"alternating_order": true,
"samples": {
"1": [
0.583163583998612,
0.4382456249986717,
0.2641096250008559,
0.19429424999907496,
0.6078042919998552,
0.24880558400036534,
0.2602112919994397,
0.46108737500071584,
0.2328668749996723,
0.1995170419995702,
0.6032528750001802,
0.4759230830004526,
0.29089025000030233,
0.20416029199986951,
0.20563058300103876,
0.1919123749994469,
0.28446004199940944,
0.19227595799929986,
0.2107001250005851,
0.19277724999847123,
0.2145693759994174,
0.1922177920005197,
0.21456558399950154,
0.19194708300165075,
0.2767800420006097,
0.19193233300029533,
0.28086145800079976,
0.19231987499915704,
0.2498207500011631,
0.19609583399869734
],
"4": [
0.3964598330003355,
0.6655551250005374,
0.6048233330002404,
0.24411720799980685,
0.606782042001214,
0.22436758300136717,
0.3119742920007411,
0.39041379099944606,
0.579897167001036,
0.2679342920000636,
0.515006749999884,
0.41912158299965085,
0.5016956670006039,
0.29056270900036907,
0.2986015829992539,
0.22049533300014446,
0.303171375000602,
0.20446145800087834,
0.3835568750000675,
0.2309797920006531,
0.3757739169996057,
0.2987268329998187,
0.29915149999942514,
0.2104414170007658,
0.3022428750009567,
0.22631599999840546,
0.3057695839997905,
0.220404542000324,
0.2900597080006264,
0.25032029099929787
]
},
"summary": {
"1": {
"median_seconds": 0.22371812549954484,
"max_seconds": 0.6078042919998552
},
"4": {
"median_seconds": 0.3006971875001909,
"max_seconds": 0.6655551250005374
}
},
"started_at": 1795193933.5921836
},
"two_cpu_same_parallelism": {
"cpus": 2,
"memory_limit_bytes": 268435456,
"memory_cost_kib": 65536,
"time_cost": 3,
"parallelism": 4,
"samples": [
0.11252029100069194,
0.11649812500036205,
0.10306574999958684,
0.1575070830003824,
0.1271223750009085,
0.1904467090007529,
0.1951932090014452,
0.1331768749987532,
0.18574516700027743,
0.18905379200077732,
0.19207829200058768,
0.12781625000025088,
0.15630154199971003,
0.12129762500080687,
0.10808220800026902,
0.11075858399999561,
0.10086133400000108,
0.17311095900004148,
0.10017191600127262,
0.14115979200141737,
0.17558462499982852,
0.1898825839998608,
0.18430233300023247,
0.13139983299879532,
0.19080974999997125,
0.11175649999859161,
0.10798150000118767,
0.16109262500140176,
0.10722962499858113,
0.11008891700112144
],
"median_seconds": 0.13228835399877426,
"max_seconds": 0.1951932090014452
},
"decision": "Retain Argon2id m=65536KiB t=3 p=4; reserve 2 CPU for each API replica. Full HTTP verification still required."
}
@@ -0,0 +1,20 @@
case,role,job_id,version,attempt,cycle,fence,state,publications,variant_rows,physical_keys
commit_before_publish_and_worker_stopped,effect,cc13ff33-a32a-405f-9f9e-9586978137a1,1,1,1,1,ready,1,4,4
confirmed_broker_entry_survives_sigkill,effect,0f014c3c-ab27-4f88-b195-043f23718200,1,1,1,1,ready,1,4,4
relay_crash_after_xadd_before_pg_marker,effect,c61da309-5d2c-4beb-958e-a2ca62f9939d,1,1,1,1,ready,1,4,4
before_effect_sigkill_repeat_1,effect,5f3097f7-410e-46ee-a05d-ee44f82b79dc,1,2,1,3,ready,1,4,4
after_effect_sigkill_repeat_1,effect,27d8895e-aa28-430d-98c4-6b2344140fd1,1,2,1,3,ready,1,4,4
after_commit_sigkill_repeat_1,effect,069ea9cb-342f-4339-80d7-4cfb2c5b0e21,1,1,1,1,ready,1,4,4
before_effect_sigkill_repeat_2,effect,11f50310-4da8-4404-9ac5-86010952cd92,1,2,1,3,ready,1,4,4
after_effect_sigkill_repeat_2,effect,3f39caa5-e08f-4716-92c2-ca31eea0004b,1,2,1,3,ready,1,4,4
after_commit_sigkill_repeat_2,effect,47446e4a-c8cb-41e3-b5e0-0da62d3c699c,1,1,1,1,ready,1,4,4
transient_retry_with_jitter,effect,31bed0a2-2169-4b6d-8b44-ec63a1cfb448,1,2,1,3,ready,1,4,4
hung_child_killed_and_retried,effect,8ee47c13-e328-43b4-aae8-f5f64d8d96dc,1,2,1,3,ready,1,4,4
permanent_failed_registry_and_audited_replay,effect,9d7ed4df-7397-450f-ba54-4f1848525a8f,1,1,2,4,ready,1,4,4
finite_retry_exhaustion_then_explicit_replay,effect,3a3d7792-9772-4a40-8eff-9db1515f60ce,1,1,2,12,ready,1,4,4
reordered_and_duplicate_notifications,1,f4379107-9dab-4e25-a94c-142883aaecf4,1,2,1,3,ready,1,4,4
reordered_and_duplicate_notifications,2,6684ded3-8c62-4276-be37-1d49b16b478b,1,1,1,1,ready,1,4,4
stale_v1_after_v2_repeat_1,v1,9a0f2da4-365c-448f-8fe9-37005f8e007e,1,1,1,2,obsolete,0,0,4
stale_v1_after_v2_repeat_1,v2,32870878-9dcd-4d9a-9d14-f767d58ab364,2,1,1,1,ready,1,4,4
stale_v1_after_v2_repeat_2,v1,c7374ae2-bc84-4864-9aba-83ed638367c4,1,1,1,2,obsolete,0,0,4
stale_v1_after_v2_repeat_2,v2,206cd837-5a4b-4e45-be9c-facb46b1c85b,2,1,1,1,ready,1,4,4
1 case role job_id version attempt cycle fence state publications variant_rows physical_keys
2 commit_before_publish_and_worker_stopped effect cc13ff33-a32a-405f-9f9e-9586978137a1 1 1 1 1 ready 1 4 4
3 confirmed_broker_entry_survives_sigkill effect 0f014c3c-ab27-4f88-b195-043f23718200 1 1 1 1 ready 1 4 4
4 relay_crash_after_xadd_before_pg_marker effect c61da309-5d2c-4beb-958e-a2ca62f9939d 1 1 1 1 ready 1 4 4
5 before_effect_sigkill_repeat_1 effect 5f3097f7-410e-46ee-a05d-ee44f82b79dc 1 2 1 3 ready 1 4 4
6 after_effect_sigkill_repeat_1 effect 27d8895e-aa28-430d-98c4-6b2344140fd1 1 2 1 3 ready 1 4 4
7 after_commit_sigkill_repeat_1 effect 069ea9cb-342f-4339-80d7-4cfb2c5b0e21 1 1 1 1 ready 1 4 4
8 before_effect_sigkill_repeat_2 effect 11f50310-4da8-4404-9ac5-86010952cd92 1 2 1 3 ready 1 4 4
9 after_effect_sigkill_repeat_2 effect 3f39caa5-e08f-4716-92c2-ca31eea0004b 1 2 1 3 ready 1 4 4
10 after_commit_sigkill_repeat_2 effect 47446e4a-c8cb-41e3-b5e0-0da62d3c699c 1 1 1 1 ready 1 4 4
11 transient_retry_with_jitter effect 31bed0a2-2169-4b6d-8b44-ec63a1cfb448 1 2 1 3 ready 1 4 4
12 hung_child_killed_and_retried effect 8ee47c13-e328-43b4-aae8-f5f64d8d96dc 1 2 1 3 ready 1 4 4
13 permanent_failed_registry_and_audited_replay effect 9d7ed4df-7397-450f-ba54-4f1848525a8f 1 1 2 4 ready 1 4 4
14 finite_retry_exhaustion_then_explicit_replay effect 3a3d7792-9772-4a40-8eff-9db1515f60ce 1 1 2 12 ready 1 4 4
15 reordered_and_duplicate_notifications 1 f4379107-9dab-4e25-a94c-142883aaecf4 1 2 1 3 ready 1 4 4
16 reordered_and_duplicate_notifications 2 6684ded3-8c62-4276-be37-1d49b16b478b 1 1 1 1 ready 1 4 4
17 stale_v1_after_v2_repeat_1 v1 9a0f2da4-365c-448f-8fe9-37005f8e007e 1 1 1 2 obsolete 0 0 4
18 stale_v1_after_v2_repeat_1 v2 32870878-9dcd-4d9a-9d14-f767d58ab364 2 1 1 1 ready 1 4 4
19 stale_v1_after_v2_repeat_2 v1 c7374ae2-bc84-4864-9aba-83ed638367c4 1 1 1 2 obsolete 0 0 4
20 stale_v1_after_v2_repeat_2 v2 206cd837-5a4b-4e45-be9c-facb46b1c85b 2 1 1 1 ready 1 4 4
Binary file not shown.

After

Width:  |  Height:  |  Size: 69 KiB

@@ -0,0 +1,22 @@
{
"source_commit": "231d965b1a10a26a845f66a9c148a5ce7ff07701",
"cases": 19,
"observed_ready_effects": 17,
"observed_obsolete_effects": 2,
"all_ready_have_one_publication_and_four_variants": true,
"all_obsolete_have_zero_publications": true,
"successful_child_samples": 15,
"child_elapsed_range_seconds": [
0.2472045419999631,
3.999715418998676
],
"child_cpu_range_seconds": [
0.21908499500000023,
0.404055815
],
"child_peak_rss_range_mib": [
89.3203125,
91.20703125
],
"scope": "process self metrics, no queue lag or throughput claim; fault-free and retry children only where a result was returned"
}
File diff suppressed because it is too large Load Diff
+32 -31
View File
@@ -142,36 +142,6 @@ def main():
cwd=clone,
env=env,
)
receipt["http_tests"] = run(
[".venv/bin/pytest", "student-tests", "-q"], cwd=clone, env=env
)
for module, extra in [
("verify_telemetry", []),
(
"verify_observability_persistence",
["--causal-evidence", "evidence/clean-telemetry.json"],
),
]:
name = (
"telemetry"
if module == "verify_telemetry"
else "observability-persistence"
)
run(
[
".venv/bin/python",
"-m",
"scripts." + module,
"--output",
"evidence/clean-" + name + ".json",
*extra,
],
cwd=clone,
env=env,
)
receipt[name] = json.loads(
(clone / ("evidence/clean-" + name + ".json")).read_text()
)
run(
[
".venv/bin/python",
@@ -220,6 +190,36 @@ def main():
receipt["cluster"] = json.loads(
(clone / "evidence/clean-cluster.json").read_text()
)
receipt["http_tests"] = run(
[".venv/bin/pytest", "student-tests", "-q"], cwd=clone, env=env
)
for module, extra in [
("verify_telemetry", []),
(
"verify_observability_persistence",
["--causal-evidence", "evidence/clean-telemetry.json"],
),
]:
name = (
"telemetry"
if module == "verify_telemetry"
else "observability-persistence"
)
run(
[
".venv/bin/python",
"-m",
"scripts." + module,
"--output",
"evidence/clean-" + name + ".json",
*extra,
],
cwd=clone,
env=env,
)
receipt[name] = json.loads(
(clone / ("evidence/clean-" + name + ".json")).read_text()
)
import hashlib
expected = {
@@ -300,7 +300,8 @@ def main():
"logs",
"--no-color",
"--tail",
"60",
"120",
"lb",
"api",
"s3",
"migrate",
+46 -7
View File
@@ -86,8 +86,8 @@ def duplicate(job, count=5):
)
def inspect_effect(job, *, pending=False):
return inside(f"""with db.connection() as c:
def effect_code(job, *, pending=False):
return f"""with db.connection() as c:
j=c.execute('SELECT * FROM jobs WHERE id=%s',({job!r},)).fetchone()
v=c.execute('SELECT name,object_key,sha256,size_bytes FROM attachment_variants WHERE attachment_id=%s AND pipeline_version=%s ORDER BY name',(j['attachment_id'],j['pipeline_version'])).fetchall()
p=c.execute('SELECT count(*) n FROM effect_publications WHERE attachment_id=%s AND pipeline_version=%s',(j['attachment_id'],j['pipeline_version'])).fetchone()['n']
@@ -99,7 +99,24 @@ if {pending!r}:
entry=item['message_id']
messages=queue.xrange(STREAM,min=entry,max=entry)
if messages and json.loads(messages[0][1].get('job','{{}}')).get('job_id')==str(j['id']): pending_entries.append(entry)
print(json.dumps({{'job':j,'variants':v,'publications':p,'physical_keys':keys,'events':e,'pending_stream_entries':pending_entries}},default=str))""")
print(json.dumps({{'job':j,'variants':v,'publications':p,'physical_keys':keys,'events':e,'pending_stream_entries':pending_entries}},default=str))"""
def inspect_effect(job, *, pending=False):
return inside(effect_code(job, pending=pending))
def observe_fault(job, marker, *, pending=False):
code = f"""from src.pipeline import event
with db.connection() as c: event(c,UUID({job!r}),'crash_observer_ready')
end=time.monotonic()+60
while True:
with db.connection() as c: hit=c.execute('SELECT hit_at FROM pipeline_faults WHERE id=%s',({marker},)).fetchone()['hit_at']
if hit: break
if time.monotonic()>end: raise TimeoutError('Crash hook not hit')
time.sleep(.025)
"""
return inside(code + effect_code(job, pending=pending))
def main():
@@ -370,10 +387,31 @@ def main():
stop("worker")
a, j = upload()
marker = inject(j, phase, "wait")
start("worker")
wait(lambda marker=marker: hit(marker))
at_crash = inspect_effect(
j, pending=phase == "after_commit"
# Start observation before the child timeout begins.
# Polling through a new Python/Docker process at each
# step can miss the actual COMMIT-before-ACK window.
with ThreadPoolExecutor(max_workers=1) as hot:
observer = hot.submit(
observe_fault,
j,
marker,
pending=phase == "after_commit",
)
wait(
lambda j=j: inside(
f"with db.connection() as c: n=c.execute(\"SELECT count(*) n FROM pipeline_events WHERE job_id=%s AND event='crash_observer_ready'\",({j!r},)).fetchone()['n']\nprint(json.dumps(n>0))"
)
)
start("worker")
at_crash = observer.result(timeout=60)
report["active_case"] = {
"phase": phase,
"repeat": repeat + 1,
"at_crash": at_crash,
}
output.write_text(
json.dumps(report, ensure_ascii=False, indent=2)
+ "\n"
)
assert at_crash["job"]["state"] == (
"ready"
@@ -413,6 +451,7 @@ def main():
effect = inspect_effect(j)
else:
assert effect["job"]["attempt"] >= 2
report.pop("active_case", None)
save(
f"{phase}_sigkill_repeat_{repeat + 1}",
{"at_crash": at_crash, "effect": effect},