diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh index cf830b13..3ed885a2 100755 --- a/scripts/rolling-update.sh +++ b/scripts/rolling-update.sh @@ -189,12 +189,14 @@ remove_old() { log "$step: slot $old_slot ready" } -# убрать новую реплику, которая не стала готовой. Есть слот — сначала -# maint: DNS мог уже отдать ей слот, и проверки вот-вот включили бы её. -# Слота нет или она не UP — запросов на ней нет, и kill безопасен; SIGTERM -# до установки обработчиков uvicorn процесс с PID 1 теряет, и docker stop -# ждал бы все 10 с (KNOWN_ISSUES.md). UP — graceful stop. Прерывание -# между up --scale и поиском новой: ID ещё не известен, ищется здесь +# убрать новую реплику, которая не стала готовой (решение 7 design change +# fix-known-issues). Есть слот (DNS уже отдал его) — maint, затем штатная +# остановка: стартующий процесс выходит сразу по раннему обработчику +# SIGTERM, работающий — дорабатывает запросы, которые LB успел отправить +# на слот до maint. Слота нет — запросов на ней не было, и kill безопасен: +# это и страховка на первые десятки миллисекунд старта интерпретатора, где +# SIGTERM ещё некому принять. Прерывание между up --scale и поиском новой: +# ID ещё не известен, ищется здесь remove_new() { if [ -z "$new_id" ]; then new_id=$(find_new | tail -n 1) @@ -209,18 +211,20 @@ remove_new() { if [ -n "$new_addr" ]; then new_slot=$(slot_field "$new_addr" 1) fi - if [ -n "$new_slot" ]; then - new_status=$(slot_field "$new_addr" 4) - lb_set "$new_slot" maint || return 1 - if [ "$new_status" = UP ]; then - docker stop --timeout 10 "$new_id" >/dev/null || return 1 - fi + if [ -z "$new_slot" ]; then + docker rm -f "$new_id" >/dev/null || return 1 + log "$step: removed new $(short "$new_id") (no slot: docker rm -f)" + return 0 fi + lb_set "$new_slot" maint || return 1 + stopping=$(now) + docker stop --timeout 10 "$new_id" >/dev/null || return 1 + stopped=$(($(now) - stopping)) + exited=$(docker inspect -f '{{.State.ExitCode}}' "$new_id" 2>/dev/null || echo '?') docker rm -f "$new_id" >/dev/null || return 1 - if [ -n "$new_slot" ]; then - wait_address_gone "$new_addr" - lb_set "$new_slot" ready || return 1 - fi + log "$step: removed new $(short "$new_id") (slot $new_slot: stop ${stopped}s, exit $exited)" + wait_address_gone "$new_addr" + lb_set "$new_slot" ready || return 1 } cleanup() { diff --git a/src/__main__.py b/src/__main__.py index 19962beb..764bc9e2 100644 --- a/src/__main__.py +++ b/src/__main__.py @@ -1,4 +1,10 @@ -from src.main import main - if __name__ == "__main__": + # обработчик SIGTERM и SIGINT — до импорта приложения: импорт занимает + # почти весь старт, и PID 1 без обработчика терял сигнал + # (src/infra/early_stop.py) + from src.infra import early_stop + + early_stop.install() + from src.main import main + main() diff --git a/src/infra/early_stop.py b/src/infra/early_stop.py new file mode 100644 index 00000000..86c8843e --- /dev/null +++ b/src/infra/early_stop.py @@ -0,0 +1,72 @@ +"""Ранний обработчик SIGTERM и SIGINT: ставится до импорта приложения. + +Процесс с PID 1 контейнера не получает сигнал, на который у него нет +обработчика (`pid_namespaces(7)`): ядро его отбрасывает. uvicorn ставит +свои обработчики только после импорта приложения, и `docker stop` +стартующей реплики терялся, а через `stop_grace_period` кончался +SIGKILL. Пока сервер не стартовал, запросов нет и закрывать нечего: +обработчик пишет одну запись журнала и сразу завершает процесс с +кодом 0. + +`disarm()` — первая строка lifespan (`src/main.py`): дальше сигналы +обрабатывает uvicorn. После своей остановки он возвращает этот +обработчик и повторяет пойманный сигнал, и снятый обработчик его +пропускает — работающая реплика выходит, как раньше. + +Только stdlib: ни настроек, ни логгера. Сигнал может прийти посреди +импорта именно этих модулей, и обработчик застал бы их +полуинициализированными. Поля записи — как у записей structlog +(`src/infra/logger.py`). Design change `fix-known-issues`, решения 3–5. +""" + +import json +import os +import signal +import time +from types import FrameType + +_armed = False + + +def _timestamp() -> str: + """ISO 8601 UTC с микросекундами и `Z`, как `TimeStamper` structlog.""" + now = time.time() + seconds = time.strftime("%Y-%m-%dT%H:%M:%S", time.gmtime(now)) + return f"{seconds}.{int(now % 1 * 1_000_000):06d}Z" + + +def _stop(signum: int, _frame: FrameType | None) -> None: + if not _armed: + return + try: + # instance_id — как [app] instance_id по умолчанию: hostname, в + # compose — короткий ID контейнера (X-Instance-Id) + record = { + "event": "Stopped API before startup", + "instance_id": ( + os.environ.get("APP__INSTANCE_ID") or os.uname().nodename + ), + "module": "startup", + "signal": signal.Signals(signum).name, + "level": "info", + "timestamp": _timestamp(), + } + os.write(1, (json.dumps(record) + "\n").encode()) + finally: + # не SystemExit: он раскручивался бы через полуимпортированные + # модули; в этом окне нет ни сокетов, ни соединений, ни буферов + os._exit(0) + + +def install() -> None: + """Обработчик SIGTERM и SIGINT до старта сервера.""" + global _armed + _armed = True + for signum in (signal.SIGTERM, signal.SIGINT): + signal.signal(signum, _stop) + + +def disarm() -> None: + """Сервер стартует: обработчик больше ничего не делает.""" + global _armed + _armed = False diff --git a/src/main.py b/src/main.py index 84a2e444..1eeef931 100644 --- a/src/main.py +++ b/src/main.py @@ -8,6 +8,7 @@ from src.api import errors from src.api.middlewares import RequestContextMiddleware from src.api.routers import health_router, v1_router from src.config import settings +from src.infra import early_stop from src.infra.cache.instance import cache from src.infra.db.session import engine from src.infra.logger import AbstractLogger, get_logger @@ -19,6 +20,10 @@ logger: AbstractLogger = get_logger().bind(module="startup") @asynccontextmanager async def lifespan(_: FastAPI) -> AsyncIterator[None]: + # первый код приложения внутри обработчиков сигналов uvicorn: ранний + # обработчик больше не нужен, а повтор сигнала после остановки uvicorn + # он должен пропустить (src/infra/early_stop.py) + early_stop.disarm() database = settings.database # engine и кэш подключаются лениво: без Postgres сервис стартует, а # /health/ready отвечает 503; без Valkey запросы идут в Postgres