fix: exit at once on SIGTERM before the server starts
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+20
-16
@@ -189,12 +189,14 @@ remove_old() {
|
||||
log "$step: slot $old_slot ready"
|
||||
}
|
||||
|
||||
# убрать новую реплику, которая не стала готовой. Есть слот — сначала
|
||||
# maint: DNS мог уже отдать ей слот, и проверки вот-вот включили бы её.
|
||||
# Слота нет или она не UP — запросов на ней нет, и kill безопасен; SIGTERM
|
||||
# до установки обработчиков uvicorn процесс с PID 1 теряет, и docker stop
|
||||
# ждал бы все 10 с (KNOWN_ISSUES.md). UP — graceful stop. Прерывание
|
||||
# между up --scale и поиском новой: ID ещё не известен, ищется здесь
|
||||
# убрать новую реплику, которая не стала готовой (решение 7 design change
|
||||
# fix-known-issues). Есть слот (DNS уже отдал его) — maint, затем штатная
|
||||
# остановка: стартующий процесс выходит сразу по раннему обработчику
|
||||
# SIGTERM, работающий — дорабатывает запросы, которые LB успел отправить
|
||||
# на слот до maint. Слота нет — запросов на ней не было, и kill безопасен:
|
||||
# это и страховка на первые десятки миллисекунд старта интерпретатора, где
|
||||
# SIGTERM ещё некому принять. Прерывание между up --scale и поиском новой:
|
||||
# ID ещё не известен, ищется здесь
|
||||
remove_new() {
|
||||
if [ -z "$new_id" ]; then
|
||||
new_id=$(find_new | tail -n 1)
|
||||
@@ -209,18 +211,20 @@ remove_new() {
|
||||
if [ -n "$new_addr" ]; then
|
||||
new_slot=$(slot_field "$new_addr" 1)
|
||||
fi
|
||||
if [ -n "$new_slot" ]; then
|
||||
new_status=$(slot_field "$new_addr" 4)
|
||||
lb_set "$new_slot" maint || return 1
|
||||
if [ "$new_status" = UP ]; then
|
||||
docker stop --timeout 10 "$new_id" >/dev/null || return 1
|
||||
fi
|
||||
if [ -z "$new_slot" ]; then
|
||||
docker rm -f "$new_id" >/dev/null || return 1
|
||||
log "$step: removed new $(short "$new_id") (no slot: docker rm -f)"
|
||||
return 0
|
||||
fi
|
||||
lb_set "$new_slot" maint || return 1
|
||||
stopping=$(now)
|
||||
docker stop --timeout 10 "$new_id" >/dev/null || return 1
|
||||
stopped=$(($(now) - stopping))
|
||||
exited=$(docker inspect -f '{{.State.ExitCode}}' "$new_id" 2>/dev/null || echo '?')
|
||||
docker rm -f "$new_id" >/dev/null || return 1
|
||||
if [ -n "$new_slot" ]; then
|
||||
wait_address_gone "$new_addr"
|
||||
lb_set "$new_slot" ready || return 1
|
||||
fi
|
||||
log "$step: removed new $(short "$new_id") (slot $new_slot: stop ${stopped}s, exit $exited)"
|
||||
wait_address_gone "$new_addr"
|
||||
lb_set "$new_slot" ready || return 1
|
||||
}
|
||||
|
||||
cleanup() {
|
||||
|
||||
+8
-2
@@ -1,4 +1,10 @@
|
||||
from src.main import main
|
||||
|
||||
if __name__ == "__main__":
|
||||
# обработчик SIGTERM и SIGINT — до импорта приложения: импорт занимает
|
||||
# почти весь старт, и PID 1 без обработчика терял сигнал
|
||||
# (src/infra/early_stop.py)
|
||||
from src.infra import early_stop
|
||||
|
||||
early_stop.install()
|
||||
from src.main import main
|
||||
|
||||
main()
|
||||
|
||||
@@ -0,0 +1,72 @@
|
||||
"""Ранний обработчик SIGTERM и SIGINT: ставится до импорта приложения.
|
||||
|
||||
Процесс с PID 1 контейнера не получает сигнал, на который у него нет
|
||||
обработчика (`pid_namespaces(7)`): ядро его отбрасывает. uvicorn ставит
|
||||
свои обработчики только после импорта приложения, и `docker stop`
|
||||
стартующей реплики терялся, а через `stop_grace_period` кончался
|
||||
SIGKILL. Пока сервер не стартовал, запросов нет и закрывать нечего:
|
||||
обработчик пишет одну запись журнала и сразу завершает процесс с
|
||||
кодом 0.
|
||||
|
||||
`disarm()` — первая строка lifespan (`src/main.py`): дальше сигналы
|
||||
обрабатывает uvicorn. После своей остановки он возвращает этот
|
||||
обработчик и повторяет пойманный сигнал, и снятый обработчик его
|
||||
пропускает — работающая реплика выходит, как раньше.
|
||||
|
||||
Только stdlib: ни настроек, ни логгера. Сигнал может прийти посреди
|
||||
импорта именно этих модулей, и обработчик застал бы их
|
||||
полуинициализированными. Поля записи — как у записей structlog
|
||||
(`src/infra/logger.py`). Design change `fix-known-issues`, решения 3–5.
|
||||
"""
|
||||
|
||||
import json
|
||||
import os
|
||||
import signal
|
||||
import time
|
||||
from types import FrameType
|
||||
|
||||
_armed = False
|
||||
|
||||
|
||||
def _timestamp() -> str:
|
||||
"""ISO 8601 UTC с микросекундами и `Z`, как `TimeStamper` structlog."""
|
||||
now = time.time()
|
||||
seconds = time.strftime("%Y-%m-%dT%H:%M:%S", time.gmtime(now))
|
||||
return f"{seconds}.{int(now % 1 * 1_000_000):06d}Z"
|
||||
|
||||
|
||||
def _stop(signum: int, _frame: FrameType | None) -> None:
|
||||
if not _armed:
|
||||
return
|
||||
try:
|
||||
# instance_id — как [app] instance_id по умолчанию: hostname, в
|
||||
# compose — короткий ID контейнера (X-Instance-Id)
|
||||
record = {
|
||||
"event": "Stopped API before startup",
|
||||
"instance_id": (
|
||||
os.environ.get("APP__INSTANCE_ID") or os.uname().nodename
|
||||
),
|
||||
"module": "startup",
|
||||
"signal": signal.Signals(signum).name,
|
||||
"level": "info",
|
||||
"timestamp": _timestamp(),
|
||||
}
|
||||
os.write(1, (json.dumps(record) + "\n").encode())
|
||||
finally:
|
||||
# не SystemExit: он раскручивался бы через полуимпортированные
|
||||
# модули; в этом окне нет ни сокетов, ни соединений, ни буферов
|
||||
os._exit(0)
|
||||
|
||||
|
||||
def install() -> None:
|
||||
"""Обработчик SIGTERM и SIGINT до старта сервера."""
|
||||
global _armed
|
||||
_armed = True
|
||||
for signum in (signal.SIGTERM, signal.SIGINT):
|
||||
signal.signal(signum, _stop)
|
||||
|
||||
|
||||
def disarm() -> None:
|
||||
"""Сервер стартует: обработчик больше ничего не делает."""
|
||||
global _armed
|
||||
_armed = False
|
||||
@@ -8,6 +8,7 @@ from src.api import errors
|
||||
from src.api.middlewares import RequestContextMiddleware
|
||||
from src.api.routers import health_router, v1_router
|
||||
from src.config import settings
|
||||
from src.infra import early_stop
|
||||
from src.infra.cache.instance import cache
|
||||
from src.infra.db.session import engine
|
||||
from src.infra.logger import AbstractLogger, get_logger
|
||||
@@ -19,6 +20,10 @@ logger: AbstractLogger = get_logger().bind(module="startup")
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(_: FastAPI) -> AsyncIterator[None]:
|
||||
# первый код приложения внутри обработчиков сигналов uvicorn: ранний
|
||||
# обработчик больше не нужен, а повтор сигнала после остановки uvicorn
|
||||
# он должен пропустить (src/infra/early_stop.py)
|
||||
early_stop.disarm()
|
||||
database = settings.database
|
||||
# engine и кэш подключаются лениво: без Postgres сервис стартует, а
|
||||
# /health/ready отвечает 503; без Valkey запросы идут в Postgres
|
||||
|
||||
Reference in New Issue
Block a user