Добавить вложения: S3, метаданные в PostgreSQL и очистка незавершённых загрузок

This commit is contained in:
2026-10-30 23:10:44 +03:00
parent ec540a1a72
commit d812d8f8d8
75 changed files with 5968 additions and 16 deletions
+82
View File
@@ -0,0 +1,82 @@
#!/usr/bin/env python3
"""Проверка SIGTERM через балансировщик: начатые запросы завершаются, новые уходят на другую реплику,
процесс выходит быстрее 10 секунд. API наружу не опубликован, поэтому незаконченные запросы открываются
на все реплики сразу: часть из них обязательно окажется на останавливаемой."""
import json
import socket
import subprocess
import sys
import time
import urllib.parse
import uuid
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "student-tests"))
from api import BASE_URL, call, new_chat, new_user
LIMIT_SECONDS = 10
OPEN_REQUESTS = 6
def main():
containers = subprocess.run(
["docker", "compose", "--env-file", ".env", "ps", "-q", "api"],
cwd=ROOT, check=True, capture_output=True, text=True,
).stdout.split()
target = containers[0]
address = urllib.parse.urlsplit(BASE_URL)
user = new_user("sigterm")
chat = new_chat(user)
# заголовки и половина тела: запрос уже начат, но ещё не закончен
body = json.dumps({"text": "сообщение, отправленное во время остановки"}).encode()
connections = []
for _ in range(OPEN_REQUESTS):
head = (
"POST /api/v1/chats/%s/messages HTTP/1.1\r\nHost: %s\r\nContent-Type: application/json\r\n"
"Content-Length: %d\r\nAuthorization: Bearer %s\r\nIdempotency-Key: %s\r\n\r\n"
% (chat["id"], address.netloc, len(body), user["token"], uuid.uuid4().hex)
).encode()
connection = socket.create_connection((address.hostname, address.port), timeout=LIMIT_SECONDS)
connection.sendall(head + body[:10])
connections.append(connection)
time.sleep(0.5)
print("$ docker kill --signal=SIGTERM", target[:12])
started = time.monotonic()
subprocess.run(["docker", "kill", "--signal=SIGTERM", target], check=True, stdout=subprocess.DEVNULL)
time.sleep(1)
served = [call("GET", "/health/live")[2]["X-Instance-Id"] for _ in range(20)]
new_on_target = sum(target.startswith(instance) for instance in served)
print("новых запросов после SIGTERM: 20, попало на останавливаемую реплику:", new_on_target)
finished_on_target = 0
statuses = []
for connection in connections:
connection.sendall(body[10:])
answer = connection.recv(65536).decode("utf-8", "replace")
connection.close()
statuses.append(answer.split("\r\n")[0])
for line in answer.split("\r\n"):
if line.lower().startswith("x-instance-id:") and target.startswith(line.split(":")[1].strip()):
finished_on_target += 1
print("начатые до SIGTERM запросы:", sorted(set(statuses)))
print("из них завершила останавливаемая реплика:", finished_on_target)
exit_code = subprocess.run(["docker", "wait", target], check=True, capture_output=True, text=True).stdout.strip()
elapsed = time.monotonic() - started
print("процесс завершился за %.2f с, код выхода %s" % (elapsed, exit_code))
# контейнер, остановленный через docker kill, сам не перезапускается: поднимаем его обратно
subprocess.run(["docker", "start", target], check=True, stdout=subprocess.DEVNULL)
good = all(" 201 " in status for status in statuses)
if not good or new_on_target or not finished_on_target or elapsed > LIMIT_SECONDS or exit_code != "0":
raise SystemExit("FAIL")
print("PASS: остановка корректная и укладывается в %d секунд" % LIMIT_SECONDS)
if __name__ == "__main__":
main()