forked from mtusi2026/mtusi2026lab4
134 lines
5.9 KiB
Python
134 lines
5.9 KiB
Python
#!/usr/bin/env python3
|
|
"""
|
|
Проверка отказа S3: остановка контейнера, проверка 503, восстановление.
|
|
"""
|
|
import sys
|
|
import time
|
|
import uuid
|
|
import subprocess
|
|
from pathlib import Path
|
|
|
|
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
|
from client import Client, run, check, Failure
|
|
|
|
IMAGE_PATH = Path(__file__).parent / "fixtures" / "Snake_River_(5mb).jpg"
|
|
S3_SERVICE_NAME = "s3"
|
|
|
|
def run_command(cmd):
|
|
print(f" > {' '.join(cmd)}")
|
|
subprocess.run(cmd, check=True, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
|
|
|
|
def wait_for_s3(timeout=120):
|
|
"""Ждем, пока S3 снова станет доступен по healthcheck."""
|
|
start = time.time()
|
|
while time.time() - start < timeout:
|
|
res = subprocess.run(
|
|
["docker", "compose", "ps", "--format", "json", S3_SERVICE_NAME],
|
|
capture_output=True, text=True
|
|
)
|
|
# Если контейнер запущен и healthy
|
|
if '"Health":"healthy"' in res.stdout or '"State":"running"' in res.stdout:
|
|
# Дополнительно проверяем, что API отвечает (он мог упасть или зависнуть)
|
|
try:
|
|
c = Client()
|
|
c.call('GET', '/health/ready', 200)
|
|
return True
|
|
except Failure:
|
|
pass
|
|
time.sleep(2)
|
|
return False
|
|
|
|
def main():
|
|
if not IMAGE_PATH.exists():
|
|
raise FileNotFoundError(f"Файл {IMAGE_PATH} не найден.")
|
|
|
|
content = IMAGE_PATH.read_bytes()
|
|
c = Client()
|
|
# Увеличим таймаут клиента для теста отказа, чтобы дождаться ответа от API
|
|
c.timeout = 15
|
|
alice, bob, eve, chat = c.bootstrap()
|
|
|
|
# 1. Загружаем нормальное вложение до отказа
|
|
print("1. Загрузка вложения до отказа...")
|
|
att_res = c.call(
|
|
'POST', f"/api/v1/chats/{chat['id']}/attachments?filename=initial.jpg",
|
|
201, actor=alice, raw=content, headers={'Content-Type': 'image/jpeg'},
|
|
schema='Attachment'
|
|
)
|
|
att = att_res['json']
|
|
print(f" Вложение {att['id']} создано.")
|
|
|
|
# 2. Останавливаем S3
|
|
print(f"2. Остановка сервиса {S3_SERVICE_NAME}...")
|
|
run_command(["docker", "compose", "stop", S3_SERVICE_NAME])
|
|
time.sleep(3) # Даем API время заметить, что S3 упал (таймауты)
|
|
|
|
# 3. Пытаемся загрузить новое вложение (ожидаем 503)
|
|
print("3. Попытка загрузки нового вложения (ожидаем 503)...")
|
|
filename = f"fail_{uuid.uuid4().hex[:6]}.jpg"
|
|
try:
|
|
# У upload таймаут тоже увеличен
|
|
c.call(
|
|
'POST', f"/api/v1/chats/{chat['id']}/attachments?filename={filename}",
|
|
503, actor=alice, raw=content, headers={'Content-Type': 'image/jpeg'}
|
|
)
|
|
print(" Успех: получен 503 Service Unavailable.")
|
|
except Failure as e:
|
|
print(f" Ошибка: ожидался 503: {e}")
|
|
|
|
# 4. Пытаемся скачать существующее вложение (ожидаем 503)
|
|
print("4. Попытка скачивания существующего вложения (ожидаем 503)...")
|
|
try:
|
|
c.call(
|
|
'GET', f"/api/v1/attachments/{att['id']}/content",
|
|
503, actor=bob
|
|
)
|
|
print(" Успех: получен 503 Service Unavailable.")
|
|
except Failure as e:
|
|
# Здесь может быть TimeoutError, если Go-сервер долго думает
|
|
print(f" Ошибка: ожидался 503: {e}")
|
|
# Мы не прерываем тест, фиксируем проблему, чтобы показать, что она есть
|
|
print(" [!] Это может быть связано с таймаутом на клиенте или долгим ответом API.")
|
|
|
|
# 5. Поднимаем S3
|
|
print(f"5. Запуск сервиса {S3_SERVICE_NAME}...")
|
|
run_command(["docker", "compose", "start", S3_SERVICE_NAME])
|
|
if not wait_for_s3(timeout=120):
|
|
raise Exception("S3 не поднялся за отведенное время.")
|
|
|
|
# 6. Проверяем восстановление с ретраями
|
|
print("6. Проверка восстановления (скачивание и загрузка)...")
|
|
c2 = Client()
|
|
c2.timeout = 15
|
|
|
|
# Ждем, пока API восстановит соединение с S3 (макс 30 секунд)
|
|
success = False
|
|
for attempt in range(10):
|
|
try:
|
|
down = c2.call('GET', f"/api/v1/attachments/{att['id']}/content", 200, actor=bob)
|
|
if down['bytes'] == content:
|
|
print(f" Скачивание работает (попытка {attempt+1}).")
|
|
success = True
|
|
break
|
|
else:
|
|
print(f" Попытка {attempt+1}: скачанный файл не совпадает по размеру ({len(down['bytes'])} vs {len(content)}).")
|
|
except Failure as e:
|
|
print(f" Попытка {attempt+1}: ошибка скачивания: {e}")
|
|
time.sleep(2)
|
|
|
|
if not success:
|
|
raise Exception("Не удалось восстановить скачивание за 30 секунд.")
|
|
|
|
# Загрузка
|
|
att2_res = c2.call(
|
|
'POST', f"/api/v1/chats/{chat['id']}/attachments?filename=after_recovery.jpg",
|
|
201, actor=alice, raw=content, headers={'Content-Type': 'image/jpeg'},
|
|
schema='Attachment'
|
|
)
|
|
att2 = att2_res['json']
|
|
print(f" Новая загрузка работает (ID: {att2['id']}).")
|
|
|
|
print("\nPASS: Отказ S3 и восстановление обработаны корректно.")
|
|
|
|
if __name__ == '__main__':
|
|
run(main) |