Files
mtusi2026lab4-fork/student-tests/test_s3_failure.py
2026-11-06 15:49:15 +03:00

134 lines
5.9 KiB
Python

#!/usr/bin/env python3
"""
Проверка отказа S3: остановка контейнера, проверка 503, восстановление.
"""
import sys
import time
import uuid
import subprocess
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, run, check, Failure
IMAGE_PATH = Path(__file__).parent / "fixtures" / "Snake_River_(5mb).jpg"
S3_SERVICE_NAME = "s3"
def run_command(cmd):
print(f" > {' '.join(cmd)}")
subprocess.run(cmd, check=True, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
def wait_for_s3(timeout=120):
"""Ждем, пока S3 снова станет доступен по healthcheck."""
start = time.time()
while time.time() - start < timeout:
res = subprocess.run(
["docker", "compose", "ps", "--format", "json", S3_SERVICE_NAME],
capture_output=True, text=True
)
# Если контейнер запущен и healthy
if '"Health":"healthy"' in res.stdout or '"State":"running"' in res.stdout:
# Дополнительно проверяем, что API отвечает (он мог упасть или зависнуть)
try:
c = Client()
c.call('GET', '/health/ready', 200)
return True
except Failure:
pass
time.sleep(2)
return False
def main():
if not IMAGE_PATH.exists():
raise FileNotFoundError(f"Файл {IMAGE_PATH} не найден.")
content = IMAGE_PATH.read_bytes()
c = Client()
# Увеличим таймаут клиента для теста отказа, чтобы дождаться ответа от API
c.timeout = 15
alice, bob, eve, chat = c.bootstrap()
# 1. Загружаем нормальное вложение до отказа
print("1. Загрузка вложения до отказа...")
att_res = c.call(
'POST', f"/api/v1/chats/{chat['id']}/attachments?filename=initial.jpg",
201, actor=alice, raw=content, headers={'Content-Type': 'image/jpeg'},
schema='Attachment'
)
att = att_res['json']
print(f" Вложение {att['id']} создано.")
# 2. Останавливаем S3
print(f"2. Остановка сервиса {S3_SERVICE_NAME}...")
run_command(["docker", "compose", "stop", S3_SERVICE_NAME])
time.sleep(3) # Даем API время заметить, что S3 упал (таймауты)
# 3. Пытаемся загрузить новое вложение (ожидаем 503)
print("3. Попытка загрузки нового вложения (ожидаем 503)...")
filename = f"fail_{uuid.uuid4().hex[:6]}.jpg"
try:
# У upload таймаут тоже увеличен
c.call(
'POST', f"/api/v1/chats/{chat['id']}/attachments?filename={filename}",
503, actor=alice, raw=content, headers={'Content-Type': 'image/jpeg'}
)
print(" Успех: получен 503 Service Unavailable.")
except Failure as e:
print(f" Ошибка: ожидался 503: {e}")
# 4. Пытаемся скачать существующее вложение (ожидаем 503)
print("4. Попытка скачивания существующего вложения (ожидаем 503)...")
try:
c.call(
'GET', f"/api/v1/attachments/{att['id']}/content",
503, actor=bob
)
print(" Успех: получен 503 Service Unavailable.")
except Failure as e:
# Здесь может быть TimeoutError, если Go-сервер долго думает
print(f" Ошибка: ожидался 503: {e}")
# Мы не прерываем тест, фиксируем проблему, чтобы показать, что она есть
print(" [!] Это может быть связано с таймаутом на клиенте или долгим ответом API.")
# 5. Поднимаем S3
print(f"5. Запуск сервиса {S3_SERVICE_NAME}...")
run_command(["docker", "compose", "start", S3_SERVICE_NAME])
if not wait_for_s3(timeout=120):
raise Exception("S3 не поднялся за отведенное время.")
# 6. Проверяем восстановление с ретраями
print("6. Проверка восстановления (скачивание и загрузка)...")
c2 = Client()
c2.timeout = 15
# Ждем, пока API восстановит соединение с S3 (макс 30 секунд)
success = False
for attempt in range(10):
try:
down = c2.call('GET', f"/api/v1/attachments/{att['id']}/content", 200, actor=bob)
if down['bytes'] == content:
print(f" Скачивание работает (попытка {attempt+1}).")
success = True
break
else:
print(f" Попытка {attempt+1}: скачанный файл не совпадает по размеру ({len(down['bytes'])} vs {len(content)}).")
except Failure as e:
print(f" Попытка {attempt+1}: ошибка скачивания: {e}")
time.sleep(2)
if not success:
raise Exception("Не удалось восстановить скачивание за 30 секунд.")
# Загрузка
att2_res = c2.call(
'POST', f"/api/v1/chats/{chat['id']}/attachments?filename=after_recovery.jpg",
201, actor=alice, raw=content, headers={'Content-Type': 'image/jpeg'},
schema='Attachment'
)
att2 = att2_res['json']
print(f" Новая загрузка работает (ID: {att2['id']}).")
print("\nPASS: Отказ S3 и восстановление обработаны корректно.")
if __name__ == '__main__':
run(main)