"""Недоступность Redis и PostgreSQL через балансировщик. Пока реплики не признаны неготовыми, 503 отвечает API, потом сам балансировщик. Формат ошибки у них один. """ import unittest from stand import call, compose, timed, wait_ready from api import basic, history, new_chat, new_key, new_user, send, user_body # таймауты в .env.example: 2 с на Redis, 3 с на ожидание соединения с БД; берём запас MAX_SECONDS = 6 class DependencyDownTest(unittest.TestCase): def setUp(self): wait_ready() self.user = new_user("dep") self.chat = new_chat(self.user) send(self.user, self.chat, "сообщение до отказа") self.messages = "/api/v1/chats/" + self.chat["id"] + "/messages" def assert_unavailable(self, result): elapsed, status, body, headers = result self.assertEqual(status, 503) self.assertEqual(body["error"]["code"], "unavailable") self.assertEqual(body["error"]["request_id"], headers["X-Request-Id"]) self.assertLess(elapsed, MAX_SECONDS) def test_redis_down(self): compose("stop", "redis") self.addCleanup(wait_ready) self.addCleanup(compose, "start", "redis") # сессию проверить нечем: запрос с настоящим токеном не выполняется, но и чужим не становится self.assert_unavailable(timed("GET", "/api/v1/users/me", user=self.user)) self.assert_unavailable(timed("GET", self.messages, user=self.user)) key = {"Idempotency-Key": new_key()} self.assert_unavailable(timed("POST", self.messages, {"text": "во время отказа"}, user=self.user, headers=key)) # поддельный токен тоже не принимается за действующий self.assert_unavailable(timed("GET", "/api/v1/users/me", user={"token": "x" * 43})) # без токена Redis не нужен: API ответит 401, балансировщик без готовых реплик 503, но не данные self.assertIn(call("GET", "/api/v1/users/me")[0], (401, 503)) self.assertIn(call("GET", self.messages)[0], (401, 503)) # новую сессию создать негде self.assert_unavailable(timed("POST", "/api/v1/auth/sessions", headers=basic(self.user["username"], self.user["password"]))) self.assert_unavailable(timed("GET", "/health/ready")) compose("start", "redis") wait_ready() # прежний токен снова работает: сессия пережила остановку Redis, а сообщение во время отказа не записалось self.assertEqual(call("GET", "/api/v1/users/me", user=self.user)[1], self.user["user"]) self.assertEqual([item["text"] for item in history(self.user, self.chat, 50)[0]], ["сообщение до отказа"]) def test_uncertain_write_can_be_repeated_with_same_key(self): compose("stop", "postgres") self.addCleanup(wait_ready) self.addCleanup(compose, "start", "postgres") key = new_key() self.assertEqual(send(self.user, self.chat, "важное", key=key)[0], 503) compose("start", "postgres") wait_ready() first = send(self.user, self.chat, "важное", key=key) second = send(self.user, self.chat, "важное", key=key) self.assertEqual((first[0], second[0]), (201, 201)) self.assertEqual(first[1], second[1]) def test_postgres_down(self): compose("stop", "postgres") self.addCleanup(wait_ready) self.addCleanup(compose, "start", "postgres") self.assert_unavailable(timed("GET", "/api/v1/users/me", user=self.user)) self.assert_unavailable(timed("GET", self.messages, user=self.user)) key = {"Idempotency-Key": new_key()} self.assert_unavailable(timed("POST", self.messages, {"text": "во время отказа"}, user=self.user, headers=key)) self.assert_unavailable(timed("POST", "/api/v1/users", user_body())) self.assert_unavailable(timed("POST", "/api/v1/auth/sessions", headers=basic(self.user["username"], self.user["password"]))) self.assertIn(call("GET", "/api/v1/users/me")[0], (401, 503)) self.assert_unavailable(timed("GET", "/health/ready")) compose("start", "postgres") wait_ready() self.assertEqual(call("GET", "/api/v1/users/me", user=self.user)[1], self.user["user"]) self.assertEqual([item["text"] for item in history(self.user, self.chat, 50)[0]], ["сообщение до отказа"]) self.assertEqual(send(self.user, self.chat, "после восстановления")[0], 201) if __name__ == "__main__": unittest.main()