Files
mtusi2026lab4/evidence/tests/student-test-lb.md
T
2026-10-22 21:31:49 +03:00

9.4 KiB
Raw Blame History

make student_test через балансировщик

  • Дата: 2026-10-22, 18:17:22–18:18:01 UTC (пересъёмка после правок по verify change track2-reconciler); прогон 18:25:02–18:25:40 — счёт по модулям. Между ними — повторные прогоны (раздел «Повторные прогоны» ниже).
  • Commit: 84f8c35, дерево чистое (вне commit — только файлы evidence/).
  • Стенд: рабочий mtusi-lab4 — BASE_URL=http://localhost:8090: LB на 8090, а не на 8080 из .env, порт 8080 хоста занят контейнером другого проекта (domains-api-1); EXPECT_REPLICAS=2 (API_REPLICAS): реплики 151df4af59c3 и b5c48ae854d1, PostgreSQL на ревизии 5c3e1f0a9b7d, Valkey, S3, уборщик с плановой сверкой. Реплики и уборщик — на образе c1648d9 (порядок обновления 16:32–16:34): commit 84f8c35 меняет только процесс уборщика (сверку) и тесты отказов, код API тот же, а тесты набора — из 84f8c35. Тесты реплик выполняются, проверки отказов (fault) — нет (-m 'not fault', их гоняет make failure_checks, failure-checks.md).
  • Что изменилось с прежнего снимка (commit c1648d9): правки по verify — три новые проверки отказов сверки (deselected 48 вместо 45) и три новых сценария storage-consistency («Объект, на который ссылается строка, не удаляется», «Предел не останавливает уборку зависших», «Ключ вне префикса вложений не трогается»). Все они покрыты проверками отказов: итог сверки — 243 сценария в 13 спеках, 226 с тестами (61 — проверками отказов), 17 исключений. Тестов вне fault не добавилось: 198, как раньше.
  • Файлы исключений сверки покрытия есть в репозитории, новых исключений нет: test_exclusion_evidence_exists зелёный.

Итог

$ make student_test BASE_URL=http://localhost:8090
collecting ... collected 246 items / 48 deselected / 198 selected
coverage: 243 scenarios in 13 specs, 226 tested (61 by make failure_checks), 17 excluded
===================== 198 passed, 48 deselected in 38.60s ======================
exit=0

По модулям

Прогон 18:25:02–18:25:40 — тоже 198 passed за 37,83 с; число тестов модуля — по сбору того же набора (pytest --collect-only, 198 из 246):

  21 student-tests/test_api_conventions.py PASSED
  34 student-tests/test_attachments.py PASSED
   4 student-tests/test_chat_cache.py PASSED
  13 student-tests/test_chats.py PASSED
  12 student-tests/test_contract.py PASSED
   9 student-tests/test_coverage.py PASSED
   3 student-tests/test_data_storage.py PASSED
   4 student-tests/test_health.py PASSED
  20 student-tests/test_idempotency.py PASSED
  10 student-tests/test_identification.py PASSED
   2 student-tests/test_load_balancing.py PASSED
  15 student-tests/test_messages.py PASSED
  14 student-tests/test_pagination.py PASSED
   4 student-tests/test_race.py PASSED
  12 student-tests/test_rubric.py PASSED
  10 student-tests/test_sessions.py PASSED
  11 student-tests/test_users.py PASSED

Строки тестов реплик и гонок (-rsP, прогон 18:17)

two series of 18 requests: {'b5c48ae854d1': 18, '151df4af59c3': 18}
uploaded via b5c48ae854d1, downloaded via ['151df4af59c3', 'b5c48ae854d1']
coverage: 243 scenarios in 13 specs, 226 tested (61 by make failure_checks), 17 excluded
sent via b5c48ae854d1, replayed via ['151df4af59c3']
409 via ['151df4af59c3', 'b5c48ae854d1']
one session, 20 requests: {'151df4af59c3': 10, 'b5c48ae854d1': 10}
written via b5c48ae854d1, read via {'151df4af59c3': 3, 'b5c48ae854d1': 3}
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race through replicas: {'b5c48ae854d1': 5, '151df4af59c3': 5}
  • Вложения лабы 4: 34 теста спека attachments и пять сценариев рубрики «4» лабы 4 в test_rubric.py. «Скачивание через другую реплику»: загрузку принял b5c48ae854d1, оригинал отдали обе реплики.
  • Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в истории; гонка регистрации — один 201; гонка одного ключа через реплики — одно сообщение.
  • Сверка покрытия: все 243 сценария 13 спеков — тест (226, из них 61 проверками отказов, в том числе все 24 сценария storage-consistency) или исключение с доказательством (17).

Повторные прогоны: изредка 503 на загрузке

Всего с 18:17 до 18:25 — восемь прогонов make student_test BASE_URL=http://localhost:8090 на том же стенде: пять — 198 passed, три — 197 passed и 1 failed, каждый раз — загрузка вложения с ответом 503:

== 18:19:44
student-tests/test_data_storage.py::test_attachment_order_kept FAILED    [ 48%]
E       AssertionError: POST /api/v1/chats/e9cd7e61-…/attachments: expected 201; got 503 {"error":{"code":"unavailable","message":"Service is temporarily unavailable","request_id":"5843668b169842e2a529a6e501c0f2bb"}}
================ 1 failed, 197 passed, 48 deselected in 40.72s =================
== 18:21:48
student-tests/test_idempotency.py::test_replay_with_attachments FAILED   [ 55%]
E       AssertionError: POST /api/v1/chats/20b195d4-…/attachments: expected 201; got 503 {"error":{"code":"unavailable","message":"Service is temporarily unavailable","request_id":"31f468538c9f4e64a7cf1c8a5c0e8ca0"}}
================ 1 failed, 197 passed, 48 deselected in 39.23s =================

(прогон 18:18:10 — тоже 1 failed, 197 passed; имя теста не сохранилось: вывод был отфильтрован, в журнале реплики — та же запись в 18:18:30).

Разбор (по AGENTS.md: сначала причина, потом правка):

$ docker compose logs --no-log-prefix api | grep <request_id>   # поля записей
18:20:04.681984Z 151df4af59c3 Object storage is unavailable  put_object ReadTimeoutError duration_ms=1 key=messenger/attachments/046f82cc-…/original
18:20:04.682084Z 151df4af59c3 Attachment upload left pending step=put
18:20:04.682228Z 151df4af59c3 HTTP request completed status=503
18:22:10.012482Z 151df4af59c3 Object storage is unavailable  put_object ReadTimeoutError duration_ms=1 key=messenger/attachments/e5a48be2-…/original
$ docker compose logs --no-log-prefix s3
E1022 18:22:10.013066 upload_chunked.go:281 chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF (returning 0 partial chunks for cleanup)
E1022 18:22:10.013104 s3api_object_handlers_put.go:626 putToFiler: chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF
  • все три отказа — на реплике 151df4af59c3, PUT в S3 — ReadTimeoutError через 1 мс (не срок вызова 5 с); S3 получил заголовки PUT и ни байта тела; строка вложения осталась pending до уборщика, 503 — штатный ответ на отказ PUT (upload-consistency): загрузка не подтверждена, согласованность не нарушена;
  • три прогона одного test_attachments.py подряд — 34 passed каждый, 132 загрузки поровну на обе реплики, отказов S3 0; до 18:18 записей «Object storage is unavailable» в журналах реплик нет с их старта в 16:38; пауза перед упавшим PUT на этой реплике — 0,04–2,25 с (не простой дольше keepalive_timeout 15 с);
  • это не дефект тестов и не стенд чужого проекта: ответ дала реплика стенда, причина — на пути API → S3. Change track2-reconciler её не касается (реплики на c1648d9, путь загрузки не менялся с upload-memory). Причина не найдена — запись «Изредка 503 на загрузке: PUT в S3 обрывается без тела» в KNOWN_ISSUES.md с предложением разбора; тесты не менялись.