Evidence лабораторной 4
Результаты отдельного полного прогона на чистом проекте
mtusi-messenger-lab4-test. Дата, базовый commit, версии, лимиты CPU/RAM,
идентификаторы образов и точные команды находятся в run.json.
Проверено незакоммиченное рабочее дерево; его исполняемые файлы зафиксированы
в source-sha256.txt. Манифест снимается до прогона и
сравнивается после него. Отчёт, README, RUNBOOK, LAB4_PLAN и сами evidence
в манифест не входят; инструкции AGENTS.md/CODE_STYLE.md зафиксированы.
Артефакты и скрипты
Все шесть файлов записывает scripts/collect_evidence.py. Первичные проверки и источники данных указаны ниже.
| Evidence | Что содержит | Откуда берётся |
|---|---|---|
| test-output.txt | Общий вывод проверок и сценариев; 188 passed, строки PASS, результаты отказов. |
Команды из run.json; конкретные скрипты — в таблице требований ниже. |
| nginx-output.txt | Конфигурация, DNS, балансировка, gzip и ошибки Nginx. | scripts/check_nginx.py, команда make test-nginx. |
| metrics.json | Числа pytest, upload, rolling update и отказов API. | collect_evidence.extract_metrics() извлекает результаты pytest, upload_load.py, check_grade4.py и tests/resilience.py. |
| run.json | Среда, лимиты, образы, команды/exit codes и снимки контейнеров. | collect_evidence.py: Docker info/config/inspect и снимки между сценариями. |
| cleanup.txt | Удаление тестовых контейнеров, сетей и volumes. | collect_evidence.py: docker compose down --volumes --remove-orphans. |
| source-sha256.txt | Контрольные суммы проверенного кода, конфигураций и тестов. | collect_evidence.source_manifest(): SHA-256 до прогона и проверка совпадения после. |
Соответствие требованиям на 3 и 4
Номера соответствуют порядку пунктов в разделах оценок задания.
| Пункт | Требование | Где доказательство / что смотреть | Проверяющий скрипт |
|---|---|---|---|
| 3.1 | Сохранён минимум lab3; метаданные в PostgreSQL, байты в приватном S3, общий стенд. | run.json: services, container_snapshots; test-output.txt: smoke, идемпотентность, PASS infrastructure. |
tests/smoke.py, scripts/check_idempotency.py, scripts/check_s3.py, scripts/check_grade4.py; pytest test_migrations.py и test_attachments.py. |
| 3.2 | 201 ready, побайтный оригинал, SHA-256, attachment_ids и доступ участников. | test-output.txt: PASS: lab4 public API scenario; общий итог pytest. |
tests/smoke.py, tests/client.py; student-tests/test_attachments.py. |
| 3.3 | PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME по содержимому, безопасное имя, ранние лимиты. | test-output.txt: 188 passed; в тестах есть приём ровно на лимитах и отклонение превышений. |
student-tests/test_attachments.py: test_exact_*, test_oversize_*, test_pixel_limit_before_decoding, test_invalid_*, test_unsafe_*. |
| 3.4 | Скачивание другой репликой после отказа загрузившей; сохранность после restart. | test-output.txt: PASS: persistence, PASS: failover; run.json: before_restart / after_restart; metrics.json: public_failover. |
tests/resilience.py; hooks scripts/restart.sh и scripts/stop-one.sh. |
| 4.1 | Негативные тесты: размер, повреждение, MIME, чужой ID и файл другого чата; предусмотренные 4xx. | test-output.txt: 188 passed; соответствующие тесты включены в полный pytest-прогон. |
student-tests/test_attachments.py: test_invalid_*, test_oversize_*, test_unknown_and_other_chat_attachment_are_404, test_upload_download_and_attachment_only_message. |
| 4.2 | Отмена и сбои S3/БД; компенсация, сверка, безопасный grace period. | test-output.txt: PASS: real S3 PUT/database failure... и итог pytest; LAB4_PLAN.md: механизм согласованности. |
scripts/check_s3.py --with-faults → scripts/s3_faults.py; student-tests/test_attachments.py, test_s3_stream.py. |
| 4.3 | Ограничения RAM/таймаутов и эксперимент ≥10 одновременных загрузок. | metrics.json: uploads — 3×10 попыток, 12×201, 18×429, память каждой API; run.json: лимиты; test-output.txt: тесты timeout/отмены. |
scripts/upload_load.py --concurrency 10; student-tests/test_attachments.py, test_s3_stream.py; аудит scripts/check_grade4.py. |
| 4.4 | Повторяемый bootstrap, отдельные ограниченные credentials, закрытая консоль, private bucket вне API. | test-output.txt: PASS: idempotent bootstrap, anonymous GET/PUT denied...; run.json: порты и назначение секретов. |
scripts/check_s3.py --with-outage --with-faults, повторно вызывает infra/minio/bootstrap.py; scripts/check_grade4.py проверяет фактические ресурсы/секреты. |
Pytest запущен с -q: в evidence сохранён общий итог, а названия и проверки
отдельных случаев находятся в указанных тестовых файлах. Их точные версии
зафиксированы в source-sha256.txt.
Сверка объектов S3 подтверждается сценарием s3_faults.py в test-output.txt;
cleanup.txt фиксирует удаление самого тестового стенда.
Воспроизведение
Из корня проекта, с Python 3.12 и работающим Docker:
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make init
.venv/bin/python -m scripts.collect_evidence
sha256sum -c evidence/source-sha256.txt
Коллектор требует отсутствия прежних ресурсов тестового проекта. Существующие
.env и секреты сохраняются. MinIO и mc собираются из закреплённых исходников;
первая сборка требует доступа к Go-модулям. Основной стенд не запускается.
В finally выполняется down --volumes --remove-orphans; evidence публикуются
только после успешного завершения всех проверок и подтверждения очистки.
Методика
- Проверить контракт и OpenAPI; собрать стенд с двумя API, общей PostgreSQL,
Redis, MinIO, bootstrap и cleanup. Pytest использует отдельную БД
messenger_testи Redis DB 15; публичные проверки — API через Nginx :18080. - Выполнить все собственные тесты с
DOCKER_TESTS=1, затем публичный smoke и 24 конкурентных повтора одного сообщения через две реплики. - Снять состояния контейнеров до и после persistence. Hook перезапускает PostgreSQL, Redis, MinIO, обе API, Nginx и cleanup, сохраняя volumes. Публичная проверка повторно читает данные и оригинал с прежним токеном. В снимках совпадают ID контейнеров и изменились PID/StartedAt всех семи работающих контейнеров, включая три хранилища.
- Загрузить файл, остановить обслужившую API-реплику и скачать тот же оригинал через оставшуюся; проверить SHA-256, подтверждённые сообщения и идемпотентность.
- Дважды повторить bootstrap. Проверить прямые анонимные GET/PUT в S3, запрет
чтения политики для API credentials, доступ только к своему bucket и
недоступность консоли из сети API.
ListBucketsMinIO может вернуть отфильтрованный список разрешённых bucket; это учитывается проверкой. - Выполнить реальный PUT и внедрить отказ сохранения метаданных. Проверить компенсацию; затем внедрить отказ удаления, проверить устойчивый журнал, сохранность свежего объекта, dry-run и повторную очистку. Для проверки grace period возраст только тестовой записи изменяется на два дня; cleanup временно остановлен и затем возвращён в работу. Подтверждённый оригинал сохраняется.
- Временно остановить MinIO: download даёт 503; после запуска прежний оригинал снова скачивается побайтно.
- Выполнить три серии по 10 одновременно начатых upload PNG 1500×1500, 6 761 054 байта, генератор случайных пикселей с seed=42. Активных обработок не более двух на API; лишние получают 429, повторов upload нет. После опыта скачать все подтверждённые оригиналы и сравнить SHA-256.
- Проверить фактические ресурсы/секреты, SIGTERM, обновление обеих API под записью и последовательный отказ каждой с восстановлением предыдущей. Новая build-метка создаёт новый образ того же бизнес-кода; миграционная команда при rolling update выполняется один раз.
- Выполнить отдельную проверку Nginx и удалить тестовый стенд с volumes.
Память memory.current снимается в cgroup каждой API через 20 мс и включает
декодеры, tmpfs и небольшой процесс-монитор. Выборки могут пропустить короткий
пик; дополнительно записан kernel memory.peak до/после опыта. Последний
накопительный с момента создания контейнера и может включать предыдущие проверки.
P95 загрузок относится ко всем попыткам, включая 429; скачивание для сверки
SHA-256 выполняется после измерения памяти upload.
RPS в сценариях отказа — успешные HTTP-ответы, включая повторы ключа.
first_recovery_seconds включает время hook: это первый завершившийся успешный
POST, начатый после завершения команды остановки. Ошибки 429 ограничителя и
переходные 503 учитываются отдельно; подтверждённые записи проверяются по истории.
Один короткий локальный прогон не определяет предельную производительность.
В артефакты не включаются .env, значения credentials, session tokens,
Authorization, тела сообщений и дампы хранилищ. Коллектор отбирает несекретные
параметры, скрывает известные значения секретов и проверяет их отсутствие
перед публикацией файлов.