From eaa2560a1c638837f5962be5b29fcc1bfc655bde Mon Sep 17 00:00:00 2001 From: gytall Date: Wed, 4 Nov 2026 21:34:37 +0300 Subject: [PATCH] add readme in evidence --- evidence/README.md | 42 +++++++++++++++++++++++++++++++++--------- 1 file changed, 33 insertions(+), 9 deletions(-) diff --git a/evidence/README.md b/evidence/README.md index 7aa8999..13f1fb8 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -8,16 +8,40 @@ сравнивается после него. Отчёт, README, RUNBOOK, LAB4_PLAN и сами evidence в манифест не входят; инструкции AGENTS.md/CODE_STYLE.md зафиксированы. -## Артефакты +## Артефакты и скрипты -| Файл | Содержание | -| --- | --- | -| [test-output.txt](test-output.txt) | Исходный вывод контракта, pytest, smoke, persistence, failover, MinIO, нагрузки и проверок уровня 4 lab3. | -| [nginx-output.txt](nginx-output.txt) | Отдельная проверка конфигурации, DNS, балансировки, gzip и ошибок Nginx. | -| [metrics.json](metrics.json) | Извлечённые результаты pytest, загрузок, rolling update и отказа каждой реплики. | -| [run.json](run.json) | Среда, команды и exit codes, снимки контейнеров до/после restart и обновления, отсутствие тестовых ресурсов после очистки. | -| [cleanup.txt](cleanup.txt) | Фактическое удаление тестовых контейнеров, сетей и трёх volumes. | -| [source-sha256.txt](source-sha256.txt) | SHA-256 приложения, инфраструктуры, зависимостей, скриптов, контракта и тестов. | +Все шесть файлов записывает [scripts/collect_evidence.py](../scripts/collect_evidence.py). +Первичные проверки и источники данных указаны ниже. + +| Evidence | Что содержит | Откуда берётся | +| --- | --- | --- | +| [test-output.txt](test-output.txt) | Общий вывод проверок и сценариев; `188 passed`, строки `PASS`, результаты отказов. | Команды из `run.json`; конкретные скрипты — в таблице требований ниже. | +| [nginx-output.txt](nginx-output.txt) | Конфигурация, DNS, балансировка, gzip и ошибки Nginx. | [scripts/check_nginx.py](../scripts/check_nginx.py), команда `make test-nginx`. | +| [metrics.json](metrics.json) | Числа pytest, upload, rolling update и отказов API. | `collect_evidence.extract_metrics()` извлекает результаты pytest, `upload_load.py`, `check_grade4.py` и `tests/resilience.py`. | +| [run.json](run.json) | Среда, лимиты, образы, команды/exit codes и снимки контейнеров. | `collect_evidence.py`: Docker info/config/inspect и снимки между сценариями. | +| [cleanup.txt](cleanup.txt) | Удаление тестовых контейнеров, сетей и volumes. | `collect_evidence.py`: `docker compose down --volumes --remove-orphans`. | +| [source-sha256.txt](source-sha256.txt) | Контрольные суммы проверенного кода, конфигураций и тестов. | `collect_evidence.source_manifest()`: SHA-256 до прогона и проверка совпадения после. | + +## Соответствие требованиям на 3 и 4 + +Номера соответствуют порядку пунктов в разделах оценок [задания](../README.md). + +| Пункт | Требование | Где доказательство / что смотреть | Проверяющий скрипт | +| --- | --- | --- | --- | +| 3.1 | Сохранён минимум lab3; метаданные в PostgreSQL, байты в приватном S3, общий стенд. | [run.json](run.json): `services`, `container_snapshots`; [test-output.txt](test-output.txt): smoke, идемпотентность, `PASS infrastructure`. | `tests/smoke.py`, `scripts/check_idempotency.py`, `scripts/check_s3.py`, `scripts/check_grade4.py`; pytest `test_migrations.py` и `test_attachments.py`. | +| 3.2 | 201 ready, побайтный оригинал, SHA-256, attachment_ids и доступ участников. | [test-output.txt](test-output.txt): `PASS: lab4 public API scenario`; общий итог pytest. | `tests/smoke.py`, `tests/client.py`; `student-tests/test_attachments.py`. | +| 3.3 | PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME по содержимому, безопасное имя, ранние лимиты. | [test-output.txt](test-output.txt): `188 passed`; в тестах есть приём ровно на лимитах и отклонение превышений. | `student-tests/test_attachments.py`: `test_exact_*`, `test_oversize_*`, `test_pixel_limit_before_decoding`, `test_invalid_*`, `test_unsafe_*`. | +| 3.4 | Скачивание другой репликой после отказа загрузившей; сохранность после restart. | [test-output.txt](test-output.txt): `PASS: persistence`, `PASS: failover`; [run.json](run.json): `before_restart` / `after_restart`; [metrics.json](metrics.json): `public_failover`. | `tests/resilience.py`; hooks `scripts/restart.sh` и `scripts/stop-one.sh`. | +| 4.1 | Негативные тесты: размер, повреждение, MIME, чужой ID и файл другого чата; предусмотренные 4xx. | [test-output.txt](test-output.txt): `188 passed`; соответствующие тесты включены в полный pytest-прогон. | `student-tests/test_attachments.py`: `test_invalid_*`, `test_oversize_*`, `test_unknown_and_other_chat_attachment_are_404`, `test_upload_download_and_attachment_only_message`. | +| 4.2 | Отмена и сбои S3/БД; компенсация, сверка, безопасный grace period. | [test-output.txt](test-output.txt): `PASS: real S3 PUT/database failure...` и итог pytest; [LAB4_PLAN.md](../LAB4_PLAN.md): механизм согласованности. | `scripts/check_s3.py --with-faults` → `scripts/s3_faults.py`; `student-tests/test_attachments.py`, `test_s3_stream.py`. | +| 4.3 | Ограничения RAM/таймаутов и эксперимент ≥10 одновременных загрузок. | [metrics.json](metrics.json): `uploads` — 3×10 попыток, 12×201, 18×429, память каждой API; [run.json](run.json): лимиты; [test-output.txt](test-output.txt): тесты timeout/отмены. | `scripts/upload_load.py --concurrency 10`; `student-tests/test_attachments.py`, `test_s3_stream.py`; аудит `scripts/check_grade4.py`. | +| 4.4 | Повторяемый bootstrap, отдельные ограниченные credentials, закрытая консоль, private bucket вне API. | [test-output.txt](test-output.txt): `PASS: idempotent bootstrap, anonymous GET/PUT denied...`; [run.json](run.json): порты и назначение секретов. | `scripts/check_s3.py --with-outage --with-faults`, повторно вызывает `infra/minio/bootstrap.py`; `scripts/check_grade4.py` проверяет фактические ресурсы/секреты. | + +Pytest запущен с `-q`: в evidence сохранён общий итог, а названия и проверки +отдельных случаев находятся в указанных тестовых файлах. Их точные версии +зафиксированы в `source-sha256.txt`. +Сверка объектов S3 подтверждается сценарием `s3_faults.py` в `test-output.txt`; +`cleanup.txt` фиксирует удаление самого тестового стенда. ## Воспроизведение