diff --git a/REPORT.md b/REPORT.md index 3db8cc1..62fe4f9 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,9 +1,9 @@ # Отчёт — лабораторная 4 -- Автор, группа: [ФИО], [группа] +- Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302 - Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «Согласованность двух хранилищ» -- Commit/PR: локальный коммит ветки `solution/lab4`; PR — после публикации -- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore (S3), Pillow (проверка изображений), argon2-cffi; SeaweedFS 4.48 (S3); HAProxy; PostgreSQL; Valkey. Код lab3 перенесён. Использование ИИ: [заполняется автором] +- Commit/PR: ветка `solution/bpi2302-kushnarenko` в [форке kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab4); ссылка на PR добавляется после открытия +- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore (S3), Pillow (проверка изображений), argon2-cffi; SeaweedFS 4.48 (S3); HAProxy; PostgreSQL; Valkey. Код lab3 перенесён. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex проверил подготовку к сдаче, усилил проверки исследования и выполнил реальные запуски 11.11.2026 ## Запуск из чистого clone @@ -23,12 +23,16 @@ sh scripts/restore-replicas.sh # собственные тесты (стенд должен быть запущен) python3 -m unittest discover -s student-tests -p "test_api.py" -v python3 -m unittest discover -s student-tests -p "test_attachments.py" -v -python3 student-tests/test_idempotency.py ; python3 student-tests/test_topology.py ; python3 student-tests/test_s3_failures.py +python3 student-tests/test_idempotency.py +python3 student-tests/test_topology.py +python3 student-tests/test_s3_failures.py +python3 student-tests/test_expiry.py +python3 student-tests/test_dependencies.py ``` Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. Остановка с сохранением данных — `docker compose --env-file .env stop`; **намеренное удаление учебных данных** — `docker compose --env-file .env down -v` (volumes `pgdata`, `valkeydata`, `seaweeddata`). -**Выбор S3-сервера.** Образы MinIO в Docker Hub (`minio/minio`, `minio/mc`) недоступны для скачивания на момент выполнения (репозиторий не найден, проверено `docker pull`), поэтому воспроизводимый стенд построен на **SeaweedFS** (разрешён README): образ закреплён тегом и digest. SeaweedFS запускается одним процессом (`weed server -filer -s3`), права задаются файлом identities (`secrets/seaweed_s3.json`). +**Выбор S3-сервера.** Используется **SeaweedFS**, разрешённый заданием. Образ закреплён тегом и digest. SeaweedFS запускается одним процессом (`weed server -filer -s3`), права задаются файлом identities (`secrets/seaweed_s3.json`). ## Архитектура и решения @@ -63,44 +67,79 @@ Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. О **Reconciler** (`src/app/reconcile.py`): по умолчанию **dry-run**; сравнивает `attachments.s3_key` и листинг bucket. Находит: *orphan_object* (объект без строки; удаляется только если старше `grace` — по умолчанию 900 с, поэтому свежая, ещё не зафиксированная загрузка не затрагивается), *missing_object* (строка `ready` без объекта → `failed/object_missing`, **строка не удаляется**, сообщения сохраняются, скачивание даёт 409), *size_mismatch* (размер объекта ≠ `size_bytes` → `failed/size_mismatch`). Объект, у которого есть строка в БД, не удаляется никогда; перед удалением выполняется повторная проверка строки. Повторный запуск идемпотентен. -## Доказательства критериев +### Исправление отказа общей БД при подготовке к сдаче -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Smoke lab4 (загрузка, checksum, чужой пользователь) | `tests/smoke.py` | PASS | `evidence/checks.txt` | -| Байты в приватном bucket, метаданные в PostgreSQL | описание; `test_bucket_is_private_outside_the_api` | анонимный GET объекта из сети стенда → 403; в БД нет bytea | `evidence/checks.txt` | -| PNG/JPEG ≤10 MiB, ≤40 млн px, MIME по содержимому, опасный filename | `student-tests/test_attachments.py` | 11 тестов OK (413, 415 ×9 вариантов, 400 ×8 вариантов filename) | `evidence/checks.txt` | -| Upload → остановка реплики → download через другую; restart с сохранением volumes | `tests/resilience.py` failover ×2 и persistence | PASS; `StartedAt` seaweedfs/postgres/valkey/api изменился | `evidence/checks.txt` | -| Отдельные тесты (слишком большой, повреждённый, подмена MIME, чужое attachment_id, вложение другого чата) | `test_attachments.py` | OK; ни один случай не приводит к 500 | `evidence/checks.txt` | -| Прерывание загрузки / отказ между S3 и БД: компенсация и сверка | `test_s3_failures.py` | 4 теста OK: компенсация, orphan при неудачной компенсации (dry-run/apply/grace), missing object, отказ S3 | `evidence/checks.txt` | -| ≥10 одновременных загрузок, пик памяти | `research/upload_memory.py` | 12 клиентов × 8.7 MiB: **пик RSS 99 / 116 / 123 MiB** при `UPLOAD_CONCURRENCY` 1 / 4 / 12 (старт процесса 94 MiB, лимит контейнера 256 MiB); все 12 файлов приняты и скачиваются побайтно; `OOMKilled=false` | `evidence/upload_memory.json` | -| Bootstrap идемпотентен, отдельные ключи API с ограниченными правами, консоль не открыта, bucket private | `s3-init`; `docker compose logs s3-init` | повторный запуск: «bucket уже существует», анонимный доступ 403, ключ API не может создать bucket (`AccessDenied`) | логи `s3-init` | -| Лимиты и потоковая обработка | описание; `upload_memory.json` | размер/пиксели проверяются до распаковки; тело не буферизуется целиком | `src/app/attachments.py`, `images.py` | -| **Трек 2** | `research/reconcile_bench.py` | см. ниже | `evidence/track2_reconcile.json` | +В первом повторе 11.11.2026 тест остановки PostgreSQL обнаружил ответ вне JSON-контракта: после отрицательного readiness всех реплик HAProxy отдавал собственную ошибку вместо ответа приложения. Добавлен резервный backend по liveness, используемый только при отсутствии ready-реплик. Теперь живое приложение возвращает 503 с Retry-After и X-Request-Id, сохраняет 401 для запроса без токена и 200 для /health/live. Основная маршрутизация по readiness сохранена. Тест ждёт 5 с после остановки БД, чтобы гарантированно покрыть состояние после healthcheck балансировщика. + +Также автоматические повторы HAProxy ограничены ошибкой установления соединения: ответ/таймаут уже отправленного upload POST не повторяется, поскольку контракт не делает загрузку идемпотентной. Описание директив: [HAProxy 3.0 Configuration Manual](https://docs.haproxy.org/3.0/configuration.html). Первичный сбой сохранён в `evidence/checks_before_fix_2026-11-11.txt`; полный итоговый прогон — в `evidence/checks_2026-11-11.txt`. + +## Доказательства критериев — повторная проверка 11.11.2026 + +Проверены текущая ветка решения и исходный skeleton `ec540a1`. README задания, COURSE, CONTRIBUTING, публичные `tests/` и `contracts/` сохранены без изменений. Команды и фактический вывод: [evidence/checks_2026-11-11.txt](evidence/checks_2026-11-11.txt). В Windows выполнены Python-команды, соответствующие `make check`, `make validate` и `make test`; GNU Make для проверки не требуется. + +| Критерий | Проверка | Результат | +| --- | --- | --- | +| Контракт и публичный сценарий | check_contract, validate_openapi, smoke | PASS | +| API, авторизация и идемпотентность между репликами | test_api + test_idempotency | 12 + 9 тестов OK | +| Изображения, лимиты, MIME, filename, ACL, чужой чат, прерывание upload, private bucket | test_attachments | 11 тестов OK; пользовательские ошибки не дают 500; анонимный S3 GET → 403 | +| Реплики, порты, лимиты, непривилегированный пользователь | test_topology | 6 тестов OK | +| Компенсация, dry-run/apply, свежие orphan, используемые вложения, отказ S3 | test_s3_failures | 4 теста OK; защищённый файл связан с сообщением, ссылка сохранена | +| Истечение сессии, недоступность PostgreSQL и Valkey | test_expiry + test_dependencies | 2 + 2 теста OK | +| Сохранность при restart и остановке обслужившей реплики | tests/resilience.py | persistence/failover PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток | +| Идемпотентный bootstrap, отдельные ограниченные ключи API | два повторных запуска s3-init | существующий bucket сохранён; anonymous → 403; create_bucket ключом API → AccessDenied | +| ≥10 параллельных загрузок и пик памяти | research/upload_memory.py | 12 клиентов; все файлы приняты и SHA-256 совпали; OOM нет | +| Трек 2: обнаружение и исправление расхождений, стоимость обхода | research/reconcile_bench.py | 20 orphan / 20 missing / 5 size mismatch; безопасное исправление и повтор без изменений | + +Всего **46 собственных тестов**. После экспериментов дополнительно повторены persistence и smoke. В [lifecycle.json](evidence/recheck_2026-11-11/lifecycle.json) зафиксировано изменение StartedAt всех сервисов (включая обе API-реплики и S3), сохранение имён volumes и healthy после restart. ## Эксперименты и отказы (трек 2) -**Гипотеза.** Reconciler обнаруживает ровно внедрённые расхождения в обе стороны, в режиме dry-run ничего не меняет, при apply исправляет только безопасное (осиротевшие объекты старше grace; повреждённые/потерянные вложения помечает failed), не затрагивает свежие и используемые вложения, повторяется идемпотентно, а стоимость обхода линейна по числу объектов. +**Гипотеза.** Reconciler находит внедрённые расхождения в обе стороны; dry-run ничего не меняет; apply удаляет только старые объекты без строки в БД, помечает потерянные/повреждённые вложения failed и сохраняет свежие объекты и файлы сообщений. Повтор apply не вносит изменений. Стоимость полного обхода увеличивается с числом объектов. -**Методика** (`research/reconcile_bench.py`): ≈15 000 вложений (мелкие PNG, загружены через API); внедрено на **обеих сторонах**: 20 осиротевших объектов в S3, у 20 вложений удалён объект в S3, у 5 вложений объект подменён по размеру; после паузы > grace (5 с) — dry-run дважды, затем `--apply --grace 5` **параллельно с загрузкой 200 новых вложений**, затем повторный apply. Проверки: количество найденного, неизменность при dry-run, целостность 200 используемых и 200 свежих вложений (скачивание, sha256). +**Методика и окружение.** Windows, Docker Desktop с Linux-контейнерами, Python клиента 3.11.9, aiohttp 3.14.3, Pillow 12.3.0; приложение — Python 3.12.12. Образы и лимиты закреплены в compose.yaml. Во время исследования на машине оставался другой Docker-проект; абсолютные времена зависят от фоновой нагрузки. Один измерительный прогон на точку, статистическая значимость различий не оценивалась. Команды воспроизведения — [student-tests/README.md](student-tests/README.md). -| Показатель | Результат | +В клиенте исследования сверки отключено повторное использование HTTP-соединений: блокирующий вызов Docker мог длиться дольше keep-alive сервера, и первая попытка остановилась с ServerDisconnectedError до внедрения расхождений. После исправления выполнен полный повтор сверки; исходный вывод сохранён в `evidence/recheck_2026-11-11/commands_before_client_fix.txt`. Замеры памяти не повторялись: они завершились успешно и не зависели от этого клиента. SHA-256 проверенных исходников записаны в `source_metadata.json` рядом с результатами. + +### Память при одновременных загрузках + +12 клиентов загружают по 8.73 MiB PNG (шум 1700×1700). Для каждой точки создаётся одна новая API-реплика, 1 CPU / 256 MiB; меняется только UPLOAD_CONCURRENCY. Пик — VmHWM процесса API, это не суммарная память всех контейнеров. После измерения каждый принятый файл скачивается и проверяется SHA-256. В конце восстановлены две реплики с UPLOAD_CONCURRENCY=4. + +| UPLOAD_CONCURRENCY | Пик RSS, MiB | Загрузка всех файлов, с | Принято и цело | OOMKilled | +| --- | --- | --- | --- | --- | +| 1 | 99.2 | 1.31 | 12/12 | false | +| 4 | 119.0 | 1.18 | 12/12 | false | +| 12 | 121.2 | 1.14 | 12/12 | false | + +### Сверка двух хранилищ + +К существующим синтетическим данным добавлены 3000 вложений тремя порциями по 1000. После каждой порции измерен dry-run. Затем созданы 20 orphan в S3, удалены объекты 20 существующих вложений и изменён размер ещё 5. **200 других вложений прикреплены к 20 сообщениям** (по 10); перед исправлением сохранены идентификаторы сообщений и их attachment_ids. + +После паузы больше 5 с выполняются два dry-run, затем apply с grace=5 параллельно с задачей загрузки 200 новых файлов, затем повторный apply. Рабочее значение grace — 900 с; короткий grace используется только в эксперименте. Отдельный тест детерминированно оставляет свежий orphan и подтверждает, что `--apply --grace 900` его не удаляет. + +| Проверка | Фактический результат | | --- | --- | -| dry-run нашёл | 20 orphan, 20 missing, 5 size_mismatch — **ровно внедрённое**; два dry-run дают одинаковый отчёт, `fixed = 0/0` | -| apply (grace 5 с) | удалено 20 осиротевших объектов; 25 вложений помечены `failed` (`object_missing`=20, `size_mismatch`=5) | -| Свежие загрузки во время apply | 200 из 200 принято и скачивается побайтно | -| Используемые вложения | 200 из 200 целы (sha256 совпадает) | -| Повторный apply | изменений 0 (идемпотентно) | -| Стоимость обхода (dry-run) | 13 271 объект → 2.17 с; 14 271 → 2.34 с; 15 271 → 2.50 с (из них листинг S3 ≈ 96 %, запрос к БД 13 мс) — **≈0.16 мс на объект**, линейно; на меньшем наборе (1–3 тыс. объектов, предварительный прогон) 0.28–0.59 с | +| dry-run ×2 | ровно 20 orphan, 20 missing, 5 size mismatch; fixed=0/0; повторяемо | +| apply | удалено 20 старых orphan, 25 строк помечены failed (20 object_missing, 5 size_mismatch) | +| Новые загрузки | 200/200 приняты и скачаны с совпадающей SHA-256 | +| Вложения сообщений | 200/200 целы; все 20 сообщений и attachment_ids неизменны | +| Повтор apply | 0 удалений, 0 изменений статусов, новых расхождений нет | -**Границы.** Reconciler сверяет только наличие и размер, не содержимое (содержимое подтверждает sha256 из БД при скачивании на стороне клиента); обход листингом S3 — O(число объектов), для очень больших бакетов нужен инкрементальный обход по префиксам/времени. Если объект удалён, восстановить байты нельзя — вложение остаётся в БД как `failed`. Grace period выбирается больше максимального времени загрузки + таймаутов (здесь 900 с против лимита чтения 15 с). Ограничение: измерения на одном ноутбуке, S3 — один узел SeaweedFS без репликации. +| Строк БД | Объектов S3 | Запрос БД, мс | Листинг S3, мс | Весь обход, мс | +| --- | --- | --- | --- | --- | +| 19554 | 19530 | 20.2 | 3540.6 | 3649.4 | +| 20554 | 20530 | 19.0 | 3697.2 | 3806.4 | +| 21554 | 21530 | 21.2 | 3939.1 | 4055.0 | + +На проверенном наборе основную стоимость даёт листинг S3; результаты трёх точек не доказывают линейное время на произвольном объёме. Алгоритм хранит снимки метаданных и листинга в памяти: время и дополнительная память — O(N). Сырой результат: [upload_memory.json](evidence/recheck_2026-11-11/upload_memory.json), [track2_reconcile.json](evidence/recheck_2026-11-11/track2_reconcile.json); вывод команд — [commands.txt](evidence/recheck_2026-11-11/commands.txt). + +**Границы.** Сверяются наличие и размер, но не содержимое S3-объектов: подмена байтов без изменения размера этим reconciler не обнаруживается. Целостность контрольных файлов подтверждает скачивание с SHA-256. Потерянные байты не восстанавливаются, строка остаётся failed. Grace должен превышать время загрузки и таймаутов; для рабочих запусков принят 900 с. S3 и PostgreSQL — по одному узлу. Старые октябрьские результаты сохранены в `evidence/checks.txt`, `evidence/upload_memory.json` и `evidence/track2_reconcile.json`; текущие выводы опираются на повтор 11.11.2026. ### Отказы | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | Остановка S3 | загрузка/скачивание 503 + `Retry-After`, текст работает, ready=200 | OK (`test_s3_down…`) | после старта S3 — сразу; метаданные не накапливают «битых» строк | -| Остановка одной реплики после upload | файл скачивается другой репликой | failover PASS ×2 (восстановление записи 2.3 с) | потерь нет | +| Остановка одной реплики после upload | файл скачивается другой репликой | failover PASS (восстановление записи 2.329 с) | потерь нет | | Рестарт всего стенда | метаданные и оригинал на месте | persistence PASS | < 90 с | | Сбой БД после записи в S3 | объект не остаётся | удаляется компенсацией; при сбое компенсации — reconciler | потерь подтверждённых данных нет | @@ -108,4 +147,4 @@ Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. О - Один узел S3 и один PostgreSQL (SPOF); репликации нет. Загрузка проксируется через API (прямые подписанные URL не реализованы — трек 1 не выбран). - Проверка содержимого JPEG — декодирование в режиме draft (1/8), PNG — потоковая проверка; полная валидация пикселей не выполняется (это не нужно для отдачи оригинала). -- Подтверждено экспериментом: обнаружение/исправление расхождений, защита свежих и используемых вложений, линейная стоимость обхода, ограничение памяти при 12 одновременных загрузках. Гипотеза без доказательства: поведение reconciler на бакетах > 100 тыс. объектов. +- Подтверждено экспериментом: обнаружение/исправление расхождений, защита свежих и используемых вложений, стоимость обхода на трёх размерах набора, ограничение памяти при 12 одновременных загрузках. Гипотеза без доказательства: поведение reconciler на бакетах > 100 тыс. объектов. diff --git a/docs/pull_request_lab4.md b/docs/pull_request_lab4.md new file mode 100644 index 0000000..b6a53b4 --- /dev/null +++ b/docs/pull_request_lab4.md @@ -0,0 +1,48 @@ +## Лабораторная 4 + +Автор / группа: Кушнаренко Николай Вячеславович, БПИ2302 +Целевая оценка (3/4/5): 5 +Трек 5, если заявлен: Трек 2 — согласованность двух хранилищ + +Что реализовано и что перенесено: +Из ЛР3 перенесены PostgreSQL, сессии, Valkey, HAProxy, две API-реплики, идемпотентность сообщений, миграции и сценарии отказов. Добавлены приватное S3-хранилище SeaweedFS, метаданные вложений в PostgreSQL, binary upload PNG/JPEG и авторизованный download через API с побайтной сохранностью. Ограничения: 10 MiB, 40 млн пикселей, проверка MIME по содержимому и безопасного filename, потоковая обработка и лимит параллельных загрузок. Реализованы attachment_ids в сообщениях, компенсация ошибки между S3/БД и reconciler с dry-run, grace period и повторным безопасным запуском. Bootstrap идемпотентен, API использует отдельные ключи с ограниченными правами. Исправлена маршрутизация HAProxy при отказе общей БД: даже после снятия ready всех реплик живые API сохраняют контракт ошибок и liveness; повтор отправленного upload POST отключён. + +Команды запуска из чистого clone (bash / Git Bash): + +```sh +sh scripts/init-secrets.sh +cp .env.example .env +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build +python3 scripts/check_contract.py +python3 tests/smoke.py --base-url http://127.0.0.1:8080 +python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080 +python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080 +sh scripts/restore-replicas.sh +``` +На Windows: PYTHONUTF8=1 и hooks scripts/restart.cmd, scripts/stop-one.cmd. Полная инструкция, собственные тесты и эксперименты — в [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [student-tests/README.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/student-tests/README.md). + +Результаты проверок (повтор 11.11.2026): + +- check_contract, полная валидация OpenAPI и публичный smoke — PASS; +- 46 собственных тестов — OK: авторизация, идемпотентность, вложения/ACL, топология, отказы S3/БД/кэша, TTL сессий; +- persistence и failover — PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток; сохранность оригинала проверена по SHA-256; +- bootstrap дважды — OK: анонимный доступ 403, создание bucket ключом API запрещено; +- 12 параллельных загрузок по 8.73 MiB: пик RSS 99.2–121.2 MiB при лимите 256 MiB; все файлы целы, OOM нет; +- трек 2: обнаружены ровно 20 orphan / 20 missing / 5 size mismatch; dry-run ничего не меняет; apply удаляет 20 старых orphan и помечает 25 строк failed; повтор без изменений; +- свежий orphan защищён grace period; 200 новых файлов и 200 вложений в 20 сообщениях сохранены, attachment_ids неизменны. Стоимость обхода: 19530 объектов → 3.65 с; 20530 объектов → 3.81 с; 21530 объектов → 4.05 с. + +Доказательства: [checks_2026-11-11.txt](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/checks_2026-11-11.txt), [JSON и команды исследований](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/recheck_2026-11-11), отчёт [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [Word](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/docs/report_lab4.docx). + +Ограничения / известные ошибки: +S3 и PostgreSQL работают по одному узлу; потерянные байты reconciler не восстанавливает. Сверяется наличие и размер, подмена содержимого при том же размере не обнаруживается. Полный обход требует O(N) времени и памяти. Замеры сделаны на одном компьютере, по одному прогону на точку, с фоновой нагрузкой другого Docker-проекта. Прямой presigned upload не реализован — выбран трек 2. + +Источники и использование ИИ: +Python, uvicorn, asyncpg, aiobotocore, Pillow, argon2-cffi, SeaweedFS, PostgreSQL, Valkey, HAProxy; первичные материалы — в README задания. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex выполнил проверку подготовки к сдаче, усилил доказательства исследования и проверил результаты реальными запусками. + +- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. +- [x] Контракт и публичные тесты не ослаблены. +- [x] make check и make test выполнены через эквивалентные Python-команды; приложен реальный вывод. +- [x] Сценарии отказов/безопасности своего уровня воспроизведены. +- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. +- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. diff --git a/docs/report_lab4.docx b/docs/report_lab4.docx index f1aac99..d152692 100644 Binary files a/docs/report_lab4.docx and b/docs/report_lab4.docx differ diff --git a/evidence/checks_2026-11-11.txt b/evidence/checks_2026-11-11.txt new file mode 100644 index 0000000..50f43cf --- /dev/null +++ b/evidence/checks_2026-11-11.txt @@ -0,0 +1,167 @@ +$ python scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +exit=0 + +$ python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +exit=0 + +$ python tests/smoke.py --base-url http://127.0.0.1:8080 +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +exit=0 + +$ python -m unittest discover -s student-tests -p test_api.py -v +test_bearer_rules (test_api.AuthTest.test_bearer_rules) ... ok +test_concurrent_registration_of_same_username (test_api.AuthTest.test_concurrent_registration_of_same_username) ... ok +test_logout_revokes_in_database_and_cache (test_api.AuthTest.test_logout_revokes_in_database_and_cache) ... ok +test_password_is_not_exposed_or_stored_plain (test_api.AuthTest.test_password_is_not_exposed_or_stored_plain) ... ok +test_register_validation (test_api.AuthTest.test_register_validation) ... ok +test_session_shape_entropy_and_logout (test_api.AuthTest.test_session_shape_entropy_and_logout) ... ok +test_token_only_stored_as_hash (test_api.AuthTest.test_token_only_stored_as_hash) ... ok +test_wrong_password_and_unknown_user_are_indistinguishable (test_api.AuthTest.test_wrong_password_and_unknown_user_are_indistinguishable) ... ok +test_chat_creation_is_atomic (test_api.DataTest.test_chat_creation_is_atomic) ... ok +test_foreign_chat_empty_message_bad_json (test_api.DataTest.test_foreign_chat_empty_message_bad_json) ... ok +test_multi_page_history_and_cursor_binding (test_api.DataTest.test_multi_page_history_and_cursor_binding) ... ok +test_parallel_writes_from_many_clients (test_api.DataTest.test_parallel_writes_from_many_clients) ... ok + +---------------------------------------------------------------------- +Ran 12 tests in 2.711s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_idempotency.py -v +test_concurrent_same_key_creates_exactly_one_message_across_replicas (test_idempotency.IdempotencyTest.test_concurrent_same_key_creates_exactly_one_message_across_replicas) ... ok +test_different_body_same_key_is_409 (test_idempotency.IdempotencyTest.test_different_body_same_key_is_409) ... ok +test_expired_key_is_reusable_after_ttl (test_idempotency.IdempotencyTest.test_expired_key_is_reusable_after_ttl) ... ok +test_key_validation (test_idempotency.IdempotencyTest.test_key_validation) ... ok +test_replay_rechecks_session_and_membership (test_idempotency.IdempotencyTest.test_replay_rechecks_session_and_membership) ... ok +test_replay_returns_same_message_and_creates_no_duplicate (test_idempotency.IdempotencyTest.test_replay_returns_same_message_and_creates_no_duplicate) ... ok +test_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_scope_is_user_and_chat) ... ok +test_semantically_equal_body_is_replayed (test_idempotency.IdempotencyTest.test_semantically_equal_body_is_replayed) ... ok +test_session_is_shared_between_replicas_without_relogin (test_idempotency.IdempotencyTest.test_session_is_shared_between_replicas_without_relogin) ... ok + +---------------------------------------------------------------------- +Ran 9 tests in 1.920s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_attachments.py -v +test_aborted_upload_leaves_nothing (test_attachments.AttachmentTest.test_aborted_upload_leaves_nothing) ... ok +test_bucket_is_private_outside_the_api (test_attachments.AttachmentTest.test_bucket_is_private_outside_the_api) ... ok +test_corrupted_and_spoofed_files_are_415_not_500 (test_attachments.AttachmentTest.test_corrupted_and_spoofed_files_are_415_not_500) ... ok +test_dangerous_filenames_are_400 (test_attachments.AttachmentTest.test_dangerous_filenames_are_400) ... ok +test_decompression_bomb_header_is_413 (test_attachments.AttachmentTest.test_decompression_bomb_header_is_413) ... ok +test_empty_body_is_400 (test_attachments.AttachmentTest.test_empty_body_is_400) ... ok +test_foreign_user_cannot_upload_read_or_download (test_attachments.AttachmentTest.test_foreign_user_cannot_upload_read_or_download) ... ok +test_idempotent_replay_with_attachments (test_attachments.AttachmentTest.test_idempotent_replay_with_attachments) ... ok +test_message_with_attachments_and_chat_binding (test_attachments.AttachmentTest.test_message_with_attachments_and_chat_binding) ... ok +test_png_and_jpeg_roundtrip_with_checksum (test_attachments.AttachmentTest.test_png_and_jpeg_roundtrip_with_checksum) ... ok +test_too_large_is_413_and_nothing_is_stored (test_attachments.AttachmentTest.test_too_large_is_413_and_nothing_is_stored) ... ok + +---------------------------------------------------------------------- +Ran 11 tests in 4.285s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_topology.py -v +test_api_runs_as_non_root (test_topology.TopologyTest.test_api_runs_as_non_root) ... ok +test_at_least_two_api_replicas_without_published_ports (test_topology.TopologyTest.test_at_least_two_api_replicas_without_published_ports) ... ok +test_no_fixed_container_names (test_topology.TopologyTest.test_no_fixed_container_names) ... ok +test_only_lb_is_published_and_only_on_localhost (test_topology.TopologyTest.test_only_lb_is_published_and_only_on_localhost) ... ok +test_resource_limits_are_set (test_topology.TopologyTest.test_resource_limits_are_set) ... ok +test_stop_grace_period_covers_drain (test_topology.TopologyTest.test_stop_grace_period_covers_drain) ... ok + +---------------------------------------------------------------------- +Ran 6 tests in 1.649s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_s3_failures.py -v +test_db_failure_after_s3_write_is_compensated (test_s3_failures.S3FailureTest.test_db_failure_after_s3_write_is_compensated) ... ok +test_missing_object_is_reported_and_attachment_marked_failed (test_s3_failures.S3FailureTest.test_missing_object_is_reported_and_attachment_marked_failed) ... ok +test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely (test_s3_failures.S3FailureTest.test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely) ... ok +test_s3_down_gives_503_text_path_keeps_working (test_s3_failures.S3FailureTest.test_s3_down_gives_503_text_path_keeps_working) ... ok + +---------------------------------------------------------------------- +Ran 4 tests in 189.512s + +OK +exit=0 + +$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 105, "failed_attempts": 0, "first_recovery_seconds": 2.329} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ docker compose --env-file .env start api + Container mtusi-lab4-postgres-1 Waiting + Container mtusi-lab4-seaweedfs-1 Waiting + Container mtusi-lab4-seaweedfs-1 Healthy + Container mtusi-lab4-s3-init-1 Starting + Container mtusi-lab4-postgres-1 Healthy + Container mtusi-lab4-migrate-1 Starting + Container mtusi-lab4-migrate-1 Started + Container mtusi-lab4-s3-init-1 Started + Container mtusi-lab4-s3-init-1 Waiting + Container mtusi-lab4-valkey-1 Waiting + Container mtusi-lab4-migrate-1 Waiting + Container mtusi-lab4-valkey-1 Healthy + Container mtusi-lab4-migrate-1 Exited + Container mtusi-lab4-s3-init-1 Exited + Container mtusi-lab4-api-5 Starting + Container mtusi-lab4-api-5 Started +exit=0 + +$ python student-tests/test_expiry.py +.. +---------------------------------------------------------------------- +Ran 2 tests in 19.361s + +OK +exit=0 + +$ python student-tests/test_dependencies.py +.. +---------------------------------------------------------------------- +Ran 2 tests in 19.594s + +OK +exit=0 + +$ docker compose --env-file .env run --rm -T s3-init + Container mtusi-lab4-seaweedfs-1 Running + Container mtusi-lab4-seaweedfs-1 Waiting + Container mtusi-lab4-seaweedfs-1 Healthy + Container mtusi-lab4-s3-init-run-da275e60a199 Creating + Container mtusi-lab4-s3-init-run-da275e60a199 Created +bucket messenger-attachments уже существует +анонимный доступ запрещён (HTTP 403) +ключ API ограничен одним bucket (create_bucket отклонён: AccessDenied) +bootstrap завершён +exit=0 + +$ docker compose --env-file .env run --rm -T s3-init + Container mtusi-lab4-seaweedfs-1 Running + Container mtusi-lab4-seaweedfs-1 Waiting + Container mtusi-lab4-seaweedfs-1 Healthy + Container mtusi-lab4-s3-init-run-cc1f19e0054b Creating + Container mtusi-lab4-s3-init-run-cc1f19e0054b Created +bucket messenger-attachments уже существует +анонимный доступ запрещён (HTTP 403) +ключ API ограничен одним bucket (create_bucket отклонён: AccessDenied) +bootstrap завершён +exit=0 + +$ python tests/smoke.py --base-url http://127.0.0.1:8080 +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +exit=0 diff --git a/evidence/checks_before_fix_2026-11-11.txt b/evidence/checks_before_fix_2026-11-11.txt new file mode 100644 index 0000000..1426d6b --- /dev/null +++ b/evidence/checks_before_fix_2026-11-11.txt @@ -0,0 +1,159 @@ +$ python scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +exit=0 + +$ python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +exit=0 + +$ python tests/smoke.py --base-url http://127.0.0.1:8080 +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +exit=0 + +$ python -m unittest discover -s student-tests -p test_api.py -v +test_bearer_rules (test_api.AuthTest.test_bearer_rules) ... ok +test_concurrent_registration_of_same_username (test_api.AuthTest.test_concurrent_registration_of_same_username) ... ok +test_logout_revokes_in_database_and_cache (test_api.AuthTest.test_logout_revokes_in_database_and_cache) ... ok +test_password_is_not_exposed_or_stored_plain (test_api.AuthTest.test_password_is_not_exposed_or_stored_plain) ... ok +test_register_validation (test_api.AuthTest.test_register_validation) ... ok +test_session_shape_entropy_and_logout (test_api.AuthTest.test_session_shape_entropy_and_logout) ... ok +test_token_only_stored_as_hash (test_api.AuthTest.test_token_only_stored_as_hash) ... ok +test_wrong_password_and_unknown_user_are_indistinguishable (test_api.AuthTest.test_wrong_password_and_unknown_user_are_indistinguishable) ... ok +test_chat_creation_is_atomic (test_api.DataTest.test_chat_creation_is_atomic) ... ok +test_foreign_chat_empty_message_bad_json (test_api.DataTest.test_foreign_chat_empty_message_bad_json) ... ok +test_multi_page_history_and_cursor_binding (test_api.DataTest.test_multi_page_history_and_cursor_binding) ... ok +test_parallel_writes_from_many_clients (test_api.DataTest.test_parallel_writes_from_many_clients) ... ok + +---------------------------------------------------------------------- +Ran 12 tests in 2.524s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_idempotency.py -v +test_concurrent_same_key_creates_exactly_one_message_across_replicas (test_idempotency.IdempotencyTest.test_concurrent_same_key_creates_exactly_one_message_across_replicas) ... ok +test_different_body_same_key_is_409 (test_idempotency.IdempotencyTest.test_different_body_same_key_is_409) ... ok +test_expired_key_is_reusable_after_ttl (test_idempotency.IdempotencyTest.test_expired_key_is_reusable_after_ttl) ... ok +test_key_validation (test_idempotency.IdempotencyTest.test_key_validation) ... ok +test_replay_rechecks_session_and_membership (test_idempotency.IdempotencyTest.test_replay_rechecks_session_and_membership) ... ok +test_replay_returns_same_message_and_creates_no_duplicate (test_idempotency.IdempotencyTest.test_replay_returns_same_message_and_creates_no_duplicate) ... ok +test_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_scope_is_user_and_chat) ... ok +test_semantically_equal_body_is_replayed (test_idempotency.IdempotencyTest.test_semantically_equal_body_is_replayed) ... ok +test_session_is_shared_between_replicas_without_relogin (test_idempotency.IdempotencyTest.test_session_is_shared_between_replicas_without_relogin) ... ok + +---------------------------------------------------------------------- +Ran 9 tests in 1.769s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_attachments.py -v +test_aborted_upload_leaves_nothing (test_attachments.AttachmentTest.test_aborted_upload_leaves_nothing) ... ok +test_bucket_is_private_outside_the_api (test_attachments.AttachmentTest.test_bucket_is_private_outside_the_api) ... ok +test_corrupted_and_spoofed_files_are_415_not_500 (test_attachments.AttachmentTest.test_corrupted_and_spoofed_files_are_415_not_500) ... ok +test_dangerous_filenames_are_400 (test_attachments.AttachmentTest.test_dangerous_filenames_are_400) ... ok +test_decompression_bomb_header_is_413 (test_attachments.AttachmentTest.test_decompression_bomb_header_is_413) ... ok +test_empty_body_is_400 (test_attachments.AttachmentTest.test_empty_body_is_400) ... ok +test_foreign_user_cannot_upload_read_or_download (test_attachments.AttachmentTest.test_foreign_user_cannot_upload_read_or_download) ... ok +test_idempotent_replay_with_attachments (test_attachments.AttachmentTest.test_idempotent_replay_with_attachments) ... ok +test_message_with_attachments_and_chat_binding (test_attachments.AttachmentTest.test_message_with_attachments_and_chat_binding) ... ok +test_png_and_jpeg_roundtrip_with_checksum (test_attachments.AttachmentTest.test_png_and_jpeg_roundtrip_with_checksum) ... ok +test_too_large_is_413_and_nothing_is_stored (test_attachments.AttachmentTest.test_too_large_is_413_and_nothing_is_stored) ... ok + +---------------------------------------------------------------------- +Ran 11 tests in 4.352s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_topology.py -v +test_api_runs_as_non_root (test_topology.TopologyTest.test_api_runs_as_non_root) ... ok +test_at_least_two_api_replicas_without_published_ports (test_topology.TopologyTest.test_at_least_two_api_replicas_without_published_ports) ... ok +test_no_fixed_container_names (test_topology.TopologyTest.test_no_fixed_container_names) ... ok +test_only_lb_is_published_and_only_on_localhost (test_topology.TopologyTest.test_only_lb_is_published_and_only_on_localhost) ... ok +test_resource_limits_are_set (test_topology.TopologyTest.test_resource_limits_are_set) ... ok +test_stop_grace_period_covers_drain (test_topology.TopologyTest.test_stop_grace_period_covers_drain) ... ok + +---------------------------------------------------------------------- +Ran 6 tests in 1.580s + +OK +exit=0 + +$ python -m unittest discover -s student-tests -p test_s3_failures.py -v +test_db_failure_after_s3_write_is_compensated (test_s3_failures.S3FailureTest.test_db_failure_after_s3_write_is_compensated) ... ok +test_missing_object_is_reported_and_attachment_marked_failed (test_s3_failures.S3FailureTest.test_missing_object_is_reported_and_attachment_marked_failed) ... ok +test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely (test_s3_failures.S3FailureTest.test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely) ... ok +test_s3_down_gives_503_text_path_keeps_working (test_s3_failures.S3FailureTest.test_s3_down_gives_503_text_path_keeps_working) ... ok + +---------------------------------------------------------------------- +Ran 4 tests in 193.833s + +OK +exit=0 + +$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 2.328} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ docker compose --env-file .env start api + Container mtusi-lab4-postgres-1 Waiting + Container mtusi-lab4-seaweedfs-1 Waiting + Container mtusi-lab4-seaweedfs-1 Healthy + Container mtusi-lab4-postgres-1 Healthy + Container mtusi-lab4-s3-init-1 Starting + Container mtusi-lab4-migrate-1 Starting + Container mtusi-lab4-migrate-1 Started + Container mtusi-lab4-s3-init-1 Started + Container mtusi-lab4-s3-init-1 Waiting + Container mtusi-lab4-valkey-1 Waiting + Container mtusi-lab4-migrate-1 Waiting + Container mtusi-lab4-valkey-1 Healthy + Container mtusi-lab4-migrate-1 Exited + Container mtusi-lab4-s3-init-1 Exited + Container mtusi-lab4-api-4 Starting + Container mtusi-lab4-api-4 Started +exit=0 + +$ python student-tests/test_expiry.py +.. +---------------------------------------------------------------------- +Ran 2 tests in 23.614s + +OK +exit=0 + +$ python student-tests/test_dependencies.py +E. +====================================================================== +ERROR: test_postgres_down_gives_bounded_503_never_anonymous_access (__main__.DependencyTest.test_postgres_down_gives_bounded_503_never_anonymous_access) +---------------------------------------------------------------------- +Traceback (most recent call last): + File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\student-tests\test_dependencies.py", line 64, in test_postgres_down_gives_bounded_503_never_anonymous_access + r = call(method, path, body, token) + ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\student-tests\test_api.py", line 38, in call + return status, hdrs, (json.loads(payload) if payload else None) + ^^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\__init__.py", line 346, in loads + return _default_decoder.decode(s) + ^^^^^^^^^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 337, in decode + obj, end = self.raw_decode(s, idx=_w(s, 0).end()) + ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 355, in raw_decode + raise JSONDecodeError("Expecting value", s, err.value) from None +json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) + +---------------------------------------------------------------------- +Ran 2 tests in 9.323s + +FAILED (errors=1) +exit=1 diff --git a/evidence/recheck_2026-11-11/commands.txt b/evidence/recheck_2026-11-11/commands.txt new file mode 100644 index 0000000..60a726b --- /dev/null +++ b/evidence/recheck_2026-11-11/commands.txt @@ -0,0 +1,116 @@ +$ python -u research/upload_memory.py --out evidence\recheck_2026-11-11 +размер файла: 8.7 MiB, sha256 9fcc26eea979 +{"UPLOAD_CONCURRENCY": 1, "statuses": {"201": 12}, "wall_seconds": 1.31, "peak_rss_mib": 99.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.3, "rss_after_mib": 99.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.83, "max_s": 1.3} +{"UPLOAD_CONCURRENCY": 4, "statuses": {"201": 12}, "wall_seconds": 1.18, "peak_rss_mib": 119.0, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.5, "rss_after_mib": 119.0, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.87, "max_s": 1.17} +{"UPLOAD_CONCURRENCY": 12, "statuses": {"201": 12}, "wall_seconds": 1.14, "peak_rss_mib": 121.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.4, "rss_after_mib": 121.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.94, "max_s": 1.13} +exit=0 + +# Reconciliation rerun after disabling stale HTTP keep-alive reuse; memory results above retained. +$ python -u research/reconcile_bench.py --out evidence\recheck_2026-11-11 --total 3000 +{"db_rows": 19554, "s3_objects": 19530, "timing_ms": {"db_query": 20.2, "s3_listing": 3540.6, "total": 3649.4}, "upload_batch_seconds": 2.3} +{"db_rows": 20554, "s3_objects": 20530, "timing_ms": {"db_query": 19.0, "s3_listing": 3697.2, "total": 3806.4}, "upload_batch_seconds": 2.2} +{"db_rows": 21554, "s3_objects": 21530, "timing_ms": {"db_query": 21.2, "s3_listing": 3939.1, "total": 4055.0}, "upload_batch_seconds": 2.1} +{ + "date": "2026-11-11 18:21:28", + "cost_of_scan": [ + { + "db_rows": 19554, + "s3_objects": 19530, + "timing_ms": { + "db_query": 20.2, + "s3_listing": 3540.6, + "total": 3649.4 + }, + "upload_batch_seconds": 2.3 + }, + { + "db_rows": 20554, + "s3_objects": 20530, + "timing_ms": { + "db_query": 19.0, + "s3_listing": 3697.2, + "total": 3806.4 + }, + "upload_batch_seconds": 2.2 + }, + { + "db_rows": 21554, + "s3_objects": 21530, + "timing_ms": { + "db_query": 21.2, + "s3_listing": 3939.1, + "total": 4055.0 + }, + "upload_batch_seconds": 2.1 + } + ], + "injected": { + "orphan_objects": 20, + "missing_objects": 20, + "size_mismatch": 5 + }, + "dry_run": { + "orphan_objects_count": 20, + "missing_objects_count": 20, + "size_mismatch_count": 5, + "orphans_skipped_fresh": 0, + "timing_ms": { + "db_query": 18.7, + "s3_listing": 3652.1, + "total": 3761.7 + }, + "fixed": { + "deleted_orphans": 0, + "marked_failed": 0 + } + }, + "dry_run_repeatable": true, + "dry_run_found_exactly_injected": true, + "apply": { + "fixed": { + "deleted_orphans": 20, + "marked_failed": 25 + }, + "orphans_skipped_fresh": 0, + "timing_ms": { + "db_query": 19.1, + "s3_listing": 3859.1, + "total": 4048.6 + }, + "orphan_objects_count": 20, + "missing_objects_count": 20, + "size_mismatch_count": 5 + }, + "fresh_uploads_during_apply": { + "uploaded": 200, + "intact": 200 + }, + "in_use_attachments_intact": "200/200", + "message_bindings": { + "messages": 20, + "attachments": 200, + "unchanged": true + }, + "second_apply_idempotent": { + "fixed": { + "deleted_orphans": 0, + "marked_failed": 0 + }, + "orphan_objects_count": 0, + "missing_objects_count": 0 + }, + "marked_failed": [ + "object_missing=20", + "size_mismatch=5" + ] +} +exit=0 + +$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ python tests/smoke.py --base-url http://127.0.0.1:8080 +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +exit=0 diff --git a/evidence/recheck_2026-11-11/commands_before_client_fix.txt b/evidence/recheck_2026-11-11/commands_before_client_fix.txt new file mode 100644 index 0000000..d6293f4 --- /dev/null +++ b/evidence/recheck_2026-11-11/commands_before_client_fix.txt @@ -0,0 +1,42 @@ +$ python -u research/upload_memory.py --out evidence\recheck_2026-11-11 +размер файла: 8.7 MiB, sha256 9fcc26eea979 +{"UPLOAD_CONCURRENCY": 1, "statuses": {"201": 12}, "wall_seconds": 1.31, "peak_rss_mib": 99.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.3, "rss_after_mib": 99.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.83, "max_s": 1.3} +{"UPLOAD_CONCURRENCY": 4, "statuses": {"201": 12}, "wall_seconds": 1.18, "peak_rss_mib": 119.0, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.5, "rss_after_mib": 119.0, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.87, "max_s": 1.17} +{"UPLOAD_CONCURRENCY": 12, "statuses": {"201": 12}, "wall_seconds": 1.14, "peak_rss_mib": 121.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.4, "rss_after_mib": 121.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.94, "max_s": 1.13} +exit=0 + +$ python -u research/reconcile_bench.py --out evidence\recheck_2026-11-11 --total 3000 +{"db_rows": 16554, "s3_objects": 16530, "timing_ms": {"db_query": 17.7, "s3_listing": 2891.3, "total": 2998.3}, "upload_batch_seconds": 2.6} +{"db_rows": 17554, "s3_objects": 17530, "timing_ms": {"db_query": 18.4, "s3_listing": 3280.3, "total": 3383.1}, "upload_batch_seconds": 2.2} +{"db_rows": 18554, "s3_objects": 18530, "timing_ms": {"db_query": 16.8, "s3_listing": 3647.2, "total": 3754.3}, "upload_batch_seconds": 2.0} +Traceback (most recent call last): + File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 204, in + asyncio.run(main(ap.parse_args())) + File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\runners.py", line 190, in run + return runner.run(main) + ^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\runners.py", line 118, in run + return self._loop.run_until_complete(task) + ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\base_events.py", line 654, in run_until_complete + return future.result() + ^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 150, in main + await bind_to_messages(s, token, chat, used_ids) + File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 114, in bind_to_messages + async with s.post("%s/api/v1/chats/%s/messages" % (BASE, chat), + File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 1693, in __aenter__ + self._resp: _RetType_co = await self._coro + ^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 858, in _request + resp = await handler(req) + ^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 836, in _connect_and_send_request + await resp.start(conn) + File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client_reqrep.py", line 558, in start + message, payload = await protocol.read() # type: ignore[union-attr] + ^^^^^^^^^^^^^^^^^^^^^ + File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\streams.py", line 705, in read + await self._waiter +aiohttp.client_exceptions.ServerDisconnectedError: Server disconnected +exit=1 diff --git a/evidence/recheck_2026-11-11/lifecycle.json b/evidence/recheck_2026-11-11/lifecycle.json new file mode 100644 index 0000000..efa4940 --- /dev/null +++ b/evidence/recheck_2026-11-11/lifecycle.json @@ -0,0 +1,116 @@ +{ + "before": { + "mtusi-lab4-api-4": { + "service": "api", + "started_at": "2026-11-11T15:19:40.270198114Z", + "health": "healthy", + "volumes": [], + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-api-5": { + "service": "api", + "started_at": "2026-11-11T15:19:40.450834393Z", + "health": "healthy", + "volumes": [], + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-lb-1": { + "service": "lb", + "started_at": "2026-11-11T15:17:05.882305757Z", + "health": "healthy", + "volumes": [], + "memory_bytes": 134217728, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-postgres-1": { + "service": "postgres", + "started_at": "2026-11-11T15:18:29.832733162Z", + "health": "healthy", + "volumes": [ + "mtusi-lab4_pgdata" + ], + "memory_bytes": 536870912, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-seaweedfs-1": { + "service": "seaweedfs", + "started_at": "2026-11-11T15:17:06.948359559Z", + "health": "healthy", + "volumes": [ + "mtusi-lab4_seaweeddata" + ], + "memory_bytes": 805306368, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-valkey-1": { + "service": "valkey", + "started_at": "2026-11-11T15:18:32.43836843Z", + "health": "healthy", + "volumes": [ + "mtusi-lab4_valkeydata" + ], + "memory_bytes": 134217728, + "nano_cpus": 500000000 + } + }, + "after": { + "mtusi-lab4-api-4": { + "service": "api", + "started_at": "2026-11-11T15:22:57.324421301Z", + "health": "healthy", + "volumes": [], + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-api-5": { + "service": "api", + "started_at": "2026-11-11T15:22:57.482181899Z", + "health": "healthy", + "volumes": [], + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-lb-1": { + "service": "lb", + "started_at": "2026-11-11T15:22:53.438585878Z", + "health": "healthy", + "volumes": [], + "memory_bytes": 134217728, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-postgres-1": { + "service": "postgres", + "started_at": "2026-11-11T15:22:53.862285534Z", + "health": "healthy", + "volumes": [ + "mtusi-lab4_pgdata" + ], + "memory_bytes": 536870912, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-seaweedfs-1": { + "service": "seaweedfs", + "started_at": "2026-11-11T15:22:54.073709276Z", + "health": "healthy", + "volumes": [ + "mtusi-lab4_seaweeddata" + ], + "memory_bytes": 805306368, + "nano_cpus": 1000000000 + }, + "mtusi-lab4-valkey-1": { + "service": "valkey", + "started_at": "2026-11-11T15:22:53.5998755Z", + "health": "healthy", + "volumes": [ + "mtusi-lab4_valkeydata" + ], + "memory_bytes": 134217728, + "nano_cpus": 500000000 + } + }, + "all_services_restarted": true, + "volumes_preserved": true +} \ No newline at end of file diff --git a/evidence/recheck_2026-11-11/source_metadata.json b/evidence/recheck_2026-11-11/source_metadata.json new file mode 100644 index 0000000..8dc2271 --- /dev/null +++ b/evidence/recheck_2026-11-11/source_metadata.json @@ -0,0 +1,51 @@ +{ + "date": "2026-11-11", + "base_solution_commit": "f875e2977f6592e1af6228dfe2138a769c327b08", + "branch": "solution/bpi2302-kushnarenko", + "python_client": "3.11.9 (tags/v3.11.9:de54cf5, Apr 2 2024, 10:12:12) [MSC v.1938 64 bit (AMD64)]", + "source_sha256": { + "Dockerfile": "f1dc711cacf00e3e2bd6b4a0616c925e357446ebda370e7e5fdb3170eaecd4cb", + "compose.yaml": "e7f52308ad5f0f55bf1d61b83275bad2fb80be9f97b695cdd659d0d878cdd6a5", + "infra/README.md": "33a4f7b870fd0b2bed98d46daf26d45dd7436176739672925246f8e3fe7c2278", + "infra/haproxy/haproxy.cfg": "511fb24b32740c332cd7b6ea42d3f1cf252e1452de754ff97c8e6886f3692061", + "requirements.txt": "709710dfd92af5f023ef9909488e9a14a7cacb62c67d67fff261d34ae4b779a0", + "research/failover_sequence.py": "5cf120dfc9c79756a7bc913c900702ee597cc89ed4d7e21471a784a75b752ca4", + "research/loadgen.py": "ec758237e5c57efe405fddac13ed80aab2ea31ff400761a951f89a31d7769b8b", + "research/reconcile_bench.py": "6a6814f925b9e36621f6f7237473ad6b085b94e2717c2be79313cef7c8906a5a", + "research/rolling_update.py": "447da4a9e2161bb232669f0558d6cb15ae3f0ef181fdf563e19cd56135b58240", + "research/upload_memory.py": "07784bde3bf9cd15f586025adf6a37a2c3413ee756e099034c23cc789fbe7df1", + "scripts/check_contract.py": "61e300fe5c1074360418e24b4653b12f96808247a2beaf2a64859aa360f81493", + "scripts/init-secrets.sh": "7df8c218002a46ccb545d96051a6b958cf8b4dee14d94299a85984576b483f5b", + "scripts/restart.cmd": "78e2689f97b3d0aafa72a0352a4a8cce2f41d78684c34042711e0af38e7cad19", + "scripts/restart.example.sh": "0328246ba75defbced992104e986fde973f63e3830d83251eced5953263e944b", + "scripts/restart.sh": "c57ad938ecaca510120296e9406918e6ef9ed24eb1b6dff16cf1b4d95c787e41", + "scripts/restore-replicas.sh": "f55116712bb7f511bfc756507c3574a411256a41ea7ee6ba473c610ea5d1184b", + "scripts/rolling-update.sh": "465791a134b48738a3e8d59819762159cc173d9332c6de9e2afcb583a4674559", + "scripts/stop-one.cmd": "1955b8b0c879ea50d8efeb7fb43e8497356bb45482a91f90bd81a9c3fececdbf", + "scripts/stop-one.example.sh": "1bcf34394520b89d95b7605ec56675be799eea920e83cfbba306d5dc0a6d9811", + "scripts/stop-one.sh": "897cd2b56e6481cca7ac82378a0c071791f1e0e395d6a2e8d2a9f8e8faf50b38", + "scripts/validate_openapi.py": "cd7a33221b1860c5d2330e52afa6cb222d375db671ae9ab379ba51a0d3a77946", + "src/app/attachments.py": "430cf9672744a2192a72e9a9b64ab968510acb660590fd818b5f6dc6c3128ee0", + "src/app/config.py": "2d0eb339e9b9caf9c69c1b497ba233758f9567c79e2edf76eb5facda3314fd38", + "src/app/db.py": "7510882b0e8c9f6a24d680a156c285bc1a0fcf021473ca47173aa0744d845a78", + "src/app/images.py": "3dc7434cbfbc9d4c01b95eb897c1332b2a2748dd9df88c99a7086f3e4cdf4c41", + "src/app/main.py": "355aec75a78eaa7a8696684b251221a16c0828533fe1dbcfb30ab8cd04ca9b5c", + "src/app/migrate.py": "cabc192ca4182af780636415a008d2dd4636dad7d3cf0f4a8a2b52a48aedaa7e", + "src/app/passwords.py": "836fc282093058f6717eaa6374775251ed655dcd517f325dc60323a88154f261", + "src/app/reconcile.py": "dd795a9d53a32bf2c107d2c053c170f7c4c7731b99aff57747af1edf49883a51", + "src/app/s3.py": "d31dec589dd96607b3fa7fb5fa6013e3882638eb536a737dc766013209ce6247", + "src/app/s3_bootstrap.py": "216d8121d6e7b25d95b845f4deaff18fd31eeb28484e51fe4c463c646a3af0d1", + "src/app/serve.py": "3ebe12cf8cb2dddfc7d7234bba9bd190d868cc88d02e61fe640ba51dcf115b55", + "src/app/sessions.py": "f975eb27c50c024f3e562f755ee97bb7bfe21cf5e01cc1d347bf107971c30670", + "src/app/web.py": "23271be669a19bd7abfd6eaae25e25ce214718f0f623406cb9a2f6e77e365b83", + "student-tests/fixtures/sample.jpg": "33a614b40fe6ae25fdbd99af22e7d9d3e5dbea455b36aac750de112c034a6311", + "student-tests/fixtures/sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75", + "student-tests/test_api.py": "2635113842a5b26ec1fdd98ea42fc861edb1d10895e8be6c2eff46ed73fdba9d", + "student-tests/test_attachments.py": "90128b76736336bb3c37746549c951cbd853b93084b1d1c9605fffb3b77ffbbb", + "student-tests/test_dependencies.py": "e152b87441d1374ce9b69d3d441d262e47890313d2ccc798f5e2cff2e3719399", + "student-tests/test_expiry.py": "16a374ebe3df15c50c07a9fc3bc801c6c532dde3c4185b164c6aea4605923f83", + "student-tests/test_idempotency.py": "4ee985a3ef26fefa816fdb136fa2b0644cca13d73fe3a226d1ba975a55698b5b", + "student-tests/test_s3_failures.py": "81f8b7acbde19700c87e8d65af1803c071e9b0549d10788ae1f53729a64be175", + "student-tests/test_topology.py": "576ff231fad871fa05cf6f14c6544c32389961f204b9dec8d2ecf250da15e157" + } +} \ No newline at end of file diff --git a/evidence/recheck_2026-11-11/track2_reconcile.json b/evidence/recheck_2026-11-11/track2_reconcile.json new file mode 100644 index 0000000..cbdfabc --- /dev/null +++ b/evidence/recheck_2026-11-11/track2_reconcile.json @@ -0,0 +1,98 @@ +{ + "date": "2026-11-11 18:21:28", + "cost_of_scan": [ + { + "db_rows": 19554, + "s3_objects": 19530, + "timing_ms": { + "db_query": 20.2, + "s3_listing": 3540.6, + "total": 3649.4 + }, + "upload_batch_seconds": 2.3 + }, + { + "db_rows": 20554, + "s3_objects": 20530, + "timing_ms": { + "db_query": 19.0, + "s3_listing": 3697.2, + "total": 3806.4 + }, + "upload_batch_seconds": 2.2 + }, + { + "db_rows": 21554, + "s3_objects": 21530, + "timing_ms": { + "db_query": 21.2, + "s3_listing": 3939.1, + "total": 4055.0 + }, + "upload_batch_seconds": 2.1 + } + ], + "args": { + "out": "evidence\\recheck_2026-11-11", + "total": 3000 + }, + "injected": { + "orphan_objects": 20, + "missing_objects": 20, + "size_mismatch": 5 + }, + "dry_run": { + "orphan_objects_count": 20, + "missing_objects_count": 20, + "size_mismatch_count": 5, + "orphans_skipped_fresh": 0, + "timing_ms": { + "db_query": 18.7, + "s3_listing": 3652.1, + "total": 3761.7 + }, + "fixed": { + "deleted_orphans": 0, + "marked_failed": 0 + } + }, + "dry_run_repeatable": true, + "dry_run_found_exactly_injected": true, + "apply": { + "fixed": { + "deleted_orphans": 20, + "marked_failed": 25 + }, + "orphans_skipped_fresh": 0, + "timing_ms": { + "db_query": 19.1, + "s3_listing": 3859.1, + "total": 4048.6 + }, + "orphan_objects_count": 20, + "missing_objects_count": 20, + "size_mismatch_count": 5 + }, + "fresh_uploads_during_apply": { + "uploaded": 200, + "intact": 200 + }, + "in_use_attachments_intact": "200/200", + "message_bindings": { + "messages": 20, + "attachments": 200, + "unchanged": true + }, + "second_apply_idempotent": { + "fixed": { + "deleted_orphans": 0, + "marked_failed": 0 + }, + "orphan_objects_count": 0, + "missing_objects_count": 0 + }, + "marked_failed": [ + "object_missing=20", + "size_mismatch=5" + ] +} \ No newline at end of file diff --git a/evidence/recheck_2026-11-11/upload_memory.json b/evidence/recheck_2026-11-11/upload_memory.json new file mode 100644 index 0000000..dc178a7 --- /dev/null +++ b/evidence/recheck_2026-11-11/upload_memory.json @@ -0,0 +1,62 @@ +{ + "date": "2026-11-11 18:18:37", + "file_mib": 8.73, + "clients": 12, + "api_memory_limit": "256m", + "runs": [ + { + "UPLOAD_CONCURRENCY": 1, + "statuses": { + "201": 12 + }, + "wall_seconds": 1.31, + "peak_rss_mib": 99.2, + "resource_limits": { + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "rss_before_mib": 93.3, + "rss_after_mib": 99.2, + "oom_killed": "false", + "accepted_files_intact": "12/12", + "p50_s": 0.83, + "max_s": 1.3 + }, + { + "UPLOAD_CONCURRENCY": 4, + "statuses": { + "201": 12 + }, + "wall_seconds": 1.18, + "peak_rss_mib": 119.0, + "resource_limits": { + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "rss_before_mib": 93.5, + "rss_after_mib": 119.0, + "oom_killed": "false", + "accepted_files_intact": "12/12", + "p50_s": 0.87, + "max_s": 1.17 + }, + { + "UPLOAD_CONCURRENCY": 12, + "statuses": { + "201": 12 + }, + "wall_seconds": 1.14, + "peak_rss_mib": 121.2, + "resource_limits": { + "memory_bytes": 268435456, + "nano_cpus": 1000000000 + }, + "rss_before_mib": 93.4, + "rss_after_mib": 121.2, + "oom_killed": "false", + "accepted_files_intact": "12/12", + "p50_s": 0.94, + "max_s": 1.13 + } + ] +} \ No newline at end of file diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg index 4be6130..e446fe8 100644 --- a/infra/haproxy/haproxy.cfg +++ b/infra/haproxy/haproxy.cfg @@ -17,7 +17,8 @@ defaults timeout queue 5s retries 3 option redispatch 1 - retry-on conn-failure empty-response response-timeout 0rtt-rejected + # Only retry before a connection is established: upload POST has no idempotency key. + retry-on conn-failure # Docker DNS (127.0.0.11): адреса реплик API обновляются без перезапуска LB (scale up/down, пересоздание контейнеров). resolvers docker @@ -33,6 +34,9 @@ resolvers docker frontend public bind :8080 + # If the shared DB is down, live API processes still produce contract JSON, + # validate missing credentials, and serve /health/live independently of DB. + use_backend api_live if { nbsrv(api) eq 0 } default_backend api # Внутренний healthcheck самого LB (контейнерный HEALTHCHECK); наружу не публикуется. @@ -48,3 +52,11 @@ backend api http-check expect status 200 default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none server-template api 1-8 api:8080 + +backend api_live + balance roundrobin + option httpchk + http-check send meth GET uri /health/live + http-check expect status 200 + default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none + server-template api 1-8 api:8080 diff --git a/research/reconcile_bench.py b/research/reconcile_bench.py index c6e29bd..4919447 100644 --- a/research/reconcile_bench.py +++ b/research/reconcile_bench.py @@ -32,7 +32,7 @@ BASE = "http://127.0.0.1:8080" def sh(*args): - return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, encoding="utf-8") + return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, encoding="utf-8", check=True) def compose(*args): @@ -106,9 +106,32 @@ def keys_for(ids): return out +async def bind_to_messages(s, token, chat, ids): + """Create real message references, not just ready attachment metadata.""" + headers = {"Authorization": "Bearer " + token} + for start in range(0, len(ids), 10): + batch = ids[start:start + 10] + async with s.post("%s/api/v1/chats/%s/messages" % (BASE, chat), + json={"text": "reconciler keeper", "attachment_ids": batch}, + headers={**headers, "Idempotency-Key": str(uuid.uuid4())}) as r: + body = await r.json() + assert r.status == 201 and body["attachment_ids"] == batch, (r.status, body) + + +async def message_bindings(s, token, chat): + async with s.get("%s/api/v1/chats/%s/messages?limit=100" % (BASE, chat), + headers={"Authorization": "Bearer " + token}) as r: + r.raise_for_status() + body = await r.json() + return {m["id"]: m["attachment_ids"] for m in body["items"]} + + async def main(args): report = {"date": time.strftime("%Y-%m-%d %H:%M:%S"), "cost_of_scan": [], "args": vars(args)} - async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=60), connector=aiohttp.TCPConnector(limit=32)) as s: + # Docker commands block the event loop longer than the server's keep-alive. + # Do not reuse idle HTTP sockets after a scan or fault-injection command. + async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=60), + connector=aiohttp.TCPConnector(limit=32, force_close=True)) as s: token, chat = await register(s) base = reconcile("--grace", "0", "--apply") # нормализация: убираем следы прошлых прогонов base = reconcile("--grace", "0") @@ -127,6 +150,9 @@ async def main(args): missing_ids = [a for a, _ in sample[:20]] mismatch_ids = [a for a, _ in sample[20:25]] used_ids = [a for a, _ in random.sample([u for u in uploaded if u[0] not in set(missing_ids + mismatch_ids)], 200)] + await bind_to_messages(s, token, chat, used_ids) + bindings_before = await message_bindings(s, token, chat) + assert {a for ids in bindings_before.values() for a in ids} == set(used_ids) orphans = ["att/%s/original" % uuid.uuid4() for _ in range(20)] mkeys, xkeys = keys_for(missing_ids), keys_for(mismatch_ids) code = ("import asyncio\nfrom app import config\nfrom app.s3 import S3\nasync def m():\n s=S3(); await s.start()\n" @@ -152,6 +178,9 @@ async def main(args): report["apply"] = {k: applied[k] for k in ("fixed", "orphans_skipped_fresh", "timing_ms", "orphan_objects_count", "missing_objects_count", "size_mismatch_count")} report["fresh_uploads_during_apply"] = {"uploaded": len(fresh), "intact": await check_intact(s, token, fresh)} report["in_use_attachments_intact"] = "%d/%d" % (await check_intact(s, token, used_pairs), len(used_pairs)) + bindings_after = await message_bindings(s, token, chat) + report["message_bindings"] = {"messages": len(bindings_before), "attachments": len(used_ids), + "unchanged": bindings_after == bindings_before} again = reconcile("--grace", "5", "--apply") report["second_apply_idempotent"] = {"fixed": again["fixed"], "orphan_objects_count": again["orphan_objects_count"], "missing_objects_count": again["missing_objects_count"]} @@ -161,6 +190,14 @@ async def main(args): with open(os.path.join(args.out, "track2_reconcile.json"), "w", encoding="utf-8") as fh: json.dump(report, fh, ensure_ascii=False, indent=2) print(json.dumps({k: v for k, v in report.items() if k != "args"}, ensure_ascii=False, indent=2)) + assert len(uploaded) == 3 * (args.total // 3), "not all requested uploads succeeded" + assert report["dry_run_repeatable"] and report["dry_run_found_exactly_injected"], report["dry_run"] + assert dry1["fixed"] == dry2["fixed"] == {"deleted_orphans": 0, "marked_failed": 0} + assert applied["fixed"] == {"deleted_orphans": 20, "marked_failed": 25}, applied + assert report["fresh_uploads_during_apply"] == {"uploaded": 200, "intact": 200} + assert report["in_use_attachments_intact"] == "200/200" and report["message_bindings"]["unchanged"] + assert again["fixed"] == {"deleted_orphans": 0, "marked_failed": 0}, again + assert (again["orphan_objects_count"], again["missing_objects_count"], again["size_mismatch_count"]) == (0, 0, 0) if __name__ == "__main__": diff --git a/research/requirements.txt b/research/requirements.txt new file mode 100644 index 0000000..7504ccb --- /dev/null +++ b/research/requirements.txt @@ -0,0 +1,2 @@ +aiohttp==3.14.3 +Pillow==12.3.0 diff --git a/research/upload_memory.py b/research/upload_memory.py index 8adb3a9..ab3f337 100644 --- a/research/upload_memory.py +++ b/research/upload_memory.py @@ -28,7 +28,8 @@ PROJECT = "mtusi-lab4" def sh(*args, env=None): - return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, env=dict(os.environ, **(env or {}))).stdout.strip() + return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=True, + env=dict(os.environ, **(env or {}))).stdout.strip() def noisy_png(side, seed): @@ -54,6 +55,8 @@ def set_api(concurrency, replicas): if len(ids) == replicas and all(sh("docker", "inspect", "-f", "{{.State.Health.Status}}", i) == "healthy" for i in ids): break time.sleep(1) + else: + raise RuntimeError("API replicas did not become healthy within 90 seconds") time.sleep(6) @@ -99,6 +102,9 @@ async def main(args): for conc in args.concurrency: set_api(conc, 1) cid = api_containers()[0] + limits = json.loads(sh("docker", "inspect", "-f", + '{"memory_bytes":{{.HostConfig.Memory}},"nano_cpus":{{.HostConfig.NanoCpus}}}', cid)) + assert limits == {"memory_bytes": 256 * 1024 * 1024, "nano_cpus": 1000000000}, limits async with aiohttp.ClientSession() as s: uid, token = await register(s) async with s.post(BASE + "/api/v1/chats", json={"title": "mem", "member_ids": [uid]}, headers={"Authorization": "Bearer " + token}) as r: @@ -120,6 +126,7 @@ async def main(args): intact += 1 oom = sh("docker", "inspect", "-f", "{{.State.OOMKilled}}", cid) entry = {"UPLOAD_CONCURRENCY": conc, "statuses": statuses, "wall_seconds": round(wall, 2), "peak_rss_mib": peak, + "resource_limits": limits, "rss_before_mib": baseline_hwm, "rss_after_mib": rss, "oom_killed": oom, "accepted_files_intact": "%d/%d" % (intact, statuses.get("201", 0)), "p50_s": round(ok_lat[len(ok_lat) // 2], 2) if ok_lat else None, "max_s": round(ok_lat[-1], 2) if ok_lat else None} @@ -128,6 +135,10 @@ async def main(args): set_api(4, 2) with open(os.path.join(args.out, "upload_memory.json"), "w", encoding="utf-8") as fh: json.dump(report, fh, ensure_ascii=False, indent=2) + for entry in report["runs"]: + assert entry["statuses"] == {"201": args.clients}, entry + assert entry["accepted_files_intact"] == "%d/%d" % (args.clients, args.clients), entry + assert entry["oom_killed"] == "false" and 0 < entry["peak_rss_mib"] < 256, entry if __name__ == "__main__": diff --git a/student-tests/README.md b/student-tests/README.md new file mode 100644 index 0000000..822498f --- /dev/null +++ b/student-tests/README.md @@ -0,0 +1,44 @@ +# Собственные проверки ЛР4 + +Сначала запустите стенд по [REPORT.md](../REPORT.md). Все команды выполняются из корня репозитория. В Windows задайте `$env:PYTHONUTF8='1'`. + +```sh +python -m unittest discover -s student-tests -p 'test_api.py' -v +python -m unittest discover -s student-tests -p 'test_idempotency.py' -v +python -m unittest discover -s student-tests -p 'test_attachments.py' -v +python -m unittest discover -s student-tests -p 'test_topology.py' -v +``` + +Это 38 тестов: API и аутентификация (12), идемпотентность между репликами (9), вложения и права доступа (11), топология (6). + +Следующие 8 тестов временно останавливают зависимости или пересоздают API с настройками отказа/коротким TTL. Запускайте их последовательно на учебном стенде; данные и volumes сохраняются, настройки восстанавливаются после проверки. + +```sh +python student-tests/test_s3_failures.py -v +python student-tests/test_expiry.py -v +python student-tests/test_dependencies.py -v +``` + +В проверке reconciler файл действительно прикреплён к сообщению: после очистки проверяются и файл, и ссылка сообщения. Свежий orphan проверяется с `--apply --grace 900`: он должен остаться; с `--grace 0` после завершения загрузок он удаляется. + +Повторяемость bootstrap и ограниченные права ключа API: + +```sh +docker compose --env-file .env run --rm -T s3-init +docker compose --env-file .env run --rm -T s3-init +``` + +Публичные проверки запускаются отдельно, без изменений: `make check`, `make validate`, `make test`, сценарии `tests/resilience.py` из отчёта. На Windows можно запустить соответствующие Python-команды из Makefile. После failover восстановите вторую реплику: `docker compose --env-file .env start api`. + +## Эксперименты + +Для исследовательских скриптов нужны `aiohttp` и `Pillow`: `python -m pip install -r research/requirements.txt`. Создайте каталог результата заранее. Эксперименты запускайте последовательно; `upload_memory.py` временно меняет число реплик и лимит параллельных загрузок, затем возвращает две реплики и лимит 4. + +```sh +python research/upload_memory.py --clients 12 --out evidence +python research/reconcile_bench.py --total 3000 --out evidence +``` + +`reconcile_bench.py` создаёт синтетические данные, внедряет 20 orphan, 20 missing и 5 size mismatch, сравнивает dry-run/apply/повтор, проверяет SHA-256 и сохранность 200 вложений в 20 сообщениях. Начальный запуск `--apply --grace 0` убирает следы прежних экспериментов; скрипт предназначен для отдельного учебного стенда без посторонних загрузок. + +Реальный повторный прогон: [checks_2026-11-11.txt](../evidence/checks_2026-11-11.txt), [результаты исследований](../evidence/recheck_2026-11-11/). diff --git a/student-tests/test_dependencies.py b/student-tests/test_dependencies.py index 7235777..add0711 100644 --- a/student-tests/test_dependencies.py +++ b/student-tests/test_dependencies.py @@ -56,7 +56,9 @@ class DependencyTest(unittest.TestCase): actor = register("dep") self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) # токен в кэше compose("stop", "postgres") - time.sleep(1) + # Wait past HAProxy's fall=2 health checks: cover the all-unready state, + # not just the short interval while the load balancer still routes normally. + time.sleep(5) for method, path, body, token in (("GET", "/api/v1/users/me", None, actor["token"]), ("GET", "/api/v1/chats", None, actor["token"]), ("POST", "/api/v1/chats", {"title": "x", "member_ids": [actor["user"]["id"]]}, actor["token"]), diff --git a/student-tests/test_s3_failures.py b/student-tests/test_s3_failures.py index 9b13b55..ebaa105 100644 --- a/student-tests/test_s3_failures.py +++ b/student-tests/test_s3_failures.py @@ -87,6 +87,9 @@ class S3FailureTest(unittest.TestCase): def test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely(self): keeper = upload(self.a["token"], self.chat["id"], PNG)[2] # используемое вложение + path = "/api/v1/chats/%s/messages" % self.chat["id"] + sent = call("POST", path, {"text": "keeper", "attachment_ids": [keeper["id"]]}, self.a["token"]) + self.assertEqual(sent[0], 201, sent[2]) recreate_api({"FAULT_INJECTION": "db_after_put,s3_delete_fails"}) r = upload(self.a["token"], self.chat["id"], PNG) self.assertEqual(r[0], 500) @@ -94,6 +97,9 @@ class S3FailureTest(unittest.TestCase): fresh = reconcile("--grace", "900") # grace period: свежий объект не трогаем self.assertGreaterEqual(fresh["orphans_skipped_fresh"], 1) self.assertEqual(fresh["orphan_objects_count"], 0) + protected = reconcile("--grace", "900", "--apply") + self.assertGreaterEqual(protected["orphans_skipped_fresh"], 1) + self.assertEqual(protected["fixed"], {"deleted_orphans": 0, "marked_failed": 0}) dry = reconcile("--grace", "0") # dry-run находит, но не удаляет self.assertGreaterEqual(dry["orphan_objects_count"], 1) self.assertEqual(dry["fixed"], {"deleted_orphans": 0, "marked_failed": 0}) @@ -103,6 +109,10 @@ class S3FailureTest(unittest.TestCase): self.assertEqual(reconcile("--grace", "0")["orphan_objects_count"], 0) # повторный запуск идемпотентен self.assertEqual(download(self.a["token"], keeper["id"])[0], 200, "используемое вложение удалять нельзя") + messages = call("GET", path, token=self.a["token"])[2]["items"] + self.assertEqual(messages[0]["id"], sent[2]["id"]) + self.assertEqual(messages[0]["attachment_ids"], [keeper["id"]]) + def test_missing_object_is_reported_and_attachment_marked_failed(self): att = upload(self.a["token"], self.chat["id"], PNG)[2] key = psql("SELECT s3_key FROM attachments WHERE id = '%s'" % att["id"])