fix(lab4): preserve error contract and verify storage consistency
This commit is contained in:
@@ -1,9 +1,9 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: [ФИО], [группа]
|
||||
- Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302
|
||||
- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «Согласованность двух хранилищ»
|
||||
- Commit/PR: локальный коммит ветки `solution/lab4`; PR — после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore (S3), Pillow (проверка изображений), argon2-cffi; SeaweedFS 4.48 (S3); HAProxy; PostgreSQL; Valkey. Код lab3 перенесён. Использование ИИ: [заполняется автором]
|
||||
- Commit/PR: ветка `solution/bpi2302-kushnarenko` в [форке kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab4); ссылка на PR добавляется после открытия
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore (S3), Pillow (проверка изображений), argon2-cffi; SeaweedFS 4.48 (S3); HAProxy; PostgreSQL; Valkey. Код lab3 перенесён. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex проверил подготовку к сдаче, усилил проверки исследования и выполнил реальные запуски 11.11.2026
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
@@ -23,12 +23,16 @@ sh scripts/restore-replicas.sh
|
||||
# собственные тесты (стенд должен быть запущен)
|
||||
python3 -m unittest discover -s student-tests -p "test_api.py" -v
|
||||
python3 -m unittest discover -s student-tests -p "test_attachments.py" -v
|
||||
python3 student-tests/test_idempotency.py ; python3 student-tests/test_topology.py ; python3 student-tests/test_s3_failures.py
|
||||
python3 student-tests/test_idempotency.py
|
||||
python3 student-tests/test_topology.py
|
||||
python3 student-tests/test_s3_failures.py
|
||||
python3 student-tests/test_expiry.py
|
||||
python3 student-tests/test_dependencies.py
|
||||
```
|
||||
|
||||
Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. Остановка с сохранением данных — `docker compose --env-file .env stop`; **намеренное удаление учебных данных** — `docker compose --env-file .env down -v` (volumes `pgdata`, `valkeydata`, `seaweeddata`).
|
||||
|
||||
**Выбор S3-сервера.** Образы MinIO в Docker Hub (`minio/minio`, `minio/mc`) недоступны для скачивания на момент выполнения (репозиторий не найден, проверено `docker pull`), поэтому воспроизводимый стенд построен на **SeaweedFS** (разрешён README): образ закреплён тегом и digest. SeaweedFS запускается одним процессом (`weed server -filer -s3`), права задаются файлом identities (`secrets/seaweed_s3.json`).
|
||||
**Выбор S3-сервера.** Используется **SeaweedFS**, разрешённый заданием. Образ закреплён тегом и digest. SeaweedFS запускается одним процессом (`weed server -filer -s3`), права задаются файлом identities (`secrets/seaweed_s3.json`).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
@@ -63,44 +67,79 @@ Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. О
|
||||
|
||||
**Reconciler** (`src/app/reconcile.py`): по умолчанию **dry-run**; сравнивает `attachments.s3_key` и листинг bucket. Находит: *orphan_object* (объект без строки; удаляется только если старше `grace` — по умолчанию 900 с, поэтому свежая, ещё не зафиксированная загрузка не затрагивается), *missing_object* (строка `ready` без объекта → `failed/object_missing`, **строка не удаляется**, сообщения сохраняются, скачивание даёт 409), *size_mismatch* (размер объекта ≠ `size_bytes` → `failed/size_mismatch`). Объект, у которого есть строка в БД, не удаляется никогда; перед удалением выполняется повторная проверка строки. Повторный запуск идемпотентен.
|
||||
|
||||
## Доказательства критериев
|
||||
### Исправление отказа общей БД при подготовке к сдаче
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Smoke lab4 (загрузка, checksum, чужой пользователь) | `tests/smoke.py` | PASS | `evidence/checks.txt` |
|
||||
| Байты в приватном bucket, метаданные в PostgreSQL | описание; `test_bucket_is_private_outside_the_api` | анонимный GET объекта из сети стенда → 403; в БД нет bytea | `evidence/checks.txt` |
|
||||
| PNG/JPEG ≤10 MiB, ≤40 млн px, MIME по содержимому, опасный filename | `student-tests/test_attachments.py` | 11 тестов OK (413, 415 ×9 вариантов, 400 ×8 вариантов filename) | `evidence/checks.txt` |
|
||||
| Upload → остановка реплики → download через другую; restart с сохранением volumes | `tests/resilience.py` failover ×2 и persistence | PASS; `StartedAt` seaweedfs/postgres/valkey/api изменился | `evidence/checks.txt` |
|
||||
| Отдельные тесты (слишком большой, повреждённый, подмена MIME, чужое attachment_id, вложение другого чата) | `test_attachments.py` | OK; ни один случай не приводит к 500 | `evidence/checks.txt` |
|
||||
| Прерывание загрузки / отказ между S3 и БД: компенсация и сверка | `test_s3_failures.py` | 4 теста OK: компенсация, orphan при неудачной компенсации (dry-run/apply/grace), missing object, отказ S3 | `evidence/checks.txt` |
|
||||
| ≥10 одновременных загрузок, пик памяти | `research/upload_memory.py` | 12 клиентов × 8.7 MiB: **пик RSS 99 / 116 / 123 MiB** при `UPLOAD_CONCURRENCY` 1 / 4 / 12 (старт процесса 94 MiB, лимит контейнера 256 MiB); все 12 файлов приняты и скачиваются побайтно; `OOMKilled=false` | `evidence/upload_memory.json` |
|
||||
| Bootstrap идемпотентен, отдельные ключи API с ограниченными правами, консоль не открыта, bucket private | `s3-init`; `docker compose logs s3-init` | повторный запуск: «bucket уже существует», анонимный доступ 403, ключ API не может создать bucket (`AccessDenied`) | логи `s3-init` |
|
||||
| Лимиты и потоковая обработка | описание; `upload_memory.json` | размер/пиксели проверяются до распаковки; тело не буферизуется целиком | `src/app/attachments.py`, `images.py` |
|
||||
| **Трек 2** | `research/reconcile_bench.py` | см. ниже | `evidence/track2_reconcile.json` |
|
||||
В первом повторе 11.11.2026 тест остановки PostgreSQL обнаружил ответ вне JSON-контракта: после отрицательного readiness всех реплик HAProxy отдавал собственную ошибку вместо ответа приложения. Добавлен резервный backend по liveness, используемый только при отсутствии ready-реплик. Теперь живое приложение возвращает 503 с Retry-After и X-Request-Id, сохраняет 401 для запроса без токена и 200 для /health/live. Основная маршрутизация по readiness сохранена. Тест ждёт 5 с после остановки БД, чтобы гарантированно покрыть состояние после healthcheck балансировщика.
|
||||
|
||||
Также автоматические повторы HAProxy ограничены ошибкой установления соединения: ответ/таймаут уже отправленного upload POST не повторяется, поскольку контракт не делает загрузку идемпотентной. Описание директив: [HAProxy 3.0 Configuration Manual](https://docs.haproxy.org/3.0/configuration.html). Первичный сбой сохранён в `evidence/checks_before_fix_2026-11-11.txt`; полный итоговый прогон — в `evidence/checks_2026-11-11.txt`.
|
||||
|
||||
## Доказательства критериев — повторная проверка 11.11.2026
|
||||
|
||||
Проверены текущая ветка решения и исходный skeleton `ec540a1`. README задания, COURSE, CONTRIBUTING, публичные `tests/` и `contracts/` сохранены без изменений. Команды и фактический вывод: [evidence/checks_2026-11-11.txt](evidence/checks_2026-11-11.txt). В Windows выполнены Python-команды, соответствующие `make check`, `make validate` и `make test`; GNU Make для проверки не требуется.
|
||||
|
||||
| Критерий | Проверка | Результат |
|
||||
| --- | --- | --- |
|
||||
| Контракт и публичный сценарий | check_contract, validate_openapi, smoke | PASS |
|
||||
| API, авторизация и идемпотентность между репликами | test_api + test_idempotency | 12 + 9 тестов OK |
|
||||
| Изображения, лимиты, MIME, filename, ACL, чужой чат, прерывание upload, private bucket | test_attachments | 11 тестов OK; пользовательские ошибки не дают 500; анонимный S3 GET → 403 |
|
||||
| Реплики, порты, лимиты, непривилегированный пользователь | test_topology | 6 тестов OK |
|
||||
| Компенсация, dry-run/apply, свежие orphan, используемые вложения, отказ S3 | test_s3_failures | 4 теста OK; защищённый файл связан с сообщением, ссылка сохранена |
|
||||
| Истечение сессии, недоступность PostgreSQL и Valkey | test_expiry + test_dependencies | 2 + 2 теста OK |
|
||||
| Сохранность при restart и остановке обслужившей реплики | tests/resilience.py | persistence/failover PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток |
|
||||
| Идемпотентный bootstrap, отдельные ограниченные ключи API | два повторных запуска s3-init | существующий bucket сохранён; anonymous → 403; create_bucket ключом API → AccessDenied |
|
||||
| ≥10 параллельных загрузок и пик памяти | research/upload_memory.py | 12 клиентов; все файлы приняты и SHA-256 совпали; OOM нет |
|
||||
| Трек 2: обнаружение и исправление расхождений, стоимость обхода | research/reconcile_bench.py | 20 orphan / 20 missing / 5 size mismatch; безопасное исправление и повтор без изменений |
|
||||
|
||||
Всего **46 собственных тестов**. После экспериментов дополнительно повторены persistence и smoke. В [lifecycle.json](evidence/recheck_2026-11-11/lifecycle.json) зафиксировано изменение StartedAt всех сервисов (включая обе API-реплики и S3), сохранение имён volumes и healthy после restart.
|
||||
|
||||
## Эксперименты и отказы (трек 2)
|
||||
|
||||
**Гипотеза.** Reconciler обнаруживает ровно внедрённые расхождения в обе стороны, в режиме dry-run ничего не меняет, при apply исправляет только безопасное (осиротевшие объекты старше grace; повреждённые/потерянные вложения помечает failed), не затрагивает свежие и используемые вложения, повторяется идемпотентно, а стоимость обхода линейна по числу объектов.
|
||||
**Гипотеза.** Reconciler находит внедрённые расхождения в обе стороны; dry-run ничего не меняет; apply удаляет только старые объекты без строки в БД, помечает потерянные/повреждённые вложения failed и сохраняет свежие объекты и файлы сообщений. Повтор apply не вносит изменений. Стоимость полного обхода увеличивается с числом объектов.
|
||||
|
||||
**Методика** (`research/reconcile_bench.py`): ≈15 000 вложений (мелкие PNG, загружены через API); внедрено на **обеих сторонах**: 20 осиротевших объектов в S3, у 20 вложений удалён объект в S3, у 5 вложений объект подменён по размеру; после паузы > grace (5 с) — dry-run дважды, затем `--apply --grace 5` **параллельно с загрузкой 200 новых вложений**, затем повторный apply. Проверки: количество найденного, неизменность при dry-run, целостность 200 используемых и 200 свежих вложений (скачивание, sha256).
|
||||
**Методика и окружение.** Windows, Docker Desktop с Linux-контейнерами, Python клиента 3.11.9, aiohttp 3.14.3, Pillow 12.3.0; приложение — Python 3.12.12. Образы и лимиты закреплены в compose.yaml. Во время исследования на машине оставался другой Docker-проект; абсолютные времена зависят от фоновой нагрузки. Один измерительный прогон на точку, статистическая значимость различий не оценивалась. Команды воспроизведения — [student-tests/README.md](student-tests/README.md).
|
||||
|
||||
| Показатель | Результат |
|
||||
В клиенте исследования сверки отключено повторное использование HTTP-соединений: блокирующий вызов Docker мог длиться дольше keep-alive сервера, и первая попытка остановилась с ServerDisconnectedError до внедрения расхождений. После исправления выполнен полный повтор сверки; исходный вывод сохранён в `evidence/recheck_2026-11-11/commands_before_client_fix.txt`. Замеры памяти не повторялись: они завершились успешно и не зависели от этого клиента. SHA-256 проверенных исходников записаны в `source_metadata.json` рядом с результатами.
|
||||
|
||||
### Память при одновременных загрузках
|
||||
|
||||
12 клиентов загружают по 8.73 MiB PNG (шум 1700×1700). Для каждой точки создаётся одна новая API-реплика, 1 CPU / 256 MiB; меняется только UPLOAD_CONCURRENCY. Пик — VmHWM процесса API, это не суммарная память всех контейнеров. После измерения каждый принятый файл скачивается и проверяется SHA-256. В конце восстановлены две реплики с UPLOAD_CONCURRENCY=4.
|
||||
|
||||
| UPLOAD_CONCURRENCY | Пик RSS, MiB | Загрузка всех файлов, с | Принято и цело | OOMKilled |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 1 | 99.2 | 1.31 | 12/12 | false |
|
||||
| 4 | 119.0 | 1.18 | 12/12 | false |
|
||||
| 12 | 121.2 | 1.14 | 12/12 | false |
|
||||
|
||||
### Сверка двух хранилищ
|
||||
|
||||
К существующим синтетическим данным добавлены 3000 вложений тремя порциями по 1000. После каждой порции измерен dry-run. Затем созданы 20 orphan в S3, удалены объекты 20 существующих вложений и изменён размер ещё 5. **200 других вложений прикреплены к 20 сообщениям** (по 10); перед исправлением сохранены идентификаторы сообщений и их attachment_ids.
|
||||
|
||||
После паузы больше 5 с выполняются два dry-run, затем apply с grace=5 параллельно с задачей загрузки 200 новых файлов, затем повторный apply. Рабочее значение grace — 900 с; короткий grace используется только в эксперименте. Отдельный тест детерминированно оставляет свежий orphan и подтверждает, что `--apply --grace 900` его не удаляет.
|
||||
|
||||
| Проверка | Фактический результат |
|
||||
| --- | --- |
|
||||
| dry-run нашёл | 20 orphan, 20 missing, 5 size_mismatch — **ровно внедрённое**; два dry-run дают одинаковый отчёт, `fixed = 0/0` |
|
||||
| apply (grace 5 с) | удалено 20 осиротевших объектов; 25 вложений помечены `failed` (`object_missing`=20, `size_mismatch`=5) |
|
||||
| Свежие загрузки во время apply | 200 из 200 принято и скачивается побайтно |
|
||||
| Используемые вложения | 200 из 200 целы (sha256 совпадает) |
|
||||
| Повторный apply | изменений 0 (идемпотентно) |
|
||||
| Стоимость обхода (dry-run) | 13 271 объект → 2.17 с; 14 271 → 2.34 с; 15 271 → 2.50 с (из них листинг S3 ≈ 96 %, запрос к БД 13 мс) — **≈0.16 мс на объект**, линейно; на меньшем наборе (1–3 тыс. объектов, предварительный прогон) 0.28–0.59 с |
|
||||
| dry-run ×2 | ровно 20 orphan, 20 missing, 5 size mismatch; fixed=0/0; повторяемо |
|
||||
| apply | удалено 20 старых orphan, 25 строк помечены failed (20 object_missing, 5 size_mismatch) |
|
||||
| Новые загрузки | 200/200 приняты и скачаны с совпадающей SHA-256 |
|
||||
| Вложения сообщений | 200/200 целы; все 20 сообщений и attachment_ids неизменны |
|
||||
| Повтор apply | 0 удалений, 0 изменений статусов, новых расхождений нет |
|
||||
|
||||
**Границы.** Reconciler сверяет только наличие и размер, не содержимое (содержимое подтверждает sha256 из БД при скачивании на стороне клиента); обход листингом S3 — O(число объектов), для очень больших бакетов нужен инкрементальный обход по префиксам/времени. Если объект удалён, восстановить байты нельзя — вложение остаётся в БД как `failed`. Grace period выбирается больше максимального времени загрузки + таймаутов (здесь 900 с против лимита чтения 15 с). Ограничение: измерения на одном ноутбуке, S3 — один узел SeaweedFS без репликации.
|
||||
| Строк БД | Объектов S3 | Запрос БД, мс | Листинг S3, мс | Весь обход, мс |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 19554 | 19530 | 20.2 | 3540.6 | 3649.4 |
|
||||
| 20554 | 20530 | 19.0 | 3697.2 | 3806.4 |
|
||||
| 21554 | 21530 | 21.2 | 3939.1 | 4055.0 |
|
||||
|
||||
На проверенном наборе основную стоимость даёт листинг S3; результаты трёх точек не доказывают линейное время на произвольном объёме. Алгоритм хранит снимки метаданных и листинга в памяти: время и дополнительная память — O(N). Сырой результат: [upload_memory.json](evidence/recheck_2026-11-11/upload_memory.json), [track2_reconcile.json](evidence/recheck_2026-11-11/track2_reconcile.json); вывод команд — [commands.txt](evidence/recheck_2026-11-11/commands.txt).
|
||||
|
||||
**Границы.** Сверяются наличие и размер, но не содержимое S3-объектов: подмена байтов без изменения размера этим reconciler не обнаруживается. Целостность контрольных файлов подтверждает скачивание с SHA-256. Потерянные байты не восстанавливаются, строка остаётся failed. Grace должен превышать время загрузки и таймаутов; для рабочих запусков принят 900 с. S3 и PostgreSQL — по одному узлу. Старые октябрьские результаты сохранены в `evidence/checks.txt`, `evidence/upload_memory.json` и `evidence/track2_reconcile.json`; текущие выводы опираются на повтор 11.11.2026.
|
||||
|
||||
### Отказы
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| Остановка S3 | загрузка/скачивание 503 + `Retry-After`, текст работает, ready=200 | OK (`test_s3_down…`) | после старта S3 — сразу; метаданные не накапливают «битых» строк |
|
||||
| Остановка одной реплики после upload | файл скачивается другой репликой | failover PASS ×2 (восстановление записи 2.3 с) | потерь нет |
|
||||
| Остановка одной реплики после upload | файл скачивается другой репликой | failover PASS (восстановление записи 2.329 с) | потерь нет |
|
||||
| Рестарт всего стенда | метаданные и оригинал на месте | persistence PASS | < 90 с |
|
||||
| Сбой БД после записи в S3 | объект не остаётся | удаляется компенсацией; при сбое компенсации — reconciler | потерь подтверждённых данных нет |
|
||||
|
||||
@@ -108,4 +147,4 @@ Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. О
|
||||
|
||||
- Один узел S3 и один PostgreSQL (SPOF); репликации нет. Загрузка проксируется через API (прямые подписанные URL не реализованы — трек 1 не выбран).
|
||||
- Проверка содержимого JPEG — декодирование в режиме draft (1/8), PNG — потоковая проверка; полная валидация пикселей не выполняется (это не нужно для отдачи оригинала).
|
||||
- Подтверждено экспериментом: обнаружение/исправление расхождений, защита свежих и используемых вложений, линейная стоимость обхода, ограничение памяти при 12 одновременных загрузках. Гипотеза без доказательства: поведение reconciler на бакетах > 100 тыс. объектов.
|
||||
- Подтверждено экспериментом: обнаружение/исправление расхождений, защита свежих и используемых вложений, стоимость обхода на трёх размерах набора, ограничение памяти при 12 одновременных загрузках. Гипотеза без доказательства: поведение reconciler на бакетах > 100 тыс. объектов.
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: Кушнаренко Николай Вячеславович, БПИ2302
|
||||
Целевая оценка (3/4/5): 5
|
||||
Трек 5, если заявлен: Трек 2 — согласованность двух хранилищ
|
||||
|
||||
Что реализовано и что перенесено:
|
||||
Из ЛР3 перенесены PostgreSQL, сессии, Valkey, HAProxy, две API-реплики, идемпотентность сообщений, миграции и сценарии отказов. Добавлены приватное S3-хранилище SeaweedFS, метаданные вложений в PostgreSQL, binary upload PNG/JPEG и авторизованный download через API с побайтной сохранностью. Ограничения: 10 MiB, 40 млн пикселей, проверка MIME по содержимому и безопасного filename, потоковая обработка и лимит параллельных загрузок. Реализованы attachment_ids в сообщениях, компенсация ошибки между S3/БД и reconciler с dry-run, grace period и повторным безопасным запуском. Bootstrap идемпотентен, API использует отдельные ключи с ограниченными правами. Исправлена маршрутизация HAProxy при отказе общей БД: даже после снятия ready всех реплик живые API сохраняют контракт ошибок и liveness; повтор отправленного upload POST отключён.
|
||||
|
||||
Команды запуска из чистого clone (bash / Git Bash):
|
||||
|
||||
```sh
|
||||
sh scripts/init-secrets.sh
|
||||
cp .env.example .env
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
python3 scripts/check_contract.py
|
||||
python3 tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
|
||||
python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
|
||||
sh scripts/restore-replicas.sh
|
||||
```
|
||||
На Windows: PYTHONUTF8=1 и hooks scripts/restart.cmd, scripts/stop-one.cmd. Полная инструкция, собственные тесты и эксперименты — в [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [student-tests/README.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/student-tests/README.md).
|
||||
|
||||
Результаты проверок (повтор 11.11.2026):
|
||||
|
||||
- check_contract, полная валидация OpenAPI и публичный smoke — PASS;
|
||||
- 46 собственных тестов — OK: авторизация, идемпотентность, вложения/ACL, топология, отказы S3/БД/кэша, TTL сессий;
|
||||
- persistence и failover — PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток; сохранность оригинала проверена по SHA-256;
|
||||
- bootstrap дважды — OK: анонимный доступ 403, создание bucket ключом API запрещено;
|
||||
- 12 параллельных загрузок по 8.73 MiB: пик RSS 99.2–121.2 MiB при лимите 256 MiB; все файлы целы, OOM нет;
|
||||
- трек 2: обнаружены ровно 20 orphan / 20 missing / 5 size mismatch; dry-run ничего не меняет; apply удаляет 20 старых orphan и помечает 25 строк failed; повтор без изменений;
|
||||
- свежий orphan защищён grace period; 200 новых файлов и 200 вложений в 20 сообщениях сохранены, attachment_ids неизменны. Стоимость обхода: 19530 объектов → 3.65 с; 20530 объектов → 3.81 с; 21530 объектов → 4.05 с.
|
||||
|
||||
Доказательства: [checks_2026-11-11.txt](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/checks_2026-11-11.txt), [JSON и команды исследований](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/recheck_2026-11-11), отчёт [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [Word](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/docs/report_lab4.docx).
|
||||
|
||||
Ограничения / известные ошибки:
|
||||
S3 и PostgreSQL работают по одному узлу; потерянные байты reconciler не восстанавливает. Сверяется наличие и размер, подмена содержимого при том же размере не обнаруживается. Полный обход требует O(N) времени и памяти. Замеры сделаны на одном компьютере, по одному прогону на точку, с фоновой нагрузкой другого Docker-проекта. Прямой presigned upload не реализован — выбран трек 2.
|
||||
|
||||
Источники и использование ИИ:
|
||||
Python, uvicorn, asyncpg, aiobotocore, Pillow, argon2-cffi, SeaweedFS, PostgreSQL, Valkey, HAProxy; первичные материалы — в README задания. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex выполнил проверку подготовки к сдаче, усилил доказательства исследования и проверил результаты реальными запусками.
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены через эквивалентные Python-команды; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Binary file not shown.
@@ -0,0 +1,167 @@
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
exit=0
|
||||
|
||||
$ python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
exit=0
|
||||
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_api.py -v
|
||||
test_bearer_rules (test_api.AuthTest.test_bearer_rules) ... ok
|
||||
test_concurrent_registration_of_same_username (test_api.AuthTest.test_concurrent_registration_of_same_username) ... ok
|
||||
test_logout_revokes_in_database_and_cache (test_api.AuthTest.test_logout_revokes_in_database_and_cache) ... ok
|
||||
test_password_is_not_exposed_or_stored_plain (test_api.AuthTest.test_password_is_not_exposed_or_stored_plain) ... ok
|
||||
test_register_validation (test_api.AuthTest.test_register_validation) ... ok
|
||||
test_session_shape_entropy_and_logout (test_api.AuthTest.test_session_shape_entropy_and_logout) ... ok
|
||||
test_token_only_stored_as_hash (test_api.AuthTest.test_token_only_stored_as_hash) ... ok
|
||||
test_wrong_password_and_unknown_user_are_indistinguishable (test_api.AuthTest.test_wrong_password_and_unknown_user_are_indistinguishable) ... ok
|
||||
test_chat_creation_is_atomic (test_api.DataTest.test_chat_creation_is_atomic) ... ok
|
||||
test_foreign_chat_empty_message_bad_json (test_api.DataTest.test_foreign_chat_empty_message_bad_json) ... ok
|
||||
test_multi_page_history_and_cursor_binding (test_api.DataTest.test_multi_page_history_and_cursor_binding) ... ok
|
||||
test_parallel_writes_from_many_clients (test_api.DataTest.test_parallel_writes_from_many_clients) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 12 tests in 2.711s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_idempotency.py -v
|
||||
test_concurrent_same_key_creates_exactly_one_message_across_replicas (test_idempotency.IdempotencyTest.test_concurrent_same_key_creates_exactly_one_message_across_replicas) ... ok
|
||||
test_different_body_same_key_is_409 (test_idempotency.IdempotencyTest.test_different_body_same_key_is_409) ... ok
|
||||
test_expired_key_is_reusable_after_ttl (test_idempotency.IdempotencyTest.test_expired_key_is_reusable_after_ttl) ... ok
|
||||
test_key_validation (test_idempotency.IdempotencyTest.test_key_validation) ... ok
|
||||
test_replay_rechecks_session_and_membership (test_idempotency.IdempotencyTest.test_replay_rechecks_session_and_membership) ... ok
|
||||
test_replay_returns_same_message_and_creates_no_duplicate (test_idempotency.IdempotencyTest.test_replay_returns_same_message_and_creates_no_duplicate) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_scope_is_user_and_chat) ... ok
|
||||
test_semantically_equal_body_is_replayed (test_idempotency.IdempotencyTest.test_semantically_equal_body_is_replayed) ... ok
|
||||
test_session_is_shared_between_replicas_without_relogin (test_idempotency.IdempotencyTest.test_session_is_shared_between_replicas_without_relogin) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 1.920s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_attachments.py -v
|
||||
test_aborted_upload_leaves_nothing (test_attachments.AttachmentTest.test_aborted_upload_leaves_nothing) ... ok
|
||||
test_bucket_is_private_outside_the_api (test_attachments.AttachmentTest.test_bucket_is_private_outside_the_api) ... ok
|
||||
test_corrupted_and_spoofed_files_are_415_not_500 (test_attachments.AttachmentTest.test_corrupted_and_spoofed_files_are_415_not_500) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTest.test_dangerous_filenames_are_400) ... ok
|
||||
test_decompression_bomb_header_is_413 (test_attachments.AttachmentTest.test_decompression_bomb_header_is_413) ... ok
|
||||
test_empty_body_is_400 (test_attachments.AttachmentTest.test_empty_body_is_400) ... ok
|
||||
test_foreign_user_cannot_upload_read_or_download (test_attachments.AttachmentTest.test_foreign_user_cannot_upload_read_or_download) ... ok
|
||||
test_idempotent_replay_with_attachments (test_attachments.AttachmentTest.test_idempotent_replay_with_attachments) ... ok
|
||||
test_message_with_attachments_and_chat_binding (test_attachments.AttachmentTest.test_message_with_attachments_and_chat_binding) ... ok
|
||||
test_png_and_jpeg_roundtrip_with_checksum (test_attachments.AttachmentTest.test_png_and_jpeg_roundtrip_with_checksum) ... ok
|
||||
test_too_large_is_413_and_nothing_is_stored (test_attachments.AttachmentTest.test_too_large_is_413_and_nothing_is_stored) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 11 tests in 4.285s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_topology.py -v
|
||||
test_api_runs_as_non_root (test_topology.TopologyTest.test_api_runs_as_non_root) ... ok
|
||||
test_at_least_two_api_replicas_without_published_ports (test_topology.TopologyTest.test_at_least_two_api_replicas_without_published_ports) ... ok
|
||||
test_no_fixed_container_names (test_topology.TopologyTest.test_no_fixed_container_names) ... ok
|
||||
test_only_lb_is_published_and_only_on_localhost (test_topology.TopologyTest.test_only_lb_is_published_and_only_on_localhost) ... ok
|
||||
test_resource_limits_are_set (test_topology.TopologyTest.test_resource_limits_are_set) ... ok
|
||||
test_stop_grace_period_covers_drain (test_topology.TopologyTest.test_stop_grace_period_covers_drain) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 6 tests in 1.649s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_s3_failures.py -v
|
||||
test_db_failure_after_s3_write_is_compensated (test_s3_failures.S3FailureTest.test_db_failure_after_s3_write_is_compensated) ... ok
|
||||
test_missing_object_is_reported_and_attachment_marked_failed (test_s3_failures.S3FailureTest.test_missing_object_is_reported_and_attachment_marked_failed) ... ok
|
||||
test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely (test_s3_failures.S3FailureTest.test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely) ... ok
|
||||
test_s3_down_gives_503_text_path_keeps_working (test_s3_failures.S3FailureTest.test_s3_down_gives_503_text_path_keeps_working) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 4 tests in 189.512s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 105, "failed_attempts": 0, "first_recovery_seconds": 2.329}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ docker compose --env-file .env start api
|
||||
Container mtusi-lab4-postgres-1 Waiting
|
||||
Container mtusi-lab4-seaweedfs-1 Waiting
|
||||
Container mtusi-lab4-seaweedfs-1 Healthy
|
||||
Container mtusi-lab4-s3-init-1 Starting
|
||||
Container mtusi-lab4-postgres-1 Healthy
|
||||
Container mtusi-lab4-migrate-1 Starting
|
||||
Container mtusi-lab4-migrate-1 Started
|
||||
Container mtusi-lab4-s3-init-1 Started
|
||||
Container mtusi-lab4-s3-init-1 Waiting
|
||||
Container mtusi-lab4-valkey-1 Waiting
|
||||
Container mtusi-lab4-migrate-1 Waiting
|
||||
Container mtusi-lab4-valkey-1 Healthy
|
||||
Container mtusi-lab4-migrate-1 Exited
|
||||
Container mtusi-lab4-s3-init-1 Exited
|
||||
Container mtusi-lab4-api-5 Starting
|
||||
Container mtusi-lab4-api-5 Started
|
||||
exit=0
|
||||
|
||||
$ python student-tests/test_expiry.py
|
||||
..
|
||||
----------------------------------------------------------------------
|
||||
Ran 2 tests in 19.361s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python student-tests/test_dependencies.py
|
||||
..
|
||||
----------------------------------------------------------------------
|
||||
Ran 2 tests in 19.594s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ docker compose --env-file .env run --rm -T s3-init
|
||||
Container mtusi-lab4-seaweedfs-1 Running
|
||||
Container mtusi-lab4-seaweedfs-1 Waiting
|
||||
Container mtusi-lab4-seaweedfs-1 Healthy
|
||||
Container mtusi-lab4-s3-init-run-da275e60a199 Creating
|
||||
Container mtusi-lab4-s3-init-run-da275e60a199 Created
|
||||
bucket messenger-attachments уже существует
|
||||
анонимный доступ запрещён (HTTP 403)
|
||||
ключ API ограничен одним bucket (create_bucket отклонён: AccessDenied)
|
||||
bootstrap завершён
|
||||
exit=0
|
||||
|
||||
$ docker compose --env-file .env run --rm -T s3-init
|
||||
Container mtusi-lab4-seaweedfs-1 Running
|
||||
Container mtusi-lab4-seaweedfs-1 Waiting
|
||||
Container mtusi-lab4-seaweedfs-1 Healthy
|
||||
Container mtusi-lab4-s3-init-run-cc1f19e0054b Creating
|
||||
Container mtusi-lab4-s3-init-run-cc1f19e0054b Created
|
||||
bucket messenger-attachments уже существует
|
||||
анонимный доступ запрещён (HTTP 403)
|
||||
ключ API ограничен одним bucket (create_bucket отклонён: AccessDenied)
|
||||
bootstrap завершён
|
||||
exit=0
|
||||
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit=0
|
||||
@@ -0,0 +1,159 @@
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
exit=0
|
||||
|
||||
$ python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
exit=0
|
||||
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_api.py -v
|
||||
test_bearer_rules (test_api.AuthTest.test_bearer_rules) ... ok
|
||||
test_concurrent_registration_of_same_username (test_api.AuthTest.test_concurrent_registration_of_same_username) ... ok
|
||||
test_logout_revokes_in_database_and_cache (test_api.AuthTest.test_logout_revokes_in_database_and_cache) ... ok
|
||||
test_password_is_not_exposed_or_stored_plain (test_api.AuthTest.test_password_is_not_exposed_or_stored_plain) ... ok
|
||||
test_register_validation (test_api.AuthTest.test_register_validation) ... ok
|
||||
test_session_shape_entropy_and_logout (test_api.AuthTest.test_session_shape_entropy_and_logout) ... ok
|
||||
test_token_only_stored_as_hash (test_api.AuthTest.test_token_only_stored_as_hash) ... ok
|
||||
test_wrong_password_and_unknown_user_are_indistinguishable (test_api.AuthTest.test_wrong_password_and_unknown_user_are_indistinguishable) ... ok
|
||||
test_chat_creation_is_atomic (test_api.DataTest.test_chat_creation_is_atomic) ... ok
|
||||
test_foreign_chat_empty_message_bad_json (test_api.DataTest.test_foreign_chat_empty_message_bad_json) ... ok
|
||||
test_multi_page_history_and_cursor_binding (test_api.DataTest.test_multi_page_history_and_cursor_binding) ... ok
|
||||
test_parallel_writes_from_many_clients (test_api.DataTest.test_parallel_writes_from_many_clients) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 12 tests in 2.524s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_idempotency.py -v
|
||||
test_concurrent_same_key_creates_exactly_one_message_across_replicas (test_idempotency.IdempotencyTest.test_concurrent_same_key_creates_exactly_one_message_across_replicas) ... ok
|
||||
test_different_body_same_key_is_409 (test_idempotency.IdempotencyTest.test_different_body_same_key_is_409) ... ok
|
||||
test_expired_key_is_reusable_after_ttl (test_idempotency.IdempotencyTest.test_expired_key_is_reusable_after_ttl) ... ok
|
||||
test_key_validation (test_idempotency.IdempotencyTest.test_key_validation) ... ok
|
||||
test_replay_rechecks_session_and_membership (test_idempotency.IdempotencyTest.test_replay_rechecks_session_and_membership) ... ok
|
||||
test_replay_returns_same_message_and_creates_no_duplicate (test_idempotency.IdempotencyTest.test_replay_returns_same_message_and_creates_no_duplicate) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_scope_is_user_and_chat) ... ok
|
||||
test_semantically_equal_body_is_replayed (test_idempotency.IdempotencyTest.test_semantically_equal_body_is_replayed) ... ok
|
||||
test_session_is_shared_between_replicas_without_relogin (test_idempotency.IdempotencyTest.test_session_is_shared_between_replicas_without_relogin) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 1.769s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_attachments.py -v
|
||||
test_aborted_upload_leaves_nothing (test_attachments.AttachmentTest.test_aborted_upload_leaves_nothing) ... ok
|
||||
test_bucket_is_private_outside_the_api (test_attachments.AttachmentTest.test_bucket_is_private_outside_the_api) ... ok
|
||||
test_corrupted_and_spoofed_files_are_415_not_500 (test_attachments.AttachmentTest.test_corrupted_and_spoofed_files_are_415_not_500) ... ok
|
||||
test_dangerous_filenames_are_400 (test_attachments.AttachmentTest.test_dangerous_filenames_are_400) ... ok
|
||||
test_decompression_bomb_header_is_413 (test_attachments.AttachmentTest.test_decompression_bomb_header_is_413) ... ok
|
||||
test_empty_body_is_400 (test_attachments.AttachmentTest.test_empty_body_is_400) ... ok
|
||||
test_foreign_user_cannot_upload_read_or_download (test_attachments.AttachmentTest.test_foreign_user_cannot_upload_read_or_download) ... ok
|
||||
test_idempotent_replay_with_attachments (test_attachments.AttachmentTest.test_idempotent_replay_with_attachments) ... ok
|
||||
test_message_with_attachments_and_chat_binding (test_attachments.AttachmentTest.test_message_with_attachments_and_chat_binding) ... ok
|
||||
test_png_and_jpeg_roundtrip_with_checksum (test_attachments.AttachmentTest.test_png_and_jpeg_roundtrip_with_checksum) ... ok
|
||||
test_too_large_is_413_and_nothing_is_stored (test_attachments.AttachmentTest.test_too_large_is_413_and_nothing_is_stored) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 11 tests in 4.352s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_topology.py -v
|
||||
test_api_runs_as_non_root (test_topology.TopologyTest.test_api_runs_as_non_root) ... ok
|
||||
test_at_least_two_api_replicas_without_published_ports (test_topology.TopologyTest.test_at_least_two_api_replicas_without_published_ports) ... ok
|
||||
test_no_fixed_container_names (test_topology.TopologyTest.test_no_fixed_container_names) ... ok
|
||||
test_only_lb_is_published_and_only_on_localhost (test_topology.TopologyTest.test_only_lb_is_published_and_only_on_localhost) ... ok
|
||||
test_resource_limits_are_set (test_topology.TopologyTest.test_resource_limits_are_set) ... ok
|
||||
test_stop_grace_period_covers_drain (test_topology.TopologyTest.test_stop_grace_period_covers_drain) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 6 tests in 1.580s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python -m unittest discover -s student-tests -p test_s3_failures.py -v
|
||||
test_db_failure_after_s3_write_is_compensated (test_s3_failures.S3FailureTest.test_db_failure_after_s3_write_is_compensated) ... ok
|
||||
test_missing_object_is_reported_and_attachment_marked_failed (test_s3_failures.S3FailureTest.test_missing_object_is_reported_and_attachment_marked_failed) ... ok
|
||||
test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely (test_s3_failures.S3FailureTest.test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely) ... ok
|
||||
test_s3_down_gives_503_text_path_keeps_working (test_s3_failures.S3FailureTest.test_s3_down_gives_503_text_path_keeps_working) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 4 tests in 193.833s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 2.328}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ docker compose --env-file .env start api
|
||||
Container mtusi-lab4-postgres-1 Waiting
|
||||
Container mtusi-lab4-seaweedfs-1 Waiting
|
||||
Container mtusi-lab4-seaweedfs-1 Healthy
|
||||
Container mtusi-lab4-postgres-1 Healthy
|
||||
Container mtusi-lab4-s3-init-1 Starting
|
||||
Container mtusi-lab4-migrate-1 Starting
|
||||
Container mtusi-lab4-migrate-1 Started
|
||||
Container mtusi-lab4-s3-init-1 Started
|
||||
Container mtusi-lab4-s3-init-1 Waiting
|
||||
Container mtusi-lab4-valkey-1 Waiting
|
||||
Container mtusi-lab4-migrate-1 Waiting
|
||||
Container mtusi-lab4-valkey-1 Healthy
|
||||
Container mtusi-lab4-migrate-1 Exited
|
||||
Container mtusi-lab4-s3-init-1 Exited
|
||||
Container mtusi-lab4-api-4 Starting
|
||||
Container mtusi-lab4-api-4 Started
|
||||
exit=0
|
||||
|
||||
$ python student-tests/test_expiry.py
|
||||
..
|
||||
----------------------------------------------------------------------
|
||||
Ran 2 tests in 23.614s
|
||||
|
||||
OK
|
||||
exit=0
|
||||
|
||||
$ python student-tests/test_dependencies.py
|
||||
E.
|
||||
======================================================================
|
||||
ERROR: test_postgres_down_gives_bounded_503_never_anonymous_access (__main__.DependencyTest.test_postgres_down_gives_bounded_503_never_anonymous_access)
|
||||
----------------------------------------------------------------------
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\student-tests\test_dependencies.py", line 64, in test_postgres_down_gives_bounded_503_never_anonymous_access
|
||||
r = call(method, path, body, token)
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\student-tests\test_api.py", line 38, in call
|
||||
return status, hdrs, (json.loads(payload) if payload else None)
|
||||
^^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\__init__.py", line 346, in loads
|
||||
return _default_decoder.decode(s)
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 337, in decode
|
||||
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 355, in raw_decode
|
||||
raise JSONDecodeError("Expecting value", s, err.value) from None
|
||||
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 2 tests in 9.323s
|
||||
|
||||
FAILED (errors=1)
|
||||
exit=1
|
||||
@@ -0,0 +1,116 @@
|
||||
$ python -u research/upload_memory.py --out evidence\recheck_2026-11-11
|
||||
размер файла: 8.7 MiB, sha256 9fcc26eea979
|
||||
{"UPLOAD_CONCURRENCY": 1, "statuses": {"201": 12}, "wall_seconds": 1.31, "peak_rss_mib": 99.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.3, "rss_after_mib": 99.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.83, "max_s": 1.3}
|
||||
{"UPLOAD_CONCURRENCY": 4, "statuses": {"201": 12}, "wall_seconds": 1.18, "peak_rss_mib": 119.0, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.5, "rss_after_mib": 119.0, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.87, "max_s": 1.17}
|
||||
{"UPLOAD_CONCURRENCY": 12, "statuses": {"201": 12}, "wall_seconds": 1.14, "peak_rss_mib": 121.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.4, "rss_after_mib": 121.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.94, "max_s": 1.13}
|
||||
exit=0
|
||||
|
||||
# Reconciliation rerun after disabling stale HTTP keep-alive reuse; memory results above retained.
|
||||
$ python -u research/reconcile_bench.py --out evidence\recheck_2026-11-11 --total 3000
|
||||
{"db_rows": 19554, "s3_objects": 19530, "timing_ms": {"db_query": 20.2, "s3_listing": 3540.6, "total": 3649.4}, "upload_batch_seconds": 2.3}
|
||||
{"db_rows": 20554, "s3_objects": 20530, "timing_ms": {"db_query": 19.0, "s3_listing": 3697.2, "total": 3806.4}, "upload_batch_seconds": 2.2}
|
||||
{"db_rows": 21554, "s3_objects": 21530, "timing_ms": {"db_query": 21.2, "s3_listing": 3939.1, "total": 4055.0}, "upload_batch_seconds": 2.1}
|
||||
{
|
||||
"date": "2026-11-11 18:21:28",
|
||||
"cost_of_scan": [
|
||||
{
|
||||
"db_rows": 19554,
|
||||
"s3_objects": 19530,
|
||||
"timing_ms": {
|
||||
"db_query": 20.2,
|
||||
"s3_listing": 3540.6,
|
||||
"total": 3649.4
|
||||
},
|
||||
"upload_batch_seconds": 2.3
|
||||
},
|
||||
{
|
||||
"db_rows": 20554,
|
||||
"s3_objects": 20530,
|
||||
"timing_ms": {
|
||||
"db_query": 19.0,
|
||||
"s3_listing": 3697.2,
|
||||
"total": 3806.4
|
||||
},
|
||||
"upload_batch_seconds": 2.2
|
||||
},
|
||||
{
|
||||
"db_rows": 21554,
|
||||
"s3_objects": 21530,
|
||||
"timing_ms": {
|
||||
"db_query": 21.2,
|
||||
"s3_listing": 3939.1,
|
||||
"total": 4055.0
|
||||
},
|
||||
"upload_batch_seconds": 2.1
|
||||
}
|
||||
],
|
||||
"injected": {
|
||||
"orphan_objects": 20,
|
||||
"missing_objects": 20,
|
||||
"size_mismatch": 5
|
||||
},
|
||||
"dry_run": {
|
||||
"orphan_objects_count": 20,
|
||||
"missing_objects_count": 20,
|
||||
"size_mismatch_count": 5,
|
||||
"orphans_skipped_fresh": 0,
|
||||
"timing_ms": {
|
||||
"db_query": 18.7,
|
||||
"s3_listing": 3652.1,
|
||||
"total": 3761.7
|
||||
},
|
||||
"fixed": {
|
||||
"deleted_orphans": 0,
|
||||
"marked_failed": 0
|
||||
}
|
||||
},
|
||||
"dry_run_repeatable": true,
|
||||
"dry_run_found_exactly_injected": true,
|
||||
"apply": {
|
||||
"fixed": {
|
||||
"deleted_orphans": 20,
|
||||
"marked_failed": 25
|
||||
},
|
||||
"orphans_skipped_fresh": 0,
|
||||
"timing_ms": {
|
||||
"db_query": 19.1,
|
||||
"s3_listing": 3859.1,
|
||||
"total": 4048.6
|
||||
},
|
||||
"orphan_objects_count": 20,
|
||||
"missing_objects_count": 20,
|
||||
"size_mismatch_count": 5
|
||||
},
|
||||
"fresh_uploads_during_apply": {
|
||||
"uploaded": 200,
|
||||
"intact": 200
|
||||
},
|
||||
"in_use_attachments_intact": "200/200",
|
||||
"message_bindings": {
|
||||
"messages": 20,
|
||||
"attachments": 200,
|
||||
"unchanged": true
|
||||
},
|
||||
"second_apply_idempotent": {
|
||||
"fixed": {
|
||||
"deleted_orphans": 0,
|
||||
"marked_failed": 0
|
||||
},
|
||||
"orphan_objects_count": 0,
|
||||
"missing_objects_count": 0
|
||||
},
|
||||
"marked_failed": [
|
||||
"object_missing=20",
|
||||
"size_mismatch=5"
|
||||
]
|
||||
}
|
||||
exit=0
|
||||
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit=0
|
||||
@@ -0,0 +1,42 @@
|
||||
$ python -u research/upload_memory.py --out evidence\recheck_2026-11-11
|
||||
размер файла: 8.7 MiB, sha256 9fcc26eea979
|
||||
{"UPLOAD_CONCURRENCY": 1, "statuses": {"201": 12}, "wall_seconds": 1.31, "peak_rss_mib": 99.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.3, "rss_after_mib": 99.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.83, "max_s": 1.3}
|
||||
{"UPLOAD_CONCURRENCY": 4, "statuses": {"201": 12}, "wall_seconds": 1.18, "peak_rss_mib": 119.0, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.5, "rss_after_mib": 119.0, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.87, "max_s": 1.17}
|
||||
{"UPLOAD_CONCURRENCY": 12, "statuses": {"201": 12}, "wall_seconds": 1.14, "peak_rss_mib": 121.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.4, "rss_after_mib": 121.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.94, "max_s": 1.13}
|
||||
exit=0
|
||||
|
||||
$ python -u research/reconcile_bench.py --out evidence\recheck_2026-11-11 --total 3000
|
||||
{"db_rows": 16554, "s3_objects": 16530, "timing_ms": {"db_query": 17.7, "s3_listing": 2891.3, "total": 2998.3}, "upload_batch_seconds": 2.6}
|
||||
{"db_rows": 17554, "s3_objects": 17530, "timing_ms": {"db_query": 18.4, "s3_listing": 3280.3, "total": 3383.1}, "upload_batch_seconds": 2.2}
|
||||
{"db_rows": 18554, "s3_objects": 18530, "timing_ms": {"db_query": 16.8, "s3_listing": 3647.2, "total": 3754.3}, "upload_batch_seconds": 2.0}
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 204, in <module>
|
||||
asyncio.run(main(ap.parse_args()))
|
||||
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\runners.py", line 190, in run
|
||||
return runner.run(main)
|
||||
^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\runners.py", line 118, in run
|
||||
return self._loop.run_until_complete(task)
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\base_events.py", line 654, in run_until_complete
|
||||
return future.result()
|
||||
^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 150, in main
|
||||
await bind_to_messages(s, token, chat, used_ids)
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 114, in bind_to_messages
|
||||
async with s.post("%s/api/v1/chats/%s/messages" % (BASE, chat),
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 1693, in __aenter__
|
||||
self._resp: _RetType_co = await self._coro
|
||||
^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 858, in _request
|
||||
resp = await handler(req)
|
||||
^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 836, in _connect_and_send_request
|
||||
await resp.start(conn)
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client_reqrep.py", line 558, in start
|
||||
message, payload = await protocol.read() # type: ignore[union-attr]
|
||||
^^^^^^^^^^^^^^^^^^^^^
|
||||
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\streams.py", line 705, in read
|
||||
await self._waiter
|
||||
aiohttp.client_exceptions.ServerDisconnectedError: Server disconnected
|
||||
exit=1
|
||||
@@ -0,0 +1,116 @@
|
||||
{
|
||||
"before": {
|
||||
"mtusi-lab4-api-4": {
|
||||
"service": "api",
|
||||
"started_at": "2026-11-11T15:19:40.270198114Z",
|
||||
"health": "healthy",
|
||||
"volumes": [],
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-api-5": {
|
||||
"service": "api",
|
||||
"started_at": "2026-11-11T15:19:40.450834393Z",
|
||||
"health": "healthy",
|
||||
"volumes": [],
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-lb-1": {
|
||||
"service": "lb",
|
||||
"started_at": "2026-11-11T15:17:05.882305757Z",
|
||||
"health": "healthy",
|
||||
"volumes": [],
|
||||
"memory_bytes": 134217728,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-postgres-1": {
|
||||
"service": "postgres",
|
||||
"started_at": "2026-11-11T15:18:29.832733162Z",
|
||||
"health": "healthy",
|
||||
"volumes": [
|
||||
"mtusi-lab4_pgdata"
|
||||
],
|
||||
"memory_bytes": 536870912,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-seaweedfs-1": {
|
||||
"service": "seaweedfs",
|
||||
"started_at": "2026-11-11T15:17:06.948359559Z",
|
||||
"health": "healthy",
|
||||
"volumes": [
|
||||
"mtusi-lab4_seaweeddata"
|
||||
],
|
||||
"memory_bytes": 805306368,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-valkey-1": {
|
||||
"service": "valkey",
|
||||
"started_at": "2026-11-11T15:18:32.43836843Z",
|
||||
"health": "healthy",
|
||||
"volumes": [
|
||||
"mtusi-lab4_valkeydata"
|
||||
],
|
||||
"memory_bytes": 134217728,
|
||||
"nano_cpus": 500000000
|
||||
}
|
||||
},
|
||||
"after": {
|
||||
"mtusi-lab4-api-4": {
|
||||
"service": "api",
|
||||
"started_at": "2026-11-11T15:22:57.324421301Z",
|
||||
"health": "healthy",
|
||||
"volumes": [],
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-api-5": {
|
||||
"service": "api",
|
||||
"started_at": "2026-11-11T15:22:57.482181899Z",
|
||||
"health": "healthy",
|
||||
"volumes": [],
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-lb-1": {
|
||||
"service": "lb",
|
||||
"started_at": "2026-11-11T15:22:53.438585878Z",
|
||||
"health": "healthy",
|
||||
"volumes": [],
|
||||
"memory_bytes": 134217728,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-postgres-1": {
|
||||
"service": "postgres",
|
||||
"started_at": "2026-11-11T15:22:53.862285534Z",
|
||||
"health": "healthy",
|
||||
"volumes": [
|
||||
"mtusi-lab4_pgdata"
|
||||
],
|
||||
"memory_bytes": 536870912,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-seaweedfs-1": {
|
||||
"service": "seaweedfs",
|
||||
"started_at": "2026-11-11T15:22:54.073709276Z",
|
||||
"health": "healthy",
|
||||
"volumes": [
|
||||
"mtusi-lab4_seaweeddata"
|
||||
],
|
||||
"memory_bytes": 805306368,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"mtusi-lab4-valkey-1": {
|
||||
"service": "valkey",
|
||||
"started_at": "2026-11-11T15:22:53.5998755Z",
|
||||
"health": "healthy",
|
||||
"volumes": [
|
||||
"mtusi-lab4_valkeydata"
|
||||
],
|
||||
"memory_bytes": 134217728,
|
||||
"nano_cpus": 500000000
|
||||
}
|
||||
},
|
||||
"all_services_restarted": true,
|
||||
"volumes_preserved": true
|
||||
}
|
||||
@@ -0,0 +1,51 @@
|
||||
{
|
||||
"date": "2026-11-11",
|
||||
"base_solution_commit": "f875e2977f6592e1af6228dfe2138a769c327b08",
|
||||
"branch": "solution/bpi2302-kushnarenko",
|
||||
"python_client": "3.11.9 (tags/v3.11.9:de54cf5, Apr 2 2024, 10:12:12) [MSC v.1938 64 bit (AMD64)]",
|
||||
"source_sha256": {
|
||||
"Dockerfile": "f1dc711cacf00e3e2bd6b4a0616c925e357446ebda370e7e5fdb3170eaecd4cb",
|
||||
"compose.yaml": "e7f52308ad5f0f55bf1d61b83275bad2fb80be9f97b695cdd659d0d878cdd6a5",
|
||||
"infra/README.md": "33a4f7b870fd0b2bed98d46daf26d45dd7436176739672925246f8e3fe7c2278",
|
||||
"infra/haproxy/haproxy.cfg": "511fb24b32740c332cd7b6ea42d3f1cf252e1452de754ff97c8e6886f3692061",
|
||||
"requirements.txt": "709710dfd92af5f023ef9909488e9a14a7cacb62c67d67fff261d34ae4b779a0",
|
||||
"research/failover_sequence.py": "5cf120dfc9c79756a7bc913c900702ee597cc89ed4d7e21471a784a75b752ca4",
|
||||
"research/loadgen.py": "ec758237e5c57efe405fddac13ed80aab2ea31ff400761a951f89a31d7769b8b",
|
||||
"research/reconcile_bench.py": "6a6814f925b9e36621f6f7237473ad6b085b94e2717c2be79313cef7c8906a5a",
|
||||
"research/rolling_update.py": "447da4a9e2161bb232669f0558d6cb15ae3f0ef181fdf563e19cd56135b58240",
|
||||
"research/upload_memory.py": "07784bde3bf9cd15f586025adf6a37a2c3413ee756e099034c23cc789fbe7df1",
|
||||
"scripts/check_contract.py": "61e300fe5c1074360418e24b4653b12f96808247a2beaf2a64859aa360f81493",
|
||||
"scripts/init-secrets.sh": "7df8c218002a46ccb545d96051a6b958cf8b4dee14d94299a85984576b483f5b",
|
||||
"scripts/restart.cmd": "78e2689f97b3d0aafa72a0352a4a8cce2f41d78684c34042711e0af38e7cad19",
|
||||
"scripts/restart.example.sh": "0328246ba75defbced992104e986fde973f63e3830d83251eced5953263e944b",
|
||||
"scripts/restart.sh": "c57ad938ecaca510120296e9406918e6ef9ed24eb1b6dff16cf1b4d95c787e41",
|
||||
"scripts/restore-replicas.sh": "f55116712bb7f511bfc756507c3574a411256a41ea7ee6ba473c610ea5d1184b",
|
||||
"scripts/rolling-update.sh": "465791a134b48738a3e8d59819762159cc173d9332c6de9e2afcb583a4674559",
|
||||
"scripts/stop-one.cmd": "1955b8b0c879ea50d8efeb7fb43e8497356bb45482a91f90bd81a9c3fececdbf",
|
||||
"scripts/stop-one.example.sh": "1bcf34394520b89d95b7605ec56675be799eea920e83cfbba306d5dc0a6d9811",
|
||||
"scripts/stop-one.sh": "897cd2b56e6481cca7ac82378a0c071791f1e0e395d6a2e8d2a9f8e8faf50b38",
|
||||
"scripts/validate_openapi.py": "cd7a33221b1860c5d2330e52afa6cb222d375db671ae9ab379ba51a0d3a77946",
|
||||
"src/app/attachments.py": "430cf9672744a2192a72e9a9b64ab968510acb660590fd818b5f6dc6c3128ee0",
|
||||
"src/app/config.py": "2d0eb339e9b9caf9c69c1b497ba233758f9567c79e2edf76eb5facda3314fd38",
|
||||
"src/app/db.py": "7510882b0e8c9f6a24d680a156c285bc1a0fcf021473ca47173aa0744d845a78",
|
||||
"src/app/images.py": "3dc7434cbfbc9d4c01b95eb897c1332b2a2748dd9df88c99a7086f3e4cdf4c41",
|
||||
"src/app/main.py": "355aec75a78eaa7a8696684b251221a16c0828533fe1dbcfb30ab8cd04ca9b5c",
|
||||
"src/app/migrate.py": "cabc192ca4182af780636415a008d2dd4636dad7d3cf0f4a8a2b52a48aedaa7e",
|
||||
"src/app/passwords.py": "836fc282093058f6717eaa6374775251ed655dcd517f325dc60323a88154f261",
|
||||
"src/app/reconcile.py": "dd795a9d53a32bf2c107d2c053c170f7c4c7731b99aff57747af1edf49883a51",
|
||||
"src/app/s3.py": "d31dec589dd96607b3fa7fb5fa6013e3882638eb536a737dc766013209ce6247",
|
||||
"src/app/s3_bootstrap.py": "216d8121d6e7b25d95b845f4deaff18fd31eeb28484e51fe4c463c646a3af0d1",
|
||||
"src/app/serve.py": "3ebe12cf8cb2dddfc7d7234bba9bd190d868cc88d02e61fe640ba51dcf115b55",
|
||||
"src/app/sessions.py": "f975eb27c50c024f3e562f755ee97bb7bfe21cf5e01cc1d347bf107971c30670",
|
||||
"src/app/web.py": "23271be669a19bd7abfd6eaae25e25ce214718f0f623406cb9a2f6e77e365b83",
|
||||
"student-tests/fixtures/sample.jpg": "33a614b40fe6ae25fdbd99af22e7d9d3e5dbea455b36aac750de112c034a6311",
|
||||
"student-tests/fixtures/sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"student-tests/test_api.py": "2635113842a5b26ec1fdd98ea42fc861edb1d10895e8be6c2eff46ed73fdba9d",
|
||||
"student-tests/test_attachments.py": "90128b76736336bb3c37746549c951cbd853b93084b1d1c9605fffb3b77ffbbb",
|
||||
"student-tests/test_dependencies.py": "e152b87441d1374ce9b69d3d441d262e47890313d2ccc798f5e2cff2e3719399",
|
||||
"student-tests/test_expiry.py": "16a374ebe3df15c50c07a9fc3bc801c6c532dde3c4185b164c6aea4605923f83",
|
||||
"student-tests/test_idempotency.py": "4ee985a3ef26fefa816fdb136fa2b0644cca13d73fe3a226d1ba975a55698b5b",
|
||||
"student-tests/test_s3_failures.py": "81f8b7acbde19700c87e8d65af1803c071e9b0549d10788ae1f53729a64be175",
|
||||
"student-tests/test_topology.py": "576ff231fad871fa05cf6f14c6544c32389961f204b9dec8d2ecf250da15e157"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,98 @@
|
||||
{
|
||||
"date": "2026-11-11 18:21:28",
|
||||
"cost_of_scan": [
|
||||
{
|
||||
"db_rows": 19554,
|
||||
"s3_objects": 19530,
|
||||
"timing_ms": {
|
||||
"db_query": 20.2,
|
||||
"s3_listing": 3540.6,
|
||||
"total": 3649.4
|
||||
},
|
||||
"upload_batch_seconds": 2.3
|
||||
},
|
||||
{
|
||||
"db_rows": 20554,
|
||||
"s3_objects": 20530,
|
||||
"timing_ms": {
|
||||
"db_query": 19.0,
|
||||
"s3_listing": 3697.2,
|
||||
"total": 3806.4
|
||||
},
|
||||
"upload_batch_seconds": 2.2
|
||||
},
|
||||
{
|
||||
"db_rows": 21554,
|
||||
"s3_objects": 21530,
|
||||
"timing_ms": {
|
||||
"db_query": 21.2,
|
||||
"s3_listing": 3939.1,
|
||||
"total": 4055.0
|
||||
},
|
||||
"upload_batch_seconds": 2.1
|
||||
}
|
||||
],
|
||||
"args": {
|
||||
"out": "evidence\\recheck_2026-11-11",
|
||||
"total": 3000
|
||||
},
|
||||
"injected": {
|
||||
"orphan_objects": 20,
|
||||
"missing_objects": 20,
|
||||
"size_mismatch": 5
|
||||
},
|
||||
"dry_run": {
|
||||
"orphan_objects_count": 20,
|
||||
"missing_objects_count": 20,
|
||||
"size_mismatch_count": 5,
|
||||
"orphans_skipped_fresh": 0,
|
||||
"timing_ms": {
|
||||
"db_query": 18.7,
|
||||
"s3_listing": 3652.1,
|
||||
"total": 3761.7
|
||||
},
|
||||
"fixed": {
|
||||
"deleted_orphans": 0,
|
||||
"marked_failed": 0
|
||||
}
|
||||
},
|
||||
"dry_run_repeatable": true,
|
||||
"dry_run_found_exactly_injected": true,
|
||||
"apply": {
|
||||
"fixed": {
|
||||
"deleted_orphans": 20,
|
||||
"marked_failed": 25
|
||||
},
|
||||
"orphans_skipped_fresh": 0,
|
||||
"timing_ms": {
|
||||
"db_query": 19.1,
|
||||
"s3_listing": 3859.1,
|
||||
"total": 4048.6
|
||||
},
|
||||
"orphan_objects_count": 20,
|
||||
"missing_objects_count": 20,
|
||||
"size_mismatch_count": 5
|
||||
},
|
||||
"fresh_uploads_during_apply": {
|
||||
"uploaded": 200,
|
||||
"intact": 200
|
||||
},
|
||||
"in_use_attachments_intact": "200/200",
|
||||
"message_bindings": {
|
||||
"messages": 20,
|
||||
"attachments": 200,
|
||||
"unchanged": true
|
||||
},
|
||||
"second_apply_idempotent": {
|
||||
"fixed": {
|
||||
"deleted_orphans": 0,
|
||||
"marked_failed": 0
|
||||
},
|
||||
"orphan_objects_count": 0,
|
||||
"missing_objects_count": 0
|
||||
},
|
||||
"marked_failed": [
|
||||
"object_missing=20",
|
||||
"size_mismatch=5"
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,62 @@
|
||||
{
|
||||
"date": "2026-11-11 18:18:37",
|
||||
"file_mib": 8.73,
|
||||
"clients": 12,
|
||||
"api_memory_limit": "256m",
|
||||
"runs": [
|
||||
{
|
||||
"UPLOAD_CONCURRENCY": 1,
|
||||
"statuses": {
|
||||
"201": 12
|
||||
},
|
||||
"wall_seconds": 1.31,
|
||||
"peak_rss_mib": 99.2,
|
||||
"resource_limits": {
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"rss_before_mib": 93.3,
|
||||
"rss_after_mib": 99.2,
|
||||
"oom_killed": "false",
|
||||
"accepted_files_intact": "12/12",
|
||||
"p50_s": 0.83,
|
||||
"max_s": 1.3
|
||||
},
|
||||
{
|
||||
"UPLOAD_CONCURRENCY": 4,
|
||||
"statuses": {
|
||||
"201": 12
|
||||
},
|
||||
"wall_seconds": 1.18,
|
||||
"peak_rss_mib": 119.0,
|
||||
"resource_limits": {
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"rss_before_mib": 93.5,
|
||||
"rss_after_mib": 119.0,
|
||||
"oom_killed": "false",
|
||||
"accepted_files_intact": "12/12",
|
||||
"p50_s": 0.87,
|
||||
"max_s": 1.17
|
||||
},
|
||||
{
|
||||
"UPLOAD_CONCURRENCY": 12,
|
||||
"statuses": {
|
||||
"201": 12
|
||||
},
|
||||
"wall_seconds": 1.14,
|
||||
"peak_rss_mib": 121.2,
|
||||
"resource_limits": {
|
||||
"memory_bytes": 268435456,
|
||||
"nano_cpus": 1000000000
|
||||
},
|
||||
"rss_before_mib": 93.4,
|
||||
"rss_after_mib": 121.2,
|
||||
"oom_killed": "false",
|
||||
"accepted_files_intact": "12/12",
|
||||
"p50_s": 0.94,
|
||||
"max_s": 1.13
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -17,7 +17,8 @@ defaults
|
||||
timeout queue 5s
|
||||
retries 3
|
||||
option redispatch 1
|
||||
retry-on conn-failure empty-response response-timeout 0rtt-rejected
|
||||
# Only retry before a connection is established: upload POST has no idempotency key.
|
||||
retry-on conn-failure
|
||||
|
||||
# Docker DNS (127.0.0.11): адреса реплик API обновляются без перезапуска LB (scale up/down, пересоздание контейнеров).
|
||||
resolvers docker
|
||||
@@ -33,6 +34,9 @@ resolvers docker
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
# If the shared DB is down, live API processes still produce contract JSON,
|
||||
# validate missing credentials, and serve /health/live independently of DB.
|
||||
use_backend api_live if { nbsrv(api) eq 0 }
|
||||
default_backend api
|
||||
|
||||
# Внутренний healthcheck самого LB (контейнерный HEALTHCHECK); наружу не публикуется.
|
||||
@@ -48,3 +52,11 @@ backend api
|
||||
http-check expect status 200
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none
|
||||
server-template api 1-8 api:8080
|
||||
|
||||
backend api_live
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/live
|
||||
http-check expect status 200
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none
|
||||
server-template api 1-8 api:8080
|
||||
|
||||
@@ -32,7 +32,7 @@ BASE = "http://127.0.0.1:8080"
|
||||
|
||||
|
||||
def sh(*args):
|
||||
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, encoding="utf-8")
|
||||
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, encoding="utf-8", check=True)
|
||||
|
||||
|
||||
def compose(*args):
|
||||
@@ -106,9 +106,32 @@ def keys_for(ids):
|
||||
return out
|
||||
|
||||
|
||||
async def bind_to_messages(s, token, chat, ids):
|
||||
"""Create real message references, not just ready attachment metadata."""
|
||||
headers = {"Authorization": "Bearer " + token}
|
||||
for start in range(0, len(ids), 10):
|
||||
batch = ids[start:start + 10]
|
||||
async with s.post("%s/api/v1/chats/%s/messages" % (BASE, chat),
|
||||
json={"text": "reconciler keeper", "attachment_ids": batch},
|
||||
headers={**headers, "Idempotency-Key": str(uuid.uuid4())}) as r:
|
||||
body = await r.json()
|
||||
assert r.status == 201 and body["attachment_ids"] == batch, (r.status, body)
|
||||
|
||||
|
||||
async def message_bindings(s, token, chat):
|
||||
async with s.get("%s/api/v1/chats/%s/messages?limit=100" % (BASE, chat),
|
||||
headers={"Authorization": "Bearer " + token}) as r:
|
||||
r.raise_for_status()
|
||||
body = await r.json()
|
||||
return {m["id"]: m["attachment_ids"] for m in body["items"]}
|
||||
|
||||
|
||||
async def main(args):
|
||||
report = {"date": time.strftime("%Y-%m-%d %H:%M:%S"), "cost_of_scan": [], "args": vars(args)}
|
||||
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=60), connector=aiohttp.TCPConnector(limit=32)) as s:
|
||||
# Docker commands block the event loop longer than the server's keep-alive.
|
||||
# Do not reuse idle HTTP sockets after a scan or fault-injection command.
|
||||
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=60),
|
||||
connector=aiohttp.TCPConnector(limit=32, force_close=True)) as s:
|
||||
token, chat = await register(s)
|
||||
base = reconcile("--grace", "0", "--apply") # нормализация: убираем следы прошлых прогонов
|
||||
base = reconcile("--grace", "0")
|
||||
@@ -127,6 +150,9 @@ async def main(args):
|
||||
missing_ids = [a for a, _ in sample[:20]]
|
||||
mismatch_ids = [a for a, _ in sample[20:25]]
|
||||
used_ids = [a for a, _ in random.sample([u for u in uploaded if u[0] not in set(missing_ids + mismatch_ids)], 200)]
|
||||
await bind_to_messages(s, token, chat, used_ids)
|
||||
bindings_before = await message_bindings(s, token, chat)
|
||||
assert {a for ids in bindings_before.values() for a in ids} == set(used_ids)
|
||||
orphans = ["att/%s/original" % uuid.uuid4() for _ in range(20)]
|
||||
mkeys, xkeys = keys_for(missing_ids), keys_for(mismatch_ids)
|
||||
code = ("import asyncio\nfrom app import config\nfrom app.s3 import S3\nasync def m():\n s=S3(); await s.start()\n"
|
||||
@@ -152,6 +178,9 @@ async def main(args):
|
||||
report["apply"] = {k: applied[k] for k in ("fixed", "orphans_skipped_fresh", "timing_ms", "orphan_objects_count", "missing_objects_count", "size_mismatch_count")}
|
||||
report["fresh_uploads_during_apply"] = {"uploaded": len(fresh), "intact": await check_intact(s, token, fresh)}
|
||||
report["in_use_attachments_intact"] = "%d/%d" % (await check_intact(s, token, used_pairs), len(used_pairs))
|
||||
bindings_after = await message_bindings(s, token, chat)
|
||||
report["message_bindings"] = {"messages": len(bindings_before), "attachments": len(used_ids),
|
||||
"unchanged": bindings_after == bindings_before}
|
||||
again = reconcile("--grace", "5", "--apply")
|
||||
report["second_apply_idempotent"] = {"fixed": again["fixed"], "orphan_objects_count": again["orphan_objects_count"],
|
||||
"missing_objects_count": again["missing_objects_count"]}
|
||||
@@ -161,6 +190,14 @@ async def main(args):
|
||||
with open(os.path.join(args.out, "track2_reconcile.json"), "w", encoding="utf-8") as fh:
|
||||
json.dump(report, fh, ensure_ascii=False, indent=2)
|
||||
print(json.dumps({k: v for k, v in report.items() if k != "args"}, ensure_ascii=False, indent=2))
|
||||
assert len(uploaded) == 3 * (args.total // 3), "not all requested uploads succeeded"
|
||||
assert report["dry_run_repeatable"] and report["dry_run_found_exactly_injected"], report["dry_run"]
|
||||
assert dry1["fixed"] == dry2["fixed"] == {"deleted_orphans": 0, "marked_failed": 0}
|
||||
assert applied["fixed"] == {"deleted_orphans": 20, "marked_failed": 25}, applied
|
||||
assert report["fresh_uploads_during_apply"] == {"uploaded": 200, "intact": 200}
|
||||
assert report["in_use_attachments_intact"] == "200/200" and report["message_bindings"]["unchanged"]
|
||||
assert again["fixed"] == {"deleted_orphans": 0, "marked_failed": 0}, again
|
||||
assert (again["orphan_objects_count"], again["missing_objects_count"], again["size_mismatch_count"]) == (0, 0, 0)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -0,0 +1,2 @@
|
||||
aiohttp==3.14.3
|
||||
Pillow==12.3.0
|
||||
@@ -28,7 +28,8 @@ PROJECT = "mtusi-lab4"
|
||||
|
||||
|
||||
def sh(*args, env=None):
|
||||
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, env=dict(os.environ, **(env or {}))).stdout.strip()
|
||||
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=True,
|
||||
env=dict(os.environ, **(env or {}))).stdout.strip()
|
||||
|
||||
|
||||
def noisy_png(side, seed):
|
||||
@@ -54,6 +55,8 @@ def set_api(concurrency, replicas):
|
||||
if len(ids) == replicas and all(sh("docker", "inspect", "-f", "{{.State.Health.Status}}", i) == "healthy" for i in ids):
|
||||
break
|
||||
time.sleep(1)
|
||||
else:
|
||||
raise RuntimeError("API replicas did not become healthy within 90 seconds")
|
||||
time.sleep(6)
|
||||
|
||||
|
||||
@@ -99,6 +102,9 @@ async def main(args):
|
||||
for conc in args.concurrency:
|
||||
set_api(conc, 1)
|
||||
cid = api_containers()[0]
|
||||
limits = json.loads(sh("docker", "inspect", "-f",
|
||||
'{"memory_bytes":{{.HostConfig.Memory}},"nano_cpus":{{.HostConfig.NanoCpus}}}', cid))
|
||||
assert limits == {"memory_bytes": 256 * 1024 * 1024, "nano_cpus": 1000000000}, limits
|
||||
async with aiohttp.ClientSession() as s:
|
||||
uid, token = await register(s)
|
||||
async with s.post(BASE + "/api/v1/chats", json={"title": "mem", "member_ids": [uid]}, headers={"Authorization": "Bearer " + token}) as r:
|
||||
@@ -120,6 +126,7 @@ async def main(args):
|
||||
intact += 1
|
||||
oom = sh("docker", "inspect", "-f", "{{.State.OOMKilled}}", cid)
|
||||
entry = {"UPLOAD_CONCURRENCY": conc, "statuses": statuses, "wall_seconds": round(wall, 2), "peak_rss_mib": peak,
|
||||
"resource_limits": limits,
|
||||
"rss_before_mib": baseline_hwm, "rss_after_mib": rss, "oom_killed": oom,
|
||||
"accepted_files_intact": "%d/%d" % (intact, statuses.get("201", 0)),
|
||||
"p50_s": round(ok_lat[len(ok_lat) // 2], 2) if ok_lat else None, "max_s": round(ok_lat[-1], 2) if ok_lat else None}
|
||||
@@ -128,6 +135,10 @@ async def main(args):
|
||||
set_api(4, 2)
|
||||
with open(os.path.join(args.out, "upload_memory.json"), "w", encoding="utf-8") as fh:
|
||||
json.dump(report, fh, ensure_ascii=False, indent=2)
|
||||
for entry in report["runs"]:
|
||||
assert entry["statuses"] == {"201": args.clients}, entry
|
||||
assert entry["accepted_files_intact"] == "%d/%d" % (args.clients, args.clients), entry
|
||||
assert entry["oom_killed"] == "false" and 0 < entry["peak_rss_mib"] < 256, entry
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -0,0 +1,44 @@
|
||||
# Собственные проверки ЛР4
|
||||
|
||||
Сначала запустите стенд по [REPORT.md](../REPORT.md). Все команды выполняются из корня репозитория. В Windows задайте `$env:PYTHONUTF8='1'`.
|
||||
|
||||
```sh
|
||||
python -m unittest discover -s student-tests -p 'test_api.py' -v
|
||||
python -m unittest discover -s student-tests -p 'test_idempotency.py' -v
|
||||
python -m unittest discover -s student-tests -p 'test_attachments.py' -v
|
||||
python -m unittest discover -s student-tests -p 'test_topology.py' -v
|
||||
```
|
||||
|
||||
Это 38 тестов: API и аутентификация (12), идемпотентность между репликами (9), вложения и права доступа (11), топология (6).
|
||||
|
||||
Следующие 8 тестов временно останавливают зависимости или пересоздают API с настройками отказа/коротким TTL. Запускайте их последовательно на учебном стенде; данные и volumes сохраняются, настройки восстанавливаются после проверки.
|
||||
|
||||
```sh
|
||||
python student-tests/test_s3_failures.py -v
|
||||
python student-tests/test_expiry.py -v
|
||||
python student-tests/test_dependencies.py -v
|
||||
```
|
||||
|
||||
В проверке reconciler файл действительно прикреплён к сообщению: после очистки проверяются и файл, и ссылка сообщения. Свежий orphan проверяется с `--apply --grace 900`: он должен остаться; с `--grace 0` после завершения загрузок он удаляется.
|
||||
|
||||
Повторяемость bootstrap и ограниченные права ключа API:
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm -T s3-init
|
||||
docker compose --env-file .env run --rm -T s3-init
|
||||
```
|
||||
|
||||
Публичные проверки запускаются отдельно, без изменений: `make check`, `make validate`, `make test`, сценарии `tests/resilience.py` из отчёта. На Windows можно запустить соответствующие Python-команды из Makefile. После failover восстановите вторую реплику: `docker compose --env-file .env start api`.
|
||||
|
||||
## Эксперименты
|
||||
|
||||
Для исследовательских скриптов нужны `aiohttp` и `Pillow`: `python -m pip install -r research/requirements.txt`. Создайте каталог результата заранее. Эксперименты запускайте последовательно; `upload_memory.py` временно меняет число реплик и лимит параллельных загрузок, затем возвращает две реплики и лимит 4.
|
||||
|
||||
```sh
|
||||
python research/upload_memory.py --clients 12 --out evidence
|
||||
python research/reconcile_bench.py --total 3000 --out evidence
|
||||
```
|
||||
|
||||
`reconcile_bench.py` создаёт синтетические данные, внедряет 20 orphan, 20 missing и 5 size mismatch, сравнивает dry-run/apply/повтор, проверяет SHA-256 и сохранность 200 вложений в 20 сообщениях. Начальный запуск `--apply --grace 0` убирает следы прежних экспериментов; скрипт предназначен для отдельного учебного стенда без посторонних загрузок.
|
||||
|
||||
Реальный повторный прогон: [checks_2026-11-11.txt](../evidence/checks_2026-11-11.txt), [результаты исследований](../evidence/recheck_2026-11-11/).
|
||||
@@ -56,7 +56,9 @@ class DependencyTest(unittest.TestCase):
|
||||
actor = register("dep")
|
||||
self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) # токен в кэше
|
||||
compose("stop", "postgres")
|
||||
time.sleep(1)
|
||||
# Wait past HAProxy's fall=2 health checks: cover the all-unready state,
|
||||
# not just the short interval while the load balancer still routes normally.
|
||||
time.sleep(5)
|
||||
for method, path, body, token in (("GET", "/api/v1/users/me", None, actor["token"]),
|
||||
("GET", "/api/v1/chats", None, actor["token"]),
|
||||
("POST", "/api/v1/chats", {"title": "x", "member_ids": [actor["user"]["id"]]}, actor["token"]),
|
||||
|
||||
@@ -87,6 +87,9 @@ class S3FailureTest(unittest.TestCase):
|
||||
|
||||
def test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely(self):
|
||||
keeper = upload(self.a["token"], self.chat["id"], PNG)[2] # используемое вложение
|
||||
path = "/api/v1/chats/%s/messages" % self.chat["id"]
|
||||
sent = call("POST", path, {"text": "keeper", "attachment_ids": [keeper["id"]]}, self.a["token"])
|
||||
self.assertEqual(sent[0], 201, sent[2])
|
||||
recreate_api({"FAULT_INJECTION": "db_after_put,s3_delete_fails"})
|
||||
r = upload(self.a["token"], self.chat["id"], PNG)
|
||||
self.assertEqual(r[0], 500)
|
||||
@@ -94,6 +97,9 @@ class S3FailureTest(unittest.TestCase):
|
||||
fresh = reconcile("--grace", "900") # grace period: свежий объект не трогаем
|
||||
self.assertGreaterEqual(fresh["orphans_skipped_fresh"], 1)
|
||||
self.assertEqual(fresh["orphan_objects_count"], 0)
|
||||
protected = reconcile("--grace", "900", "--apply")
|
||||
self.assertGreaterEqual(protected["orphans_skipped_fresh"], 1)
|
||||
self.assertEqual(protected["fixed"], {"deleted_orphans": 0, "marked_failed": 0})
|
||||
dry = reconcile("--grace", "0") # dry-run находит, но не удаляет
|
||||
self.assertGreaterEqual(dry["orphan_objects_count"], 1)
|
||||
self.assertEqual(dry["fixed"], {"deleted_orphans": 0, "marked_failed": 0})
|
||||
@@ -103,6 +109,10 @@ class S3FailureTest(unittest.TestCase):
|
||||
self.assertEqual(reconcile("--grace", "0")["orphan_objects_count"], 0) # повторный запуск идемпотентен
|
||||
self.assertEqual(download(self.a["token"], keeper["id"])[0], 200, "используемое вложение удалять нельзя")
|
||||
|
||||
messages = call("GET", path, token=self.a["token"])[2]["items"]
|
||||
self.assertEqual(messages[0]["id"], sent[2]["id"])
|
||||
self.assertEqual(messages[0]["attachment_ids"], [keeper["id"]])
|
||||
|
||||
def test_missing_object_is_reported_and_attachment_marked_failed(self):
|
||||
att = upload(self.a["token"], self.chat["id"], PNG)[2]
|
||||
key = psql("SELECT s3_key FROM attachments WHERE id = '%s'" % att["id"])
|
||||
|
||||
Reference in New Issue
Block a user