fix(lab4): preserve error contract and verify storage consistency

This commit is contained in:
kolya5544
2026-11-11 18:25:57 +03:00
parent f875e2977f
commit 0150b91ec0
18 changed files with 1051 additions and 35 deletions
+69 -30
View File
@@ -1,9 +1,9 @@
# Отчёт — лабораторная 4
- Автор, группа: [ФИО], [группа]
- Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302
- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 2 «Согласованность двух хранилищ»
- Commit/PR: локальный коммит ветки `solution/lab4`; PR — после публикации
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore (S3), Pillow (проверка изображений), argon2-cffi; SeaweedFS 4.48 (S3); HAProxy; PostgreSQL; Valkey. Код lab3 перенесён. Использование ИИ: [заполняется автором]
- Commit/PR: ветка `solution/bpi2302-kushnarenko` в [форке kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab4); ссылка на PR добавляется после открытия
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore (S3), Pillow (проверка изображений), argon2-cffi; SeaweedFS 4.48 (S3); HAProxy; PostgreSQL; Valkey. Код lab3 перенесён. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex проверил подготовку к сдаче, усилил проверки исследования и выполнил реальные запуски 11.11.2026
## Запуск из чистого clone
@@ -23,12 +23,16 @@ sh scripts/restore-replicas.sh
# собственные тесты (стенд должен быть запущен)
python3 -m unittest discover -s student-tests -p "test_api.py" -v
python3 -m unittest discover -s student-tests -p "test_attachments.py" -v
python3 student-tests/test_idempotency.py ; python3 student-tests/test_topology.py ; python3 student-tests/test_s3_failures.py
python3 student-tests/test_idempotency.py
python3 student-tests/test_topology.py
python3 student-tests/test_s3_failures.py
python3 student-tests/test_expiry.py
python3 student-tests/test_dependencies.py
```
Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. Остановка с сохранением данных — `docker compose --env-file .env stop`; **намеренное удаление учебных данных** — `docker compose --env-file .env down -v` (volumes `pgdata`, `valkeydata`, `seaweeddata`).
**Выбор S3-сервера.** Образы MinIO в Docker Hub (`minio/minio`, `minio/mc`) недоступны для скачивания на момент выполнения (репозиторий не найден, проверено `docker pull`), поэтому воспроизводимый стенд построен на **SeaweedFS** (разрешён README): образ закреплён тегом и digest. SeaweedFS запускается одним процессом (`weed server -filer -s3`), права задаются файлом identities (`secrets/seaweed_s3.json`).
**Выбор S3-сервера.** Используется **SeaweedFS**, разрешённый заданием. Образ закреплён тегом и digest. SeaweedFS запускается одним процессом (`weed server -filer -s3`), права задаются файлом identities (`secrets/seaweed_s3.json`).
## Архитектура и решения
@@ -63,44 +67,79 @@ Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. О
**Reconciler** (`src/app/reconcile.py`): по умолчанию **dry-run**; сравнивает `attachments.s3_key` и листинг bucket. Находит: *orphan_object* (объект без строки; удаляется только если старше `grace` — по умолчанию 900 с, поэтому свежая, ещё не зафиксированная загрузка не затрагивается), *missing_object* (строка `ready` без объекта → `failed/object_missing`, **строка не удаляется**, сообщения сохраняются, скачивание даёт 409), *size_mismatch* (размер объекта ≠ `size_bytes` → `failed/size_mismatch`). Объект, у которого есть строка в БД, не удаляется никогда; перед удалением выполняется повторная проверка строки. Повторный запуск идемпотентен.
## Доказательства критериев
### Исправление отказа общей БД при подготовке к сдаче
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Smoke lab4 (загрузка, checksum, чужой пользователь) | `tests/smoke.py` | PASS | `evidence/checks.txt` |
| Байты в приватном bucket, метаданные в PostgreSQL | описание; `test_bucket_is_private_outside_the_api` | анонимный GET объекта из сети стенда → 403; в БД нет bytea | `evidence/checks.txt` |
| PNG/JPEG ≤10 MiB, ≤40 млн px, MIME по содержимому, опасный filename | `student-tests/test_attachments.py` | 11 тестов OK (413, 415 ×9 вариантов, 400 ×8 вариантов filename) | `evidence/checks.txt` |
| Upload → остановка реплики → download через другую; restart с сохранением volumes | `tests/resilience.py` failover ×2 и persistence | PASS; `StartedAt` seaweedfs/postgres/valkey/api изменился | `evidence/checks.txt` |
| Отдельные тесты (слишком большой, повреждённый, подмена MIME, чужое attachment_id, вложение другого чата) | `test_attachments.py` | OK; ни один случай не приводит к 500 | `evidence/checks.txt` |
| Прерывание загрузки / отказ между S3 и БД: компенсация и сверка | `test_s3_failures.py` | 4 теста OK: компенсация, orphan при неудачной компенсации (dry-run/apply/grace), missing object, отказ S3 | `evidence/checks.txt` |
| ≥10 одновременных загрузок, пик памяти | `research/upload_memory.py` | 12 клиентов × 8.7 MiB: **пик RSS 99 / 116 / 123 MiB** при `UPLOAD_CONCURRENCY` 1 / 4 / 12 (старт процесса 94 MiB, лимит контейнера 256 MiB); все 12 файлов приняты и скачиваются побайтно; `OOMKilled=false` | `evidence/upload_memory.json` |
| Bootstrap идемпотентен, отдельные ключи API с ограниченными правами, консоль не открыта, bucket private | `s3-init`; `docker compose logs s3-init` | повторный запуск: «bucket уже существует», анонимный доступ 403, ключ API не может создать bucket (`AccessDenied`) | логи `s3-init` |
| Лимиты и потоковая обработка | описание; `upload_memory.json` | размер/пиксели проверяются до распаковки; тело не буферизуется целиком | `src/app/attachments.py`, `images.py` |
| **Трек 2** | `research/reconcile_bench.py` | см. ниже | `evidence/track2_reconcile.json` |
В первом повторе 11.11.2026 тест остановки PostgreSQL обнаружил ответ вне JSON-контракта: после отрицательного readiness всех реплик HAProxy отдавал собственную ошибку вместо ответа приложения. Добавлен резервный backend по liveness, используемый только при отсутствии ready-реплик. Теперь живое приложение возвращает 503 с Retry-After и X-Request-Id, сохраняет 401 для запроса без токена и 200 для /health/live. Основная маршрутизация по readiness сохранена. Тест ждёт 5 с после остановки БД, чтобы гарантированно покрыть состояние после healthcheck балансировщика.
Также автоматические повторы HAProxy ограничены ошибкой установления соединения: ответ/таймаут уже отправленного upload POST не повторяется, поскольку контракт не делает загрузку идемпотентной. Описание директив: [HAProxy 3.0 Configuration Manual](https://docs.haproxy.org/3.0/configuration.html). Первичный сбой сохранён в `evidence/checks_before_fix_2026-11-11.txt`; полный итоговый прогон — в `evidence/checks_2026-11-11.txt`.
## Доказательства критериев — повторная проверка 11.11.2026
Проверены текущая ветка решения и исходный skeleton `ec540a1`. README задания, COURSE, CONTRIBUTING, публичные `tests/` и `contracts/` сохранены без изменений. Команды и фактический вывод: [evidence/checks_2026-11-11.txt](evidence/checks_2026-11-11.txt). В Windows выполнены Python-команды, соответствующие `make check`, `make validate` и `make test`; GNU Make для проверки не требуется.
| Критерий | Проверка | Результат |
| --- | --- | --- |
| Контракт и публичный сценарий | check_contract, validate_openapi, smoke | PASS |
| API, авторизация и идемпотентность между репликами | test_api + test_idempotency | 12 + 9 тестов OK |
| Изображения, лимиты, MIME, filename, ACL, чужой чат, прерывание upload, private bucket | test_attachments | 11 тестов OK; пользовательские ошибки не дают 500; анонимный S3 GET → 403 |
| Реплики, порты, лимиты, непривилегированный пользователь | test_topology | 6 тестов OK |
| Компенсация, dry-run/apply, свежие orphan, используемые вложения, отказ S3 | test_s3_failures | 4 теста OK; защищённый файл связан с сообщением, ссылка сохранена |
| Истечение сессии, недоступность PostgreSQL и Valkey | test_expiry + test_dependencies | 2 + 2 теста OK |
| Сохранность при restart и остановке обслужившей реплики | tests/resilience.py | persistence/failover PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток |
| Идемпотентный bootstrap, отдельные ограниченные ключи API | два повторных запуска s3-init | существующий bucket сохранён; anonymous → 403; create_bucket ключом API → AccessDenied |
| ≥10 параллельных загрузок и пик памяти | research/upload_memory.py | 12 клиентов; все файлы приняты и SHA-256 совпали; OOM нет |
| Трек 2: обнаружение и исправление расхождений, стоимость обхода | research/reconcile_bench.py | 20 orphan / 20 missing / 5 size mismatch; безопасное исправление и повтор без изменений |
Всего **46 собственных тестов**. После экспериментов дополнительно повторены persistence и smoke. В [lifecycle.json](evidence/recheck_2026-11-11/lifecycle.json) зафиксировано изменение StartedAt всех сервисов (включая обе API-реплики и S3), сохранение имён volumes и healthy после restart.
## Эксперименты и отказы (трек 2)
**Гипотеза.** Reconciler обнаруживает ровно внедрённые расхождения в обе стороны, в режиме dry-run ничего не меняет, при apply исправляет только безопасное (осиротевшие объекты старше grace; повреждённые/потерянные вложения помечает failed), не затрагивает свежие и используемые вложения, повторяется идемпотентно, а стоимость обхода линейна по числу объектов.
**Гипотеза.** Reconciler находит внедрённые расхождения в обе стороны; dry-run ничего не меняет; apply удаляет только старые объекты без строки в БД, помечает потерянные/повреждённые вложения failed и сохраняет свежие объекты и файлы сообщений. Повтор apply не вносит изменений. Стоимость полного обхода увеличивается с числом объектов.
**Методика** (`research/reconcile_bench.py`): ≈15 000 вложений (мелкие PNG, загружены через API); внедрено на **обеих сторонах**: 20 осиротевших объектов в S3, у 20 вложений удалён объект в S3, у 5 вложений объект подменён по размеру; после паузы > grace (5 с) — dry-run дважды, затем `--apply --grace 5` **параллельно с загрузкой 200 новых вложений**, затем повторный apply. Проверки: количество найденного, неизменность при dry-run, целостность 200 используемых и 200 свежих вложений (скачивание, sha256).
**Методика и окружение.** Windows, Docker Desktop с Linux-контейнерами, Python клиента 3.11.9, aiohttp 3.14.3, Pillow 12.3.0; приложение — Python 3.12.12. Образы и лимиты закреплены в compose.yaml. Во время исследования на машине оставался другой Docker-проект; абсолютные времена зависят от фоновой нагрузки. Один измерительный прогон на точку, статистическая значимость различий не оценивалась. Команды воспроизведения — [student-tests/README.md](student-tests/README.md).
| Показатель | Результат |
В клиенте исследования сверки отключено повторное использование HTTP-соединений: блокирующий вызов Docker мог длиться дольше keep-alive сервера, и первая попытка остановилась с ServerDisconnectedError до внедрения расхождений. После исправления выполнен полный повтор сверки; исходный вывод сохранён в `evidence/recheck_2026-11-11/commands_before_client_fix.txt`. Замеры памяти не повторялись: они завершились успешно и не зависели от этого клиента. SHA-256 проверенных исходников записаны в `source_metadata.json` рядом с результатами.
### Память при одновременных загрузках
12 клиентов загружают по 8.73 MiB PNG (шум 1700×1700). Для каждой точки создаётся одна новая API-реплика, 1 CPU / 256 MiB; меняется только UPLOAD_CONCURRENCY. Пик — VmHWM процесса API, это не суммарная память всех контейнеров. После измерения каждый принятый файл скачивается и проверяется SHA-256. В конце восстановлены две реплики с UPLOAD_CONCURRENCY=4.
| UPLOAD_CONCURRENCY | Пик RSS, MiB | Загрузка всех файлов, с | Принято и цело | OOMKilled |
| --- | --- | --- | --- | --- |
| 1 | 99.2 | 1.31 | 12/12 | false |
| 4 | 119.0 | 1.18 | 12/12 | false |
| 12 | 121.2 | 1.14 | 12/12 | false |
### Сверка двух хранилищ
К существующим синтетическим данным добавлены 3000 вложений тремя порциями по 1000. После каждой порции измерен dry-run. Затем созданы 20 orphan в S3, удалены объекты 20 существующих вложений и изменён размер ещё 5. **200 других вложений прикреплены к 20 сообщениям** (по 10); перед исправлением сохранены идентификаторы сообщений и их attachment_ids.
После паузы больше 5 с выполняются два dry-run, затем apply с grace=5 параллельно с задачей загрузки 200 новых файлов, затем повторный apply. Рабочее значение grace — 900 с; короткий grace используется только в эксперименте. Отдельный тест детерминированно оставляет свежий orphan и подтверждает, что `--apply --grace 900` его не удаляет.
| Проверка | Фактический результат |
| --- | --- |
| dry-run нашёл | 20 orphan, 20 missing, 5 size_mismatch — **ровно внедрённое**; два dry-run дают одинаковый отчёт, `fixed = 0/0` |
| apply (grace 5 с) | удалено 20 осиротевших объектов; 25 вложений помечены `failed` (`object_missing`=20, `size_mismatch`=5) |
| Свежие загрузки во время apply | 200 из 200 принято и скачивается побайтно |
| Используемые вложения | 200 из 200 целы (sha256 совпадает) |
| Повторный apply | изменений 0 (идемпотентно) |
| Стоимость обхода (dry-run) | 13 271 объект → 2.17 с; 14 271 → 2.34 с; 15 271 → 2.50 с (из них листинг S3 ≈ 96 %, запрос к БД 13 мс) — **≈0.16 мс на объект**, линейно; на меньшем наборе (1–3 тыс. объектов, предварительный прогон) 0.28–0.59 с |
| dry-run ×2 | ровно 20 orphan, 20 missing, 5 size mismatch; fixed=0/0; повторяемо |
| apply | удалено 20 старых orphan, 25 строк помечены failed (20 object_missing, 5 size_mismatch) |
| Новые загрузки | 200/200 приняты и скачаны с совпадающей SHA-256 |
| Вложения сообщений | 200/200 целы; все 20 сообщений и attachment_ids неизменны |
| Повтор apply | 0 удалений, 0 изменений статусов, новых расхождений нет |
**Границы.** Reconciler сверяет только наличие и размер, не содержимое (содержимое подтверждает sha256 из БД при скачивании на стороне клиента); обход листингом S3 — O(число объектов), для очень больших бакетов нужен инкрементальный обход по префиксам/времени. Если объект удалён, восстановить байты нельзя — вложение остаётся в БД как `failed`. Grace period выбирается больше максимального времени загрузки + таймаутов (здесь 900 с против лимита чтения 15 с). Ограничение: измерения на одном ноутбуке, S3 — один узел SeaweedFS без репликации.
| Строк БД | Объектов S3 | Запрос БД, мс | Листинг S3, мс | Весь обход, мс |
| --- | --- | --- | --- | --- |
| 19554 | 19530 | 20.2 | 3540.6 | 3649.4 |
| 20554 | 20530 | 19.0 | 3697.2 | 3806.4 |
| 21554 | 21530 | 21.2 | 3939.1 | 4055.0 |
На проверенном наборе основную стоимость даёт листинг S3; результаты трёх точек не доказывают линейное время на произвольном объёме. Алгоритм хранит снимки метаданных и листинга в памяти: время и дополнительная память — O(N). Сырой результат: [upload_memory.json](evidence/recheck_2026-11-11/upload_memory.json), [track2_reconcile.json](evidence/recheck_2026-11-11/track2_reconcile.json); вывод команд — [commands.txt](evidence/recheck_2026-11-11/commands.txt).
**Границы.** Сверяются наличие и размер, но не содержимое S3-объектов: подмена байтов без изменения размера этим reconciler не обнаруживается. Целостность контрольных файлов подтверждает скачивание с SHA-256. Потерянные байты не восстанавливаются, строка остаётся failed. Grace должен превышать время загрузки и таймаутов; для рабочих запусков принят 900 с. S3 и PostgreSQL — по одному узлу. Старые октябрьские результаты сохранены в `evidence/checks.txt`, `evidence/upload_memory.json` и `evidence/track2_reconcile.json`; текущие выводы опираются на повтор 11.11.2026.
### Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| Остановка S3 | загрузка/скачивание 503 + `Retry-After`, текст работает, ready=200 | OK (`test_s3_down…`) | после старта S3 — сразу; метаданные не накапливают «битых» строк |
| Остановка одной реплики после upload | файл скачивается другой репликой | failover PASS ×2 (восстановление записи 2.3 с) | потерь нет |
| Остановка одной реплики после upload | файл скачивается другой репликой | failover PASS (восстановление записи 2.329 с) | потерь нет |
| Рестарт всего стенда | метаданные и оригинал на месте | persistence PASS | < 90 с |
| Сбой БД после записи в S3 | объект не остаётся | удаляется компенсацией; при сбое компенсации — reconciler | потерь подтверждённых данных нет |
@@ -108,4 +147,4 @@ Windows: `scripts/restart.cmd` и `scripts/stop-one.cmd` вместо `.sh`. О
- Один узел S3 и один PostgreSQL (SPOF); репликации нет. Загрузка проксируется через API (прямые подписанные URL не реализованы — трек 1 не выбран).
- Проверка содержимого JPEG — декодирование в режиме draft (1/8), PNG — потоковая проверка; полная валидация пикселей не выполняется (это не нужно для отдачи оригинала).
- Подтверждено экспериментом: обнаружение/исправление расхождений, защита свежих и используемых вложений, линейная стоимость обхода, ограничение памяти при 12 одновременных загрузках. Гипотеза без доказательства: поведение reconciler на бакетах > 100 тыс. объектов.
- Подтверждено экспериментом: обнаружение/исправление расхождений, защита свежих и используемых вложений, стоимость обхода на трёх размерах набора, ограничение памяти при 12 одновременных загрузках. Гипотеза без доказательства: поведение reconciler на бакетах > 100 тыс. объектов.
+48
View File
@@ -0,0 +1,48 @@
## Лабораторная 4
Автор / группа: Кушнаренко Николай Вячеславович, БПИ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 — согласованность двух хранилищ
Что реализовано и что перенесено:
Из ЛР3 перенесены PostgreSQL, сессии, Valkey, HAProxy, две API-реплики, идемпотентность сообщений, миграции и сценарии отказов. Добавлены приватное S3-хранилище SeaweedFS, метаданные вложений в PostgreSQL, binary upload PNG/JPEG и авторизованный download через API с побайтной сохранностью. Ограничения: 10 MiB, 40 млн пикселей, проверка MIME по содержимому и безопасного filename, потоковая обработка и лимит параллельных загрузок. Реализованы attachment_ids в сообщениях, компенсация ошибки между S3/БД и reconciler с dry-run, grace period и повторным безопасным запуском. Bootstrap идемпотентен, API использует отдельные ключи с ограниченными правами. Исправлена маршрутизация HAProxy при отказе общей БД: даже после снятия ready всех реплик живые API сохраняют контракт ошибок и liveness; повтор отправленного upload POST отключён.
Команды запуска из чистого clone (bash / Git Bash):
```sh
sh scripts/init-secrets.sh
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
python3 scripts/check_contract.py
python3 tests/smoke.py --base-url http://127.0.0.1:8080
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
sh scripts/restore-replicas.sh
```
На Windows: PYTHONUTF8=1 и hooks scripts/restart.cmd, scripts/stop-one.cmd. Полная инструкция, собственные тесты и эксперименты — в [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [student-tests/README.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/student-tests/README.md).
Результаты проверок (повтор 11.11.2026):
- check_contract, полная валидация OpenAPI и публичный smoke — PASS;
- 46 собственных тестов — OK: авторизация, идемпотентность, вложения/ACL, топология, отказы S3/БД/кэша, TTL сессий;
- persistence и failover — PASS; восстановление записи 2.329 с, 105 успешных записей, 0 неуспешных попыток; сохранность оригинала проверена по SHA-256;
- bootstrap дважды — OK: анонимный доступ 403, создание bucket ключом API запрещено;
- 12 параллельных загрузок по 8.73 MiB: пик RSS 99.2–121.2 MiB при лимите 256 MiB; все файлы целы, OOM нет;
- трек 2: обнаружены ровно 20 orphan / 20 missing / 5 size mismatch; dry-run ничего не меняет; apply удаляет 20 старых orphan и помечает 25 строк failed; повтор без изменений;
- свежий orphan защищён grace period; 200 новых файлов и 200 вложений в 20 сообщениях сохранены, attachment_ids неизменны. Стоимость обхода: 19530 объектов → 3.65 с; 20530 объектов → 3.81 с; 21530 объектов → 4.05 с.
Доказательства: [checks_2026-11-11.txt](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/checks_2026-11-11.txt), [JSON и команды исследований](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/evidence/recheck_2026-11-11), отчёт [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/REPORT.md) и [Word](https://gitea.privcloud.tech/kolya/mtusi2026lab4/src/branch/solution/bpi2302-kushnarenko/docs/report_lab4.docx).
Ограничения / известные ошибки:
S3 и PostgreSQL работают по одному узлу; потерянные байты reconciler не восстанавливает. Сверяется наличие и размер, подмена содержимого при том же размере не обнаруживается. Полный обход требует O(N) времени и памяти. Замеры сделаны на одном компьютере, по одному прогону на точку, с фоновой нагрузкой другого Docker-проекта. Прямой presigned upload не реализован — выбран трек 2.
Источники и использование ИИ:
Python, uvicorn, asyncpg, aiobotocore, Pillow, argon2-cffi, SeaweedFS, PostgreSQL, Valkey, HAProxy; первичные материалы — в README задания. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex выполнил проверку подготовки к сдаче, усилил доказательства исследования и проверил результаты реальными запусками.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены через эквивалентные Python-команды; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Binary file not shown.
+167
View File
@@ -0,0 +1,167 @@
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
exit=0
$ python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
exit=0
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
exit=0
$ python -m unittest discover -s student-tests -p test_api.py -v
test_bearer_rules (test_api.AuthTest.test_bearer_rules) ... ok
test_concurrent_registration_of_same_username (test_api.AuthTest.test_concurrent_registration_of_same_username) ... ok
test_logout_revokes_in_database_and_cache (test_api.AuthTest.test_logout_revokes_in_database_and_cache) ... ok
test_password_is_not_exposed_or_stored_plain (test_api.AuthTest.test_password_is_not_exposed_or_stored_plain) ... ok
test_register_validation (test_api.AuthTest.test_register_validation) ... ok
test_session_shape_entropy_and_logout (test_api.AuthTest.test_session_shape_entropy_and_logout) ... ok
test_token_only_stored_as_hash (test_api.AuthTest.test_token_only_stored_as_hash) ... ok
test_wrong_password_and_unknown_user_are_indistinguishable (test_api.AuthTest.test_wrong_password_and_unknown_user_are_indistinguishable) ... ok
test_chat_creation_is_atomic (test_api.DataTest.test_chat_creation_is_atomic) ... ok
test_foreign_chat_empty_message_bad_json (test_api.DataTest.test_foreign_chat_empty_message_bad_json) ... ok
test_multi_page_history_and_cursor_binding (test_api.DataTest.test_multi_page_history_and_cursor_binding) ... ok
test_parallel_writes_from_many_clients (test_api.DataTest.test_parallel_writes_from_many_clients) ... ok
----------------------------------------------------------------------
Ran 12 tests in 2.711s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_idempotency.py -v
test_concurrent_same_key_creates_exactly_one_message_across_replicas (test_idempotency.IdempotencyTest.test_concurrent_same_key_creates_exactly_one_message_across_replicas) ... ok
test_different_body_same_key_is_409 (test_idempotency.IdempotencyTest.test_different_body_same_key_is_409) ... ok
test_expired_key_is_reusable_after_ttl (test_idempotency.IdempotencyTest.test_expired_key_is_reusable_after_ttl) ... ok
test_key_validation (test_idempotency.IdempotencyTest.test_key_validation) ... ok
test_replay_rechecks_session_and_membership (test_idempotency.IdempotencyTest.test_replay_rechecks_session_and_membership) ... ok
test_replay_returns_same_message_and_creates_no_duplicate (test_idempotency.IdempotencyTest.test_replay_returns_same_message_and_creates_no_duplicate) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_scope_is_user_and_chat) ... ok
test_semantically_equal_body_is_replayed (test_idempotency.IdempotencyTest.test_semantically_equal_body_is_replayed) ... ok
test_session_is_shared_between_replicas_without_relogin (test_idempotency.IdempotencyTest.test_session_is_shared_between_replicas_without_relogin) ... ok
----------------------------------------------------------------------
Ran 9 tests in 1.920s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_attachments.py -v
test_aborted_upload_leaves_nothing (test_attachments.AttachmentTest.test_aborted_upload_leaves_nothing) ... ok
test_bucket_is_private_outside_the_api (test_attachments.AttachmentTest.test_bucket_is_private_outside_the_api) ... ok
test_corrupted_and_spoofed_files_are_415_not_500 (test_attachments.AttachmentTest.test_corrupted_and_spoofed_files_are_415_not_500) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTest.test_dangerous_filenames_are_400) ... ok
test_decompression_bomb_header_is_413 (test_attachments.AttachmentTest.test_decompression_bomb_header_is_413) ... ok
test_empty_body_is_400 (test_attachments.AttachmentTest.test_empty_body_is_400) ... ok
test_foreign_user_cannot_upload_read_or_download (test_attachments.AttachmentTest.test_foreign_user_cannot_upload_read_or_download) ... ok
test_idempotent_replay_with_attachments (test_attachments.AttachmentTest.test_idempotent_replay_with_attachments) ... ok
test_message_with_attachments_and_chat_binding (test_attachments.AttachmentTest.test_message_with_attachments_and_chat_binding) ... ok
test_png_and_jpeg_roundtrip_with_checksum (test_attachments.AttachmentTest.test_png_and_jpeg_roundtrip_with_checksum) ... ok
test_too_large_is_413_and_nothing_is_stored (test_attachments.AttachmentTest.test_too_large_is_413_and_nothing_is_stored) ... ok
----------------------------------------------------------------------
Ran 11 tests in 4.285s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_topology.py -v
test_api_runs_as_non_root (test_topology.TopologyTest.test_api_runs_as_non_root) ... ok
test_at_least_two_api_replicas_without_published_ports (test_topology.TopologyTest.test_at_least_two_api_replicas_without_published_ports) ... ok
test_no_fixed_container_names (test_topology.TopologyTest.test_no_fixed_container_names) ... ok
test_only_lb_is_published_and_only_on_localhost (test_topology.TopologyTest.test_only_lb_is_published_and_only_on_localhost) ... ok
test_resource_limits_are_set (test_topology.TopologyTest.test_resource_limits_are_set) ... ok
test_stop_grace_period_covers_drain (test_topology.TopologyTest.test_stop_grace_period_covers_drain) ... ok
----------------------------------------------------------------------
Ran 6 tests in 1.649s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_s3_failures.py -v
test_db_failure_after_s3_write_is_compensated (test_s3_failures.S3FailureTest.test_db_failure_after_s3_write_is_compensated) ... ok
test_missing_object_is_reported_and_attachment_marked_failed (test_s3_failures.S3FailureTest.test_missing_object_is_reported_and_attachment_marked_failed) ... ok
test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely (test_s3_failures.S3FailureTest.test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely) ... ok
test_s3_down_gives_503_text_path_keeps_working (test_s3_failures.S3FailureTest.test_s3_down_gives_503_text_path_keeps_working) ... ok
----------------------------------------------------------------------
Ran 4 tests in 189.512s
OK
exit=0
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 105, "failed_attempts": 0, "first_recovery_seconds": 2.329}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose --env-file .env start api
Container mtusi-lab4-postgres-1 Waiting
Container mtusi-lab4-seaweedfs-1 Waiting
Container mtusi-lab4-seaweedfs-1 Healthy
Container mtusi-lab4-s3-init-1 Starting
Container mtusi-lab4-postgres-1 Healthy
Container mtusi-lab4-migrate-1 Starting
Container mtusi-lab4-migrate-1 Started
Container mtusi-lab4-s3-init-1 Started
Container mtusi-lab4-s3-init-1 Waiting
Container mtusi-lab4-valkey-1 Waiting
Container mtusi-lab4-migrate-1 Waiting
Container mtusi-lab4-valkey-1 Healthy
Container mtusi-lab4-migrate-1 Exited
Container mtusi-lab4-s3-init-1 Exited
Container mtusi-lab4-api-5 Starting
Container mtusi-lab4-api-5 Started
exit=0
$ python student-tests/test_expiry.py
..
----------------------------------------------------------------------
Ran 2 tests in 19.361s
OK
exit=0
$ python student-tests/test_dependencies.py
..
----------------------------------------------------------------------
Ran 2 tests in 19.594s
OK
exit=0
$ docker compose --env-file .env run --rm -T s3-init
Container mtusi-lab4-seaweedfs-1 Running
Container mtusi-lab4-seaweedfs-1 Waiting
Container mtusi-lab4-seaweedfs-1 Healthy
Container mtusi-lab4-s3-init-run-da275e60a199 Creating
Container mtusi-lab4-s3-init-run-da275e60a199 Created
bucket messenger-attachments уже существует
анонимный доступ запрещён (HTTP 403)
ключ API ограничен одним bucket (create_bucket отклонён: AccessDenied)
bootstrap завершён
exit=0
$ docker compose --env-file .env run --rm -T s3-init
Container mtusi-lab4-seaweedfs-1 Running
Container mtusi-lab4-seaweedfs-1 Waiting
Container mtusi-lab4-seaweedfs-1 Healthy
Container mtusi-lab4-s3-init-run-cc1f19e0054b Creating
Container mtusi-lab4-s3-init-run-cc1f19e0054b Created
bucket messenger-attachments уже существует
анонимный доступ запрещён (HTTP 403)
ключ API ограничен одним bucket (create_bucket отклонён: AccessDenied)
bootstrap завершён
exit=0
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
exit=0
+159
View File
@@ -0,0 +1,159 @@
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
exit=0
$ python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
exit=0
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
exit=0
$ python -m unittest discover -s student-tests -p test_api.py -v
test_bearer_rules (test_api.AuthTest.test_bearer_rules) ... ok
test_concurrent_registration_of_same_username (test_api.AuthTest.test_concurrent_registration_of_same_username) ... ok
test_logout_revokes_in_database_and_cache (test_api.AuthTest.test_logout_revokes_in_database_and_cache) ... ok
test_password_is_not_exposed_or_stored_plain (test_api.AuthTest.test_password_is_not_exposed_or_stored_plain) ... ok
test_register_validation (test_api.AuthTest.test_register_validation) ... ok
test_session_shape_entropy_and_logout (test_api.AuthTest.test_session_shape_entropy_and_logout) ... ok
test_token_only_stored_as_hash (test_api.AuthTest.test_token_only_stored_as_hash) ... ok
test_wrong_password_and_unknown_user_are_indistinguishable (test_api.AuthTest.test_wrong_password_and_unknown_user_are_indistinguishable) ... ok
test_chat_creation_is_atomic (test_api.DataTest.test_chat_creation_is_atomic) ... ok
test_foreign_chat_empty_message_bad_json (test_api.DataTest.test_foreign_chat_empty_message_bad_json) ... ok
test_multi_page_history_and_cursor_binding (test_api.DataTest.test_multi_page_history_and_cursor_binding) ... ok
test_parallel_writes_from_many_clients (test_api.DataTest.test_parallel_writes_from_many_clients) ... ok
----------------------------------------------------------------------
Ran 12 tests in 2.524s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_idempotency.py -v
test_concurrent_same_key_creates_exactly_one_message_across_replicas (test_idempotency.IdempotencyTest.test_concurrent_same_key_creates_exactly_one_message_across_replicas) ... ok
test_different_body_same_key_is_409 (test_idempotency.IdempotencyTest.test_different_body_same_key_is_409) ... ok
test_expired_key_is_reusable_after_ttl (test_idempotency.IdempotencyTest.test_expired_key_is_reusable_after_ttl) ... ok
test_key_validation (test_idempotency.IdempotencyTest.test_key_validation) ... ok
test_replay_rechecks_session_and_membership (test_idempotency.IdempotencyTest.test_replay_rechecks_session_and_membership) ... ok
test_replay_returns_same_message_and_creates_no_duplicate (test_idempotency.IdempotencyTest.test_replay_returns_same_message_and_creates_no_duplicate) ... ok
test_scope_is_user_and_chat (test_idempotency.IdempotencyTest.test_scope_is_user_and_chat) ... ok
test_semantically_equal_body_is_replayed (test_idempotency.IdempotencyTest.test_semantically_equal_body_is_replayed) ... ok
test_session_is_shared_between_replicas_without_relogin (test_idempotency.IdempotencyTest.test_session_is_shared_between_replicas_without_relogin) ... ok
----------------------------------------------------------------------
Ran 9 tests in 1.769s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_attachments.py -v
test_aborted_upload_leaves_nothing (test_attachments.AttachmentTest.test_aborted_upload_leaves_nothing) ... ok
test_bucket_is_private_outside_the_api (test_attachments.AttachmentTest.test_bucket_is_private_outside_the_api) ... ok
test_corrupted_and_spoofed_files_are_415_not_500 (test_attachments.AttachmentTest.test_corrupted_and_spoofed_files_are_415_not_500) ... ok
test_dangerous_filenames_are_400 (test_attachments.AttachmentTest.test_dangerous_filenames_are_400) ... ok
test_decompression_bomb_header_is_413 (test_attachments.AttachmentTest.test_decompression_bomb_header_is_413) ... ok
test_empty_body_is_400 (test_attachments.AttachmentTest.test_empty_body_is_400) ... ok
test_foreign_user_cannot_upload_read_or_download (test_attachments.AttachmentTest.test_foreign_user_cannot_upload_read_or_download) ... ok
test_idempotent_replay_with_attachments (test_attachments.AttachmentTest.test_idempotent_replay_with_attachments) ... ok
test_message_with_attachments_and_chat_binding (test_attachments.AttachmentTest.test_message_with_attachments_and_chat_binding) ... ok
test_png_and_jpeg_roundtrip_with_checksum (test_attachments.AttachmentTest.test_png_and_jpeg_roundtrip_with_checksum) ... ok
test_too_large_is_413_and_nothing_is_stored (test_attachments.AttachmentTest.test_too_large_is_413_and_nothing_is_stored) ... ok
----------------------------------------------------------------------
Ran 11 tests in 4.352s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_topology.py -v
test_api_runs_as_non_root (test_topology.TopologyTest.test_api_runs_as_non_root) ... ok
test_at_least_two_api_replicas_without_published_ports (test_topology.TopologyTest.test_at_least_two_api_replicas_without_published_ports) ... ok
test_no_fixed_container_names (test_topology.TopologyTest.test_no_fixed_container_names) ... ok
test_only_lb_is_published_and_only_on_localhost (test_topology.TopologyTest.test_only_lb_is_published_and_only_on_localhost) ... ok
test_resource_limits_are_set (test_topology.TopologyTest.test_resource_limits_are_set) ... ok
test_stop_grace_period_covers_drain (test_topology.TopologyTest.test_stop_grace_period_covers_drain) ... ok
----------------------------------------------------------------------
Ran 6 tests in 1.580s
OK
exit=0
$ python -m unittest discover -s student-tests -p test_s3_failures.py -v
test_db_failure_after_s3_write_is_compensated (test_s3_failures.S3FailureTest.test_db_failure_after_s3_write_is_compensated) ... ok
test_missing_object_is_reported_and_attachment_marked_failed (test_s3_failures.S3FailureTest.test_missing_object_is_reported_and_attachment_marked_failed) ... ok
test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely (test_s3_failures.S3FailureTest.test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely) ... ok
test_s3_down_gives_503_text_path_keeps_working (test_s3_failures.S3FailureTest.test_s3_down_gives_503_text_path_keeps_working) ... ok
----------------------------------------------------------------------
Ran 4 tests in 193.833s
OK
exit=0
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 2.328}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose --env-file .env start api
Container mtusi-lab4-postgres-1 Waiting
Container mtusi-lab4-seaweedfs-1 Waiting
Container mtusi-lab4-seaweedfs-1 Healthy
Container mtusi-lab4-postgres-1 Healthy
Container mtusi-lab4-s3-init-1 Starting
Container mtusi-lab4-migrate-1 Starting
Container mtusi-lab4-migrate-1 Started
Container mtusi-lab4-s3-init-1 Started
Container mtusi-lab4-s3-init-1 Waiting
Container mtusi-lab4-valkey-1 Waiting
Container mtusi-lab4-migrate-1 Waiting
Container mtusi-lab4-valkey-1 Healthy
Container mtusi-lab4-migrate-1 Exited
Container mtusi-lab4-s3-init-1 Exited
Container mtusi-lab4-api-4 Starting
Container mtusi-lab4-api-4 Started
exit=0
$ python student-tests/test_expiry.py
..
----------------------------------------------------------------------
Ran 2 tests in 23.614s
OK
exit=0
$ python student-tests/test_dependencies.py
E.
======================================================================
ERROR: test_postgres_down_gives_bounded_503_never_anonymous_access (__main__.DependencyTest.test_postgres_down_gives_bounded_503_never_anonymous_access)
----------------------------------------------------------------------
Traceback (most recent call last):
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\student-tests\test_dependencies.py", line 64, in test_postgres_down_gives_bounded_503_never_anonymous_access
r = call(method, path, body, token)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\student-tests\test_api.py", line 38, in call
return status, hdrs, (json.loads(payload) if payload else None)
^^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\__init__.py", line 346, in loads
return _default_decoder.decode(s)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
----------------------------------------------------------------------
Ran 2 tests in 9.323s
FAILED (errors=1)
exit=1
+116
View File
@@ -0,0 +1,116 @@
$ python -u research/upload_memory.py --out evidence\recheck_2026-11-11
размер файла: 8.7 MiB, sha256 9fcc26eea979
{"UPLOAD_CONCURRENCY": 1, "statuses": {"201": 12}, "wall_seconds": 1.31, "peak_rss_mib": 99.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.3, "rss_after_mib": 99.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.83, "max_s": 1.3}
{"UPLOAD_CONCURRENCY": 4, "statuses": {"201": 12}, "wall_seconds": 1.18, "peak_rss_mib": 119.0, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.5, "rss_after_mib": 119.0, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.87, "max_s": 1.17}
{"UPLOAD_CONCURRENCY": 12, "statuses": {"201": 12}, "wall_seconds": 1.14, "peak_rss_mib": 121.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.4, "rss_after_mib": 121.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.94, "max_s": 1.13}
exit=0
# Reconciliation rerun after disabling stale HTTP keep-alive reuse; memory results above retained.
$ python -u research/reconcile_bench.py --out evidence\recheck_2026-11-11 --total 3000
{"db_rows": 19554, "s3_objects": 19530, "timing_ms": {"db_query": 20.2, "s3_listing": 3540.6, "total": 3649.4}, "upload_batch_seconds": 2.3}
{"db_rows": 20554, "s3_objects": 20530, "timing_ms": {"db_query": 19.0, "s3_listing": 3697.2, "total": 3806.4}, "upload_batch_seconds": 2.2}
{"db_rows": 21554, "s3_objects": 21530, "timing_ms": {"db_query": 21.2, "s3_listing": 3939.1, "total": 4055.0}, "upload_batch_seconds": 2.1}
{
"date": "2026-11-11 18:21:28",
"cost_of_scan": [
{
"db_rows": 19554,
"s3_objects": 19530,
"timing_ms": {
"db_query": 20.2,
"s3_listing": 3540.6,
"total": 3649.4
},
"upload_batch_seconds": 2.3
},
{
"db_rows": 20554,
"s3_objects": 20530,
"timing_ms": {
"db_query": 19.0,
"s3_listing": 3697.2,
"total": 3806.4
},
"upload_batch_seconds": 2.2
},
{
"db_rows": 21554,
"s3_objects": 21530,
"timing_ms": {
"db_query": 21.2,
"s3_listing": 3939.1,
"total": 4055.0
},
"upload_batch_seconds": 2.1
}
],
"injected": {
"orphan_objects": 20,
"missing_objects": 20,
"size_mismatch": 5
},
"dry_run": {
"orphan_objects_count": 20,
"missing_objects_count": 20,
"size_mismatch_count": 5,
"orphans_skipped_fresh": 0,
"timing_ms": {
"db_query": 18.7,
"s3_listing": 3652.1,
"total": 3761.7
},
"fixed": {
"deleted_orphans": 0,
"marked_failed": 0
}
},
"dry_run_repeatable": true,
"dry_run_found_exactly_injected": true,
"apply": {
"fixed": {
"deleted_orphans": 20,
"marked_failed": 25
},
"orphans_skipped_fresh": 0,
"timing_ms": {
"db_query": 19.1,
"s3_listing": 3859.1,
"total": 4048.6
},
"orphan_objects_count": 20,
"missing_objects_count": 20,
"size_mismatch_count": 5
},
"fresh_uploads_during_apply": {
"uploaded": 200,
"intact": 200
},
"in_use_attachments_intact": "200/200",
"message_bindings": {
"messages": 20,
"attachments": 200,
"unchanged": true
},
"second_apply_idempotent": {
"fixed": {
"deleted_orphans": 0,
"marked_failed": 0
},
"orphan_objects_count": 0,
"missing_objects_count": 0
},
"marked_failed": [
"object_missing=20",
"size_mismatch=5"
]
}
exit=0
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ python tests/smoke.py --base-url http://127.0.0.1:8080
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
exit=0
@@ -0,0 +1,42 @@
$ python -u research/upload_memory.py --out evidence\recheck_2026-11-11
размер файла: 8.7 MiB, sha256 9fcc26eea979
{"UPLOAD_CONCURRENCY": 1, "statuses": {"201": 12}, "wall_seconds": 1.31, "peak_rss_mib": 99.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.3, "rss_after_mib": 99.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.83, "max_s": 1.3}
{"UPLOAD_CONCURRENCY": 4, "statuses": {"201": 12}, "wall_seconds": 1.18, "peak_rss_mib": 119.0, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.5, "rss_after_mib": 119.0, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.87, "max_s": 1.17}
{"UPLOAD_CONCURRENCY": 12, "statuses": {"201": 12}, "wall_seconds": 1.14, "peak_rss_mib": 121.2, "resource_limits": {"memory_bytes": 268435456, "nano_cpus": 1000000000}, "rss_before_mib": 93.4, "rss_after_mib": 121.2, "oom_killed": "false", "accepted_files_intact": "12/12", "p50_s": 0.94, "max_s": 1.13}
exit=0
$ python -u research/reconcile_bench.py --out evidence\recheck_2026-11-11 --total 3000
{"db_rows": 16554, "s3_objects": 16530, "timing_ms": {"db_query": 17.7, "s3_listing": 2891.3, "total": 2998.3}, "upload_batch_seconds": 2.6}
{"db_rows": 17554, "s3_objects": 17530, "timing_ms": {"db_query": 18.4, "s3_listing": 3280.3, "total": 3383.1}, "upload_batch_seconds": 2.2}
{"db_rows": 18554, "s3_objects": 18530, "timing_ms": {"db_query": 16.8, "s3_listing": 3647.2, "total": 3754.3}, "upload_batch_seconds": 2.0}
Traceback (most recent call last):
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 204, in <module>
asyncio.run(main(ap.parse_args()))
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\runners.py", line 190, in run
return runner.run(main)
^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\runners.py", line 118, in run
return self._loop.run_until_complete(task)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\AppData\Local\Programs\Python\Python311\Lib\asyncio\base_events.py", line 654, in run_until_complete
return future.result()
^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 150, in main
await bind_to_messages(s, token, chat, used_ids)
File "C:\Users\kolya5544\source\repos\vmdMTUCI\mtusi2026lab4\research\reconcile_bench.py", line 114, in bind_to_messages
async with s.post("%s/api/v1/chats/%s/messages" % (BASE, chat),
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 1693, in __aenter__
self._resp: _RetType_co = await self._coro
^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 858, in _request
resp = await handler(req)
^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client.py", line 836, in _connect_and_send_request
await resp.start(conn)
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\client_reqrep.py", line 558, in start
message, payload = await protocol.read() # type: ignore[union-attr]
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\kolya5544\source\repos\vmdMTUCI\tools\.venv\Lib\site-packages\aiohttp\streams.py", line 705, in read
await self._waiter
aiohttp.client_exceptions.ServerDisconnectedError: Server disconnected
exit=1
+116
View File
@@ -0,0 +1,116 @@
{
"before": {
"mtusi-lab4-api-4": {
"service": "api",
"started_at": "2026-11-11T15:19:40.270198114Z",
"health": "healthy",
"volumes": [],
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"mtusi-lab4-api-5": {
"service": "api",
"started_at": "2026-11-11T15:19:40.450834393Z",
"health": "healthy",
"volumes": [],
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"mtusi-lab4-lb-1": {
"service": "lb",
"started_at": "2026-11-11T15:17:05.882305757Z",
"health": "healthy",
"volumes": [],
"memory_bytes": 134217728,
"nano_cpus": 1000000000
},
"mtusi-lab4-postgres-1": {
"service": "postgres",
"started_at": "2026-11-11T15:18:29.832733162Z",
"health": "healthy",
"volumes": [
"mtusi-lab4_pgdata"
],
"memory_bytes": 536870912,
"nano_cpus": 1000000000
},
"mtusi-lab4-seaweedfs-1": {
"service": "seaweedfs",
"started_at": "2026-11-11T15:17:06.948359559Z",
"health": "healthy",
"volumes": [
"mtusi-lab4_seaweeddata"
],
"memory_bytes": 805306368,
"nano_cpus": 1000000000
},
"mtusi-lab4-valkey-1": {
"service": "valkey",
"started_at": "2026-11-11T15:18:32.43836843Z",
"health": "healthy",
"volumes": [
"mtusi-lab4_valkeydata"
],
"memory_bytes": 134217728,
"nano_cpus": 500000000
}
},
"after": {
"mtusi-lab4-api-4": {
"service": "api",
"started_at": "2026-11-11T15:22:57.324421301Z",
"health": "healthy",
"volumes": [],
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"mtusi-lab4-api-5": {
"service": "api",
"started_at": "2026-11-11T15:22:57.482181899Z",
"health": "healthy",
"volumes": [],
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"mtusi-lab4-lb-1": {
"service": "lb",
"started_at": "2026-11-11T15:22:53.438585878Z",
"health": "healthy",
"volumes": [],
"memory_bytes": 134217728,
"nano_cpus": 1000000000
},
"mtusi-lab4-postgres-1": {
"service": "postgres",
"started_at": "2026-11-11T15:22:53.862285534Z",
"health": "healthy",
"volumes": [
"mtusi-lab4_pgdata"
],
"memory_bytes": 536870912,
"nano_cpus": 1000000000
},
"mtusi-lab4-seaweedfs-1": {
"service": "seaweedfs",
"started_at": "2026-11-11T15:22:54.073709276Z",
"health": "healthy",
"volumes": [
"mtusi-lab4_seaweeddata"
],
"memory_bytes": 805306368,
"nano_cpus": 1000000000
},
"mtusi-lab4-valkey-1": {
"service": "valkey",
"started_at": "2026-11-11T15:22:53.5998755Z",
"health": "healthy",
"volumes": [
"mtusi-lab4_valkeydata"
],
"memory_bytes": 134217728,
"nano_cpus": 500000000
}
},
"all_services_restarted": true,
"volumes_preserved": true
}
@@ -0,0 +1,51 @@
{
"date": "2026-11-11",
"base_solution_commit": "f875e2977f6592e1af6228dfe2138a769c327b08",
"branch": "solution/bpi2302-kushnarenko",
"python_client": "3.11.9 (tags/v3.11.9:de54cf5, Apr 2 2024, 10:12:12) [MSC v.1938 64 bit (AMD64)]",
"source_sha256": {
"Dockerfile": "f1dc711cacf00e3e2bd6b4a0616c925e357446ebda370e7e5fdb3170eaecd4cb",
"compose.yaml": "e7f52308ad5f0f55bf1d61b83275bad2fb80be9f97b695cdd659d0d878cdd6a5",
"infra/README.md": "33a4f7b870fd0b2bed98d46daf26d45dd7436176739672925246f8e3fe7c2278",
"infra/haproxy/haproxy.cfg": "511fb24b32740c332cd7b6ea42d3f1cf252e1452de754ff97c8e6886f3692061",
"requirements.txt": "709710dfd92af5f023ef9909488e9a14a7cacb62c67d67fff261d34ae4b779a0",
"research/failover_sequence.py": "5cf120dfc9c79756a7bc913c900702ee597cc89ed4d7e21471a784a75b752ca4",
"research/loadgen.py": "ec758237e5c57efe405fddac13ed80aab2ea31ff400761a951f89a31d7769b8b",
"research/reconcile_bench.py": "6a6814f925b9e36621f6f7237473ad6b085b94e2717c2be79313cef7c8906a5a",
"research/rolling_update.py": "447da4a9e2161bb232669f0558d6cb15ae3f0ef181fdf563e19cd56135b58240",
"research/upload_memory.py": "07784bde3bf9cd15f586025adf6a37a2c3413ee756e099034c23cc789fbe7df1",
"scripts/check_contract.py": "61e300fe5c1074360418e24b4653b12f96808247a2beaf2a64859aa360f81493",
"scripts/init-secrets.sh": "7df8c218002a46ccb545d96051a6b958cf8b4dee14d94299a85984576b483f5b",
"scripts/restart.cmd": "78e2689f97b3d0aafa72a0352a4a8cce2f41d78684c34042711e0af38e7cad19",
"scripts/restart.example.sh": "0328246ba75defbced992104e986fde973f63e3830d83251eced5953263e944b",
"scripts/restart.sh": "c57ad938ecaca510120296e9406918e6ef9ed24eb1b6dff16cf1b4d95c787e41",
"scripts/restore-replicas.sh": "f55116712bb7f511bfc756507c3574a411256a41ea7ee6ba473c610ea5d1184b",
"scripts/rolling-update.sh": "465791a134b48738a3e8d59819762159cc173d9332c6de9e2afcb583a4674559",
"scripts/stop-one.cmd": "1955b8b0c879ea50d8efeb7fb43e8497356bb45482a91f90bd81a9c3fececdbf",
"scripts/stop-one.example.sh": "1bcf34394520b89d95b7605ec56675be799eea920e83cfbba306d5dc0a6d9811",
"scripts/stop-one.sh": "897cd2b56e6481cca7ac82378a0c071791f1e0e395d6a2e8d2a9f8e8faf50b38",
"scripts/validate_openapi.py": "cd7a33221b1860c5d2330e52afa6cb222d375db671ae9ab379ba51a0d3a77946",
"src/app/attachments.py": "430cf9672744a2192a72e9a9b64ab968510acb660590fd818b5f6dc6c3128ee0",
"src/app/config.py": "2d0eb339e9b9caf9c69c1b497ba233758f9567c79e2edf76eb5facda3314fd38",
"src/app/db.py": "7510882b0e8c9f6a24d680a156c285bc1a0fcf021473ca47173aa0744d845a78",
"src/app/images.py": "3dc7434cbfbc9d4c01b95eb897c1332b2a2748dd9df88c99a7086f3e4cdf4c41",
"src/app/main.py": "355aec75a78eaa7a8696684b251221a16c0828533fe1dbcfb30ab8cd04ca9b5c",
"src/app/migrate.py": "cabc192ca4182af780636415a008d2dd4636dad7d3cf0f4a8a2b52a48aedaa7e",
"src/app/passwords.py": "836fc282093058f6717eaa6374775251ed655dcd517f325dc60323a88154f261",
"src/app/reconcile.py": "dd795a9d53a32bf2c107d2c053c170f7c4c7731b99aff57747af1edf49883a51",
"src/app/s3.py": "d31dec589dd96607b3fa7fb5fa6013e3882638eb536a737dc766013209ce6247",
"src/app/s3_bootstrap.py": "216d8121d6e7b25d95b845f4deaff18fd31eeb28484e51fe4c463c646a3af0d1",
"src/app/serve.py": "3ebe12cf8cb2dddfc7d7234bba9bd190d868cc88d02e61fe640ba51dcf115b55",
"src/app/sessions.py": "f975eb27c50c024f3e562f755ee97bb7bfe21cf5e01cc1d347bf107971c30670",
"src/app/web.py": "23271be669a19bd7abfd6eaae25e25ce214718f0f623406cb9a2f6e77e365b83",
"student-tests/fixtures/sample.jpg": "33a614b40fe6ae25fdbd99af22e7d9d3e5dbea455b36aac750de112c034a6311",
"student-tests/fixtures/sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
"student-tests/test_api.py": "2635113842a5b26ec1fdd98ea42fc861edb1d10895e8be6c2eff46ed73fdba9d",
"student-tests/test_attachments.py": "90128b76736336bb3c37746549c951cbd853b93084b1d1c9605fffb3b77ffbbb",
"student-tests/test_dependencies.py": "e152b87441d1374ce9b69d3d441d262e47890313d2ccc798f5e2cff2e3719399",
"student-tests/test_expiry.py": "16a374ebe3df15c50c07a9fc3bc801c6c532dde3c4185b164c6aea4605923f83",
"student-tests/test_idempotency.py": "4ee985a3ef26fefa816fdb136fa2b0644cca13d73fe3a226d1ba975a55698b5b",
"student-tests/test_s3_failures.py": "81f8b7acbde19700c87e8d65af1803c071e9b0549d10788ae1f53729a64be175",
"student-tests/test_topology.py": "576ff231fad871fa05cf6f14c6544c32389961f204b9dec8d2ecf250da15e157"
}
}
@@ -0,0 +1,98 @@
{
"date": "2026-11-11 18:21:28",
"cost_of_scan": [
{
"db_rows": 19554,
"s3_objects": 19530,
"timing_ms": {
"db_query": 20.2,
"s3_listing": 3540.6,
"total": 3649.4
},
"upload_batch_seconds": 2.3
},
{
"db_rows": 20554,
"s3_objects": 20530,
"timing_ms": {
"db_query": 19.0,
"s3_listing": 3697.2,
"total": 3806.4
},
"upload_batch_seconds": 2.2
},
{
"db_rows": 21554,
"s3_objects": 21530,
"timing_ms": {
"db_query": 21.2,
"s3_listing": 3939.1,
"total": 4055.0
},
"upload_batch_seconds": 2.1
}
],
"args": {
"out": "evidence\\recheck_2026-11-11",
"total": 3000
},
"injected": {
"orphan_objects": 20,
"missing_objects": 20,
"size_mismatch": 5
},
"dry_run": {
"orphan_objects_count": 20,
"missing_objects_count": 20,
"size_mismatch_count": 5,
"orphans_skipped_fresh": 0,
"timing_ms": {
"db_query": 18.7,
"s3_listing": 3652.1,
"total": 3761.7
},
"fixed": {
"deleted_orphans": 0,
"marked_failed": 0
}
},
"dry_run_repeatable": true,
"dry_run_found_exactly_injected": true,
"apply": {
"fixed": {
"deleted_orphans": 20,
"marked_failed": 25
},
"orphans_skipped_fresh": 0,
"timing_ms": {
"db_query": 19.1,
"s3_listing": 3859.1,
"total": 4048.6
},
"orphan_objects_count": 20,
"missing_objects_count": 20,
"size_mismatch_count": 5
},
"fresh_uploads_during_apply": {
"uploaded": 200,
"intact": 200
},
"in_use_attachments_intact": "200/200",
"message_bindings": {
"messages": 20,
"attachments": 200,
"unchanged": true
},
"second_apply_idempotent": {
"fixed": {
"deleted_orphans": 0,
"marked_failed": 0
},
"orphan_objects_count": 0,
"missing_objects_count": 0
},
"marked_failed": [
"object_missing=20",
"size_mismatch=5"
]
}
@@ -0,0 +1,62 @@
{
"date": "2026-11-11 18:18:37",
"file_mib": 8.73,
"clients": 12,
"api_memory_limit": "256m",
"runs": [
{
"UPLOAD_CONCURRENCY": 1,
"statuses": {
"201": 12
},
"wall_seconds": 1.31,
"peak_rss_mib": 99.2,
"resource_limits": {
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"rss_before_mib": 93.3,
"rss_after_mib": 99.2,
"oom_killed": "false",
"accepted_files_intact": "12/12",
"p50_s": 0.83,
"max_s": 1.3
},
{
"UPLOAD_CONCURRENCY": 4,
"statuses": {
"201": 12
},
"wall_seconds": 1.18,
"peak_rss_mib": 119.0,
"resource_limits": {
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"rss_before_mib": 93.5,
"rss_after_mib": 119.0,
"oom_killed": "false",
"accepted_files_intact": "12/12",
"p50_s": 0.87,
"max_s": 1.17
},
{
"UPLOAD_CONCURRENCY": 12,
"statuses": {
"201": 12
},
"wall_seconds": 1.14,
"peak_rss_mib": 121.2,
"resource_limits": {
"memory_bytes": 268435456,
"nano_cpus": 1000000000
},
"rss_before_mib": 93.4,
"rss_after_mib": 121.2,
"oom_killed": "false",
"accepted_files_intact": "12/12",
"p50_s": 0.94,
"max_s": 1.13
}
]
}
+13 -1
View File
@@ -17,7 +17,8 @@ defaults
timeout queue 5s
retries 3
option redispatch 1
retry-on conn-failure empty-response response-timeout 0rtt-rejected
# Only retry before a connection is established: upload POST has no idempotency key.
retry-on conn-failure
# Docker DNS (127.0.0.11): адреса реплик API обновляются без перезапуска LB (scale up/down, пересоздание контейнеров).
resolvers docker
@@ -33,6 +34,9 @@ resolvers docker
frontend public
bind :8080
# If the shared DB is down, live API processes still produce contract JSON,
# validate missing credentials, and serve /health/live independently of DB.
use_backend api_live if { nbsrv(api) eq 0 }
default_backend api
# Внутренний healthcheck самого LB (контейнерный HEALTHCHECK); наружу не публикуется.
@@ -48,3 +52,11 @@ backend api
http-check expect status 200
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none
server-template api 1-8 api:8080
backend api_live
balance roundrobin
option httpchk
http-check send meth GET uri /health/live
http-check expect status 200
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none
server-template api 1-8 api:8080
+39 -2
View File
@@ -32,7 +32,7 @@ BASE = "http://127.0.0.1:8080"
def sh(*args):
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, encoding="utf-8")
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, encoding="utf-8", check=True)
def compose(*args):
@@ -106,9 +106,32 @@ def keys_for(ids):
return out
async def bind_to_messages(s, token, chat, ids):
"""Create real message references, not just ready attachment metadata."""
headers = {"Authorization": "Bearer " + token}
for start in range(0, len(ids), 10):
batch = ids[start:start + 10]
async with s.post("%s/api/v1/chats/%s/messages" % (BASE, chat),
json={"text": "reconciler keeper", "attachment_ids": batch},
headers={**headers, "Idempotency-Key": str(uuid.uuid4())}) as r:
body = await r.json()
assert r.status == 201 and body["attachment_ids"] == batch, (r.status, body)
async def message_bindings(s, token, chat):
async with s.get("%s/api/v1/chats/%s/messages?limit=100" % (BASE, chat),
headers={"Authorization": "Bearer " + token}) as r:
r.raise_for_status()
body = await r.json()
return {m["id"]: m["attachment_ids"] for m in body["items"]}
async def main(args):
report = {"date": time.strftime("%Y-%m-%d %H:%M:%S"), "cost_of_scan": [], "args": vars(args)}
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=60), connector=aiohttp.TCPConnector(limit=32)) as s:
# Docker commands block the event loop longer than the server's keep-alive.
# Do not reuse idle HTTP sockets after a scan or fault-injection command.
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=60),
connector=aiohttp.TCPConnector(limit=32, force_close=True)) as s:
token, chat = await register(s)
base = reconcile("--grace", "0", "--apply") # нормализация: убираем следы прошлых прогонов
base = reconcile("--grace", "0")
@@ -127,6 +150,9 @@ async def main(args):
missing_ids = [a for a, _ in sample[:20]]
mismatch_ids = [a for a, _ in sample[20:25]]
used_ids = [a for a, _ in random.sample([u for u in uploaded if u[0] not in set(missing_ids + mismatch_ids)], 200)]
await bind_to_messages(s, token, chat, used_ids)
bindings_before = await message_bindings(s, token, chat)
assert {a for ids in bindings_before.values() for a in ids} == set(used_ids)
orphans = ["att/%s/original" % uuid.uuid4() for _ in range(20)]
mkeys, xkeys = keys_for(missing_ids), keys_for(mismatch_ids)
code = ("import asyncio\nfrom app import config\nfrom app.s3 import S3\nasync def m():\n s=S3(); await s.start()\n"
@@ -152,6 +178,9 @@ async def main(args):
report["apply"] = {k: applied[k] for k in ("fixed", "orphans_skipped_fresh", "timing_ms", "orphan_objects_count", "missing_objects_count", "size_mismatch_count")}
report["fresh_uploads_during_apply"] = {"uploaded": len(fresh), "intact": await check_intact(s, token, fresh)}
report["in_use_attachments_intact"] = "%d/%d" % (await check_intact(s, token, used_pairs), len(used_pairs))
bindings_after = await message_bindings(s, token, chat)
report["message_bindings"] = {"messages": len(bindings_before), "attachments": len(used_ids),
"unchanged": bindings_after == bindings_before}
again = reconcile("--grace", "5", "--apply")
report["second_apply_idempotent"] = {"fixed": again["fixed"], "orphan_objects_count": again["orphan_objects_count"],
"missing_objects_count": again["missing_objects_count"]}
@@ -161,6 +190,14 @@ async def main(args):
with open(os.path.join(args.out, "track2_reconcile.json"), "w", encoding="utf-8") as fh:
json.dump(report, fh, ensure_ascii=False, indent=2)
print(json.dumps({k: v for k, v in report.items() if k != "args"}, ensure_ascii=False, indent=2))
assert len(uploaded) == 3 * (args.total // 3), "not all requested uploads succeeded"
assert report["dry_run_repeatable"] and report["dry_run_found_exactly_injected"], report["dry_run"]
assert dry1["fixed"] == dry2["fixed"] == {"deleted_orphans": 0, "marked_failed": 0}
assert applied["fixed"] == {"deleted_orphans": 20, "marked_failed": 25}, applied
assert report["fresh_uploads_during_apply"] == {"uploaded": 200, "intact": 200}
assert report["in_use_attachments_intact"] == "200/200" and report["message_bindings"]["unchanged"]
assert again["fixed"] == {"deleted_orphans": 0, "marked_failed": 0}, again
assert (again["orphan_objects_count"], again["missing_objects_count"], again["size_mismatch_count"]) == (0, 0, 0)
if __name__ == "__main__":
+2
View File
@@ -0,0 +1,2 @@
aiohttp==3.14.3
Pillow==12.3.0
+12 -1
View File
@@ -28,7 +28,8 @@ PROJECT = "mtusi-lab4"
def sh(*args, env=None):
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, env=dict(os.environ, **(env or {}))).stdout.strip()
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=True,
env=dict(os.environ, **(env or {}))).stdout.strip()
def noisy_png(side, seed):
@@ -54,6 +55,8 @@ def set_api(concurrency, replicas):
if len(ids) == replicas and all(sh("docker", "inspect", "-f", "{{.State.Health.Status}}", i) == "healthy" for i in ids):
break
time.sleep(1)
else:
raise RuntimeError("API replicas did not become healthy within 90 seconds")
time.sleep(6)
@@ -99,6 +102,9 @@ async def main(args):
for conc in args.concurrency:
set_api(conc, 1)
cid = api_containers()[0]
limits = json.loads(sh("docker", "inspect", "-f",
'{"memory_bytes":{{.HostConfig.Memory}},"nano_cpus":{{.HostConfig.NanoCpus}}}', cid))
assert limits == {"memory_bytes": 256 * 1024 * 1024, "nano_cpus": 1000000000}, limits
async with aiohttp.ClientSession() as s:
uid, token = await register(s)
async with s.post(BASE + "/api/v1/chats", json={"title": "mem", "member_ids": [uid]}, headers={"Authorization": "Bearer " + token}) as r:
@@ -120,6 +126,7 @@ async def main(args):
intact += 1
oom = sh("docker", "inspect", "-f", "{{.State.OOMKilled}}", cid)
entry = {"UPLOAD_CONCURRENCY": conc, "statuses": statuses, "wall_seconds": round(wall, 2), "peak_rss_mib": peak,
"resource_limits": limits,
"rss_before_mib": baseline_hwm, "rss_after_mib": rss, "oom_killed": oom,
"accepted_files_intact": "%d/%d" % (intact, statuses.get("201", 0)),
"p50_s": round(ok_lat[len(ok_lat) // 2], 2) if ok_lat else None, "max_s": round(ok_lat[-1], 2) if ok_lat else None}
@@ -128,6 +135,10 @@ async def main(args):
set_api(4, 2)
with open(os.path.join(args.out, "upload_memory.json"), "w", encoding="utf-8") as fh:
json.dump(report, fh, ensure_ascii=False, indent=2)
for entry in report["runs"]:
assert entry["statuses"] == {"201": args.clients}, entry
assert entry["accepted_files_intact"] == "%d/%d" % (args.clients, args.clients), entry
assert entry["oom_killed"] == "false" and 0 < entry["peak_rss_mib"] < 256, entry
if __name__ == "__main__":
+44
View File
@@ -0,0 +1,44 @@
# Собственные проверки ЛР4
Сначала запустите стенд по [REPORT.md](../REPORT.md). Все команды выполняются из корня репозитория. В Windows задайте `$env:PYTHONUTF8='1'`.
```sh
python -m unittest discover -s student-tests -p 'test_api.py' -v
python -m unittest discover -s student-tests -p 'test_idempotency.py' -v
python -m unittest discover -s student-tests -p 'test_attachments.py' -v
python -m unittest discover -s student-tests -p 'test_topology.py' -v
```
Это 38 тестов: API и аутентификация (12), идемпотентность между репликами (9), вложения и права доступа (11), топология (6).
Следующие 8 тестов временно останавливают зависимости или пересоздают API с настройками отказа/коротким TTL. Запускайте их последовательно на учебном стенде; данные и volumes сохраняются, настройки восстанавливаются после проверки.
```sh
python student-tests/test_s3_failures.py -v
python student-tests/test_expiry.py -v
python student-tests/test_dependencies.py -v
```
В проверке reconciler файл действительно прикреплён к сообщению: после очистки проверяются и файл, и ссылка сообщения. Свежий orphan проверяется с `--apply --grace 900`: он должен остаться; с `--grace 0` после завершения загрузок он удаляется.
Повторяемость bootstrap и ограниченные права ключа API:
```sh
docker compose --env-file .env run --rm -T s3-init
docker compose --env-file .env run --rm -T s3-init
```
Публичные проверки запускаются отдельно, без изменений: `make check`, `make validate`, `make test`, сценарии `tests/resilience.py` из отчёта. На Windows можно запустить соответствующие Python-команды из Makefile. После failover восстановите вторую реплику: `docker compose --env-file .env start api`.
## Эксперименты
Для исследовательских скриптов нужны `aiohttp` и `Pillow`: `python -m pip install -r research/requirements.txt`. Создайте каталог результата заранее. Эксперименты запускайте последовательно; `upload_memory.py` временно меняет число реплик и лимит параллельных загрузок, затем возвращает две реплики и лимит 4.
```sh
python research/upload_memory.py --clients 12 --out evidence
python research/reconcile_bench.py --total 3000 --out evidence
```
`reconcile_bench.py` создаёт синтетические данные, внедряет 20 orphan, 20 missing и 5 size mismatch, сравнивает dry-run/apply/повтор, проверяет SHA-256 и сохранность 200 вложений в 20 сообщениях. Начальный запуск `--apply --grace 0` убирает следы прежних экспериментов; скрипт предназначен для отдельного учебного стенда без посторонних загрузок.
Реальный повторный прогон: [checks_2026-11-11.txt](../evidence/checks_2026-11-11.txt), [результаты исследований](../evidence/recheck_2026-11-11/).
+3 -1
View File
@@ -56,7 +56,9 @@ class DependencyTest(unittest.TestCase):
actor = register("dep")
self.assertEqual(call("GET", "/api/v1/users/me", token=actor["token"])[0], 200) # токен в кэше
compose("stop", "postgres")
time.sleep(1)
# Wait past HAProxy's fall=2 health checks: cover the all-unready state,
# not just the short interval while the load balancer still routes normally.
time.sleep(5)
for method, path, body, token in (("GET", "/api/v1/users/me", None, actor["token"]),
("GET", "/api/v1/chats", None, actor["token"]),
("POST", "/api/v1/chats", {"title": "x", "member_ids": [actor["user"]["id"]]}, actor["token"]),
+10
View File
@@ -87,6 +87,9 @@ class S3FailureTest(unittest.TestCase):
def test_orphan_left_by_failed_compensation_is_found_and_cleaned_safely(self):
keeper = upload(self.a["token"], self.chat["id"], PNG)[2] # используемое вложение
path = "/api/v1/chats/%s/messages" % self.chat["id"]
sent = call("POST", path, {"text": "keeper", "attachment_ids": [keeper["id"]]}, self.a["token"])
self.assertEqual(sent[0], 201, sent[2])
recreate_api({"FAULT_INJECTION": "db_after_put,s3_delete_fails"})
r = upload(self.a["token"], self.chat["id"], PNG)
self.assertEqual(r[0], 500)
@@ -94,6 +97,9 @@ class S3FailureTest(unittest.TestCase):
fresh = reconcile("--grace", "900") # grace period: свежий объект не трогаем
self.assertGreaterEqual(fresh["orphans_skipped_fresh"], 1)
self.assertEqual(fresh["orphan_objects_count"], 0)
protected = reconcile("--grace", "900", "--apply")
self.assertGreaterEqual(protected["orphans_skipped_fresh"], 1)
self.assertEqual(protected["fixed"], {"deleted_orphans": 0, "marked_failed": 0})
dry = reconcile("--grace", "0") # dry-run находит, но не удаляет
self.assertGreaterEqual(dry["orphan_objects_count"], 1)
self.assertEqual(dry["fixed"], {"deleted_orphans": 0, "marked_failed": 0})
@@ -103,6 +109,10 @@ class S3FailureTest(unittest.TestCase):
self.assertEqual(reconcile("--grace", "0")["orphan_objects_count"], 0) # повторный запуск идемпотентен
self.assertEqual(download(self.a["token"], keeper["id"])[0], 200, "используемое вложение удалять нельзя")
messages = call("GET", path, token=self.a["token"])[2]["items"]
self.assertEqual(messages[0]["id"], sent[2]["id"])
self.assertEqual(messages[0]["attachment_ids"], [keeper["id"]])
def test_missing_object_is_reported_and_attachment_marked_failed(self):
att = upload(self.a["token"], self.chat["id"], PNG)[2]
key = psql("SELECT s3_key FROM attachments WHERE id = '%s'" % att["id"])