Files
mtusi2026lab4/REPORT.md
T
Alexey BodanyukandClaude Opus 5.5 85ca984ab8 lab4: доказательства из чистого clone, REPORT, текст PR
Прогон scripts/collect_evidence.py на свежем clone (f9f5ab9) + повтор своих тестов,
публичных проверок и замера стоимости после найденных им исправлений.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-25 15:55:03 +03:00

257 lines
45 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- Автор, группа: Боданюк Алексей, БВТ2302
- Целевая оценка: **5**, трек 2 «Согласованность двух хранилищ»
- Ветка: `solution/bvt2302-bodanyuk`. Форк: `https://gitea.privcloud.tech/wfa/mtusi2026lab4`. PR: «ЛР 4 — БВТ2302 — Боданюк — на 5» в mtusi2026/mtusi2026lab4
- Стек: Python 3.13.16, Starlette 1.7.0, uvicorn 0.54.0, psycopg 3.3.6 + psycopg-pool 3.3.3, redis-py 8.1.0, argon2-cffi 25.1.0, **aiobotocore 3.9.2** (S3), **libjpeg-turbo 2.1.5 `djpeg`** (проверка JPEG); PostgreSQL 18.6, Valkey 8.1.3, HAProxy 3.2.26, **SeaweedFS 4.46**. Все образы закреплены по тегу **и** digest, все Python-пакеты — по sha256 ([requirements.txt](requirements.txt)), Debian-пакет — по версии ([Dockerfile](Dockerfile))
- Источники: README, COURSE, контракт ([openapi.json](contracts/openapi.json), [семантика](contracts/README.md)), документация S3 (PutObject/Content-MD5, ListObjectsV2), SeaweedFS (`weed server`, s3.json identities), PNG (RFC 2083 / W3C PNG 3rd ed.: chunks, CRC, zlib, фильтры, Adam7), libjpeg-turbo (`djpeg -strict`, `-scale`, `-maxmemory`), HAProxy 3.2 (`nbsrv`, `use_backend`, `http-request set-timeout`), cgroup v2 (`memory.peak`, `memory.events`). Учтены все замечания преподавателя к PR lab4 других студентов ([раздел ниже](#проверки-на-которых-ловили-другие-работы))
- Помощь ИИ: код, тесты, скрипты экспериментов и черновик отчёта написаны с помощью ИИ-ассистента Claude Code (Anthropic). Все команды и замеры реально выполнены на стенде ниже; вывод — в [evidence/](evidence/). Ответы на вопросы защиты — [docs/DEFENSE.md](docs/DEFENSE.md), согласованность хранилищ — [docs/CONSISTENCY.md](docs/CONSISTENCY.md), запуск на Windows и сценарий защиты — [docs/WINDOWS.md](docs/WINDOWS.md)
## Запуск из чистого clone
Нужны Git, Docker с Compose v2 (проверено: Docker 29.8.0, Compose 5.5.1), Python 3.9+ и GNU make (на Windows — см. [WINDOWS.md](docs/WINDOWS.md)). Учётные данные в Git не хранятся, их создаёт скрипт.
```sh
git clone https://gitea.privcloud.tech/wfa/mtusi2026lab4 mtusi2026lab4 && cd mtusi2026lab4 && git checkout solution/bvt2302-bodanyuk
python3 scripts/init_secrets.py # пароли PostgreSQL/Valkey и ТРИ пары ключей S3 -> ./secrets (git-ignored), идемпотентно
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
# postgres, valkey, s3 healthy -> migrate (0001..0004) и s3-init (bucket + проверка прав) exit 0 -> api x2 healthy -> lb
docker compose logs s3-init # anonymous GET/LIST -> 403, права ключей api/reconciler -> OK
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make restore
make reconcile # трек 2: dry-run, read-only отчёт JSON
```
- **Windows:** публичным тестам нужен `PYTHONUTF8=1`; хуки — через `scripts/restart.cmd` и `scripts/stop-one.cmd` (тот же `.sh` в Git Bash).
- **Свои тесты:** `python3 -m venv .venv`, `pip install --require-hashes --no-deps -r requirements.txt`, `pip install -r requirements-test.txt`, затем `make student-test` (~25 мин, стенд должен быть поднят). Без стенда — `make unit-test`.
- **Все доказательства одной командой** (на чистом clone, ~70 мин): `python scripts/collect_evidence.py`.
- **Bootstrap S3** — одноразовый сервис `s3-init` (`python -m messenger.s3_bootstrap`), идемпотентный: существующий bucket не трогает, sentinel-объект перезаписывает, затем проверяет модель доступа и **валит стенд** (exit 1), если bucket не приватный или у ключей лишние права. Повтор: `docker compose run --rm s3-init`.
- **Остановка:** безопасно — `docker compose down` (volumes `pgdata`, `valkeydata`, `s3data` сохраняются). Намеренное удаление учебных данных — `docker compose down -v` и `rm -rf secrets`.
## Архитектура и решения
```text
клиент ──127.0.0.1:8080──> lb: HAProxy 3.2 ──edge──> api × 2 (Starlette, без состояния и без volume)
│ backend api: /health/ready (PG + Valkey + S3) │
│ backend api_core: /health/ready/core (PG + Valkey) — только если ├─data (internal)──> postgres 18.6: users, chats, messages, attachments (метаданные)
│ в api нет ни одного UP (S3 упал у всех) │ valkey 8.1.3: сессии
└ upload: timeout server 60 s └─storage (internal)─> s3: SeaweedFS 4.46, bucket messenger-attachments (байты)
migrate ──data──> 0001…0004 s3-init ──storage──> bucket, sentinel, проверка прав reconciler (по требованию) ──data+storage──> сверка
```
| Роль | Service | Образ | Health / readiness | Volume | Сеть / порт | Credentials | CPU / RAM |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Точка входа | `lb` | `haproxy:3.2.26-alpine@sha256:254e6370…` | `haproxy -c` + stats; бэкенды — активные проверки | — | edge; `127.0.0.1:8080`, `[::1]:8080`, `127.0.0.1:8404` | нет | 1.0 / 128m |
| API × 2 | `api` | `mtusi-messenger:lab4` из исходников | `/health/ready` (PG, Valkey, S3) | — | edge + data + storage, только `expose 8080` | `database_url`, `cache_url`, **своя** пара S3 (Read+Write bucket) | 1.0 / 512m, без swap |
| Миграции | `migrate` | тот же образ | exit 0 | — | data | `database_url` | 0.5 / 256m |
| Bootstrap S3 | `s3-init` | тот же образ | exit 0 | — | storage | admin + api + reconciler (для проверки прав) | 0.5 / 256m |
| БД | `postgres` | `postgres:18.6-bookworm@sha256:afc7e2d4…` | `pg_isready` | `pgdata` | data | `postgres_password` | 2.0 / 1g |
| Сессии | `valkey` | `valkey/valkey:8.1.3-bookworm@sha256:fea8b3e6…` | `valkey-cli ping` | `valkeydata` | data | `valkey_password` | 0.5 / 256m |
| Объекты | `s3` | `chrislusf/seaweedfs:4.46@sha256:08d51613…` | `GET /healthz` | `s3data` | storage, `8333` (S3 API) — не опубликован | identities из secrets ([start.sh](infra/seaweedfs/start.sh)) | 1.0 / 1g |
| Сверка (трек 2) | `reconciler` (профиль `tools`) | тот же образ | — | — | data + storage | `database_url`, пара S3 reconciler (+List) | 1.0 / 256m |
**Что перенесено из lab3** (отдельный коммит `d916d09`, без изменений): API, миграции 0001–0003, HAProxy без sticky с re-resolve DNS, общая идемпотентность, graceful shutdown, сессии в Valkey, все тесты lab3. **Что сделано в lab4:**
- **Выбор S3: SeaweedFS 4.46.** Репозитория `minio/minio` в Docker Hub больше нет (проверено при выборе), SeaweedFS активно развивается и поддерживает identity с правами на bucket. Один контейнер (`weed server`: master + volume + filer + S3 gateway). Web-интерфейсы master/filer/volume и их gRPC слушают **только 127.0.0.1 внутри контейнера** (`-ip.bind`), в сеть `storage` выходит лишь S3 API (8333/18333). Сеть internal, на хосте ничего не опубликовано. Телеметрия выключена, встроенный IAM API выключен, автосоздание bucket выключено.
- **Права.** Три пары ключей (`init_secrets.py`): `admin` (создание bucket) — только у `s3` и `s3-init`; `messenger-api` — `Read`+`Write` **на один bucket**, без `List` и `Admin`; `messenger-reconciler` — плюс `List`. Анонимной identity нет, поэтому bucket приватный. `s3-init` проверяет всё это при каждом запуске, включая канареечный bucket: API не видит его в ListBuckets и не может читать из него (403).
- **Модель данных** ([0004_attachments.sql](migrations/0004_attachments.sql), [DATA_MODEL.md](docs/DATA_MODEL.md)): `attachments` (метаданные; `object_key = o/<128 случайных бит>` назначает сервер; `status pending|ready`; карантин `lost_at/lost_reason`), `message_attachments` (FK + обратный поиск), `messages.attachment_ids uuid[]` (порядок, чтение истории остаётся одним index range scan). Отправка сообщения — SQL-функция `post_message_v2`, тоже одна транзакция.
- **Загрузка** ([attachments.py](src/messenger/attachments.py), [images.py](src/messenger/images.py)): `auth → членство (404) → filename / Content-Type / Content-Length (400/415/413) → слот загрузки → тело кусками с дедлайном → формат и пиксели по первым байтам → полная проверка → pending → PUT → ready → 201`. Подробно о порядке и сбоях — [CONSISTENCY.md](docs/CONSISTENCY.md).
- **Проверка содержимого.** PNG — свой потоковый валидатор: сигнатура, CRC **каждого** chunk, порядок chunk'ов, zlib-поток IDAT распаковывается порциями по 1 MiB и сразу выбрасывается, его длина должна быть ровно `height × (1 + байт в строке)` (Adam7 — по проходам), байт фильтра каждой строки ≤ 4, IEND в конце и ничего после него. Растр в памяти не создаётся. JPEG — `djpeg -strict -scale 1/8 -maxmemory`: эталонный декодер в отдельном процессе декодирует весь файл, любое предупреждение libjpeg — ошибка. Pillow для этого не годится: JPEG без данных после SOS он «успешно» декодирует в серую картинку (проверено). MIME определяется по байтам; несовпадение с `Content-Type` — 415.
- **Лимиты до чтения/декодирования.** `Content-Length > 10 MiB` → 413 без чтения тела; без длины (chunked) — 413 при пересечении лимита. Пиксели — из IHDR/SOFn по первым байтам: 20000×10000 → 413 через 33 байта, ничего не декодируется. Тело — один буфер ровно `Content-Length` байт (без копий до S3 и djpeg). Одновременно на реплику: `UPLOAD_CONCURRENCY=4` тела (остальные ждут ≤ 5 с с байтами в TCP-буфере, затем 503 + `Retry-After`), `IMAGE_VERIFY_CONCURRENCY=1` полная проверка. Дедлайны: тело 30 с, проверка 10 с, S3 3 с (+ время на объём), в HAProxy для загрузки `timeout server 60s`.
- **Скачивание** — только через API, без redirect: членство → `GET` объекта → стриминг кусками по 64 KiB (память не зависит от размера). Заголовки: настоящий `Content-Type`, `Content-Length`, `Content-Disposition: attachment` (ASCII-fallback + RFC 5987), `X-Content-Type-Options: nosniff`, `Cache-Control: private, no-store`, `ETag` = SHA-256.
- **Готовность и деградированный режим.** `/health/ready` включает S3 (загрузка и скачивание — обязательный синхронный путь): S3 недоступен → 503. S3 — общая зависимость, и если он упал у всех, HAProxy переключается на backend `api_core` (проверка `/health/ready/core`: PG + Valkey). Чаты и текст работают, запросы к вложениям API сам отвечает 503 за ≤ 3 с. Если S3 потеряла одна реплика, она DOWN в `api`, трафик идёт на другую.
- **Janitor** (в каждой реплике, раз в ~60 с, advisory-замок): `pending` старше `PENDING_GRACE_SECONDS=900` → под `FOR UPDATE SKIP LOCKED` удалить объект, затем строку.
- **Reconciler (трек 2)** — [reconcile.py](src/messenger/reconcile.py), раздел «Трек 2» ниже.
- **`FAULT_POINTS`** (`after_s3_put`, `after_ready_commit`) — внедрение отказа ровно между шагами записи, только для экспериментов. По умолчанию пусто; неизвестное значение — ошибка конфигурации.
Readiness-критичные зависимости: PostgreSQL, Valkey и S3. LB в деградированном режиме обходится без S3.
Соответствие `.env.example` реальной конфигурации ([config.py](src/messenger/config.py), [compose.yaml](compose.yaml)):
| Переменная | Значение | Где используется |
| --- | --- | --- |
| `APP_HOST`, `APP_PORT`, `APP_ENV`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `SESSION_STORE`, `CACHE_URL_FILE`, `API_REPLICAS`, `IDEMPOTENCY_TTL_SECONDS` | как в lab3 | без изменений |
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | `http://s3:8333`, `us-east-1`, `messenger-attachments` | клиент S3 API, s3-init, reconciler; bucket создаёт s3-init |
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | `/run/secrets/s3_access_key_id`, `…/s3_secret_access_key` | у API это **его** пара (secrets `s3_api_*` смонтированы под этими именами), у reconciler — его пара |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | `10485760`, `40000000` | лимиты контракта; можно уменьшить, увеличить нельзя (ConfigError) |
| `UPLOAD_CONCURRENCY`, `UPLOAD_QUEUE_TIMEOUT_SECONDS`, `UPLOAD_READ_TIMEOUT_SECONDS` | `4`, `5`, `30` | слоты загрузки на реплику, ожидание слота, дедлайн тела |
| `IMAGE_VERIFY_CONCURRENCY`, `IMAGE_VERIFY_TIMEOUT_SECONDS`, `JPEG_MAX_MEMORY_MB` | `1`, `10`, `256` | одновременные полные проверки, дедлайн проверки, `djpeg -maxmemory` |
| `S3_TIMEOUT_SECONDS` | `3` | дедлайн каждого вызова S3 (PUT — плюс время на объём) |
| `PENDING_GRACE_SECONDS`, `JANITOR_INTERVAL_SECONDS` | `900`, `60` | janitor незавершённых загрузок |
| `FAULT_POINTS` | пусто | внедрение отказов в экспериментах |
| `API_CPUS/MEMORY`, `S3_CPUS/MEMORY`, `PG_*`, `VALKEY_CPUS`, `LB_CPUS` | 1.0/512m, 1.0/1g, 2.0/1g, 0.5, 1.0 | лимиты контейнеров |
## Доказательства критериев
Стенд: Windows 10 22H2, AMD Ryzen 5 3400G (4 ядра / 8 потоков), 30 ГБ RAM, Docker Desktop 29.8.0 (WSL2), Python 3.14 на хосте, GNU make 4.4.1. Проверки выполнены 2026-10-25 **на стенде из чистого clone** (новая папка, `git clone`, пустые volumes, secrets созданы заново) одной командой `python scripts/collect_evidence.py`, коммит `f9f5ab9`. Этот прогон нашёл два дефекта (см. ниже). После исправления (коммиты `046e257`, `fc50362`, `6fb70de`) на том же стенде целиком повторены свои тесты, публичные `make test` / `test-persistence` / `test-failover` ×2 и замер стоимости обхода — [final-commit-public-checks.txt](evidence/final-commit-public-checks.txt).
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Чистый clone, secrets, миграции, bucket с нуля | `init_secrets.py`, `compose config --quiet`, `compose up -d --build --wait`, логи `migrate` и `s3-init` | 7 сервисов healthy / exit 0; `0001…0004: applied`; `bucket messenger-attachments: created`; образы по digest | [clean-clone.txt](evidence/clean-clone.txt) |
| Контракт | `make check`, `make validate` | PASS, PASS | [make-check-validate-test.txt](evidence/make-check-validate-test.txt) |
| **3:** публичный smoke (checksum, посторонний) | `make test` | `PASS: lab4 public API scenario` (и на финальном коммите) | там же, [final-commit-public-checks.txt](evidence/final-commit-public-checks.txt) |
| **3:** S3 в стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | `test_metadata_reveals_no_storage_details`, `test_original_is_not_stored_on_api_containers`, политика compose | строка `ready` + объект `o/<hex>` того же размера в bucket; в ФС реплик нет файла такого размера; у `api` нет volume | [student-tests.txt](evidence/student-tests.txt) |
| **3:** 201 ready, оригинал побайтно, сообщение с `attachment_ids` читают участники | `test_png_and_jpeg_roundtrip_byte_for_byte`, `test_message_with_attachments_and_history`, `scripts/demo_attachments.py` | PNG и JPEG: SHA-256 и размер совпадают; `text=""` + файл → 201; история возвращает `attachment_ids` по порядку | там же |
| **3:** реальные PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения и декодирования | `test_size_limit_through_the_load_balancer`, `test_exactly_40_megapixels_is_accepted`, `test_pixel_limit_before_decoding`, `test_bad_content_is_415` (16 случаев), `test_bad_filename_is_400` (14) | ровно 10 485 760 байт через LB → 201, +1 байт → 413 за < 5 с, chunked сверх лимита → 413; 8000×5000 → 201; 20000×10000 / 8001×5000 / JPEG 400 Мпикс → 413 за < 2 с | там же |
| **3:** upload → остановка обслужившей реплики → download через другую | `test_upload_survives_failover_of_the_serving_replica`, `make test-failover` ×2 | после SIGKILL обслужившей 5 скачиваний с другой реплики — те же байты; публичный тест для `api-1` и `api-2`: 131 / 132 записи, **0 неудачных**, оригинал на месте | [test-failover.txt](evidence/test-failover.txt) |
| **3:** restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.cmd` | PASS; новые PID и `StartedAt` у `lb`, `api-*`, `postgres`, `valkey`, **`s3`**; прежний токен, файл скачивается | [test-persistence.txt](evidence/test-persistence.txt) |
| **4:** тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, файл другого чата; ошибки пользователя не дают 500 | `test_attachments.py` (56 тестов) | 413 / 415 / 400 / 404 по контракту; `Api.call` проверяет у **каждого** ответа формат ошибки, `X-Request-Id`, `X-Instance-Id`, отсутствие stack trace | [student-tests.txt](evidence/student-tests.txt) |
| **4:** прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; grace period | `test_consistency.py` (4), [CONSISTENCY.md](docs/CONSISTENCY.md) | обрыв и зависание тела — ничего не записано; `after_s3_put` → `pending` + объект, janitor убирает оба (grace 3 с в тесте, 900 с в стенде); `after_ready_commit` → ничего не удалено, файл скачивается; свежий `pending` не тронут | там же |
| **4:** RAM одной загрузки ограничена; ≥ 10 одновременных загрузок с пиком памяти | `bench/upload_memory.py` (16 и 32 клиента) | см. «Эксперименты»: пик +81…113 МБ и при 16, и при 32 клиентах (4 слота), лимит 512 МБ, 0 OOM процесса API | [memory/summary.json](evidence/memory/summary.json) |
| **4:** bootstrap идемпотентен, отдельные ограниченные ключи S3, консоль закрыта, проверка приватности вне API | логи `s3-init` (при каждом `up`), `test_bucket_is_private_outside_the_api`, `test_compose_policy_…` | anonymous GET/LIST → 403; ключ API: Read/Write да, List/CreateBucket/чужой bucket — нет; ключ reconciler: List да; повторный bootstrap — `exists, kept as is`; порты 9333/8888/8080 SeaweedFS недоступны из сети | [clean-clone.txt](evidence/clean-clone.txt), [student-tests.txt](evidence/student-tests.txt) |
| **4:** отказ S3 | `test_s3_outage_is_503_and_text_keeps_working[stop/pause]` | readiness 503 на всех репликах (core 200), upload/download 503 за < 8 с, метаданные 200, **текст работает** (деградированный режим LB); после восстановления файл цел | там же |
| **5:** трек 2 | `test_reconcile.py` (6), `bench/reconcile_faults.py`, `bench/reconcile_cost.py` | см. раздел «Трек 2» | [evidence/reconcile/](evidence/reconcile/) |
| Перенесённое из lab3 | все тесты lab3 (балансировка, идемпотентность, отказы БД/Valkey, explain) | проходят без ослабления; адаптированы только списки сервисов и миграций | [student-tests.txt](evidence/student-tests.txt) |
| Публичный генератор нагрузки | `tests/load.py --duration 30 --concurrency 4` | 5416 успешных, 0 ошибок, 180 req/s, p50/p95/p99 = 18 / 49 / 64 мс | [load.json](evidence/load.json) |
| Свои тесты | `python -m pytest student-tests -v` | **316 passed, 4 skipped** (113 unit + 203 против стенда, 21 мин); skipped — 4 unit-теста djpeg на хосте без libjpeg-turbo, те же случаи проходят на стенде | [student-tests.txt](evidence/student-tests.txt) |
**Что нашёл прогон из чистого clone (`f9f5ab9`).** 314 из 316 тестов прошли, два упали:
1. `test_s3_outage_is_503_and_text_keeps_working[stop]`. После stop/start S3 первое скачивание получало 503: в пуле aiobotocore оставались keep-alive соединения к старому процессу, а повторов не было. Исправлено одной повторной попыткой в том же дедлайне — все операции идемпотентны по ключу ([storage.py](src/messenger/storage.py), `046e257`).
2. `test_restart_does_not_extend_ttl`. Рестарт Valkey и обеих реплик (readiness теперь ждёт и S3) длился дольше 12-секундного TTL теста. TTL теста увеличен до 30 с.
Ещё дефекты нашли замеры памяти до этого прогона:
- семафор загрузок отпускался сразу после чтения тела, а буфер жил до конца S3 PUT. При 32 клиентах пик рос до +214 МБ при 4 слотах. Теперь слот держится до конца загрузки (`277d06f`);
- djpeg, убитый OOM-killer'ом, давал 415 вместо 503 — исправлено;
- PNG-валидатор копировал остаток IDAT на каждом шаге (`unconsumed_tail`) — исправлено.
И одну ошибку reconciler нашёл замер стоимости на том же стенде: `--apply` **без** `--verify-checksums` видел совпадающий размер и снимал карантин `checksum_mismatch` как `restored_object`, хотя сумму в этом режиме проверить не может. Теперь такой карантин снимает только проход с проверкой сумм (`6fb70de`). Тест дополнен, 6/6 тестов reconciler и smoke повторены на этом коммите — [reconcile-fix-rerun.txt](evidence/reconcile-fix-rerun.txt). Первый прогон своих тестов с двумя падениями сохранён как есть: [student-tests-first-run-f9f5ab9.txt](evidence/student-tests-first-run-f9f5ab9.txt).
## Проверки, на которых ловили другие работы
Замечания преподавателя к PR lab4 (#1–#13) других студентов, проверенные на своём стенде:
| Замечание к чужим PR | У нас | Где проверено |
| --- | --- | --- |
| PNG с корректным IHDR и мусорным IDAT (86 байт), обрезанный PNG, первые 33 байта fixture, повреждение после первых 64 KiB → 201 | 415: CRC каждого chunk, zlib до точного размера, IEND обязателен | `test_bad_content_is_415[png:*]`, unit `test_broken_png_is_415` |
| JPEG без данных после SOS → 201 | 415: `djpeg -strict` (Pillow такой файл принимает — проверено) | `test_bad_content_is_415[jpeg: no scan data after SOS]` |
| PNG 6–10 MiB → 413 HTML от nginx | HAProxy не ограничивает тело; ровно 10 485 760 байт → 201 через LB | `test_size_limit_through_the_load_balancer` |
| 20000×10000 → 500 (`DecompressionBombError`) | 413 по IHDR, ничего не декодируется; 40 000 000 px принимается, 40 005 000 → 413 | `test_pixel_limit_before_decoding`, `test_exactly_40_megapixels_is_accepted` |
| `img.load()` до проверки размера (пик 252 МБ на файле 131 КБ) | размер берётся из заголовка до чтения остального тела; растр PNG не создаётся вовсе | unit `test_png_verification_is_streaming_and_fast` (40 Мпикс < 5 с) |
| API получает admin-ключи MinIO и создаёт bucket | у API своя пара: CreateBucket → AccessDenied (проверяет `s3-init`) | [clean-clone.txt](evidence/clean-clone.txt), `test_compose_policy_…` |
| S3 остановлен: readiness 200 / 500 за 9 с, upload 500 / 504 | readiness 503, upload 503 за < 8 с (S3 3 с), без 500 | `test_s3_outage_…[stop/pause]` |
| filename с C1 (U+0085) или из пробелов `%20%20%20` → 201 | 400; также `/`, `\`, NUL, TAB, U+2028, bidi U+202E, `.`, `..`, невалидный UTF-8, повтор параметра | `test_bad_filename_is_400` (14) |
| `{"attachment_ids":[A]}`, `{"text":null,…}`, `{"text":"x","attachment_ids":null}` → 201 | 400 | `test_message_body_validation` (12) |
| COMMIT прошёл, ответ потерян → API удаляет объект, остаётся `ready` без байтов | в обработчике компенсации нет; janitor трогает только `pending` | `test_lost_answer_after_commit_never_deletes_the_object` |
| dry-run продолжает частичное удаление | dry-run read-only на уровне БД (`default_transaction_read_only`) и S3-обёртки; промежуточного состояния «deleting» нет | `test_detect_and_safely_fix_faults_on_both_sides` (отпечатки до/после) |
| тело накапливается целиком, рост RAM «не доказывает потоковость» | буфер ровно `Content-Length`, число буферов ограничено слотами; замер 16 и 32 клиентов | [memory/summary.json](evidence/memory/summary.json) |
| тест шлёт POST в чужой чат без `Idempotency-Key`; гонка считает 5xx конфликтом | все POST сообщений в своих тестах — с ключом; `Api.call` требует точный ожидаемый код | [conftest.py](student-tests/conftest.py) |
## Эксперименты и отказы
### Уровень 4: память при ≥ 10 одновременных загрузках
**Гипотеза:** память реплики ограничена `UPLOAD_CONCURRENCY × MAX_UPLOAD_BYTES` плюс одна полная проверка (`IMAGE_VERIFY_CONCURRENCY`) и не зависит от числа клиентов.
**Методика** ([bench/upload_memory.py](bench/upload_memory.py)):
- перед каждым сценарием реплики api пересоздаются: cgroup `memory.peak` начинается с простоя;
- N клиентов стартуют одновременно (barrier) через LB, у каждого свой файл;
- `memory.current` каждой реплики снимается каждые 50 мс внутри контейнера; затем читаются `memory.peak` (все процессы контейнера, включая djpeg), `VmHWM` процесса Python и `memory.events` (OOM-kill) всех контейнеров.
Лимит api: 1 CPU, 512 МБ, swap выключен (`memswap_limit`). Файлы: PNG 9,42 МБ из шума (не сжимается), JPEG 8000×5000 progressive 4:4:4 (0,6 МБ, самый дорогой для декодера: ~240 МБ буферов коэффициентов). Один прогон на сценарий, коммит `f9f5ab9`, сырые данные — [summary.json](evidence/memory/summary.json).
| Сценарий | Ответы | Пик реплик − простой (≈ 75 МБ) | Python VmHWM | OOM-kill |
| --- | --- | --- | --- | --- |
| PNG ×16, 4 слота (по умолчанию) | 16 × 201, p50 3,6 с | +81 / +89 МБ | 153 МБ | 0 |
| PNG ×**32**, 4 слота | 25 × 201, 7 × 503 «слишком много загрузок» (+Retry-After) | +80 / +113 МБ — **как при 16** | 144 / 181 МБ | 0 |
| PNG ×32, **16 слотов** | 24 × 201, 8 × 503 «хранилище недоступно» | +209 / +193 МБ | 286 / 267 МБ | 0 |
| JPEG 40 Мпикс ×16, verify=1 (по умолчанию) | 16 × 201 | +242 / +242 МБ (djpeg) | 108 МБ | 0 |
| JPEG 40 Мпикс ×16, **verify=4** | 2 × 201, 14 × 503 «не хватило ресурсов» | 512 / 512 МБ (лимит) | 111 / 92 МБ | 6 / 7 (djpeg) |
**Выводы:**
- Удвоение числа клиентов при тех же 4 слотах пик не меняет; лишние клиенты быстро получают 503 с `Retry-After`, а их байты ждут в TCP-буферах, а не в процессе.
- Повышение границы до 16 слотов поднимает пик в 2–2,5 раза и упирается уже в S3: SeaweedFS ограничивает одновременные загрузки, PUT не укладывается в дедлайн, клиент получает 503. Значит, 4 слота — разумная граница при 1 CPU.
- Полная проверка JPEG — самая дорогая часть. При одной проверке за раз пик +242 МБ укладывается в 512 МБ. При четырёх cgroup убивает djpeg; API это переживает, отвечает 503 (а не 415 — исправлено после первого замера) и не теряет ни процесс, ни другие запросы.
- S3 (SeaweedFS, лимит 1 ГБ, `GOMEMLIMIT=600MiB`): anon-память 386–412 МБ; `memory.current` до 1 ГБ — это page cache записанных томов.
**Ограничения.** Один хост и один прогон на сценарий (разброс между прогонами в моих повторах — до ±25 МБ). Клиенты на том же хосте. Python не возвращает освобождённую память ОС мгновенно, поэтому VmHWM — верхняя оценка.
### Отказы
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
| --- | --- | --- | --- |
| `docker compose stop s3` | readiness 503, вложения 503, текст работает | так и есть, загрузка 503 за < 8 с; HAProxy на `api_core` | сразу после старта S3 (с повтором соединения); потерь нет |
| `docker compose pause s3` | то же, ответ по дедлайну, а не зависание | 503 за ≤ 3 с + запас; readiness 503 | после unpause; потерь нет |
| сбой между PUT и COMMIT (`FAULT_POINTS=after_s3_put`) | 503, `pending` + объект, уборка после grace | так и есть, janitor убрал за ≤ 30 с при grace 3 с | мусор убран, `ready`-данные не затронуты |
| потерян ответ после COMMIT (`after_ready_commit`) | 503, но файл цел | `ready`, объект на месте, скачивается | ничего не удалено |
| клиент оборвал тело / застрял на середине | ничего не записано / 400 по дедлайну | 0 строк, 0 объектов; 400 с `X-Instance-Id` | — |
| SIGKILL реплики, обслужившей загрузку | другая реплика отдаёт файл | 5/5 скачиваний, те же байты | — |
| stop одной реплики (публичный тест) ×2 | ≤ 10 с, без потерь и дублей | 0 неудачных записей, ~6 с до первой записи после хука (время самого `docker stop` с drain) | — |
| restart всего стенда с volumes | данные, сессия и оригинал на месте | PASS, все 6 долгоживущих контейнеров с новым PID | — |
## Трек 2: согласованность двух хранилищ
**Гипотеза.** Один повторяемый проход, который merge-join'ит упорядоченный листинг S3 и keyset-страницы `attachments` по `object_key`, находит все расхождения обеих сторон. Он безопасно исправляет их (dry-run ничего не меняет; свежие и используемые вложения не удаляются; повторный запуск идемпотентен), а стоит O(N) по запросам и O(1) по памяти. Устройство и правила — [CONSISTENCY.md](docs/CONSISTENCY.md), код — [reconcile.py](src/messenger/reconcile.py).
**Методика.** Ошибки внедряются напрямую в хранилища: в S3 — изнутри сети `storage` ключами API/reconciler, в PostgreSQL — через psql. Затем запускается reconciler, сохраняется каждый JSON-отчёт. Повторяется тестом ([test_reconcile.py](student-tests/test_reconcile.py), 6 тестов) и сценарием с сохранением отчётов ([bench/reconcile_faults.py](bench/reconcile_faults.py) → [evidence/reconcile/](evidence/reconcile/)). `--grace 30 --allow-small-grace`, чтобы «старое» и «свежее» различались за секунды.
**Результаты, сценарий A** (все виды ошибок; [faults-summary.json](evidence/reconcile/faults-summary.json)):
| Внедрено | dry-run | `--apply` | повторный `--apply` | состояние после |
| --- | --- | --- | --- | --- |
| старый объект без строки | `orphan_object`, planned | удалён | — | объекта нет |
| `pending` старше grace с объектом / без | `stale_intent` ×2 | удалены (объект, затем строка) | — | нет ни строк, ни объекта |
| объект удалён под **используемым** `ready` (C) | `missing_object`, used | карантин `missing_object` | — | строка и ссылка из сообщения целы; content 404; прикрепить — 409 |
| объект обрезан под неиспользуемым `ready` (D) | `size_mismatch` | карантин | — | content 404 |
| тот же размер, другие байты (F, только `--verify-checksums`) | `checksum_mismatch` | карантин | — | content 404 |
| ложный карантин у здорового объекта (E) | `restored_object` | карантин снят | — | content 200 |
| свежий объект без строки, свежий `pending` (загрузка в процессе) | `fresh_*`, not_actionable | **не тронуты** | удалены, когда стали старше grace | — |
| здоровые A (используется), B | нет находок | не тронуты | — | content 200 |
| объект C возвращён «из бэкапа» | — | — | `restored_object` → карантин снят | content 200, те же байты |
- Dry-run: отпечаток всех строк `attachments` и список ключей bucket до и после совпали (`dry_run_changed_nothing: true`).
- Повторный `--apply`: 0 действий по исправленным ключам.
**Сценарий B — прерванный `--apply`.** 2000 старых сирот; S3 ставится на паузу во время удаления:
- прерванный проход: exit 1, `store_unavailable`, успел удалить 440;
- после unpause осталось 1560;
- повторный запуск: exit 0, удалено 1562 (1560 этих + 2 сироты, оставшиеся от тестов);
- третий запуск: 0 запланированных действий;
- [interrupted-*.json](evidence/reconcile/).
Ни одна `ready`-строка за весь эксперимент не удалена.
**Тесты безопасности:**
- `test_safety_valve_refuses_mass_deletion`: при `--max-orphan-fraction` ниже доли сирот выход 3, ничего не удалено;
- `test_store_outage_stops_the_run_without_damage[s3/postgres]`: выход 1 с JSON-отчётом;
- `test_live_uploads_are_never_hurt_by_concurrent_apply`: 40 загрузок + сообщений идут параллельно с повторяющимся `--apply --grace 8`. Все 40 вложений `ready`, без карантина, байты на месте.
**Стоимость обхода** ([cost.json](evidence/reconcile/cost.json)) — синтетические согласованные вложения по 1 КиБ, dry-run, медиана 3 запусков, reconciler 1 CPU / 256 МБ:
| Синтетических вложений (всего объектов в bucket) | Режим | Длительность, медиана из 3 | Запросы листинга S3 | Страницы БД | Прочитано байтов |
| --- | --- | --- | --- | --- | --- |
| 1 000 (1 285) | dry-run, страница 1000 | 0,30 с | 2 | 2 | 0 |
| 10 000 (10 285) | dry-run, страница 1000 | 1,67 с | 11 | 11 | 0 |
| 10 000 (10 285) | dry-run, страница 100 | 2,28 с (+37 %) | 103 | 103 | 0 |
| 10 000 (10 285) | dry-run, `--verify-checksums` | 48,4 с | 11 | 11 | 694 МБ (≈ 14 МБ/с) |
| 50 000 (50 285) | dry-run, страница 1000 | 8,4 с | 51 | 51 | 0 |
Время растёт линейно: ≈ 0,17 мс на объект, ≈ 6 000 объектов/с при 1 CPU. Число запросов ровно ⌈N/страница⌉ с каждой стороны. Страница 100 даёт в 10 раз больше запросов и +37 % времени, поэтому по умолчанию страница 1000 — максимум ListObjectsV2. Проверка сумм стоит O(объёма): 694 МБ — это в основном 10-мегабайтные файлы предыдущих тестов на стенде, а не 1-килобайтная синтетика. Поэтому `--verify-checksums` — режим для редкого (например, ночного) прогона, а сверка по листингу — для частого. Память reconciler от N не зависит (лимит 256 МБ, страница хранится одна).
**Ограничения трека:**
- Время берётся из часов БД (строки) и хоста (LastModified объектов). Поэтому grace должен быть много больше расхождения часов; при одном хосте это выполняется.
- Без `--verify-checksums` порча с тем же размером не видна; проверка сумм читает все байты и стоит O(общего объёма).
- Reconciler не знает, «правильный» ли объект вернули из бэкапа: он проверяет размер и SHA-256 по метаданным, а значит, восстановить можно только тот же оригинал.
- Карантин — решение для оператора, не автоматическое восстановление: байты потеряны.
- Листинг S3 и чтение БД — не единый снимок. Гонки закрывают grace и перепроверка под `FOR UPDATE`, а не изоляция.
## Ограничения и следующие шаги
- **Один Docker-хост, один экземпляр SeaweedFS** без репликации (`000`): отказ диска хоста теряет и БД, и bucket. Бэкап `s3data` и `pgdata` должен быть согласованным по времени; reconciler найдёт расхождение после восстановления, но байты не вернёт.
- **SeaweedFS 4.46**: S3 gRPC-порт 18333 слушает сеть `storage` вместе с 8333 (отдельного bind для него нет); сеть internal, в ней только api, s3-init и reconciler. KEK для SSE-S3 не задан: шифрования «на диске» нет (в lab4 не требуется, вопрос lab7).
- **HTTP внутри стенда**: Basic и ключи S3 идут без TLS — допустимо для локального стенда с синтетикой, TLS/mTLS — lab7.
- **Тело загрузки в памяти** (ограниченно): потоковой передачи в S3 через multipart нет. Причина — полная проверка изображения до записи требует весь файл. Граница — слоты; lab5 перенесёт обработку в staging + worker.
- **Повторная загрузка того же файла** создаёт новое вложение (контракт это разрешает); дедупликации по SHA-256 нет.
- **Проверка JPEG** принимает файлы, которые libjpeg декодирует без единого предупреждения. Редкие реальные файлы с «extraneous bytes» от кривых кодеков получат 415 — сознательная строгость.
- **Janitor** работает в репликах API (одна за раз, advisory-замок); при большой доле мусора его стоило бы вынести в отдельный сервис, как reconciler.
- **Замеры** — один хост и по одному прогону на сценарий памяти; выводы сделаны по крупным, повторяющимся различиям, а не по процентам.