forked from mtusi2026/mtusi2026lab4
Прогон scripts/collect_evidence.py на свежем clone (f9f5ab9) + повтор своих тестов,
публичных проверок и замера стоимости после найденных им исправлений.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
257 lines
45 KiB
Markdown
257 lines
45 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- Автор, группа: Боданюк Алексей, БВТ2302
|
||
- Целевая оценка: **5**, трек 2 «Согласованность двух хранилищ»
|
||
- Ветка: `solution/bvt2302-bodanyuk`. Форк: `https://gitea.privcloud.tech/wfa/mtusi2026lab4`. PR: «ЛР 4 — БВТ2302 — Боданюк — на 5» в mtusi2026/mtusi2026lab4
|
||
- Стек: Python 3.13.16, Starlette 1.7.0, uvicorn 0.54.0, psycopg 3.3.6 + psycopg-pool 3.3.3, redis-py 8.1.0, argon2-cffi 25.1.0, **aiobotocore 3.9.2** (S3), **libjpeg-turbo 2.1.5 `djpeg`** (проверка JPEG); PostgreSQL 18.6, Valkey 8.1.3, HAProxy 3.2.26, **SeaweedFS 4.46**. Все образы закреплены по тегу **и** digest, все Python-пакеты — по sha256 ([requirements.txt](requirements.txt)), Debian-пакет — по версии ([Dockerfile](Dockerfile))
|
||
- Источники: README, COURSE, контракт ([openapi.json](contracts/openapi.json), [семантика](contracts/README.md)), документация S3 (PutObject/Content-MD5, ListObjectsV2), SeaweedFS (`weed server`, s3.json identities), PNG (RFC 2083 / W3C PNG 3rd ed.: chunks, CRC, zlib, фильтры, Adam7), libjpeg-turbo (`djpeg -strict`, `-scale`, `-maxmemory`), HAProxy 3.2 (`nbsrv`, `use_backend`, `http-request set-timeout`), cgroup v2 (`memory.peak`, `memory.events`). Учтены все замечания преподавателя к PR lab4 других студентов ([раздел ниже](#проверки-на-которых-ловили-другие-работы))
|
||
- Помощь ИИ: код, тесты, скрипты экспериментов и черновик отчёта написаны с помощью ИИ-ассистента Claude Code (Anthropic). Все команды и замеры реально выполнены на стенде ниже; вывод — в [evidence/](evidence/). Ответы на вопросы защиты — [docs/DEFENSE.md](docs/DEFENSE.md), согласованность хранилищ — [docs/CONSISTENCY.md](docs/CONSISTENCY.md), запуск на Windows и сценарий защиты — [docs/WINDOWS.md](docs/WINDOWS.md)
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Нужны Git, Docker с Compose v2 (проверено: Docker 29.8.0, Compose 5.5.1), Python 3.9+ и GNU make (на Windows — см. [WINDOWS.md](docs/WINDOWS.md)). Учётные данные в Git не хранятся, их создаёт скрипт.
|
||
|
||
```sh
|
||
git clone https://gitea.privcloud.tech/wfa/mtusi2026lab4 mtusi2026lab4 && cd mtusi2026lab4 && git checkout solution/bvt2302-bodanyuk
|
||
python3 scripts/init_secrets.py # пароли PostgreSQL/Valkey и ТРИ пары ключей S3 -> ./secrets (git-ignored), идемпотентно
|
||
cp .env.example .env
|
||
docker compose --env-file .env config --quiet
|
||
docker compose --env-file .env up -d --build --wait
|
||
# postgres, valkey, s3 healthy -> migrate (0001..0004) и s3-init (bucket + проверка прав) exit 0 -> api x2 healthy -> lb
|
||
docker compose logs s3-init # anonymous GET/LIST -> 403, права ключей api/reconciler -> OK
|
||
make check && make test
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make restore
|
||
make reconcile # трек 2: dry-run, read-only отчёт JSON
|
||
```
|
||
|
||
- **Windows:** публичным тестам нужен `PYTHONUTF8=1`; хуки — через `scripts/restart.cmd` и `scripts/stop-one.cmd` (тот же `.sh` в Git Bash).
|
||
- **Свои тесты:** `python3 -m venv .venv`, `pip install --require-hashes --no-deps -r requirements.txt`, `pip install -r requirements-test.txt`, затем `make student-test` (~25 мин, стенд должен быть поднят). Без стенда — `make unit-test`.
|
||
- **Все доказательства одной командой** (на чистом clone, ~70 мин): `python scripts/collect_evidence.py`.
|
||
- **Bootstrap S3** — одноразовый сервис `s3-init` (`python -m messenger.s3_bootstrap`), идемпотентный: существующий bucket не трогает, sentinel-объект перезаписывает, затем проверяет модель доступа и **валит стенд** (exit 1), если bucket не приватный или у ключей лишние права. Повтор: `docker compose run --rm s3-init`.
|
||
- **Остановка:** безопасно — `docker compose down` (volumes `pgdata`, `valkeydata`, `s3data` сохраняются). Намеренное удаление учебных данных — `docker compose down -v` и `rm -rf secrets`.
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
клиент ──127.0.0.1:8080──> lb: HAProxy 3.2 ──edge──> api × 2 (Starlette, без состояния и без volume)
|
||
│ backend api: /health/ready (PG + Valkey + S3) │
|
||
│ backend api_core: /health/ready/core (PG + Valkey) — только если ├─data (internal)──> postgres 18.6: users, chats, messages, attachments (метаданные)
|
||
│ в api нет ни одного UP (S3 упал у всех) │ valkey 8.1.3: сессии
|
||
└ upload: timeout server 60 s └─storage (internal)─> s3: SeaweedFS 4.46, bucket messenger-attachments (байты)
|
||
migrate ──data──> 0001…0004 s3-init ──storage──> bucket, sentinel, проверка прав reconciler (по требованию) ──data+storage──> сверка
|
||
```
|
||
|
||
| Роль | Service | Образ | Health / readiness | Volume | Сеть / порт | Credentials | CPU / RAM |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| Точка входа | `lb` | `haproxy:3.2.26-alpine@sha256:254e6370…` | `haproxy -c` + stats; бэкенды — активные проверки | — | edge; `127.0.0.1:8080`, `[::1]:8080`, `127.0.0.1:8404` | нет | 1.0 / 128m |
|
||
| API × 2 | `api` | `mtusi-messenger:lab4` из исходников | `/health/ready` (PG, Valkey, S3) | — | edge + data + storage, только `expose 8080` | `database_url`, `cache_url`, **своя** пара S3 (Read+Write bucket) | 1.0 / 512m, без swap |
|
||
| Миграции | `migrate` | тот же образ | exit 0 | — | data | `database_url` | 0.5 / 256m |
|
||
| Bootstrap S3 | `s3-init` | тот же образ | exit 0 | — | storage | admin + api + reconciler (для проверки прав) | 0.5 / 256m |
|
||
| БД | `postgres` | `postgres:18.6-bookworm@sha256:afc7e2d4…` | `pg_isready` | `pgdata` | data | `postgres_password` | 2.0 / 1g |
|
||
| Сессии | `valkey` | `valkey/valkey:8.1.3-bookworm@sha256:fea8b3e6…` | `valkey-cli ping` | `valkeydata` | data | `valkey_password` | 0.5 / 256m |
|
||
| Объекты | `s3` | `chrislusf/seaweedfs:4.46@sha256:08d51613…` | `GET /healthz` | `s3data` | storage, `8333` (S3 API) — не опубликован | identities из secrets ([start.sh](infra/seaweedfs/start.sh)) | 1.0 / 1g |
|
||
| Сверка (трек 2) | `reconciler` (профиль `tools`) | тот же образ | — | — | data + storage | `database_url`, пара S3 reconciler (+List) | 1.0 / 256m |
|
||
|
||
**Что перенесено из lab3** (отдельный коммит `d916d09`, без изменений): API, миграции 0001–0003, HAProxy без sticky с re-resolve DNS, общая идемпотентность, graceful shutdown, сессии в Valkey, все тесты lab3. **Что сделано в lab4:**
|
||
|
||
- **Выбор S3: SeaweedFS 4.46.** Репозитория `minio/minio` в Docker Hub больше нет (проверено при выборе), SeaweedFS активно развивается и поддерживает identity с правами на bucket. Один контейнер (`weed server`: master + volume + filer + S3 gateway). Web-интерфейсы master/filer/volume и их gRPC слушают **только 127.0.0.1 внутри контейнера** (`-ip.bind`), в сеть `storage` выходит лишь S3 API (8333/18333). Сеть internal, на хосте ничего не опубликовано. Телеметрия выключена, встроенный IAM API выключен, автосоздание bucket выключено.
|
||
- **Права.** Три пары ключей (`init_secrets.py`): `admin` (создание bucket) — только у `s3` и `s3-init`; `messenger-api` — `Read`+`Write` **на один bucket**, без `List` и `Admin`; `messenger-reconciler` — плюс `List`. Анонимной identity нет, поэтому bucket приватный. `s3-init` проверяет всё это при каждом запуске, включая канареечный bucket: API не видит его в ListBuckets и не может читать из него (403).
|
||
- **Модель данных** ([0004_attachments.sql](migrations/0004_attachments.sql), [DATA_MODEL.md](docs/DATA_MODEL.md)): `attachments` (метаданные; `object_key = o/<128 случайных бит>` назначает сервер; `status pending|ready`; карантин `lost_at/lost_reason`), `message_attachments` (FK + обратный поиск), `messages.attachment_ids uuid[]` (порядок, чтение истории остаётся одним index range scan). Отправка сообщения — SQL-функция `post_message_v2`, тоже одна транзакция.
|
||
- **Загрузка** ([attachments.py](src/messenger/attachments.py), [images.py](src/messenger/images.py)): `auth → членство (404) → filename / Content-Type / Content-Length (400/415/413) → слот загрузки → тело кусками с дедлайном → формат и пиксели по первым байтам → полная проверка → pending → PUT → ready → 201`. Подробно о порядке и сбоях — [CONSISTENCY.md](docs/CONSISTENCY.md).
|
||
- **Проверка содержимого.** PNG — свой потоковый валидатор: сигнатура, CRC **каждого** chunk, порядок chunk'ов, zlib-поток IDAT распаковывается порциями по 1 MiB и сразу выбрасывается, его длина должна быть ровно `height × (1 + байт в строке)` (Adam7 — по проходам), байт фильтра каждой строки ≤ 4, IEND в конце и ничего после него. Растр в памяти не создаётся. JPEG — `djpeg -strict -scale 1/8 -maxmemory`: эталонный декодер в отдельном процессе декодирует весь файл, любое предупреждение libjpeg — ошибка. Pillow для этого не годится: JPEG без данных после SOS он «успешно» декодирует в серую картинку (проверено). MIME определяется по байтам; несовпадение с `Content-Type` — 415.
|
||
- **Лимиты до чтения/декодирования.** `Content-Length > 10 MiB` → 413 без чтения тела; без длины (chunked) — 413 при пересечении лимита. Пиксели — из IHDR/SOFn по первым байтам: 20000×10000 → 413 через 33 байта, ничего не декодируется. Тело — один буфер ровно `Content-Length` байт (без копий до S3 и djpeg). Одновременно на реплику: `UPLOAD_CONCURRENCY=4` тела (остальные ждут ≤ 5 с с байтами в TCP-буфере, затем 503 + `Retry-After`), `IMAGE_VERIFY_CONCURRENCY=1` полная проверка. Дедлайны: тело 30 с, проверка 10 с, S3 3 с (+ время на объём), в HAProxy для загрузки `timeout server 60s`.
|
||
- **Скачивание** — только через API, без redirect: членство → `GET` объекта → стриминг кусками по 64 KiB (память не зависит от размера). Заголовки: настоящий `Content-Type`, `Content-Length`, `Content-Disposition: attachment` (ASCII-fallback + RFC 5987), `X-Content-Type-Options: nosniff`, `Cache-Control: private, no-store`, `ETag` = SHA-256.
|
||
- **Готовность и деградированный режим.** `/health/ready` включает S3 (загрузка и скачивание — обязательный синхронный путь): S3 недоступен → 503. S3 — общая зависимость, и если он упал у всех, HAProxy переключается на backend `api_core` (проверка `/health/ready/core`: PG + Valkey). Чаты и текст работают, запросы к вложениям API сам отвечает 503 за ≤ 3 с. Если S3 потеряла одна реплика, она DOWN в `api`, трафик идёт на другую.
|
||
- **Janitor** (в каждой реплике, раз в ~60 с, advisory-замок): `pending` старше `PENDING_GRACE_SECONDS=900` → под `FOR UPDATE SKIP LOCKED` удалить объект, затем строку.
|
||
- **Reconciler (трек 2)** — [reconcile.py](src/messenger/reconcile.py), раздел «Трек 2» ниже.
|
||
- **`FAULT_POINTS`** (`after_s3_put`, `after_ready_commit`) — внедрение отказа ровно между шагами записи, только для экспериментов. По умолчанию пусто; неизвестное значение — ошибка конфигурации.
|
||
|
||
Readiness-критичные зависимости: PostgreSQL, Valkey и S3. LB в деградированном режиме обходится без S3.
|
||
|
||
Соответствие `.env.example` реальной конфигурации ([config.py](src/messenger/config.py), [compose.yaml](compose.yaml)):
|
||
|
||
| Переменная | Значение | Где используется |
|
||
| --- | --- | --- |
|
||
| `APP_HOST`, `APP_PORT`, `APP_ENV`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `SESSION_STORE`, `CACHE_URL_FILE`, `API_REPLICAS`, `IDEMPOTENCY_TTL_SECONDS` | как в lab3 | без изменений |
|
||
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | `http://s3:8333`, `us-east-1`, `messenger-attachments` | клиент S3 API, s3-init, reconciler; bucket создаёт s3-init |
|
||
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | `/run/secrets/s3_access_key_id`, `…/s3_secret_access_key` | у API это **его** пара (secrets `s3_api_*` смонтированы под этими именами), у reconciler — его пара |
|
||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | `10485760`, `40000000` | лимиты контракта; можно уменьшить, увеличить нельзя (ConfigError) |
|
||
| `UPLOAD_CONCURRENCY`, `UPLOAD_QUEUE_TIMEOUT_SECONDS`, `UPLOAD_READ_TIMEOUT_SECONDS` | `4`, `5`, `30` | слоты загрузки на реплику, ожидание слота, дедлайн тела |
|
||
| `IMAGE_VERIFY_CONCURRENCY`, `IMAGE_VERIFY_TIMEOUT_SECONDS`, `JPEG_MAX_MEMORY_MB` | `1`, `10`, `256` | одновременные полные проверки, дедлайн проверки, `djpeg -maxmemory` |
|
||
| `S3_TIMEOUT_SECONDS` | `3` | дедлайн каждого вызова S3 (PUT — плюс время на объём) |
|
||
| `PENDING_GRACE_SECONDS`, `JANITOR_INTERVAL_SECONDS` | `900`, `60` | janitor незавершённых загрузок |
|
||
| `FAULT_POINTS` | пусто | внедрение отказов в экспериментах |
|
||
| `API_CPUS/MEMORY`, `S3_CPUS/MEMORY`, `PG_*`, `VALKEY_CPUS`, `LB_CPUS` | 1.0/512m, 1.0/1g, 2.0/1g, 0.5, 1.0 | лимиты контейнеров |
|
||
|
||
## Доказательства критериев
|
||
|
||
Стенд: Windows 10 22H2, AMD Ryzen 5 3400G (4 ядра / 8 потоков), 30 ГБ RAM, Docker Desktop 29.8.0 (WSL2), Python 3.14 на хосте, GNU make 4.4.1. Проверки выполнены 2026-10-25 **на стенде из чистого clone** (новая папка, `git clone`, пустые volumes, secrets созданы заново) одной командой `python scripts/collect_evidence.py`, коммит `f9f5ab9`. Этот прогон нашёл два дефекта (см. ниже). После исправления (коммиты `046e257`, `fc50362`, `6fb70de`) на том же стенде целиком повторены свои тесты, публичные `make test` / `test-persistence` / `test-failover` ×2 и замер стоимости обхода — [final-commit-public-checks.txt](evidence/final-commit-public-checks.txt).
|
||
|
||
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
|
||
| --- | --- | --- | --- |
|
||
| Чистый clone, secrets, миграции, bucket с нуля | `init_secrets.py`, `compose config --quiet`, `compose up -d --build --wait`, логи `migrate` и `s3-init` | 7 сервисов healthy / exit 0; `0001…0004: applied`; `bucket messenger-attachments: created`; образы по digest | [clean-clone.txt](evidence/clean-clone.txt) |
|
||
| Контракт | `make check`, `make validate` | PASS, PASS | [make-check-validate-test.txt](evidence/make-check-validate-test.txt) |
|
||
| **3:** публичный smoke (checksum, посторонний) | `make test` | `PASS: lab4 public API scenario` (и на финальном коммите) | там же, [final-commit-public-checks.txt](evidence/final-commit-public-checks.txt) |
|
||
| **3:** S3 в стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | `test_metadata_reveals_no_storage_details`, `test_original_is_not_stored_on_api_containers`, политика compose | строка `ready` + объект `o/<hex>` того же размера в bucket; в ФС реплик нет файла такого размера; у `api` нет volume | [student-tests.txt](evidence/student-tests.txt) |
|
||
| **3:** 201 ready, оригинал побайтно, сообщение с `attachment_ids` читают участники | `test_png_and_jpeg_roundtrip_byte_for_byte`, `test_message_with_attachments_and_history`, `scripts/demo_attachments.py` | PNG и JPEG: SHA-256 и размер совпадают; `text=""` + файл → 201; история возвращает `attachment_ids` по порядку | там же |
|
||
| **3:** реальные PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения и декодирования | `test_size_limit_through_the_load_balancer`, `test_exactly_40_megapixels_is_accepted`, `test_pixel_limit_before_decoding`, `test_bad_content_is_415` (16 случаев), `test_bad_filename_is_400` (14) | ровно 10 485 760 байт через LB → 201, +1 байт → 413 за < 5 с, chunked сверх лимита → 413; 8000×5000 → 201; 20000×10000 / 8001×5000 / JPEG 400 Мпикс → 413 за < 2 с | там же |
|
||
| **3:** upload → остановка обслужившей реплики → download через другую | `test_upload_survives_failover_of_the_serving_replica`, `make test-failover` ×2 | после SIGKILL обслужившей 5 скачиваний с другой реплики — те же байты; публичный тест для `api-1` и `api-2`: 131 / 132 записи, **0 неудачных**, оригинал на месте | [test-failover.txt](evidence/test-failover.txt) |
|
||
| **3:** restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.cmd` | PASS; новые PID и `StartedAt` у `lb`, `api-*`, `postgres`, `valkey`, **`s3`**; прежний токен, файл скачивается | [test-persistence.txt](evidence/test-persistence.txt) |
|
||
| **4:** тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, файл другого чата; ошибки пользователя не дают 500 | `test_attachments.py` (56 тестов) | 413 / 415 / 400 / 404 по контракту; `Api.call` проверяет у **каждого** ответа формат ошибки, `X-Request-Id`, `X-Instance-Id`, отсутствие stack trace | [student-tests.txt](evidence/student-tests.txt) |
|
||
| **4:** прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; grace period | `test_consistency.py` (4), [CONSISTENCY.md](docs/CONSISTENCY.md) | обрыв и зависание тела — ничего не записано; `after_s3_put` → `pending` + объект, janitor убирает оба (grace 3 с в тесте, 900 с в стенде); `after_ready_commit` → ничего не удалено, файл скачивается; свежий `pending` не тронут | там же |
|
||
| **4:** RAM одной загрузки ограничена; ≥ 10 одновременных загрузок с пиком памяти | `bench/upload_memory.py` (16 и 32 клиента) | см. «Эксперименты»: пик +81…113 МБ и при 16, и при 32 клиентах (4 слота), лимит 512 МБ, 0 OOM процесса API | [memory/summary.json](evidence/memory/summary.json) |
|
||
| **4:** bootstrap идемпотентен, отдельные ограниченные ключи S3, консоль закрыта, проверка приватности вне API | логи `s3-init` (при каждом `up`), `test_bucket_is_private_outside_the_api`, `test_compose_policy_…` | anonymous GET/LIST → 403; ключ API: Read/Write да, List/CreateBucket/чужой bucket — нет; ключ reconciler: List да; повторный bootstrap — `exists, kept as is`; порты 9333/8888/8080 SeaweedFS недоступны из сети | [clean-clone.txt](evidence/clean-clone.txt), [student-tests.txt](evidence/student-tests.txt) |
|
||
| **4:** отказ S3 | `test_s3_outage_is_503_and_text_keeps_working[stop/pause]` | readiness 503 на всех репликах (core 200), upload/download 503 за < 8 с, метаданные 200, **текст работает** (деградированный режим LB); после восстановления файл цел | там же |
|
||
| **5:** трек 2 | `test_reconcile.py` (6), `bench/reconcile_faults.py`, `bench/reconcile_cost.py` | см. раздел «Трек 2» | [evidence/reconcile/](evidence/reconcile/) |
|
||
| Перенесённое из lab3 | все тесты lab3 (балансировка, идемпотентность, отказы БД/Valkey, explain) | проходят без ослабления; адаптированы только списки сервисов и миграций | [student-tests.txt](evidence/student-tests.txt) |
|
||
| Публичный генератор нагрузки | `tests/load.py --duration 30 --concurrency 4` | 5416 успешных, 0 ошибок, 180 req/s, p50/p95/p99 = 18 / 49 / 64 мс | [load.json](evidence/load.json) |
|
||
| Свои тесты | `python -m pytest student-tests -v` | **316 passed, 4 skipped** (113 unit + 203 против стенда, 21 мин); skipped — 4 unit-теста djpeg на хосте без libjpeg-turbo, те же случаи проходят на стенде | [student-tests.txt](evidence/student-tests.txt) |
|
||
|
||
**Что нашёл прогон из чистого clone (`f9f5ab9`).** 314 из 316 тестов прошли, два упали:
|
||
|
||
1. `test_s3_outage_is_503_and_text_keeps_working[stop]`. После stop/start S3 первое скачивание получало 503: в пуле aiobotocore оставались keep-alive соединения к старому процессу, а повторов не было. Исправлено одной повторной попыткой в том же дедлайне — все операции идемпотентны по ключу ([storage.py](src/messenger/storage.py), `046e257`).
|
||
2. `test_restart_does_not_extend_ttl`. Рестарт Valkey и обеих реплик (readiness теперь ждёт и S3) длился дольше 12-секундного TTL теста. TTL теста увеличен до 30 с.
|
||
|
||
Ещё дефекты нашли замеры памяти до этого прогона:
|
||
|
||
- семафор загрузок отпускался сразу после чтения тела, а буфер жил до конца S3 PUT. При 32 клиентах пик рос до +214 МБ при 4 слотах. Теперь слот держится до конца загрузки (`277d06f`);
|
||
- djpeg, убитый OOM-killer'ом, давал 415 вместо 503 — исправлено;
|
||
- PNG-валидатор копировал остаток IDAT на каждом шаге (`unconsumed_tail`) — исправлено.
|
||
|
||
И одну ошибку reconciler нашёл замер стоимости на том же стенде: `--apply` **без** `--verify-checksums` видел совпадающий размер и снимал карантин `checksum_mismatch` как `restored_object`, хотя сумму в этом режиме проверить не может. Теперь такой карантин снимает только проход с проверкой сумм (`6fb70de`). Тест дополнен, 6/6 тестов reconciler и smoke повторены на этом коммите — [reconcile-fix-rerun.txt](evidence/reconcile-fix-rerun.txt). Первый прогон своих тестов с двумя падениями сохранён как есть: [student-tests-first-run-f9f5ab9.txt](evidence/student-tests-first-run-f9f5ab9.txt).
|
||
|
||
## Проверки, на которых ловили другие работы
|
||
|
||
Замечания преподавателя к PR lab4 (#1–#13) других студентов, проверенные на своём стенде:
|
||
|
||
| Замечание к чужим PR | У нас | Где проверено |
|
||
| --- | --- | --- |
|
||
| PNG с корректным IHDR и мусорным IDAT (86 байт), обрезанный PNG, первые 33 байта fixture, повреждение после первых 64 KiB → 201 | 415: CRC каждого chunk, zlib до точного размера, IEND обязателен | `test_bad_content_is_415[png:*]`, unit `test_broken_png_is_415` |
|
||
| JPEG без данных после SOS → 201 | 415: `djpeg -strict` (Pillow такой файл принимает — проверено) | `test_bad_content_is_415[jpeg: no scan data after SOS]` |
|
||
| PNG 6–10 MiB → 413 HTML от nginx | HAProxy не ограничивает тело; ровно 10 485 760 байт → 201 через LB | `test_size_limit_through_the_load_balancer` |
|
||
| 20000×10000 → 500 (`DecompressionBombError`) | 413 по IHDR, ничего не декодируется; 40 000 000 px принимается, 40 005 000 → 413 | `test_pixel_limit_before_decoding`, `test_exactly_40_megapixels_is_accepted` |
|
||
| `img.load()` до проверки размера (пик 252 МБ на файле 131 КБ) | размер берётся из заголовка до чтения остального тела; растр PNG не создаётся вовсе | unit `test_png_verification_is_streaming_and_fast` (40 Мпикс < 5 с) |
|
||
| API получает admin-ключи MinIO и создаёт bucket | у API своя пара: CreateBucket → AccessDenied (проверяет `s3-init`) | [clean-clone.txt](evidence/clean-clone.txt), `test_compose_policy_…` |
|
||
| S3 остановлен: readiness 200 / 500 за 9 с, upload 500 / 504 | readiness 503, upload 503 за < 8 с (S3 3 с), без 500 | `test_s3_outage_…[stop/pause]` |
|
||
| filename с C1 (U+0085) или из пробелов `%20%20%20` → 201 | 400; также `/`, `\`, NUL, TAB, U+2028, bidi U+202E, `.`, `..`, невалидный UTF-8, повтор параметра | `test_bad_filename_is_400` (14) |
|
||
| `{"attachment_ids":[A]}`, `{"text":null,…}`, `{"text":"x","attachment_ids":null}` → 201 | 400 | `test_message_body_validation` (12) |
|
||
| COMMIT прошёл, ответ потерян → API удаляет объект, остаётся `ready` без байтов | в обработчике компенсации нет; janitor трогает только `pending` | `test_lost_answer_after_commit_never_deletes_the_object` |
|
||
| dry-run продолжает частичное удаление | dry-run read-only на уровне БД (`default_transaction_read_only`) и S3-обёртки; промежуточного состояния «deleting» нет | `test_detect_and_safely_fix_faults_on_both_sides` (отпечатки до/после) |
|
||
| тело накапливается целиком, рост RAM «не доказывает потоковость» | буфер ровно `Content-Length`, число буферов ограничено слотами; замер 16 и 32 клиентов | [memory/summary.json](evidence/memory/summary.json) |
|
||
| тест шлёт POST в чужой чат без `Idempotency-Key`; гонка считает 5xx конфликтом | все POST сообщений в своих тестах — с ключом; `Api.call` требует точный ожидаемый код | [conftest.py](student-tests/conftest.py) |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
### Уровень 4: память при ≥ 10 одновременных загрузках
|
||
|
||
**Гипотеза:** память реплики ограничена `UPLOAD_CONCURRENCY × MAX_UPLOAD_BYTES` плюс одна полная проверка (`IMAGE_VERIFY_CONCURRENCY`) и не зависит от числа клиентов.
|
||
|
||
**Методика** ([bench/upload_memory.py](bench/upload_memory.py)):
|
||
|
||
- перед каждым сценарием реплики api пересоздаются: cgroup `memory.peak` начинается с простоя;
|
||
- N клиентов стартуют одновременно (barrier) через LB, у каждого свой файл;
|
||
- `memory.current` каждой реплики снимается каждые 50 мс внутри контейнера; затем читаются `memory.peak` (все процессы контейнера, включая djpeg), `VmHWM` процесса Python и `memory.events` (OOM-kill) всех контейнеров.
|
||
|
||
Лимит api: 1 CPU, 512 МБ, swap выключен (`memswap_limit`). Файлы: PNG 9,42 МБ из шума (не сжимается), JPEG 8000×5000 progressive 4:4:4 (0,6 МБ, самый дорогой для декодера: ~240 МБ буферов коэффициентов). Один прогон на сценарий, коммит `f9f5ab9`, сырые данные — [summary.json](evidence/memory/summary.json).
|
||
|
||
| Сценарий | Ответы | Пик реплик − простой (≈ 75 МБ) | Python VmHWM | OOM-kill |
|
||
| --- | --- | --- | --- | --- |
|
||
| PNG ×16, 4 слота (по умолчанию) | 16 × 201, p50 3,6 с | +81 / +89 МБ | 153 МБ | 0 |
|
||
| PNG ×**32**, 4 слота | 25 × 201, 7 × 503 «слишком много загрузок» (+Retry-After) | +80 / +113 МБ — **как при 16** | 144 / 181 МБ | 0 |
|
||
| PNG ×32, **16 слотов** | 24 × 201, 8 × 503 «хранилище недоступно» | +209 / +193 МБ | 286 / 267 МБ | 0 |
|
||
| JPEG 40 Мпикс ×16, verify=1 (по умолчанию) | 16 × 201 | +242 / +242 МБ (djpeg) | 108 МБ | 0 |
|
||
| JPEG 40 Мпикс ×16, **verify=4** | 2 × 201, 14 × 503 «не хватило ресурсов» | 512 / 512 МБ (лимит) | 111 / 92 МБ | 6 / 7 (djpeg) |
|
||
|
||
**Выводы:**
|
||
|
||
- Удвоение числа клиентов при тех же 4 слотах пик не меняет; лишние клиенты быстро получают 503 с `Retry-After`, а их байты ждут в TCP-буферах, а не в процессе.
|
||
- Повышение границы до 16 слотов поднимает пик в 2–2,5 раза и упирается уже в S3: SeaweedFS ограничивает одновременные загрузки, PUT не укладывается в дедлайн, клиент получает 503. Значит, 4 слота — разумная граница при 1 CPU.
|
||
- Полная проверка JPEG — самая дорогая часть. При одной проверке за раз пик +242 МБ укладывается в 512 МБ. При четырёх cgroup убивает djpeg; API это переживает, отвечает 503 (а не 415 — исправлено после первого замера) и не теряет ни процесс, ни другие запросы.
|
||
- S3 (SeaweedFS, лимит 1 ГБ, `GOMEMLIMIT=600MiB`): anon-память 386–412 МБ; `memory.current` до 1 ГБ — это page cache записанных томов.
|
||
|
||
**Ограничения.** Один хост и один прогон на сценарий (разброс между прогонами в моих повторах — до ±25 МБ). Клиенты на том же хосте. Python не возвращает освобождённую память ОС мгновенно, поэтому VmHWM — верхняя оценка.
|
||
|
||
### Отказы
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| `docker compose stop s3` | readiness 503, вложения 503, текст работает | так и есть, загрузка 503 за < 8 с; HAProxy на `api_core` | сразу после старта S3 (с повтором соединения); потерь нет |
|
||
| `docker compose pause s3` | то же, ответ по дедлайну, а не зависание | 503 за ≤ 3 с + запас; readiness 503 | после unpause; потерь нет |
|
||
| сбой между PUT и COMMIT (`FAULT_POINTS=after_s3_put`) | 503, `pending` + объект, уборка после grace | так и есть, janitor убрал за ≤ 30 с при grace 3 с | мусор убран, `ready`-данные не затронуты |
|
||
| потерян ответ после COMMIT (`after_ready_commit`) | 503, но файл цел | `ready`, объект на месте, скачивается | ничего не удалено |
|
||
| клиент оборвал тело / застрял на середине | ничего не записано / 400 по дедлайну | 0 строк, 0 объектов; 400 с `X-Instance-Id` | — |
|
||
| SIGKILL реплики, обслужившей загрузку | другая реплика отдаёт файл | 5/5 скачиваний, те же байты | — |
|
||
| stop одной реплики (публичный тест) ×2 | ≤ 10 с, без потерь и дублей | 0 неудачных записей, ~6 с до первой записи после хука (время самого `docker stop` с drain) | — |
|
||
| restart всего стенда с volumes | данные, сессия и оригинал на месте | PASS, все 6 долгоживущих контейнеров с новым PID | — |
|
||
|
||
## Трек 2: согласованность двух хранилищ
|
||
|
||
**Гипотеза.** Один повторяемый проход, который merge-join'ит упорядоченный листинг S3 и keyset-страницы `attachments` по `object_key`, находит все расхождения обеих сторон. Он безопасно исправляет их (dry-run ничего не меняет; свежие и используемые вложения не удаляются; повторный запуск идемпотентен), а стоит O(N) по запросам и O(1) по памяти. Устройство и правила — [CONSISTENCY.md](docs/CONSISTENCY.md), код — [reconcile.py](src/messenger/reconcile.py).
|
||
|
||
**Методика.** Ошибки внедряются напрямую в хранилища: в S3 — изнутри сети `storage` ключами API/reconciler, в PostgreSQL — через psql. Затем запускается reconciler, сохраняется каждый JSON-отчёт. Повторяется тестом ([test_reconcile.py](student-tests/test_reconcile.py), 6 тестов) и сценарием с сохранением отчётов ([bench/reconcile_faults.py](bench/reconcile_faults.py) → [evidence/reconcile/](evidence/reconcile/)). `--grace 30 --allow-small-grace`, чтобы «старое» и «свежее» различались за секунды.
|
||
|
||
**Результаты, сценарий A** (все виды ошибок; [faults-summary.json](evidence/reconcile/faults-summary.json)):
|
||
|
||
| Внедрено | dry-run | `--apply` | повторный `--apply` | состояние после |
|
||
| --- | --- | --- | --- | --- |
|
||
| старый объект без строки | `orphan_object`, planned | удалён | — | объекта нет |
|
||
| `pending` старше grace с объектом / без | `stale_intent` ×2 | удалены (объект, затем строка) | — | нет ни строк, ни объекта |
|
||
| объект удалён под **используемым** `ready` (C) | `missing_object`, used | карантин `missing_object` | — | строка и ссылка из сообщения целы; content 404; прикрепить — 409 |
|
||
| объект обрезан под неиспользуемым `ready` (D) | `size_mismatch` | карантин | — | content 404 |
|
||
| тот же размер, другие байты (F, только `--verify-checksums`) | `checksum_mismatch` | карантин | — | content 404 |
|
||
| ложный карантин у здорового объекта (E) | `restored_object` | карантин снят | — | content 200 |
|
||
| свежий объект без строки, свежий `pending` (загрузка в процессе) | `fresh_*`, not_actionable | **не тронуты** | удалены, когда стали старше grace | — |
|
||
| здоровые A (используется), B | нет находок | не тронуты | — | content 200 |
|
||
| объект C возвращён «из бэкапа» | — | — | `restored_object` → карантин снят | content 200, те же байты |
|
||
|
||
- Dry-run: отпечаток всех строк `attachments` и список ключей bucket до и после совпали (`dry_run_changed_nothing: true`).
|
||
- Повторный `--apply`: 0 действий по исправленным ключам.
|
||
|
||
**Сценарий B — прерванный `--apply`.** 2000 старых сирот; S3 ставится на паузу во время удаления:
|
||
|
||
- прерванный проход: exit 1, `store_unavailable`, успел удалить 440;
|
||
- после unpause осталось 1560;
|
||
- повторный запуск: exit 0, удалено 1562 (1560 этих + 2 сироты, оставшиеся от тестов);
|
||
- третий запуск: 0 запланированных действий;
|
||
- [interrupted-*.json](evidence/reconcile/).
|
||
|
||
Ни одна `ready`-строка за весь эксперимент не удалена.
|
||
|
||
**Тесты безопасности:**
|
||
|
||
- `test_safety_valve_refuses_mass_deletion`: при `--max-orphan-fraction` ниже доли сирот выход 3, ничего не удалено;
|
||
- `test_store_outage_stops_the_run_without_damage[s3/postgres]`: выход 1 с JSON-отчётом;
|
||
- `test_live_uploads_are_never_hurt_by_concurrent_apply`: 40 загрузок + сообщений идут параллельно с повторяющимся `--apply --grace 8`. Все 40 вложений `ready`, без карантина, байты на месте.
|
||
|
||
**Стоимость обхода** ([cost.json](evidence/reconcile/cost.json)) — синтетические согласованные вложения по 1 КиБ, dry-run, медиана 3 запусков, reconciler 1 CPU / 256 МБ:
|
||
|
||
| Синтетических вложений (всего объектов в bucket) | Режим | Длительность, медиана из 3 | Запросы листинга S3 | Страницы БД | Прочитано байтов |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| 1 000 (1 285) | dry-run, страница 1000 | 0,30 с | 2 | 2 | 0 |
|
||
| 10 000 (10 285) | dry-run, страница 1000 | 1,67 с | 11 | 11 | 0 |
|
||
| 10 000 (10 285) | dry-run, страница 100 | 2,28 с (+37 %) | 103 | 103 | 0 |
|
||
| 10 000 (10 285) | dry-run, `--verify-checksums` | 48,4 с | 11 | 11 | 694 МБ (≈ 14 МБ/с) |
|
||
| 50 000 (50 285) | dry-run, страница 1000 | 8,4 с | 51 | 51 | 0 |
|
||
|
||
Время растёт линейно: ≈ 0,17 мс на объект, ≈ 6 000 объектов/с при 1 CPU. Число запросов ровно ⌈N/страница⌉ с каждой стороны. Страница 100 даёт в 10 раз больше запросов и +37 % времени, поэтому по умолчанию страница 1000 — максимум ListObjectsV2. Проверка сумм стоит O(объёма): 694 МБ — это в основном 10-мегабайтные файлы предыдущих тестов на стенде, а не 1-килобайтная синтетика. Поэтому `--verify-checksums` — режим для редкого (например, ночного) прогона, а сверка по листингу — для частого. Память reconciler от N не зависит (лимит 256 МБ, страница хранится одна).
|
||
|
||
**Ограничения трека:**
|
||
|
||
- Время берётся из часов БД (строки) и хоста (LastModified объектов). Поэтому grace должен быть много больше расхождения часов; при одном хосте это выполняется.
|
||
- Без `--verify-checksums` порча с тем же размером не видна; проверка сумм читает все байты и стоит O(общего объёма).
|
||
- Reconciler не знает, «правильный» ли объект вернули из бэкапа: он проверяет размер и SHA-256 по метаданным, а значит, восстановить можно только тот же оригинал.
|
||
- Карантин — решение для оператора, не автоматическое восстановление: байты потеряны.
|
||
- Листинг S3 и чтение БД — не единый снимок. Гонки закрывают grace и перепроверка под `FOR UPDATE`, а не изоляция.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- **Один Docker-хост, один экземпляр SeaweedFS** без репликации (`000`): отказ диска хоста теряет и БД, и bucket. Бэкап `s3data` и `pgdata` должен быть согласованным по времени; reconciler найдёт расхождение после восстановления, но байты не вернёт.
|
||
- **SeaweedFS 4.46**: S3 gRPC-порт 18333 слушает сеть `storage` вместе с 8333 (отдельного bind для него нет); сеть internal, в ней только api, s3-init и reconciler. KEK для SSE-S3 не задан: шифрования «на диске» нет (в lab4 не требуется, вопрос lab7).
|
||
- **HTTP внутри стенда**: Basic и ключи S3 идут без TLS — допустимо для локального стенда с синтетикой, TLS/mTLS — lab7.
|
||
- **Тело загрузки в памяти** (ограниченно): потоковой передачи в S3 через multipart нет. Причина — полная проверка изображения до записи требует весь файл. Граница — слоты; lab5 перенесёт обработку в staging + worker.
|
||
- **Повторная загрузка того же файла** создаёт новое вложение (контракт это разрешает); дедупликации по SHA-256 нет.
|
||
- **Проверка JPEG** принимает файлы, которые libjpeg декодирует без единого предупреждения. Редкие реальные файлы с «extraneous bytes» от кривых кодеков получат 415 — сознательная строгость.
|
||
- **Janitor** работает в репликах API (одна за раз, advisory-замок); при большой доле мусора его стоило бы вынести в отдельный сервис, как reconciler.
|
||
- **Замеры** — один хост и по одному прогону на сценарий памяти; выводы сделаны по крупным, повторяющимся различиям, а не по процентам.
|