forked from mtusi2026/mtusi2026lab4
Separate historical results and audit every lab4 review finding
This commit is contained in:
@@ -2,26 +2,30 @@
|
||||
|
||||
- Автор, группа: Костылев Артём, БПИ2303
|
||||
- Целевая оценка: **5**; трек «5» — **трек 2 «Согласованность двух хранилищ (reconciler)»**
|
||||
- Commit/PR: ветка `solution/bpi2303-kostylev`. Код приложения (`src/`) последний раз менялся в `5c3c238` и
|
||||
`3b3cb5b` (трек 2: проход сверки с недоступной зависимостью завершается её ошибкой), стенд (`compose.yaml`,
|
||||
`Dockerfile`, `infra/`) — в `e927afd` (перенос исправлений лабы 3, цикл `2026-10-30-carry-over-lab3-review-fixes`),
|
||||
обвязка (`scripts/`, `Makefile`) — в `8cb5a66` (две строки сводки стоимости трека). **Все доказательства уровней «3» и
|
||||
«4»** и запуск из чистого clone сняты на `81dd816`, код которого равен итоговому; сценарий трека 2 — на `5c3c238`,
|
||||
матрица стоимости — на `b191623`, проверка уровней после трека — на `8cb5a66`: после них код приложения и стенда не
|
||||
менялся. Дата и коммит — в первой строке каждого `evidence/*.txt`, для JSON — в индексе `evidence/README.md`. PR
|
||||
«ЛР 4 — БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по `.github/pull_request_template.md`;
|
||||
его ссылка появляется при публикации
|
||||
- Состояние на 2026-11-06: перенос SQLAlchemy/Alembic выполнен из immutable snapshot
|
||||
`f591fa64e525679a31c9db7f942d36c789e1a12f`, код переноса —
|
||||
`8e4532f6f5c05d902b6e2c310f54320d95585904`. Текущие проверки уровня 3:
|
||||
[новая матрица](evidence/sqlalchemy-2026-11-06/grade3/NOTES.md), полный SHA каждой команды в raw-выводе.
|
||||
Уровни 4/5 обновляются последовательными циклами; итоговую редакцию отчёта подготовит этап после ревью.
|
||||
**Таблицы и численные результаты ниже, ссылающиеся на evidence вне sqlalchemy-2026-11-06,
|
||||
относятся к исторической реализации asyncpg и не подтверждают текущий SQLAlchemy-код.**
|
||||
Публикация в этой фазе не выполняется.
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic,
|
||||
structlog, asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow, pytest, ruff, ty (версии —
|
||||
structlog, SQLAlchemy 2 async, Alembic, asyncpg (драйвер), argon2-cffi, redis-py, aiobotocore/botocore, Pillow, pytest, ruff, ty (версии —
|
||||
`evidence/environment.txt` и `uv.lock`); RustFS 1.0 и `rc` (IAM-политики, anonymous access, lifecycle), Amazon S3
|
||||
User Guide (PutObject, GetObject, ListObjectsV2, политики bucket), botocore Config (таймауты, повторы, checksum),
|
||||
Pillow (`Image.open`, `verify`, `draft`, защита от decompression bomb), спецификация PNG (чанки и CRC),
|
||||
HAProxy 3.2 Configuration Manual, документация Docker Compose (secrets, `depends_on`, профили). Решение
|
||||
перенесено из моей лабы 3 и выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами,
|
||||
перенесено из моей лабы 3; в текущем этапе использован Codex. Код, стенд и отказы проверены прогонами,
|
||||
перечисленными ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
Параметры текущего стенда: `COMPOSE_PROJECT_NAME=hlpipe-lab4-<имя>`, `LB_HTTP_PORT=18084`,
|
||||
`LB_STATS_PORT=24844`, `NO_PROXY=localhost,127.0.0.1,::1`. Скрипт `scripts/clean-clone.sh`
|
||||
создаёт отдельный clone внутри `.verification/`, останавливает только его project и сохраняет volumes.
|
||||
Старый протокол ниже описывает прежний прогон; команды удаления данных больше не выполняются.
|
||||
|
||||
Требуются Docker с Compose v2, `make` и системный Python 3.9+ (только для публичных проверок и сценариев).
|
||||
Образы сторонних сервисов закреплены версией и digest, API собирается из исходников.
|
||||
|
||||
@@ -44,7 +48,6 @@ make reconcile # трек 2: сверка PostgreSQL ↔ S3, по умол
|
||||
make migrate # повторный запуск миграций: up to date
|
||||
|
||||
make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются
|
||||
make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v
|
||||
```
|
||||
|
||||
Каждая строка этого блока выполнена в свежем clone (`evidence/clean-clone.txt`; клон назван `mtusi2026lab4-clean`,
|
||||
@@ -62,7 +65,7 @@ make install # .venv для pytest-сценариев (uv sync --group de
|
||||
make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела
|
||||
make upload-memory # «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB
|
||||
make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/
|
||||
make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k × 3 на чистом стенде → evidence/reconcile/cost/
|
||||
make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k/100k × 3 на чистом стенде → evidence/reconcile/cost/
|
||||
```
|
||||
|
||||
`make up` ждёт `healthy` всех долгоживущих сервисов и успешного завершения одноразовых `migrate` (миграции под
|
||||
@@ -98,7 +101,7 @@ Desktop — 16 CPU, 7.65 ГиБ (`evidence/environment.txt`).
|
||||
## Архитектура и решения
|
||||
|
||||
```
|
||||
┌── api (gunicorn, 2 × UvicornWorker) ─┐ asyncpg pool ┌▶ postgres (метаданные, pgdata)
|
||||
┌── api (gunicorn, 2 × UvicornWorker) ─┐ SQLAlchemy async engine ┌▶ postgres (метаданные, pgdata)
|
||||
клиент ──HTTP──▶ lb (HAProxy 3.2) ────┤ X-Instance-Id = hostname ├────────────────────┼▶ valkey (кэш сессий, AOF)
|
||||
127.0.0.1:8080 round robin, └── api (gunicorn, 2 × UvicornWorker) ─┘ aiobotocore └▶ s3: RustFS (байты, s3data)
|
||||
httpchk /health/ready migrate (образ api, один раз) ──▶ postgres
|
||||
@@ -136,7 +139,7 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может
|
||||
нарушение превращается в `404` и откатывает всю отправку вместе с ключом идемпотентности, а используемое
|
||||
вложение нельзя удалить.
|
||||
|
||||
**Схема** (`0003_attachments.sql`, `evidence/schema.txt`): `attachments` без `bytea`, `CHECK` на тип, размер
|
||||
**Схема** (`alembic/versions/0003_attachments.py`, `evidence/schema.txt`): `attachments` без `bytea`, `CHECK` на тип, размер
|
||||
1..10485760, формат SHA-256, статус; `object_key text COLLATE "C" UNIQUE` (байтовый порядок, как у листинга S3);
|
||||
частичный индекс `(created_at) WHERE status = 'pending'`; `message_attachments` с PK `(message_id, position)`,
|
||||
`UNIQUE (message_id, attachment_id)` и индексом по `attachment_id`. `messages_text_check` ослаблен до `≤ 4000`:
|
||||
@@ -148,10 +151,9 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может
|
||||
|
||||
**Upload: где применяется каждый лимит.** Тело читается потоком, FastAPI его не разбирает.
|
||||
|
||||
1. объявленный `Content-Length` > лимита маршрута → `413` в конвейере раньше проверки токена, тело не читается
|
||||
(лимит 10 MiB только у маршрута upload, у JSON остаётся 1 MiB); конвейер считает и реально полученные байты
|
||||
тела против того же лимита;
|
||||
2. `401` — guard конвейера;
|
||||
1. `401` — guard конвейера: он читает только заголовок `Authorization` и сессию, тело не трогает;
|
||||
2. объявленный `Content-Length` > лимита маршрута → `413` в конвейере, тело не читается (лимит 10 MiB только у
|
||||
маршрута upload, у JSON остаётся 1 MiB); конвейер считает и реально полученные байты тела против того же лимита;
|
||||
3. членство в чате → `404` (раньше любых проверок содержимого);
|
||||
4. `filename` после percent-decode: 1–255 code points, не пробельный, без `/`, `\` и символов категории `Cc`
|
||||
(NUL, `\x01`, `\x7f`, перевод строки…) → иначе `400`; используется только для отображения;
|
||||
@@ -226,7 +228,9 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id`
|
||||
|
||||
**Готовность.** `/health/ready` от S3 не зависит. Если бы зависела, при падении S3 балансировщик вывел бы все
|
||||
реплики, отказали бы и тексты, а ответы LB не несут `X-Instance-Id`. Сейчас upload и скачивание получают `503` от
|
||||
приложения за 2,2 и 2,0 с (предел — две попытки по 1 + 2 с), а тексты и метаданные работают (`evidence/s3-outage.json`).
|
||||
приложения: в новой серии upload 0,828–5,039 с, download 0,510–1,397 с
|
||||
(граница проверки 6 с). Тексты и метаданные работают
|
||||
(`evidence/sqlalchemy-2026-11-06/grade3/s3-outage-{1,2,3}.json`).
|
||||
|
||||
**Память загрузок (уровень «4»).** Пик памяти держат три настройки по всей цепочке, найденные замером (ниже):
|
||||
слоты загрузки на воркер; буферы сокетов — HAProxy `tune.rcvbuf/sndbuf.client/server 65536`, у `api`
|
||||
@@ -240,7 +244,12 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id`
|
||||
**Цепочка таймаутов:** клиент smoke/resilience 10/2 с; LB `timeout server` 10 с > `REQUEST_TIMEOUT_SECONDS` 8 с >
|
||||
худшая операция S3 2 × (1 + 2) = 6 с и ожидание соединения PostgreSQL + оператор 1 + 2 с. LB не повторяет upload:
|
||||
`disable-l7-retry` снят только для `GET` и `POST …/messages` с ключом, повтор отказа соединения безопасен (запрос
|
||||
не ушёл).
|
||||
не ушёл). Дедлайн запроса в конвейере продлевается переданными байтами тела запроса и ответа: `min(now, start +
|
||||
moved / MIN_TRANSFER_RATE_BYTES) + 8 с`, по умолчанию 128 KiB/s (схема `mod_reqtimeout` с потолком). Медленная, но
|
||||
идущая передача не обрывается: upload 10 MiB может идти до 80 + 8 с. Зависшее или ползущее медленнее порога тело
|
||||
обрывается через 8 с плюс кредит уже переданных байтов (1 KiB даёт 8 мс). После последнего байта тела на обработку
|
||||
остаётся не больше 8 с. `timeout server`/`timeout client` HAProxy — таймауты простоя одной стороны, поэтому длинная
|
||||
идущая передача через LB не обрывается. Это проверено тестом стенда: 3 MiB вверх и вниз дольше 8 с.
|
||||
|
||||
**Роли и сервисы** (`compose.yaml`; сети `edge` и `backend` с `internal: true`):
|
||||
|
||||
@@ -250,18 +259,21 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id`
|
||||
| api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp`, `tcp_rmem`/`tcp_wmem` ≤ 256 KiB | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` |
|
||||
| postgres (метаданные) | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready` | `pgdata` | `backend` | `postgres_password` через `POSTGRES_PASSWORD_FILE` |
|
||||
| s3 | `s3` | `rustfs/rustfs:1.0.4@sha256:ed9210d6…`, uid 10001, `read_only`, `cap_drop: ALL`, консоль выключена | `curl /health/ready` | `s3data:/data` | `backend`, :9000 без публикации | root: `s3_root_user`, `s3_root_password` через `RUSTFS_*_FILE` |
|
||||
| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи и ключ API (создаёт пользователя) |
|
||||
| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc` | нет | нет | `backend` | aliases `root`, `api`, `anon` |
|
||||
| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, uid 65534, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи, ключи API и сверки (создаёт пользователей) |
|
||||
| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc`, uid 65534 | нет | нет | `backend` | aliases `root`, `api`, `reconciler`, `anon` |
|
||||
| сессии (кэш) | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` | `valkeydata` (AOF) | `backend` | `valkey.conf` |
|
||||
| bootstrap схемы | `migrate` | образ api, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` |
|
||||
| сверка PostgreSQL ↔ S3 (профиль `reconcile`) | `reconciler` | образ api, `read_only`, `entrypoint` — модуль сверки | код выхода 0 / 1 | нет | `backend` | `database_url`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` (ключ API, не root) |
|
||||
| bootstrap схемы | `migrate` | образ api, uid 10001, `init: true`, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` |
|
||||
| сверка PostgreSQL ↔ S3 (профиль `reconcile`) | `reconciler` | образ api, uid 10001, `init: true`, `read_only`, `entrypoint` — модуль сверки | код выхода 0 / 1 | нет | `backend` | `database_url`, `s3_reconciler_access_key_id`, `s3_reconciler_secret_access_key` через `S3_*_FILE` (свой ключ, не root и не ключ API) |
|
||||
| нагрузка (профиль `bench`) | `k6` | `grafana/k6:2.3.0@sha256:2dd4756e…` | нет | нет | `edge` | нет |
|
||||
|
||||
Приватный bucket создаёт `infra/s3/init.sh`: `rc bucket create --ignore-existing`, `rc bucket anonymous set private`,
|
||||
политика `messenger-api` из `infra/s3/api-policy.json` (Get/Put/DeleteObject, abort/list multipart на
|
||||
`messenger-attachments/*`, ListBucket и GetBucketLocation на сам bucket), пользователь API с ключом из
|
||||
`secrets/`, lifecycle «незавершённый multipart старше суток удаляется», самопроверка анонимной политики и
|
||||
привязки. Root-ключи есть только у `s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `evidence/limits.txt`).
|
||||
политика `messenger-api` из `infra/s3/api-policy.json` (только `GetObject`, `PutObject`, `DeleteObject` на
|
||||
`messenger-attachments/*`) и пользователь API, политика `messenger-reconciler` из `infra/s3/reconciler-policy.json`
|
||||
(`ListBucket` на bucket, `GetObject`, `DeleteObject` на объекты) и пользователь сверки — оба с ключами из
|
||||
`secrets/`. Дальше идёт lifecycle «незавершённый multipart старше суток удаляется» (он работает на стороне сервера,
|
||||
ключам multipart-действия не нужны), самопроверка анонимной политики и привязки обеих политик. Реплики API
|
||||
листинга bucket не делают и права на него не имеют, листинг есть только у ключа сверки. Root-ключи есть только у
|
||||
`s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `evidence/limits.txt`).
|
||||
MinIO не выбран: `minio/minio` удалён с Docker Hub, quay отдаёт 401, проект архивирован; SeaweedFS работает от
|
||||
root и не читает ключи из файлов. Лимиты: lb 1/128m, api 1/512m на реплику, s3 1/512m, s3-init и s3-cli
|
||||
0.5/64m, migrate 0.5/256m, reconciler 1/256m, postgres 2/1g, valkey 0.5/128m.
|
||||
@@ -283,12 +295,16 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
|
||||
| — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS |
|
||||
| — | `UPLOAD_CONCURRENCY`, `UPLOAD_GRACE_SECONDS`, `UPLOAD_SWEEP_INTERVAL_SECONDS`, `UPLOAD_SWEEP_BATCH` | 3 тела на воркер; 900 с; 30 с; 100 строк за проход (уровень «4») |
|
||||
| — | `MALLOC_MMAP_THRESHOLD_` | 131 072: тела больше 128 KiB возвращаются системе при освобождении (уровень «4») |
|
||||
| — | `MIN_TRANSFER_RATE_BYTES` | 131 072 B/s: каждый переданный байт тела продлевает дедлайн запроса на 1/скорость |
|
||||
| — | `RECONCILE_CPUS`, `RECONCILE_MEMORY`, `RECONCILE_S3_READ_TIMEOUT_SECONDS` | 1, 256m, 10 с: лимиты сервиса сверки и таймаут чтения страницы листинга (трек 2) |
|
||||
| — | `S3_CPUS`, `S3_CPUSET`, `PG_CPUSET`, `RECONCILE_CPUSET` | 1 CPU у RustFS; пусто — без закрепления; `make reconcile-cost` задаёт 2 CPU / 3 GiB RustFS и отдельные ядра на время замеров (трек 2) |
|
||||
| — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Таблица ниже — историческая серия asyncpg. Актуальные результаты: `evidence/sqlalchemy-2026-11-06/grade3/NOTES.md`
|
||||
и `grade4/NOTES.md`; результаты трека добавляются после его отдельного цикла. Файлы старых серий сохранены.
|
||||
|
||||
Уровни «3» и «4» сняты одной серией на стенде из чистого состояния (`make reset-data`, `make up`) на `81dd816`; порядок
|
||||
серии — в `evidence/README.md`. Трек 2 — на `5c3c238` и `b191623`, проверка уровней после трека — на `8cb5a66`.
|
||||
|
||||
@@ -308,7 +324,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
|
||||
| **3.7** Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | `make scenario SCENARIO=s3-outage` | при остановленном `s3`: upload `503` за 2,23 с, `/content` `503` за 1,99 с, метаданные `200`, текст `201`, `/health/ready` `200`; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 | `evidence/s3-outage.json` |
|
||||
| **3.8** Закреплённая версия образа S3 и создание приватного bucket | `compose.yaml`, `infra/s3/init.sh`; `make up`; `make s3-check` | все образы по digest; `s3-init` пишет `bucket=messenger-attachments anonymous=private policy=messenger-api lifecycle=abort-incomplete-uploads`; 23/23 проверки `PASS`, включая двойной повторный bootstrap без изменений | `evidence/environment.txt`, `evidence/clean-clone.txt`, `evidence/s3-security.txt` |
|
||||
| **3.9** Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, KDF, общая идемпотентность, секреты вне Git | `make stack-evidence`, `make limits`, `make storage-evidence`, `make lb-check`, `make retry-check` | 2 `api` без портов, `container_name` 0, LB видит `api1/api2 UP L7OK 200`, `X-Instance-Id` чередуется; политика лимитов, портов, секретов и сетей — `PASS`; миграции `0001`–`0004`, повтор `up to date` без изменения счётчиков (66 пользователей, 288 сообщений, 17 вложений); Argon2id у всех 66, хеши токенов по 32 B; один токен на обеих репликах — 20 + 20; 20 раундов × 8 параллельных POST одним ключом — 160 × `201`, по одной копии; потерянный ответ на живой и на убитой реплике — повтор `201` с тем же сообщением, одна копия; `git ls-files secrets .env` пуст | `evidence/stack.txt`, `evidence/limits.txt`, `evidence/schema.txt`, `evidence/migrations.txt`, `evidence/kdf.txt`, `evidence/secrets.txt`, `evidence/lb-check.json`, `evidence/retry.json` |
|
||||
| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `342 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 × `404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с `Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 × `415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за прогон 54 ответа, из них `5xx` — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` |
|
||||
| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `342 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 × `404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с `Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 × `415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за исторический прогон 53 ответа, из них `5xx` — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` |
|
||||
| **4.2** Прерывание загрузки и отказ между записью S3 и БД не оставляют вечных неучтённых объектов: компенсация и уборка с grace period | `make upload-faults` (триггеры PostgreSQL на время теста, `docker kill -s KILL` реплики); `make student-test` (`test_upload_consistency.py`) | отказ `COMMIT` после `PUT` → `503`, сразу нет ни строки, ни объекта (`HEAD` 404), в журнале `audit.attachment_discarded reason=compensation`; реплика убита между `PUT` и `COMMIT` (обе по очереди, клиент получил `502` от LB) → остались `pending` и объект (`HEAD` 200); намерение, сдвинутое за grace, уборка удалила вместе с объектом через 24,7 с, свежее осталось (`pending`, `HEAD` 200) и ушло через 1,0 с после сдвига; готовое вложение в сообщении со сдвинутым `created_at` скачивается с тем же SHA-256; обрыв после 256 KiB из 5 MiB → `400` в журнале, намерение не создавалось; зависшее тело → `503` за 8,01 с, ничего не записано. API-тесты: снятое во время `PUT` намерение → `503` и удалённый объект, сбой `PUT` оставляет `pending` до конца grace, два параллельных прохода делят 5 намерений ровно, следующий проход удаляет 0 | `evidence/upload-faults.txt`, `evidence/student-tests.txt` |
|
||||
| **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` трижды (`scripts/upload_memory.py --out evidence/upload-memory/runN`): слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждой точкой; отдельно порог `mmap` 32 MiB | при 3 слотах медиана пика реплики 297 / 321 / 334 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB, максимум трёх прогонов 345 MiB (простой 112–122, лимит 512), `oom_kill` 0, пик LB ≤ 31 MiB; без лимита слотов те же загрузки — 288 / 428 / 512 MiB, при 40 упор в лимит cgroup во всех трёх прогонах и 27 и 34 × `503` в двух из них; при 3 слотах и 40 клиентах p95 4,6–7,6 с, в одном прогоне 7 из 80 не уложились в таймаут 8 с (`503`); 1 MiB при любой настройке — 173–213 MiB; порог `mmap` 32 MiB — +12…35 MiB; таймауты: зависшее тело — `503` за 8,01 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/run{1,2,3}/summary.txt` и JSON точек, `evidence/upload-memory/mmap-32m/` |
|
||||
| **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у `s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — deny; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` |
|
||||
@@ -356,7 +372,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
|
||||
| Трек 2: сверка при остановленном S3 | код `1` за ограниченное время, ничего не меняет | код `1` за 1,63 с, `EndpointConnectionError` в журнале | повторить после возврата S3 |
|
||||
| Трек 2: `--apply` подряд во время загрузок через LB | ни одно идущее или готовое вложение не удалено | 3 418 × `201`, все готовы с тем же SHA-256, `lost_ready` 0; 247 раз объект идущей загрузки выглядел объектом без строки и остался | потерь нет |
|
||||
|
||||
### Нагрузка записи сообщений
|
||||
### Нагрузка записи сообщений (историческая серия asyncpg)
|
||||
|
||||
**Цель.** Проверить, что после переноса исправлений лабы 3 и добавления вложений запись сообщений под нагрузкой
|
||||
проходит без ошибок, и снять её профиль: RPS, задержки, CPU и память. Гипотеза о пределе заранее не ставилась.
|
||||
@@ -407,9 +423,10 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра
|
||||
`memory.events`. Конфигурации: 64 слота (фактически без лимита) и 3 слота; 1 и 10 MiB; c = 10, 20, 40; отдельно один
|
||||
прогон 3 слота × 10 MiB с порогом `mmap` 32 MiB (`evidence/upload-memory/mmap-32m/`).
|
||||
|
||||
**Результаты** (медиана трёх прогонов, в скобках — разброс; простой реплики 112–122 MiB, лимит 512 MiB):
|
||||
**Исторические результаты asyncpg** (медиана трёх прогонов, в скобках — разброс;
|
||||
колонка LB — максимум трёх, округлённый вверх; простой реплики 112–122 MiB, лимит 512 MiB):
|
||||
|
||||
| Слоты | Размер | c | Ответы `201` из 2c в трёх прогонах | p50 / p95, мс | Пик реплики, MiB | Пик LB, MiB |
|
||||
| Слоты | Размер | c | Ответы `201` из 2c в трёх прогонах | p50 / p95, мс | Пик реплики, MiB | Макс. пика LB из трёх, MiB |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| 64 | 1 MiB | 10 / 20 / 40 | все | 111 / 156 · 161 / 214 · 263 / 398 | 176 / 189 / 212 | ≤ 26 |
|
||||
| 64 | 10 MiB | 10 | 20, 20, 20 | 842 / 870 | 288 (278–291) | 24 |
|
||||
@@ -443,7 +460,8 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра
|
||||
под профилем `reconcile` (`make reconcile ARGS=…`), по умолчанию `--dry-run`, `--apply` исправляет. Один проход
|
||||
сливает два отсортированных потока: листинг `ListObjectsV2(Prefix="attachments/", MaxKeys=1000)` (S3 отдаёт ключи в
|
||||
байтовом порядке) и keyset-страницы `SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT 1000`
|
||||
(`Index Scan` по `attachments_object_key_key`, колонка `COLLATE "C"` — тот же порядок). Для каждой строки сначала
|
||||
(`Index Scan` по `attachments_object_key_key`, колонка `COLLATE "C"` — тот же порядок; выбирается страница плюс одна
|
||||
строка, чтобы не читать пустую последнюю страницу). Для каждой строки сначала
|
||||
идут все объекты с меньшим ключом (объекты без строки), затем пара или её отсутствие. Время O(N), в памяти — по
|
||||
странице каждой стороны. Порог «старого» — `now − grace − skew` (по умолчанию 3600 + 60 с, `grace` ≥ 60): по
|
||||
`LastModified` объекта и `created_at` строки.
|
||||
@@ -455,43 +473,57 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра
|
||||
| `size_mismatch` | `ready`, `Size ≠ size_bytes` | `HEAD`: размер всё ещё другой → карантин |
|
||||
| `sha_mismatch` | `--deep`: SHA-256 потока ≠ `sha256` | карантин |
|
||||
| `pending_stale` / `pending_fresh` | `pending` старше / моложе порога | `FOR UPDATE SKIP LOCKED`, всё ещё `pending` и старая → объект, затем строка / ничего |
|
||||
| `quarantined` / `healed` | в карантине и всё ещё расходится / снова совпал | ничего / снять карантин |
|
||||
| `quarantined` / `healed` | в карантине и всё ещё расходится / размер снова совпал, и SHA-256 потока объекта равен `sha256` (хешируется и без `--deep`) | ничего / снять карантин |
|
||||
|
||||
Безопасность: готовая строка и её объект не удаляются никогда — строка уходит в карантин (миграция `0004`:
|
||||
`quarantine_reason`, `quarantined_at`), метаданные не меняются, `/content` отвечает `404` без запроса к S3, на строку
|
||||
по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим. Каждое
|
||||
действие предваряет повторная проверка той стороны, которую оно меняет (отказ — `rechecked`). Одновременно идёт один
|
||||
по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим, но
|
||||
снимается только после того, как объект прочитан и его SHA-256 совпал с метаданными. Объект той же длины с другими
|
||||
байтами строку из карантина не выпускает. Каждое действие предваряет повторная проверка той стороны, которую оно
|
||||
меняет (отказ — `rechecked`). Одновременно идёт один
|
||||
проход: `pg_try_advisory_lock(20260004)` на отдельном соединении на всё время прохода, второй отвечает `skipped` с
|
||||
кодом `0`. `--deep` читает каждый объект потоком и хеширует кусками по 64 KiB, не больше 8 в полёте. Отчёт — JSON в
|
||||
stdout (классы, исправленное, `rechecked`, до 20 примеров id, запросы, время, CPU, пик RSS), журнал — в stderr без
|
||||
ключей объектов и кредов; код `1` — недоступна зависимость или не выполнено действие. Ключ S3 — тот же
|
||||
ограниченный ключ API (`ListBucket`, `GetObject`, `DeleteObject`), root-ключей у сервиса нет.
|
||||
ключей объектов и кредов. Код `1` — любая ошибка прохода (журнал `reconcile.failed` с типом ошибки, без трассировки)
|
||||
или не выполненное действие. Удаление брошенного намерения пишет `audit.attachment_discarded reason=reconcile`, как
|
||||
уборка и компенсация API: события UoW идут через `EventBus` в `AttachmentsJournal`, сервис собирает dishka из
|
||||
`PlatformProvider` и того же провайдера хранилища, что у API. Ключ S3 у сверки свой (`ListBucket`, `GetObject`,
|
||||
`DeleteObject`), ключа API и root-ключей у сервиса нет. `init: true`: `docker stop` идущего прохода завершает его
|
||||
сразу, advisory lock снимает PostgreSQL при закрытии соединения.
|
||||
|
||||
**Гипотезы** (записаны в `design.md` изменения до первого прогона). H1 (корректность): слияние находит каждое
|
||||
внедрённое расхождение в его классе, `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0
|
||||
действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок.
|
||||
H2 (стоимость): время прохода без `--deep` линейно (`t(30k)/t(10k) = 3 ± 30 %`) и определяется страницами листинга;
|
||||
листингов и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS на 1k и 30k отличается меньше чем на 10 %; `--deep` на порядок
|
||||
дороже на объект и линеен по объёму.
|
||||
**Гипотезы** записаны в `design.md` изменения `add-lab4-storage-reconciler` в коммите предложения `148868b`, до первого
|
||||
прогона. H1 (корректность): слияние находит каждое внедрённое расхождение в его классе, `--apply` исправляет ровно
|
||||
найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения
|
||||
не удаляются, в том числе во время загрузок. H2 (стоимость), дословно из `148868b`: время прохода без `--deep` растёт
|
||||
линейно (`t(100k)/t(10k) ≈ 10 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`,
|
||||
`HEAD`/`GET` — 0; пик RSS одинаков для 1k и 100k (разница < 10 %); `--deep` на порядок дороже на объект и линеен по
|
||||
объёму. История формулировки: после двух прерванных наполнений до 100k (`cost-aborted/`) H2 в `5ca2cdc` была
|
||||
переписана на 30k (`t(30k)/t(10k) = 3 ± 30 %`), и прошлая версия отчёта проверяла уже её. Точка 100k в прежней серии не является доказательством SQLAlchemy;
|
||||
текущий цикл повторяет исходную H2 из `148868b`. Соотношение 30k/10k приведено как дополнительное.
|
||||
|
||||
**Методика.**
|
||||
|
||||
- `make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния, коммит `5c3c238`,
|
||||
`--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок готовых вне API
|
||||
(`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта) → внедрение на обеих
|
||||
сторонах (`scripts/reconcile-inject.sh`): 3 объекта без строки (`rc pipe` мусора под префикс), 3 удалённых
|
||||
объекта (`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными
|
||||
байтами той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом
|
||||
(`PUT` прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make
|
||||
upload-faults`), все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения →
|
||||
`--dry-run --deep` → `--apply --deep` дважды → независимая проверка с `--expect-ready` и проверки API → возврат
|
||||
объекта (`healed`) → проход при занятой блокировке → проход при остановленном `s3` → 75 с загрузок через LB
|
||||
(3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка `--deep`.
|
||||
- `make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд, коммит `b191623`): RustFS 2 CPU / 3 GiB на
|
||||
`cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N = 1 000, 10 000, 30 000
|
||||
синтетических вложений (`student-tests/tools/seed_storage.py`: 4 параллельных `PutObject` PNG 264 B и `COPY` строк
|
||||
`ready`); на каждой точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей
|
||||
100. Метрики — из отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS.
|
||||
- `make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния: `make reset-data`, `make up`,
|
||||
`make test`; коммит `61dcb6b`, `--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок
|
||||
готовых вне API (`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта; готовых 19 —
|
||||
18 загрузок сценария и fixture предварительного публичного smoke) → внедрение на обеих сторонах (`scripts/reconcile-inject.sh`):
|
||||
3 объекта без строки (`rc pipe` мусора под префикс `attachments/<uuid>`, uuid запоминается), 3 удалённых объекта
|
||||
(`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными байтами
|
||||
той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом (`PUT`
|
||||
прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make upload-faults`),
|
||||
все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения → `--dry-run --deep`
|
||||
(сравниваются и счёт, и множества id по классам) → `--apply --deep` дважды → независимая проверка с
|
||||
`--expect-ready` и проверки API → под ключ одного вложения в карантине возвращаются исходные байты, под ключ
|
||||
другого — случайные той же длины → `--apply` без `--deep` → проход при занятой блокировке → `docker stop`
|
||||
прохода, висящего на листинге остановленного (`docker compose pause`) S3 → проход при остановленном `s3` → 75 с
|
||||
загрузок через LB (3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка
|
||||
`--deep`.
|
||||
- `make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд после `make test`, коммит `61dcb6b`):
|
||||
RustFS 2 CPU / 3 GiB на `cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N =
|
||||
1 000, 10 000, 30 000, 100 000 синтетических вложений (`student-tests/tools/seed_storage.py` в одноразовом
|
||||
контейнере образа API под ключом API: 4 параллельных `PutObject` PNG 264 B и `COPY` строк `ready`); на каждой
|
||||
точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей 100. Метрики — из
|
||||
отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS.
|
||||
- Отбраковка: до и после каждого прогона читаются `/proc/stat` всей VM Docker и `cpu.stat` cgroup `s3` и
|
||||
`postgres`; чужой CPU за окно — занятость минус наше (`s3`, `postgres`, CPU процесса сверки) минус запуск
|
||||
контейнера (1,5 ядро·с во всей VM, 0,5 на закреплённых ядрах — замерено на простаивающем стенде). Прогон с чужим
|
||||
@@ -518,7 +550,7 @@ H2 (стоимость): время прохода без `--deep` линейн
|
||||
печаталась трассировкой вместо `reconcile.failed`, исправлено в `3b3cb5b`); `test_s3_storage.py` — байтовый порядок и
|
||||
страницы листинга RustFS.
|
||||
|
||||
**Результаты H2** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не
|
||||
**Исторические результаты H2 до SQLAlchemy** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не
|
||||
больше 0,2 ядра в VM и 0,01 на закреплённых ядрах; разброс повторов ≤ 5 %):
|
||||
|
||||
| N | Режим | Проход, с | мкс на объект | Листинг, с | SQL, с | Листингов / SQL / `GET` | CPU сверки, с | Пик RSS, MiB |
|
||||
@@ -542,10 +574,11 @@ H2 (стоимость): время прохода без `--deep` линейн
|
||||
ровно найденное, повтор — 0 действий, независимая проверка вне API (другие инструменты и root-ключ) не нашла ни
|
||||
нарушений, ни потерь. Под непрерывной загрузкой 75 проходов подряд не тронули ни одного вложения: идущая загрузка
|
||||
выглядит для прохода «объектом без строки» (листинг увидел объект раньше, чем страница строк — строку) сотни раз,
|
||||
и от удаления её спасают оба барьера — порог grace и повторная проверка строки.
|
||||
на этом стенде её защищает порог grace. Повторная проверка строки независимо доказана
|
||||
тестом `test_row_written_after_listing_keeps_the_object`; наблюдение grace не доказывает срабатывание recheck.
|
||||
- H2 **подтверждена в части стоимости обхода, опровергнута в части `--deep`.** Без `--deep` время растёт линейно:
|
||||
`t(10k)/t(1k)` = 9,5, `t(30k)/t(10k)` = 3,73 (в пределах 3 ± 30 %, у верхней границы; в серии 29.10 — 3,05); запросов
|
||||
листинга `⌈N/1000⌉`, SQL на один больше — keyset дочитывает пустую последнюю страницу; пик RSS 82,5 → 83,8 MiB
|
||||
листинга `⌈N/1000⌉`, в исторической версии SQL на один больше; текущий lookahead выбирает size+1 и делает ⌈N/страница⌉ запросов; пик RSS 82,5 → 83,8 MiB
|
||||
(+1,6 %) — память от N не зависит. На 10k и 30k 95 % прохода — ожидание листинга RustFS, а не код сверки (CPU сверки сверх
|
||||
старта ≈ 30 мкс на объект, SQL — 4–5 мс на страницу). Цена листинга — около 83 мкс на ключ плюс 11 мс на запрос
|
||||
(страница 100 вдвое дороже страницы 1000 при вдесятеро большем числе запросов), и на ключ она растёт с размером
|
||||
@@ -643,8 +676,12 @@ PostgreSQL); S3 о пользователях мессенджера ничег
|
||||
- Тело всё ещё собирается в памяти целиком (≈ 36 MiB на загрузку 10 MiB с учётом копий проверки и клиента S3):
|
||||
потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи.
|
||||
- Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные
|
||||
тесты проверяют `413` через `Content-Length`. Объявленный `Content-Length` больше лимита отклоняется `413` ещё до
|
||||
проверки токена: анонимный клиент узнаёт лимит маршрута, но не данные.
|
||||
тесты проверяют `413` через `Content-Length`. Токен проверяется раньше объявленного размера: анонимный клиент
|
||||
получает `401`, а не лимит маршрута.
|
||||
- Минимальная скорость клиента — `MIN_TRANSFER_RATE_BYTES` (128 KiB/s): медленнее этого upload и скачивание
|
||||
обрываются (`503` для upload, обрыв тела после заголовков для скачивания), быстрее — идут сколько нужно. Длинная
|
||||
передача держит слот загрузки и буфер тела: upload 10 MiB на пороговой скорости занимает слот до 88 с. При
|
||||
`SIGTERM` реплики передача, не успевшая за `SHUTDOWN_TIMEOUT_SECONDS`, прерывается.
|
||||
- Нагрузка записи снята закрытым контуром `tests/load.py` с клиентом на той же VM и всеми записями в один чат: это
|
||||
пропускная способность этого распределения CPU (реплики и PostgreSQL у своих лимитов), а не предел архитектуры;
|
||||
с хоста macOS тот же замер упирается в эфемерные порты.
|
||||
@@ -659,3 +696,6 @@ PostgreSQL); S3 о пользователях мессенджера ничег
|
||||
- Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в двух архивных циклах —
|
||||
`add-lab4-image-attachments` и `add-lab4-upload-resilience` (около 453 слов без разметки, 492 и 477 по `wc -w`);
|
||||
у `add-lab4-storage-reconciler` 406 по `wc -w` и 364 без разметки. Архив уже закоммичен, историю не переписываю.
|
||||
Proposal переноса `carry-over-lab3-review-fixes` ссылается на «пункт 4.1 (согласованные таймауты и `SIGTERM`)» —
|
||||
это нумерация рубрики лабы 3. В этом отчёте перенос закрывает строку 3.9 (минимум лабы 3), а таймауты и `SIGTERM`
|
||||
лабы 3 проверяются тестами стенда (`faults.txt`) и `make limits`; строка 4.1 здесь — тесты файлов.
|
||||
|
||||
+52
-41
@@ -1,61 +1,72 @@
|
||||
# Текущая серия SQLAlchemy
|
||||
|
||||
Новые результаты находятся в [sqlalchemy-2026-11-06](sqlalchemy-2026-11-06/).
|
||||
Уровень 3: [критерии, команды, результаты](sqlalchemy-2026-11-06/grade3/NOTES.md).
|
||||
Полные SHA, UTC, параметры и exit code — в новых raw *.txt; API-код перенесён из
|
||||
immutable `f591fa64e525679a31c9db7f942d36c789e1a12f`.
|
||||
Индекс ниже сохранён как исторический: результаты asyncpg не выдаются за новые измерения.
|
||||
|
||||
# Доказательства
|
||||
|
||||
Обезличенные результаты прогонов лабы 4. Пользователи, чаты, тексты и изображения синтетические; паролей, токенов,
|
||||
Обезличенные результаты прогонов лабы 4. Пользователи, чаты, тексты и изображения синтетические. Паролей, токенов,
|
||||
ключей S3, `.env`, содержимого `secrets/`, ключей объектов в журналах и дампов здесь нет. В первой строке каждого
|
||||
отчёта `*.txt` — дата (UTC) и коммит прогона; у JSON даты и коммита внутри может не быть — коммит указан в таблицах
|
||||
ниже. Проверки через балансировщик шли на порт 18084 (`LB_HTTP_PORT`; 8080 на машине был занят стендами других лаб):
|
||||
цели `make` берут `BASE_URL` из `docker compose port lb 8080`. Hostname реплики = `X-Instance-Id`; ID контейнеров
|
||||
меняются между прогонами. Коммит `81dd816` по коду приложения и стенда равен итоговому: после него менялись только
|
||||
отчёт, `AGENTS.md`, openspec и `evidence/`.
|
||||
отчёта `*.txt` стоят дата (UTC) и коммит прогона. В JSON сценариев (`failover-upload.json`, `s3-outage.json`,
|
||||
`reconcile/demo.json`, `reconcile/cost/summary.json`) поля `date`/`started_at` и `commit` лежат внутри, у прочих
|
||||
JSON коммит указан в таблицах ниже. Проверки через балансировщик шли на порт 18084 (`LB_HTTP_PORT`, потому что 8080
|
||||
на машине занят стендами других лаб): цели `make` берут `BASE_URL` из `docker compose port lb 8080`. Hostname
|
||||
реплики = `X-Instance-Id`, ID контейнеров меняются между прогонами.
|
||||
|
||||
Уровни «3» и «4» сняты 30.10 одной серией на одном стенде: `make reset-data`, `make up`, затем `make test`,
|
||||
`stack-evidence`, `limits`, `lb-check`, `scenario SCENARIO=failover-upload`, `failover-evidence`, `failover-evidence
|
||||
SHIFT=1`, `persistence-evidence`, `scenario SCENARIO=s3-outage`, `s3-check`, `retry-check`, `upload-faults`,
|
||||
`faults-evidence`, `attachments-evidence`, `storage-evidence`, отброшенная попытка нагрузки с хоста, три прогона
|
||||
`upload-memory` и `mmap-32m`, `make reconcile` и `overload-leftovers.txt`, нагрузка `load.txt` клиентом в контейнере.
|
||||
Без стенда — `contract-checks.txt` и `student-tests.txt`; `clean-clone.txt` — в отдельном клоне со своим
|
||||
compose-проектом, до серии.
|
||||
Код приложения последний раз менялся в `3de1dcd`, стенд (`compose.yaml`, `infra/`) — в `2891b37`, обвязка
|
||||
(`scripts/`, `Makefile`) — в `6ffb90d`. Всё ниже снято на этом коде.
|
||||
|
||||
Трек 2 снят 30.10 на `61dcb6b`, двумя свежими стендами (`make reset-data`, `make up`, `make test`): сначала
|
||||
`make reconcile-demo`, затем `make reconcile-cost`. Уровни «3» и «4» сняты после трека одной серией на `<SERIES>`.
|
||||
Порядок серии: `make reset-data`, `make up`, затем `make test`, `stack-evidence`, `limits`, `lb-check`,
|
||||
`scenario SCENARIO=failover-upload`, `failover-evidence`, `failover-evidence SHIFT=1`, `persistence-evidence`,
|
||||
`scenario SCENARIO=s3-outage`, `s3-check`, `retry-check`, `upload-faults`, `faults-evidence`, `attachments-evidence`,
|
||||
`storage-evidence`, три прогона `upload-memory` и `mmap-32m`, `overload-leftovers`, `load-evidence`. Без стенда сняты
|
||||
`contract-checks.txt` и `student-tests.txt`. `clean-clone.txt` снят в отдельном клоне со своим compose-проектом
|
||||
после серии, на `<CLONE>`.
|
||||
|
||||
## Уровень «3» и перенос лабы 3
|
||||
|
||||
| Файл | Что доказывает | Команда | Коммит |
|
||||
| --- | --- | --- | --- |
|
||||
| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`–`0004` и `s3-init`, smoke, persistence, failover, `restore`, `failover-upload`, `s3-outage`, `s3-check`, `reconcile`, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | команды блока «Запуск из чистого clone» `REPORT.md` дословно, между ними — наблюдения | `81dd816` |
|
||||
| `contract-checks.txt` | `make check`, `make validate` (`openapi-spec-validator` 0.7.2 из `.venv`); `git diff --stat upstream/main` контракта, публичных тестов и задания (пусто) и `.github` (только свой CI job) | команды внутри файла | `81dd816` |
|
||||
| `student-tests.txt` | `make lint` и все собственные тесты по именам (342), включая адаптер S3 против RustFS | `make student-test PYTEST_ARGS='-v --no-header'` | `81dd816` |
|
||||
| `smoke.txt` | публичный smoke через LB, ветка `LAB ≥ 4` | `make test` | `81dd816` |
|
||||
| `stack.txt` | сервисы, порты только у `lb`, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `81dd816` |
|
||||
| `environment.txt` | host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | `make stack-evidence` | `81dd816` |
|
||||
| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты (root-ключи S3 только у `s3`, `s3-init`, `s3-cli`), volumes и сети по политике | `make limits` | `81dd816` |
|
||||
| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другое тело | `make lb-check` | `81dd816` |
|
||||
| `failover-upload.json` | upload → остановка принявшей реплики → скачивание через другую, SHA-256, возврат реплики | `make scenario SCENARIO=failover-upload` | `81dd816` |
|
||||
| `failover-899a952a5a21.txt`, `failover-0cc3ee358e59.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, его журнал остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `81dd816` |
|
||||
| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `81dd816` |
|
||||
| `s3-outage.json` | S3 остановлен: upload и `/content` `503` с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 | `make scenario SCENARIO=s3-outage` | `81dd816` |
|
||||
| `storage-layout.txt` | `\d attachments` и `\d message_attachments`, `bytea` всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, `ro` и mounts реплик, volume `s3`, секреты сервисов | `make attachments-evidence` | `81dd816` |
|
||||
| `schema.txt`, `migrations.txt`, `kdf.txt`, `secrets.txt` | `\d+` всех таблиц и применённые миграции; повтор `migrate` → `up to date` при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, `.env` и volumes не в Git | `make storage-evidence` | `81dd816` |
|
||||
| `retry.json` | потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; `201`, одна копия | `make retry-check` | `81dd816` |
|
||||
| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`–`0004` и `s3-init`, smoke, persistence, failover, `restore`, `failover-upload`, `s3-outage`, `s3-check`, `reconcile`, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены); сырой вывод каждой команды | `make clean-clone-evidence LB_HTTP_PORT=18084 LB_STATS_PORT=24084` (`scripts/clean-clone.sh`) | `<CLONE>` |
|
||||
| `contract-checks.txt` | `make check`, `make validate` (`openapi-spec-validator` 0.7.2 из `.venv`); `git diff --stat upstream/main` контракта, публичных тестов и задания (пусто) и `.github` (только свой CI job) | команды внутри файла | `<SERIES>` |
|
||||
| `student-tests.txt` | `make lint` и все собственные тесты по именам, включая адаптер S3 против RustFS | `make student-test PYTEST_ARGS='-v --no-header'` | `<SERIES>` |
|
||||
| `smoke.txt` | публичный smoke через LB, ветка `LAB ≥ 4` | `make test` | `<SERIES>` |
|
||||
| `stack.txt` | сервисы, порты только у `lb`, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `<SERIES>` |
|
||||
| `environment.txt` | host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | `make stack-evidence` | `<SERIES>` |
|
||||
| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты (root-ключи S3 только у `s3`, `s3-init`, `s3-cli`; у `reconciler` свой ключ), пользователь сервисов, volumes и сети по политике | `make limits` | `<SERIES>` |
|
||||
| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другое тело | `make lb-check` | `<SERIES>` |
|
||||
| `failover-upload.json` | upload → остановка принявшей реплики → скачивание через другую, SHA-256; `docker inspect` обеих реплик в момент скачивания (target `exited`, сосед `running`, `StartedAt`/`FinishedAt`) и после возврата | `make scenario SCENARIO=failover-upload` | `<SERIES>` |
|
||||
| `failover-<id>.txt` (две) | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, его журнал остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `<SERIES>` |
|
||||
| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `<SERIES>` |
|
||||
| `s3-outage.json` | S3 остановлен (`docker inspect` контейнера `s3` в это время): upload и `/content` `503` с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 | `make scenario SCENARIO=s3-outage` | `<SERIES>` |
|
||||
| `storage-layout.txt` | `\d attachments` и `\d message_attachments`, `bytea` всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, `ro` и mounts реплик, volume `s3`, секреты сервисов | `make attachments-evidence` | `<SERIES>` |
|
||||
| `schema.txt`, `migrations.txt`, `kdf.txt`, `secrets.txt` | `\d+` всех таблиц и применённые миграции; повтор `migrate` → `up to date` при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, `.env` и volumes не в Git | `make storage-evidence` | `<SERIES>` |
|
||||
| `retry.json` | потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; `201`, одна копия | `make retry-check` | `<SERIES>` |
|
||||
|
||||
## Уровень «4»
|
||||
|
||||
| Файл | Что доказывает | Команда | Коммит |
|
||||
| --- | --- | --- | --- |
|
||||
| `upload-faults.txt` | 36 ошибочных запросов через LB без `5xx`; отказ `COMMIT` после `PUT` → немедленная компенсация; реплика убита между `PUT` и `COMMIT` → уборка после grace; обрыв и зависание тела | `make upload-faults` | `81dd816` |
|
||||
| `faults.txt` | все проверки стенда под маркером `stack`: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и `test_attachment_faults.py` | `make faults-evidence` | `81dd816` |
|
||||
| `s3-security.txt` | 23 проверки: нет host-портов у `s3`, консоль закрыта изнутри и из сети стенда, `s3-init` повторно дважды без изменений, права ключа API (разрешено и `AccessDenied`), анонимный доступ, снимок политики без секретов | `make s3-check` | `81dd816` |
|
||||
| `upload-memory/run{1,2,3}/` | три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; `summary.txt` и JSON на точку (ответы, задержки, пик `memory.peak` реплик и LB, `oom_kill`) | `python3 scripts/upload_memory.py --out evidence/upload-memory/runN` (то же, что `make upload-memory`, в свой каталог) | `81dd816` |
|
||||
| `upload-memory/mmap-32m/` | 3 слота, 10 MiB, порог `mmap` glibc 32 MiB вместо 128 KiB | `MALLOC_MMAP_THRESHOLD_=33554432 python3 scripts/upload_memory.py --slots 3 --sizes 10485760 --out evidence/upload-memory/mmap-32m` | `81dd816` |
|
||||
| `load.txt`, `load/run{1,2,3}.json` | нагрузка записи сообщений `tests/load.py` (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети `edge`: RPS, ошибки, p50/p95/p99, `docker stats` стенда и клиента, статусы `request.handled` реплик | команды внутри `load.txt` | `81dd816` |
|
||||
| `load/host-attempt.txt` | отброшенная попытка той же нагрузки с хоста macOS: клиентские ошибки соединения при исчерпании эфемерных портов, ни одного `5xx` на репликах; строки перенесены из вывода консоли | команды внутри файла | `81dd816` |
|
||||
| `overload-leftovers.txt` | после серии памяти: 67 невидимых намерений от `503` по таймауту посреди `PutObject` (и одно от `s3-outage`), их вид в `make reconcile` и удаление фоновой уборкой после grace 900 с | команды внутри файла | `81dd816` |
|
||||
| `upload-faults.txt` | 36 ошибочных запросов через LB без `5xx`; отказ `COMMIT` после `PUT` → немедленная компенсация; реплика убита между `PUT` и `COMMIT` → уборка после grace; обрыв и зависание тела | `make upload-faults` | `<SERIES>` |
|
||||
| `faults.txt` | все проверки стенда под маркером `stack`: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и `test_attachment_faults.py`, включая `401` раньше `413` и медленные upload и скачивание 3 MiB дольше таймаута запроса | `make faults-evidence` | `<SERIES>` |
|
||||
| `s3-security.txt` | нет host-портов у `s3`, консоль закрыта изнутри и из сети стенда, `s3-init` повторно дважды без изменений, права ключей API и сверки (разрешено и `AccessDenied`), анонимный доступ, снимок политик и пользователей без секретов и дат (валидный JSON) | `make s3-check` | `<SERIES>` |
|
||||
| `upload-memory/run{1,2,3}/` | три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; `summary.txt` и JSON на точку (ответы, задержки, пик `memory.peak` реплик и LB, `oom_kill`) | `make upload-memory ARGS='--out evidence/upload-memory/runN'` | `<SERIES>` |
|
||||
| `upload-memory/mmap-32m/` | 3 слота, 10 MiB, порог `mmap` glibc 32 MiB вместо 128 KiB | `MALLOC_MMAP_THRESHOLD_=33554432 python3 scripts/upload_memory.py --slots 3 --sizes 10485760 --out evidence/upload-memory/mmap-32m` | `<SERIES>` |
|
||||
| `overload-leftovers.txt` | после серии памяти: невидимые намерения от `503` по таймауту, их вид в `make reconcile`, удаление уборкой после grace 900 с, сверка после | `make overload-leftovers` | `<SERIES>` |
|
||||
| `load.txt`, `load/run{1,2,3}.json` | нагрузка записи сообщений `tests/load.py` (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети `<проект>_edge`: полная команда клиента, сырой вывод `load.py`, `docker stats` стенда и клиента, статусы `request.handled` реплик | `make load-evidence` | `<SERIES>` |
|
||||
| `load/host-attempt.txt` | отброшенная попытка той же нагрузки с хоста macOS (30.10, до этой серии): клиентские ошибки соединения при исчерпании эфемерных портов, ни одного `5xx` на репликах; строки перенесены из вывода консоли | команды внутри файла | `81dd816` |
|
||||
|
||||
## Трек 2 «Согласованность двух хранилищ»
|
||||
|
||||
`reconcile/` — сценарий трека, матрица стоимости и проверки после трека; состав и поля — `reconcile/README.md`.
|
||||
`reconcile/` — сценарий трека и матрица стоимости; состав и поля — `reconcile/README.md`.
|
||||
|
||||
| Файл | Что доказывает | Команда | Коммит |
|
||||
| --- | --- | --- | --- |
|
||||
| `reconcile/demo.json` и файлы сценария | внедрение ошибок на обеих сторонах, dry-run, `apply` дважды, независимая проверка, карантин, `healed`, занятая блокировка, остановленный S3, 75 проходов под загрузками | `make reconcile-demo` | `5c3c238` |
|
||||
| `reconcile/cost/` | стоимость обхода 1k/10k/30k × 3 прогона, закреплённые CPU, отбраковка чужой нагрузки | `make reconcile-cost` | `b191623` |
|
||||
| `reconcile/cost-2026-10-29/`, `reconcile/cost-aborted/` | первая серия матрицы без отбраковки; прерванные попытки наполнить RustFS до 100k | `make reconcile-cost` | `5ca2cdc`, до `5ca2cdc` |
|
||||
| `reconcile/after-checks.txt` | уровни «3» и «4» после трека на стенде из чистого состояния | команды внутри файла | `8cb5a66` |
|
||||
| `reconcile/demo.json` и файлы сценария | внедрение ошибок на обеих сторонах, dry-run (счёт и множества id), `apply` дважды с журналом аудита, независимая проверка, карантин, снятие карантина только при совпавшем SHA-256, занятая блокировка, `docker stop` идущего прохода, остановленный S3, 74 прохода под загрузками | `make reconcile-demo` | `61dcb6b` |
|
||||
| `reconcile/cost/` | стоимость обхода 1k/10k/30k/100k × 3 прогона, `--deep` на всех точках, закреплённые CPU, отбраковка чужой нагрузки | `make reconcile-cost` | `61dcb6b` |
|
||||
| `reconcile/cost-b191623/`, `reconcile/cost-2026-10-29/`, `reconcile/cost-aborted/` | прошлые серии 1k/10k/30k (`b191623` — с лишней SQL-страницей; `5ca2cdc` — без отбраковки) и прерванные попытки наполнить 100k в прежних конфигурациях | `make reconcile-cost` | `b191623`, `5ca2cdc`, до `5ca2cdc` |
|
||||
|
||||
@@ -0,0 +1,30 @@
|
||||
# Проверка review1: 21 замечание
|
||||
|
||||
Исходный список: .prep/lab4-review1-findings.json, нумерация по порядку (1–21).
|
||||
Ни одно замечание не считается закрытым только по старому remark. Источник приложения:
|
||||
SQLAlchemy-перенос 8e4532f6f5c05d902b6e2c310f54320d95585904, 404 текущих теста в grade3/student-tests.txt.
|
||||
Строки трека ожидают отдельного цикла после уровня 4.
|
||||
|
||||
| № | Состояние и проверяемое основание |
|
||||
| --- | --- |
|
||||
| 1 | Ожидает новой матрицы track5 1k/10k/30k/100k ×3 shallow/deep. Старые asyncpg цифры не доказательство. |
|
||||
| 2 | REPORT сохраняет хронологию: исходная H2 100k в 148868b; редакция 30k в 5ca2cdc постфактум. Новая H2 будет записана до новой серии. |
|
||||
| 3 | REPORT различает наблюдавшийся grace и recheck. test_row_written_after_listing_keeps_the_object проходит; новый demo должен отдельно вывести rechecked_total. |
|
||||
| 4 | scripts/reconcile-inject.sh fresh использует один UUID; demo сравнивает множества. Методика: 18 явных загрузок + fixture предварительного публичного smoke. Ожидает нового demo. |
|
||||
| 5 | _row хеширует любую строку в карантине даже без deep. test_other_bytes_of_the_same_length_keep_the_quarantine проходит; новый heal ожидается в track5. |
|
||||
| 6 | Историческая колонка LB переименована в максимум из трёх. Новая таблица будет рассчитывать медиану и диапазон непосредственно из трёх JSON. |
|
||||
| 7 | grade3/s3-security.txt: полный SHA/UTC, JSON политик сформирован json.dumps, 31 PASS и RESULT PASS. |
|
||||
| 8 | grade3/failover-upload.json: UTC/SHA, target exited и сосед running при download, SHA равен. |
|
||||
| 9 | scripts/clean-clone.sh сохраняет raw, проверяет ошибки и не удаляет volumes. Ожидает нового clone-прогона. |
|
||||
| 10 | grade4/stack-faults.txt: test_token_is_checked_before_the_declared_size, 401 при Content-Length 10485761. |
|
||||
| 11 | grade3/s3-security.txt: API ListBucket deny, Get/Put/Delete allow; отдельные ограниченные ключи reconciler. |
|
||||
| 12 | Положительный прогресс продлевает deadline. grade4/stack-faults.txt: upload 3 MiB за 12,2 с, download за 16,0 с — оба PASS. |
|
||||
| 13 | compose init:true; test_any_pass_failure_ends_as_reconcile_failed и test_cancelled_pass_releases_its_autocommit_lock проходят. Новый SIGTERM/outage demo ожидается. |
|
||||
| 14 | ReconcileProvider использует dishka, EventBus и AttachmentsJournal; UoW events публикуются. Новый audit reason=reconcile ожидается в demo. |
|
||||
| 15 | _rows использует lookahead size+1; test_pages_of_rows_are_not_followed_by_an_empty_one проходит. Ожидает новых чисел SQL из cost. |
|
||||
| 16 | compose x-s3-client user65534:65534; grade3/limits.txt проверяет и одноразовые сервисы. CI отдельно проверяет s3-init/migrate через ps -aq. |
|
||||
| 17 | REPORT ограничения процесса: carry-over закрывает 3.9, номер 4.1 пришёл из ЛР3; превышение 400 слов признано. Старые архивы не переписаны. |
|
||||
| 18 | load-evidence.sh содержит полный digest и монтирования, сеть из project; ошибка клиента возвращается. Ожидает трёх реальных прогонов. |
|
||||
| 19 | Новая серия S3 ×3: upload 0,828–5,039, download 0,510–1,397 с, <6 с. Счётчик negative: 53 в grade3, 54 в grade4; оба 0×5xx. Это число наблюдений, не константа. |
|
||||
| 20 | upload_memory.py --out требует пустой каталог; provenance в каждом JSON. Изоляция cost будет проверена в track5 без удаления старых файлов. |
|
||||
| 21 | Дубликат №5: любой карантин снимается только после SHA-256; тест с другими байтами той же длины проходит. |
|
||||
@@ -1,11 +1,11 @@
|
||||
## 1. Обвязка
|
||||
|
||||
- [ ] 1.1 Исправить изоляцию серий, provenance, exit codes и безопасный clean-clone.
|
||||
- [ ] 1.2 Проверить lint/check и закоммитить обвязку перед замерами.
|
||||
- [x] 1.1 Исправить изоляцию серий, provenance, exit codes и безопасный clean-clone.
|
||||
- [x] 1.2 Проверить lint/check и закоммитить обвязку перед замерами.
|
||||
|
||||
## 2. Проверки
|
||||
|
||||
- [ ] 2.1 Выполнить все stack-тесты отказов и загрузок через LB.
|
||||
- [x] 2.1 Выполнить все stack-тесты отказов и загрузок через LB.
|
||||
- [ ] 2.2 Снять три серии памяти, проверить уборку оставшихся намерений.
|
||||
- [ ] 2.3 Подтвердить воспроизводимый клиент нагрузки и чистый clone с сырым выводом.
|
||||
|
||||
|
||||
@@ -0,0 +1,50 @@
|
||||
import argparse
|
||||
import json
|
||||
import statistics
|
||||
from collections import defaultdict
|
||||
from pathlib import Path
|
||||
|
||||
REPEATS = 3
|
||||
|
||||
|
||||
def spread(values: list[float]) -> dict[str, float]:
|
||||
return {"median": statistics.median(values), "min": min(values), "max": max(values)}
|
||||
|
||||
|
||||
def main() -> None:
|
||||
parser = argparse.ArgumentParser(description="Summarize three independent upload memory runs")
|
||||
parser.add_argument("root", type=Path)
|
||||
args = parser.parse_args()
|
||||
groups = defaultdict(list)
|
||||
for path in sorted(args.root.glob("run*/slots*.json")):
|
||||
run = json.loads(path.read_text())
|
||||
key = (run["upload_concurrency"], round(run["body_bytes"] / 1048576), run["concurrency"])
|
||||
groups[key].append((path, run))
|
||||
expected = {(s, m, c) for s in (3, 64) for m in (1, 10) for c in (10, 20, 40)}
|
||||
if set(groups) != expected or any(len(runs) != REPEATS for runs in groups.values()):
|
||||
parser.error("expected 12 points with three repeats each")
|
||||
summary = []
|
||||
for (slots, size, concurrency), rows in sorted(groups.items()):
|
||||
runs = [r for _, r in rows]
|
||||
summary.append(
|
||||
{
|
||||
"slots": slots,
|
||||
"mib": size,
|
||||
"concurrency": concurrency,
|
||||
"files": [str(p.relative_to(args.root)) for p, _ in rows],
|
||||
"commits": sorted({r["commit"] for r in runs}),
|
||||
"status_codes": [r["status_codes"] for r in runs],
|
||||
"api_peak_mib": spread(
|
||||
[max(m["cgroup_memory_peak_mib"] for m in r["memory"].values()) for r in runs]
|
||||
),
|
||||
"lb_peak_mib": spread([r["lb"]["cgroup_memory_peak_mib"] for r in runs]),
|
||||
"p95_ms": spread([r["latency_ms"]["p95"] for r in runs]),
|
||||
"api_oom": sum(m["oom_kill"] for r in runs for m in r["memory"].values()),
|
||||
"lb_oom": sum(r["lb"]["oom_kill"] for r in runs),
|
||||
}
|
||||
)
|
||||
print(json.dumps(summary, ensure_ascii=False, indent=2))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user