From cf41f7c64dcf1dea6da0643f5793bd2e5dd1f03e Mon Sep 17 00:00:00 2001 From: Artyom Date: Fri, 6 Nov 2026 02:07:59 +0300 Subject: [PATCH] Separate historical results and audit every lab4 review finding --- REPORT.md | 172 +++++++++++------- evidence/README.md | 93 +++++----- .../sqlalchemy-2026-11-06/REVIEW-CLOSURE.md | 30 +++ .../verify-lab4-grade4-sqlalchemy/tasks.md | 6 +- tools/summarize_upload_memory.py | 50 +++++ 5 files changed, 241 insertions(+), 110 deletions(-) create mode 100644 evidence/sqlalchemy-2026-11-06/REVIEW-CLOSURE.md create mode 100644 tools/summarize_upload_memory.py diff --git a/REPORT.md b/REPORT.md index e689b2bd..df516229 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,26 +2,30 @@ - Автор, группа: Костылев Артём, БПИ2303 - Целевая оценка: **5**; трек «5» — **трек 2 «Согласованность двух хранилищ (reconciler)»** -- Commit/PR: ветка `solution/bpi2303-kostylev`. Код приложения (`src/`) последний раз менялся в `5c3c238` и - `3b3cb5b` (трек 2: проход сверки с недоступной зависимостью завершается её ошибкой), стенд (`compose.yaml`, - `Dockerfile`, `infra/`) — в `e927afd` (перенос исправлений лабы 3, цикл `2026-10-30-carry-over-lab3-review-fixes`), - обвязка (`scripts/`, `Makefile`) — в `8cb5a66` (две строки сводки стоимости трека). **Все доказательства уровней «3» и - «4»** и запуск из чистого clone сняты на `81dd816`, код которого равен итоговому; сценарий трека 2 — на `5c3c238`, - матрица стоимости — на `b191623`, проверка уровней после трека — на `8cb5a66`: после них код приложения и стенда не - менялся. Дата и коммит — в первой строке каждого `evidence/*.txt`, для JSON — в индексе `evidence/README.md`. PR - «ЛР 4 — БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по `.github/pull_request_template.md`; - его ссылка появляется при публикации +- Состояние на 2026-11-06: перенос SQLAlchemy/Alembic выполнен из immutable snapshot + `f591fa64e525679a31c9db7f942d36c789e1a12f`, код переноса — + `8e4532f6f5c05d902b6e2c310f54320d95585904`. Текущие проверки уровня 3: + [новая матрица](evidence/sqlalchemy-2026-11-06/grade3/NOTES.md), полный SHA каждой команды в raw-выводе. + Уровни 4/5 обновляются последовательными циклами; итоговую редакцию отчёта подготовит этап после ревью. + **Таблицы и численные результаты ниже, ссылающиеся на evidence вне sqlalchemy-2026-11-06, + относятся к исторической реализации asyncpg и не подтверждают текущий SQLAlchemy-код.** + Публикация в этой фазе не выполняется. - Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic, - structlog, asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow, pytest, ruff, ty (версии — + structlog, SQLAlchemy 2 async, Alembic, asyncpg (драйвер), argon2-cffi, redis-py, aiobotocore/botocore, Pillow, pytest, ruff, ty (версии — `evidence/environment.txt` и `uv.lock`); RustFS 1.0 и `rc` (IAM-политики, anonymous access, lifecycle), Amazon S3 User Guide (PutObject, GetObject, ListObjectsV2, политики bucket), botocore Config (таймауты, повторы, checksum), Pillow (`Image.open`, `verify`, `draft`, защита от decompression bomb), спецификация PNG (чанки и CRC), HAProxy 3.2 Configuration Manual, документация Docker Compose (secrets, `depends_on`, профили). Решение - перенесено из моей лабы 3 и выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами, + перенесено из моей лабы 3; в текущем этапе использован Codex. Код, стенд и отказы проверены прогонами, перечисленными ниже. ## Запуск из чистого clone +Параметры текущего стенда: `COMPOSE_PROJECT_NAME=hlpipe-lab4-<имя>`, `LB_HTTP_PORT=18084`, +`LB_STATS_PORT=24844`, `NO_PROXY=localhost,127.0.0.1,::1`. Скрипт `scripts/clean-clone.sh` +создаёт отдельный clone внутри `.verification/`, останавливает только его project и сохраняет volumes. +Старый протокол ниже описывает прежний прогон; команды удаления данных больше не выполняются. + Требуются Docker с Compose v2, `make` и системный Python 3.9+ (только для публичных проверок и сценариев). Образы сторонних сервисов закреплены версией и digest, API собирается из исходников. @@ -44,7 +48,6 @@ make reconcile # трек 2: сверка PostgreSQL ↔ S3, по умол make migrate # повторный запуск миграций: up to date make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются -make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v ``` Каждая строка этого блока выполнена в свежем clone (`evidence/clean-clone.txt`; клон назван `mtusi2026lab4-clean`, @@ -62,7 +65,7 @@ make install # .venv для pytest-сценариев (uv sync --group de make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела make upload-memory # «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/ -make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k × 3 на чистом стенде → evidence/reconcile/cost/ +make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k/100k × 3 на чистом стенде → evidence/reconcile/cost/ ``` `make up` ждёт `healthy` всех долгоживущих сервисов и успешного завершения одноразовых `migrate` (миграции под @@ -98,7 +101,7 @@ Desktop — 16 CPU, 7.65 ГиБ (`evidence/environment.txt`). ## Архитектура и решения ``` - ┌── api (gunicorn, 2 × UvicornWorker) ─┐ asyncpg pool ┌▶ postgres (метаданные, pgdata) + ┌── api (gunicorn, 2 × UvicornWorker) ─┐ SQLAlchemy async engine ┌▶ postgres (метаданные, pgdata) клиент ──HTTP──▶ lb (HAProxy 3.2) ────┤ X-Instance-Id = hostname ├────────────────────┼▶ valkey (кэш сессий, AOF) 127.0.0.1:8080 round robin, └── api (gunicorn, 2 × UvicornWorker) ─┘ aiobotocore └▶ s3: RustFS (байты, s3data) httpchk /health/ready migrate (образ api, один раз) ──▶ postgres @@ -136,7 +139,7 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может нарушение превращается в `404` и откатывает всю отправку вместе с ключом идемпотентности, а используемое вложение нельзя удалить. -**Схема** (`0003_attachments.sql`, `evidence/schema.txt`): `attachments` без `bytea`, `CHECK` на тип, размер +**Схема** (`alembic/versions/0003_attachments.py`, `evidence/schema.txt`): `attachments` без `bytea`, `CHECK` на тип, размер 1..10485760, формат SHA-256, статус; `object_key text COLLATE "C" UNIQUE` (байтовый порядок, как у листинга S3); частичный индекс `(created_at) WHERE status = 'pending'`; `message_attachments` с PK `(message_id, position)`, `UNIQUE (message_id, attachment_id)` и индексом по `attachment_id`. `messages_text_check` ослаблен до `≤ 4000`: @@ -148,10 +151,9 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может **Upload: где применяется каждый лимит.** Тело читается потоком, FastAPI его не разбирает. -1. объявленный `Content-Length` > лимита маршрута → `413` в конвейере раньше проверки токена, тело не читается - (лимит 10 MiB только у маршрута upload, у JSON остаётся 1 MiB); конвейер считает и реально полученные байты - тела против того же лимита; -2. `401` — guard конвейера; +1. `401` — guard конвейера: он читает только заголовок `Authorization` и сессию, тело не трогает; +2. объявленный `Content-Length` > лимита маршрута → `413` в конвейере, тело не читается (лимит 10 MiB только у + маршрута upload, у JSON остаётся 1 MiB); конвейер считает и реально полученные байты тела против того же лимита; 3. членство в чате → `404` (раньше любых проверок содержимого); 4. `filename` после percent-decode: 1–255 code points, не пробельный, без `/`, `\` и символов категории `Cc` (NUL, `\x01`, `\x7f`, перевод строки…) → иначе `400`; используется только для отображения; @@ -226,7 +228,9 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` **Готовность.** `/health/ready` от S3 не зависит. Если бы зависела, при падении S3 балансировщик вывел бы все реплики, отказали бы и тексты, а ответы LB не несут `X-Instance-Id`. Сейчас upload и скачивание получают `503` от -приложения за 2,2 и 2,0 с (предел — две попытки по 1 + 2 с), а тексты и метаданные работают (`evidence/s3-outage.json`). +приложения: в новой серии upload 0,828–5,039 с, download 0,510–1,397 с +(граница проверки 6 с). Тексты и метаданные работают +(`evidence/sqlalchemy-2026-11-06/grade3/s3-outage-{1,2,3}.json`). **Память загрузок (уровень «4»).** Пик памяти держат три настройки по всей цепочке, найденные замером (ниже): слоты загрузки на воркер; буферы сокетов — HAProxy `tune.rcvbuf/sndbuf.client/server 65536`, у `api` @@ -240,7 +244,12 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` **Цепочка таймаутов:** клиент smoke/resilience 10/2 с; LB `timeout server` 10 с > `REQUEST_TIMEOUT_SECONDS` 8 с > худшая операция S3 2 × (1 + 2) = 6 с и ожидание соединения PostgreSQL + оператор 1 + 2 с. LB не повторяет upload: `disable-l7-retry` снят только для `GET` и `POST …/messages` с ключом, повтор отказа соединения безопасен (запрос -не ушёл). +не ушёл). Дедлайн запроса в конвейере продлевается переданными байтами тела запроса и ответа: `min(now, start + +moved / MIN_TRANSFER_RATE_BYTES) + 8 с`, по умолчанию 128 KiB/s (схема `mod_reqtimeout` с потолком). Медленная, но +идущая передача не обрывается: upload 10 MiB может идти до 80 + 8 с. Зависшее или ползущее медленнее порога тело +обрывается через 8 с плюс кредит уже переданных байтов (1 KiB даёт 8 мс). После последнего байта тела на обработку +остаётся не больше 8 с. `timeout server`/`timeout client` HAProxy — таймауты простоя одной стороны, поэтому длинная +идущая передача через LB не обрывается. Это проверено тестом стенда: 3 MiB вверх и вниз дольше 8 с. **Роли и сервисы** (`compose.yaml`; сети `edge` и `backend` с `internal: true`): @@ -250,18 +259,21 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` | api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp`, `tcp_rmem`/`tcp_wmem` ≤ 256 KiB | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` | | postgres (метаданные) | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready` | `pgdata` | `backend` | `postgres_password` через `POSTGRES_PASSWORD_FILE` | | s3 | `s3` | `rustfs/rustfs:1.0.4@sha256:ed9210d6…`, uid 10001, `read_only`, `cap_drop: ALL`, консоль выключена | `curl /health/ready` | `s3data:/data` | `backend`, :9000 без публикации | root: `s3_root_user`, `s3_root_password` через `RUSTFS_*_FILE` | -| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи и ключ API (создаёт пользователя) | -| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc` | нет | нет | `backend` | aliases `root`, `api`, `anon` | +| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, uid 65534, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи, ключи API и сверки (создаёт пользователей) | +| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc`, uid 65534 | нет | нет | `backend` | aliases `root`, `api`, `reconciler`, `anon` | | сессии (кэш) | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` | `valkeydata` (AOF) | `backend` | `valkey.conf` | -| bootstrap схемы | `migrate` | образ api, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` | -| сверка PostgreSQL ↔ S3 (профиль `reconcile`) | `reconciler` | образ api, `read_only`, `entrypoint` — модуль сверки | код выхода 0 / 1 | нет | `backend` | `database_url`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` (ключ API, не root) | +| bootstrap схемы | `migrate` | образ api, uid 10001, `init: true`, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` | +| сверка PostgreSQL ↔ S3 (профиль `reconcile`) | `reconciler` | образ api, uid 10001, `init: true`, `read_only`, `entrypoint` — модуль сверки | код выхода 0 / 1 | нет | `backend` | `database_url`, `s3_reconciler_access_key_id`, `s3_reconciler_secret_access_key` через `S3_*_FILE` (свой ключ, не root и не ключ API) | | нагрузка (профиль `bench`) | `k6` | `grafana/k6:2.3.0@sha256:2dd4756e…` | нет | нет | `edge` | нет | Приватный bucket создаёт `infra/s3/init.sh`: `rc bucket create --ignore-existing`, `rc bucket anonymous set private`, -политика `messenger-api` из `infra/s3/api-policy.json` (Get/Put/DeleteObject, abort/list multipart на -`messenger-attachments/*`, ListBucket и GetBucketLocation на сам bucket), пользователь API с ключом из -`secrets/`, lifecycle «незавершённый multipart старше суток удаляется», самопроверка анонимной политики и -привязки. Root-ключи есть только у `s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `evidence/limits.txt`). +политика `messenger-api` из `infra/s3/api-policy.json` (только `GetObject`, `PutObject`, `DeleteObject` на +`messenger-attachments/*`) и пользователь API, политика `messenger-reconciler` из `infra/s3/reconciler-policy.json` +(`ListBucket` на bucket, `GetObject`, `DeleteObject` на объекты) и пользователь сверки — оба с ключами из +`secrets/`. Дальше идёт lifecycle «незавершённый multipart старше суток удаляется» (он работает на стороне сервера, +ключам multipart-действия не нужны), самопроверка анонимной политики и привязки обеих политик. Реплики API +листинга bucket не делают и права на него не имеют, листинг есть только у ключа сверки. Root-ключи есть только у +`s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `evidence/limits.txt`). MinIO не выбран: `minio/minio` удалён с Docker Hub, quay отдаёт 401, проект архивирован; SeaweedFS работает от root и не читает ключи из файлов. Лимиты: lb 1/128m, api 1/512m на реплику, s3 1/512m, s3-init и s3-cli 0.5/64m, migrate 0.5/256m, reconciler 1/256m, postgres 2/1g, valkey 0.5/128m. @@ -283,12 +295,16 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS | | — | `UPLOAD_CONCURRENCY`, `UPLOAD_GRACE_SECONDS`, `UPLOAD_SWEEP_INTERVAL_SECONDS`, `UPLOAD_SWEEP_BATCH` | 3 тела на воркер; 900 с; 30 с; 100 строк за проход (уровень «4») | | — | `MALLOC_MMAP_THRESHOLD_` | 131 072: тела больше 128 KiB возвращаются системе при освобождении (уровень «4») | +| — | `MIN_TRANSFER_RATE_BYTES` | 131 072 B/s: каждый переданный байт тела продлевает дедлайн запроса на 1/скорость | | — | `RECONCILE_CPUS`, `RECONCILE_MEMORY`, `RECONCILE_S3_READ_TIMEOUT_SECONDS` | 1, 256m, 10 с: лимиты сервиса сверки и таймаут чтения страницы листинга (трек 2) | | — | `S3_CPUS`, `S3_CPUSET`, `PG_CPUSET`, `RECONCILE_CPUSET` | 1 CPU у RustFS; пусто — без закрепления; `make reconcile-cost` задаёт 2 CPU / 3 GiB RustFS и отдельные ядра на время замеров (трек 2) | | — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 | ## Доказательства критериев +Таблица ниже — историческая серия asyncpg. Актуальные результаты: `evidence/sqlalchemy-2026-11-06/grade3/NOTES.md` +и `grade4/NOTES.md`; результаты трека добавляются после его отдельного цикла. Файлы старых серий сохранены. + Уровни «3» и «4» сняты одной серией на стенде из чистого состояния (`make reset-data`, `make up`) на `81dd816`; порядок серии — в `evidence/README.md`. Трек 2 — на `5c3c238` и `b191623`, проверка уровней после трека — на `8cb5a66`. @@ -308,7 +324,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | **3.7** Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | `make scenario SCENARIO=s3-outage` | при остановленном `s3`: upload `503` за 2,23 с, `/content` `503` за 1,99 с, метаданные `200`, текст `201`, `/health/ready` `200`; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 | `evidence/s3-outage.json` | | **3.8** Закреплённая версия образа S3 и создание приватного bucket | `compose.yaml`, `infra/s3/init.sh`; `make up`; `make s3-check` | все образы по digest; `s3-init` пишет `bucket=messenger-attachments anonymous=private policy=messenger-api lifecycle=abort-incomplete-uploads`; 23/23 проверки `PASS`, включая двойной повторный bootstrap без изменений | `evidence/environment.txt`, `evidence/clean-clone.txt`, `evidence/s3-security.txt` | | **3.9** Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, KDF, общая идемпотентность, секреты вне Git | `make stack-evidence`, `make limits`, `make storage-evidence`, `make lb-check`, `make retry-check` | 2 `api` без портов, `container_name` 0, LB видит `api1/api2 UP L7OK 200`, `X-Instance-Id` чередуется; политика лимитов, портов, секретов и сетей — `PASS`; миграции `0001`–`0004`, повтор `up to date` без изменения счётчиков (66 пользователей, 288 сообщений, 17 вложений); Argon2id у всех 66, хеши токенов по 32 B; один токен на обеих репликах — 20 + 20; 20 раундов × 8 параллельных POST одним ключом — 160 × `201`, по одной копии; потерянный ответ на живой и на убитой реплике — повтор `201` с тем же сообщением, одна копия; `git ls-files secrets .env` пуст | `evidence/stack.txt`, `evidence/limits.txt`, `evidence/schema.txt`, `evidence/migrations.txt`, `evidence/kdf.txt`, `evidence/secrets.txt`, `evidence/lb-check.json`, `evidence/retry.json` | -| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `342 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 × `404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с `Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 × `415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за прогон 54 ответа, из них `5xx` — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` | +| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `342 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 × `404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с `Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 × `415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за исторический прогон 53 ответа, из них `5xx` — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` | | **4.2** Прерывание загрузки и отказ между записью S3 и БД не оставляют вечных неучтённых объектов: компенсация и уборка с grace period | `make upload-faults` (триггеры PostgreSQL на время теста, `docker kill -s KILL` реплики); `make student-test` (`test_upload_consistency.py`) | отказ `COMMIT` после `PUT` → `503`, сразу нет ни строки, ни объекта (`HEAD` 404), в журнале `audit.attachment_discarded reason=compensation`; реплика убита между `PUT` и `COMMIT` (обе по очереди, клиент получил `502` от LB) → остались `pending` и объект (`HEAD` 200); намерение, сдвинутое за grace, уборка удалила вместе с объектом через 24,7 с, свежее осталось (`pending`, `HEAD` 200) и ушло через 1,0 с после сдвига; готовое вложение в сообщении со сдвинутым `created_at` скачивается с тем же SHA-256; обрыв после 256 KiB из 5 MiB → `400` в журнале, намерение не создавалось; зависшее тело → `503` за 8,01 с, ничего не записано. API-тесты: снятое во время `PUT` намерение → `503` и удалённый объект, сбой `PUT` оставляет `pending` до конца grace, два параллельных прохода делят 5 намерений ровно, следующий проход удаляет 0 | `evidence/upload-faults.txt`, `evidence/student-tests.txt` | | **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` трижды (`scripts/upload_memory.py --out evidence/upload-memory/runN`): слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждой точкой; отдельно порог `mmap` 32 MiB | при 3 слотах медиана пика реплики 297 / 321 / 334 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB, максимум трёх прогонов 345 MiB (простой 112–122, лимит 512), `oom_kill` 0, пик LB ≤ 31 MiB; без лимита слотов те же загрузки — 288 / 428 / 512 MiB, при 40 упор в лимит cgroup во всех трёх прогонах и 27 и 34 × `503` в двух из них; при 3 слотах и 40 клиентах p95 4,6–7,6 с, в одном прогоне 7 из 80 не уложились в таймаут 8 с (`503`); 1 MiB при любой настройке — 173–213 MiB; порог `mmap` 32 MiB — +12…35 MiB; таймауты: зависшее тело — `503` за 8,01 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/run{1,2,3}/summary.txt` и JSON точек, `evidence/upload-memory/mmap-32m/` | | **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у `s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — deny; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` | @@ -356,7 +372,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | Трек 2: сверка при остановленном S3 | код `1` за ограниченное время, ничего не меняет | код `1` за 1,63 с, `EndpointConnectionError` в журнале | повторить после возврата S3 | | Трек 2: `--apply` подряд во время загрузок через LB | ни одно идущее или готовое вложение не удалено | 3 418 × `201`, все готовы с тем же SHA-256, `lost_ready` 0; 247 раз объект идущей загрузки выглядел объектом без строки и остался | потерь нет | -### Нагрузка записи сообщений +### Нагрузка записи сообщений (историческая серия asyncpg) **Цель.** Проверить, что после переноса исправлений лабы 3 и добавления вложений запись сообщений под нагрузкой проходит без ошибок, и снять её профиль: RPS, задержки, CPU и память. Гипотеза о пределе заранее не ставилась. @@ -407,9 +423,10 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра `memory.events`. Конфигурации: 64 слота (фактически без лимита) и 3 слота; 1 и 10 MiB; c = 10, 20, 40; отдельно один прогон 3 слота × 10 MiB с порогом `mmap` 32 MiB (`evidence/upload-memory/mmap-32m/`). -**Результаты** (медиана трёх прогонов, в скобках — разброс; простой реплики 112–122 MiB, лимит 512 MiB): +**Исторические результаты asyncpg** (медиана трёх прогонов, в скобках — разброс; +колонка LB — максимум трёх, округлённый вверх; простой реплики 112–122 MiB, лимит 512 MiB): -| Слоты | Размер | c | Ответы `201` из 2c в трёх прогонах | p50 / p95, мс | Пик реплики, MiB | Пик LB, MiB | +| Слоты | Размер | c | Ответы `201` из 2c в трёх прогонах | p50 / p95, мс | Пик реплики, MiB | Макс. пика LB из трёх, MiB | | --- | --- | --- | --- | --- | --- | --- | | 64 | 1 MiB | 10 / 20 / 40 | все | 111 / 156 · 161 / 214 · 263 / 398 | 176 / 189 / 212 | ≤ 26 | | 64 | 10 MiB | 10 | 20, 20, 20 | 842 / 870 | 288 (278–291) | 24 | @@ -443,7 +460,8 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра под профилем `reconcile` (`make reconcile ARGS=…`), по умолчанию `--dry-run`, `--apply` исправляет. Один проход сливает два отсортированных потока: листинг `ListObjectsV2(Prefix="attachments/", MaxKeys=1000)` (S3 отдаёт ключи в байтовом порядке) и keyset-страницы `SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT 1000` -(`Index Scan` по `attachments_object_key_key`, колонка `COLLATE "C"` — тот же порядок). Для каждой строки сначала +(`Index Scan` по `attachments_object_key_key`, колонка `COLLATE "C"` — тот же порядок; выбирается страница плюс одна +строка, чтобы не читать пустую последнюю страницу). Для каждой строки сначала идут все объекты с меньшим ключом (объекты без строки), затем пара или её отсутствие. Время O(N), в памяти — по странице каждой стороны. Порог «старого» — `now − grace − skew` (по умолчанию 3600 + 60 с, `grace` ≥ 60): по `LastModified` объекта и `created_at` строки. @@ -455,43 +473,57 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра | `size_mismatch` | `ready`, `Size ≠ size_bytes` | `HEAD`: размер всё ещё другой → карантин | | `sha_mismatch` | `--deep`: SHA-256 потока ≠ `sha256` | карантин | | `pending_stale` / `pending_fresh` | `pending` старше / моложе порога | `FOR UPDATE SKIP LOCKED`, всё ещё `pending` и старая → объект, затем строка / ничего | -| `quarantined` / `healed` | в карантине и всё ещё расходится / снова совпал | ничего / снять карантин | +| `quarantined` / `healed` | в карантине и всё ещё расходится / размер снова совпал, и SHA-256 потока объекта равен `sha256` (хешируется и без `--deep`) | ничего / снять карантин | Безопасность: готовая строка и её объект не удаляются никогда — строка уходит в карантин (миграция `0004`: `quarantine_reason`, `quarantined_at`), метаданные не меняются, `/content` отвечает `404` без запроса к S3, на строку -по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим. Каждое -действие предваряет повторная проверка той стороны, которую оно меняет (отказ — `rechecked`). Одновременно идёт один +по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим, но +снимается только после того, как объект прочитан и его SHA-256 совпал с метаданными. Объект той же длины с другими +байтами строку из карантина не выпускает. Каждое действие предваряет повторная проверка той стороны, которую оно +меняет (отказ — `rechecked`). Одновременно идёт один проход: `pg_try_advisory_lock(20260004)` на отдельном соединении на всё время прохода, второй отвечает `skipped` с кодом `0`. `--deep` читает каждый объект потоком и хеширует кусками по 64 KiB, не больше 8 в полёте. Отчёт — JSON в stdout (классы, исправленное, `rechecked`, до 20 примеров id, запросы, время, CPU, пик RSS), журнал — в stderr без -ключей объектов и кредов; код `1` — недоступна зависимость или не выполнено действие. Ключ S3 — тот же -ограниченный ключ API (`ListBucket`, `GetObject`, `DeleteObject`), root-ключей у сервиса нет. +ключей объектов и кредов. Код `1` — любая ошибка прохода (журнал `reconcile.failed` с типом ошибки, без трассировки) +или не выполненное действие. Удаление брошенного намерения пишет `audit.attachment_discarded reason=reconcile`, как +уборка и компенсация API: события UoW идут через `EventBus` в `AttachmentsJournal`, сервис собирает dishka из +`PlatformProvider` и того же провайдера хранилища, что у API. Ключ S3 у сверки свой (`ListBucket`, `GetObject`, +`DeleteObject`), ключа API и root-ключей у сервиса нет. `init: true`: `docker stop` идущего прохода завершает его +сразу, advisory lock снимает PostgreSQL при закрытии соединения. -**Гипотезы** (записаны в `design.md` изменения до первого прогона). H1 (корректность): слияние находит каждое -внедрённое расхождение в его классе, `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0 -действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок. -H2 (стоимость): время прохода без `--deep` линейно (`t(30k)/t(10k) = 3 ± 30 %`) и определяется страницами листинга; -листингов и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS на 1k и 30k отличается меньше чем на 10 %; `--deep` на порядок -дороже на объект и линеен по объёму. +**Гипотезы** записаны в `design.md` изменения `add-lab4-storage-reconciler` в коммите предложения `148868b`, до первого +прогона. H1 (корректность): слияние находит каждое внедрённое расхождение в его классе, `--apply` исправляет ровно +найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения +не удаляются, в том числе во время загрузок. H2 (стоимость), дословно из `148868b`: время прохода без `--deep` растёт +линейно (`t(100k)/t(10k) ≈ 10 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, +`HEAD`/`GET` — 0; пик RSS одинаков для 1k и 100k (разница < 10 %); `--deep` на порядок дороже на объект и линеен по +объёму. История формулировки: после двух прерванных наполнений до 100k (`cost-aborted/`) H2 в `5ca2cdc` была +переписана на 30k (`t(30k)/t(10k) = 3 ± 30 %`), и прошлая версия отчёта проверяла уже её. Точка 100k в прежней серии не является доказательством SQLAlchemy; +текущий цикл повторяет исходную H2 из `148868b`. Соотношение 30k/10k приведено как дополнительное. **Методика.** -- `make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния, коммит `5c3c238`, - `--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок готовых вне API - (`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта) → внедрение на обеих - сторонах (`scripts/reconcile-inject.sh`): 3 объекта без строки (`rc pipe` мусора под префикс), 3 удалённых - объекта (`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными - байтами той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом - (`PUT` прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make - upload-faults`), все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения → - `--dry-run --deep` → `--apply --deep` дважды → независимая проверка с `--expect-ready` и проверки API → возврат - объекта (`healed`) → проход при занятой блокировке → проход при остановленном `s3` → 75 с загрузок через LB - (3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка `--deep`. -- `make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд, коммит `b191623`): RustFS 2 CPU / 3 GiB на - `cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N = 1 000, 10 000, 30 000 - синтетических вложений (`student-tests/tools/seed_storage.py`: 4 параллельных `PutObject` PNG 264 B и `COPY` строк - `ready`); на каждой точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей - 100. Метрики — из отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS. +- `make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния: `make reset-data`, `make up`, + `make test`; коммит `61dcb6b`, `--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок + готовых вне API (`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта; готовых 19 — + 18 загрузок сценария и fixture предварительного публичного smoke) → внедрение на обеих сторонах (`scripts/reconcile-inject.sh`): + 3 объекта без строки (`rc pipe` мусора под префикс `attachments/`, uuid запоминается), 3 удалённых объекта + (`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными байтами + той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом (`PUT` + прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make upload-faults`), + все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения → `--dry-run --deep` + (сравниваются и счёт, и множества id по классам) → `--apply --deep` дважды → независимая проверка с + `--expect-ready` и проверки API → под ключ одного вложения в карантине возвращаются исходные байты, под ключ + другого — случайные той же длины → `--apply` без `--deep` → проход при занятой блокировке → `docker stop` + прохода, висящего на листинге остановленного (`docker compose pause`) S3 → проход при остановленном `s3` → 75 с + загрузок через LB (3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка + `--deep`. +- `make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд после `make test`, коммит `61dcb6b`): + RustFS 2 CPU / 3 GiB на `cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N = + 1 000, 10 000, 30 000, 100 000 синтетических вложений (`student-tests/tools/seed_storage.py` в одноразовом + контейнере образа API под ключом API: 4 параллельных `PutObject` PNG 264 B и `COPY` строк `ready`); на каждой + точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей 100. Метрики — из + отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS. - Отбраковка: до и после каждого прогона читаются `/proc/stat` всей VM Docker и `cpu.stat` cgroup `s3` и `postgres`; чужой CPU за окно — занятость минус наше (`s3`, `postgres`, CPU процесса сверки) минус запуск контейнера (1,5 ядро·с во всей VM, 0,5 на закреплённых ядрах — замерено на простаивающем стенде). Прогон с чужим @@ -518,7 +550,7 @@ H2 (стоимость): время прохода без `--deep` линейн печаталась трассировкой вместо `reconcile.failed`, исправлено в `3b3cb5b`); `test_s3_storage.py` — байтовый порядок и страницы листинга RustFS. -**Результаты H2** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не +**Исторические результаты H2 до SQLAlchemy** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не больше 0,2 ядра в VM и 0,01 на закреплённых ядрах; разброс повторов ≤ 5 %): | N | Режим | Проход, с | мкс на объект | Листинг, с | SQL, с | Листингов / SQL / `GET` | CPU сверки, с | Пик RSS, MiB | @@ -542,10 +574,11 @@ H2 (стоимость): время прохода без `--deep` линейн ровно найденное, повтор — 0 действий, независимая проверка вне API (другие инструменты и root-ключ) не нашла ни нарушений, ни потерь. Под непрерывной загрузкой 75 проходов подряд не тронули ни одного вложения: идущая загрузка выглядит для прохода «объектом без строки» (листинг увидел объект раньше, чем страница строк — строку) сотни раз, - и от удаления её спасают оба барьера — порог grace и повторная проверка строки. + на этом стенде её защищает порог grace. Повторная проверка строки независимо доказана + тестом `test_row_written_after_listing_keeps_the_object`; наблюдение grace не доказывает срабатывание recheck. - H2 **подтверждена в части стоимости обхода, опровергнута в части `--deep`.** Без `--deep` время растёт линейно: `t(10k)/t(1k)` = 9,5, `t(30k)/t(10k)` = 3,73 (в пределах 3 ± 30 %, у верхней границы; в серии 29.10 — 3,05); запросов - листинга `⌈N/1000⌉`, SQL на один больше — keyset дочитывает пустую последнюю страницу; пик RSS 82,5 → 83,8 MiB + листинга `⌈N/1000⌉`, в исторической версии SQL на один больше; текущий lookahead выбирает size+1 и делает ⌈N/страница⌉ запросов; пик RSS 82,5 → 83,8 MiB (+1,6 %) — память от N не зависит. На 10k и 30k 95 % прохода — ожидание листинга RustFS, а не код сверки (CPU сверки сверх старта ≈ 30 мкс на объект, SQL — 4–5 мс на страницу). Цена листинга — около 83 мкс на ключ плюс 11 мс на запрос (страница 100 вдвое дороже страницы 1000 при вдесятеро большем числе запросов), и на ключ она растёт с размером @@ -643,8 +676,12 @@ PostgreSQL); S3 о пользователях мессенджера ничег - Тело всё ещё собирается в памяти целиком (≈ 36 MiB на загрузку 10 MiB с учётом копий проверки и клиента S3): потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи. - Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные - тесты проверяют `413` через `Content-Length`. Объявленный `Content-Length` больше лимита отклоняется `413` ещё до - проверки токена: анонимный клиент узнаёт лимит маршрута, но не данные. + тесты проверяют `413` через `Content-Length`. Токен проверяется раньше объявленного размера: анонимный клиент + получает `401`, а не лимит маршрута. +- Минимальная скорость клиента — `MIN_TRANSFER_RATE_BYTES` (128 KiB/s): медленнее этого upload и скачивание + обрываются (`503` для upload, обрыв тела после заголовков для скачивания), быстрее — идут сколько нужно. Длинная + передача держит слот загрузки и буфер тела: upload 10 MiB на пороговой скорости занимает слот до 88 с. При + `SIGTERM` реплики передача, не успевшая за `SHUTDOWN_TIMEOUT_SECONDS`, прерывается. - Нагрузка записи снята закрытым контуром `tests/load.py` с клиентом на той же VM и всеми записями в один чат: это пропускная способность этого распределения CPU (реплики и PostgreSQL у своих лимитов), а не предел архитектуры; с хоста macOS тот же замер упирается в эфемерные порты. @@ -659,3 +696,6 @@ PostgreSQL); S3 о пользователях мессенджера ничег - Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в двух архивных циклах — `add-lab4-image-attachments` и `add-lab4-upload-resilience` (около 453 слов без разметки, 492 и 477 по `wc -w`); у `add-lab4-storage-reconciler` 406 по `wc -w` и 364 без разметки. Архив уже закоммичен, историю не переписываю. + Proposal переноса `carry-over-lab3-review-fixes` ссылается на «пункт 4.1 (согласованные таймауты и `SIGTERM`)» — + это нумерация рубрики лабы 3. В этом отчёте перенос закрывает строку 3.9 (минимум лабы 3), а таймауты и `SIGTERM` + лабы 3 проверяются тестами стенда (`faults.txt`) и `make limits`; строка 4.1 здесь — тесты файлов. diff --git a/evidence/README.md b/evidence/README.md index ae9f6333..cc963bf2 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,61 +1,72 @@ +# Текущая серия SQLAlchemy + +Новые результаты находятся в [sqlalchemy-2026-11-06](sqlalchemy-2026-11-06/). +Уровень 3: [критерии, команды, результаты](sqlalchemy-2026-11-06/grade3/NOTES.md). +Полные SHA, UTC, параметры и exit code — в новых raw *.txt; API-код перенесён из +immutable `f591fa64e525679a31c9db7f942d36c789e1a12f`. +Индекс ниже сохранён как исторический: результаты asyncpg не выдаются за новые измерения. + # Доказательства -Обезличенные результаты прогонов лабы 4. Пользователи, чаты, тексты и изображения синтетические; паролей, токенов, +Обезличенные результаты прогонов лабы 4. Пользователи, чаты, тексты и изображения синтетические. Паролей, токенов, ключей S3, `.env`, содержимого `secrets/`, ключей объектов в журналах и дампов здесь нет. В первой строке каждого -отчёта `*.txt` — дата (UTC) и коммит прогона; у JSON даты и коммита внутри может не быть — коммит указан в таблицах -ниже. Проверки через балансировщик шли на порт 18084 (`LB_HTTP_PORT`; 8080 на машине был занят стендами других лаб): -цели `make` берут `BASE_URL` из `docker compose port lb 8080`. Hostname реплики = `X-Instance-Id`; ID контейнеров -меняются между прогонами. Коммит `81dd816` по коду приложения и стенда равен итоговому: после него менялись только -отчёт, `AGENTS.md`, openspec и `evidence/`. +отчёта `*.txt` стоят дата (UTC) и коммит прогона. В JSON сценариев (`failover-upload.json`, `s3-outage.json`, +`reconcile/demo.json`, `reconcile/cost/summary.json`) поля `date`/`started_at` и `commit` лежат внутри, у прочих +JSON коммит указан в таблицах ниже. Проверки через балансировщик шли на порт 18084 (`LB_HTTP_PORT`, потому что 8080 +на машине занят стендами других лаб): цели `make` берут `BASE_URL` из `docker compose port lb 8080`. Hostname +реплики = `X-Instance-Id`, ID контейнеров меняются между прогонами. -Уровни «3» и «4» сняты 30.10 одной серией на одном стенде: `make reset-data`, `make up`, затем `make test`, -`stack-evidence`, `limits`, `lb-check`, `scenario SCENARIO=failover-upload`, `failover-evidence`, `failover-evidence -SHIFT=1`, `persistence-evidence`, `scenario SCENARIO=s3-outage`, `s3-check`, `retry-check`, `upload-faults`, -`faults-evidence`, `attachments-evidence`, `storage-evidence`, отброшенная попытка нагрузки с хоста, три прогона -`upload-memory` и `mmap-32m`, `make reconcile` и `overload-leftovers.txt`, нагрузка `load.txt` клиентом в контейнере. -Без стенда — `contract-checks.txt` и `student-tests.txt`; `clean-clone.txt` — в отдельном клоне со своим -compose-проектом, до серии. +Код приложения последний раз менялся в `3de1dcd`, стенд (`compose.yaml`, `infra/`) — в `2891b37`, обвязка +(`scripts/`, `Makefile`) — в `6ffb90d`. Всё ниже снято на этом коде. + +Трек 2 снят 30.10 на `61dcb6b`, двумя свежими стендами (`make reset-data`, `make up`, `make test`): сначала +`make reconcile-demo`, затем `make reconcile-cost`. Уровни «3» и «4» сняты после трека одной серией на ``. +Порядок серии: `make reset-data`, `make up`, затем `make test`, `stack-evidence`, `limits`, `lb-check`, +`scenario SCENARIO=failover-upload`, `failover-evidence`, `failover-evidence SHIFT=1`, `persistence-evidence`, +`scenario SCENARIO=s3-outage`, `s3-check`, `retry-check`, `upload-faults`, `faults-evidence`, `attachments-evidence`, +`storage-evidence`, три прогона `upload-memory` и `mmap-32m`, `overload-leftovers`, `load-evidence`. Без стенда сняты +`contract-checks.txt` и `student-tests.txt`. `clean-clone.txt` снят в отдельном клоне со своим compose-проектом +после серии, на ``. ## Уровень «3» и перенос лабы 3 | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`–`0004` и `s3-init`, smoke, persistence, failover, `restore`, `failover-upload`, `s3-outage`, `s3-check`, `reconcile`, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | команды блока «Запуск из чистого clone» `REPORT.md` дословно, между ними — наблюдения | `81dd816` | -| `contract-checks.txt` | `make check`, `make validate` (`openapi-spec-validator` 0.7.2 из `.venv`); `git diff --stat upstream/main` контракта, публичных тестов и задания (пусто) и `.github` (только свой CI job) | команды внутри файла | `81dd816` | -| `student-tests.txt` | `make lint` и все собственные тесты по именам (342), включая адаптер S3 против RustFS | `make student-test PYTEST_ARGS='-v --no-header'` | `81dd816` | -| `smoke.txt` | публичный smoke через LB, ветка `LAB ≥ 4` | `make test` | `81dd816` | -| `stack.txt` | сервисы, порты только у `lb`, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `81dd816` | -| `environment.txt` | host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | `make stack-evidence` | `81dd816` | -| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты (root-ключи S3 только у `s3`, `s3-init`, `s3-cli`), volumes и сети по политике | `make limits` | `81dd816` | -| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другое тело | `make lb-check` | `81dd816` | -| `failover-upload.json` | upload → остановка принявшей реплики → скачивание через другую, SHA-256, возврат реплики | `make scenario SCENARIO=failover-upload` | `81dd816` | -| `failover-899a952a5a21.txt`, `failover-0cc3ee358e59.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, его журнал остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `81dd816` | -| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `81dd816` | -| `s3-outage.json` | S3 остановлен: upload и `/content` `503` с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 | `make scenario SCENARIO=s3-outage` | `81dd816` | -| `storage-layout.txt` | `\d attachments` и `\d message_attachments`, `bytea` всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, `ro` и mounts реплик, volume `s3`, секреты сервисов | `make attachments-evidence` | `81dd816` | -| `schema.txt`, `migrations.txt`, `kdf.txt`, `secrets.txt` | `\d+` всех таблиц и применённые миграции; повтор `migrate` → `up to date` при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, `.env` и volumes не в Git | `make storage-evidence` | `81dd816` | -| `retry.json` | потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; `201`, одна копия | `make retry-check` | `81dd816` | +| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`–`0004` и `s3-init`, smoke, persistence, failover, `restore`, `failover-upload`, `s3-outage`, `s3-check`, `reconcile`, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены); сырой вывод каждой команды | `make clean-clone-evidence LB_HTTP_PORT=18084 LB_STATS_PORT=24084` (`scripts/clean-clone.sh`) | `` | +| `contract-checks.txt` | `make check`, `make validate` (`openapi-spec-validator` 0.7.2 из `.venv`); `git diff --stat upstream/main` контракта, публичных тестов и задания (пусто) и `.github` (только свой CI job) | команды внутри файла | `` | +| `student-tests.txt` | `make lint` и все собственные тесты по именам, включая адаптер S3 против RustFS | `make student-test PYTEST_ARGS='-v --no-header'` | `` | +| `smoke.txt` | публичный smoke через LB, ветка `LAB ≥ 4` | `make test` | `` | +| `stack.txt` | сервисы, порты только у `lb`, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `` | +| `environment.txt` | host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | `make stack-evidence` | `` | +| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты (root-ключи S3 только у `s3`, `s3-init`, `s3-cli`; у `reconciler` свой ключ), пользователь сервисов, volumes и сети по политике | `make limits` | `` | +| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другое тело | `make lb-check` | `` | +| `failover-upload.json` | upload → остановка принявшей реплики → скачивание через другую, SHA-256; `docker inspect` обеих реплик в момент скачивания (target `exited`, сосед `running`, `StartedAt`/`FinishedAt`) и после возврата | `make scenario SCENARIO=failover-upload` | `` | +| `failover-.txt` (две) | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, его журнал остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `` | +| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `` | +| `s3-outage.json` | S3 остановлен (`docker inspect` контейнера `s3` в это время): upload и `/content` `503` с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 | `make scenario SCENARIO=s3-outage` | `` | +| `storage-layout.txt` | `\d attachments` и `\d message_attachments`, `bytea` всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, `ro` и mounts реплик, volume `s3`, секреты сервисов | `make attachments-evidence` | `` | +| `schema.txt`, `migrations.txt`, `kdf.txt`, `secrets.txt` | `\d+` всех таблиц и применённые миграции; повтор `migrate` → `up to date` при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, `.env` и volumes не в Git | `make storage-evidence` | `` | +| `retry.json` | потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; `201`, одна копия | `make retry-check` | `` | ## Уровень «4» | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `upload-faults.txt` | 36 ошибочных запросов через LB без `5xx`; отказ `COMMIT` после `PUT` → немедленная компенсация; реплика убита между `PUT` и `COMMIT` → уборка после grace; обрыв и зависание тела | `make upload-faults` | `81dd816` | -| `faults.txt` | все проверки стенда под маркером `stack`: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и `test_attachment_faults.py` | `make faults-evidence` | `81dd816` | -| `s3-security.txt` | 23 проверки: нет host-портов у `s3`, консоль закрыта изнутри и из сети стенда, `s3-init` повторно дважды без изменений, права ключа API (разрешено и `AccessDenied`), анонимный доступ, снимок политики без секретов | `make s3-check` | `81dd816` | -| `upload-memory/run{1,2,3}/` | три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; `summary.txt` и JSON на точку (ответы, задержки, пик `memory.peak` реплик и LB, `oom_kill`) | `python3 scripts/upload_memory.py --out evidence/upload-memory/runN` (то же, что `make upload-memory`, в свой каталог) | `81dd816` | -| `upload-memory/mmap-32m/` | 3 слота, 10 MiB, порог `mmap` glibc 32 MiB вместо 128 KiB | `MALLOC_MMAP_THRESHOLD_=33554432 python3 scripts/upload_memory.py --slots 3 --sizes 10485760 --out evidence/upload-memory/mmap-32m` | `81dd816` | -| `load.txt`, `load/run{1,2,3}.json` | нагрузка записи сообщений `tests/load.py` (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети `edge`: RPS, ошибки, p50/p95/p99, `docker stats` стенда и клиента, статусы `request.handled` реплик | команды внутри `load.txt` | `81dd816` | -| `load/host-attempt.txt` | отброшенная попытка той же нагрузки с хоста macOS: клиентские ошибки соединения при исчерпании эфемерных портов, ни одного `5xx` на репликах; строки перенесены из вывода консоли | команды внутри файла | `81dd816` | -| `overload-leftovers.txt` | после серии памяти: 67 невидимых намерений от `503` по таймауту посреди `PutObject` (и одно от `s3-outage`), их вид в `make reconcile` и удаление фоновой уборкой после grace 900 с | команды внутри файла | `81dd816` | +| `upload-faults.txt` | 36 ошибочных запросов через LB без `5xx`; отказ `COMMIT` после `PUT` → немедленная компенсация; реплика убита между `PUT` и `COMMIT` → уборка после grace; обрыв и зависание тела | `make upload-faults` | `` | +| `faults.txt` | все проверки стенда под маркером `stack`: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и `test_attachment_faults.py`, включая `401` раньше `413` и медленные upload и скачивание 3 MiB дольше таймаута запроса | `make faults-evidence` | `` | +| `s3-security.txt` | нет host-портов у `s3`, консоль закрыта изнутри и из сети стенда, `s3-init` повторно дважды без изменений, права ключей API и сверки (разрешено и `AccessDenied`), анонимный доступ, снимок политик и пользователей без секретов и дат (валидный JSON) | `make s3-check` | `` | +| `upload-memory/run{1,2,3}/` | три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; `summary.txt` и JSON на точку (ответы, задержки, пик `memory.peak` реплик и LB, `oom_kill`) | `make upload-memory ARGS='--out evidence/upload-memory/runN'` | `` | +| `upload-memory/mmap-32m/` | 3 слота, 10 MiB, порог `mmap` glibc 32 MiB вместо 128 KiB | `MALLOC_MMAP_THRESHOLD_=33554432 python3 scripts/upload_memory.py --slots 3 --sizes 10485760 --out evidence/upload-memory/mmap-32m` | `` | +| `overload-leftovers.txt` | после серии памяти: невидимые намерения от `503` по таймауту, их вид в `make reconcile`, удаление уборкой после grace 900 с, сверка после | `make overload-leftovers` | `` | +| `load.txt`, `load/run{1,2,3}.json` | нагрузка записи сообщений `tests/load.py` (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети `<проект>_edge`: полная команда клиента, сырой вывод `load.py`, `docker stats` стенда и клиента, статусы `request.handled` реплик | `make load-evidence` | `` | +| `load/host-attempt.txt` | отброшенная попытка той же нагрузки с хоста macOS (30.10, до этой серии): клиентские ошибки соединения при исчерпании эфемерных портов, ни одного `5xx` на репликах; строки перенесены из вывода консоли | команды внутри файла | `81dd816` | ## Трек 2 «Согласованность двух хранилищ» -`reconcile/` — сценарий трека, матрица стоимости и проверки после трека; состав и поля — `reconcile/README.md`. +`reconcile/` — сценарий трека и матрица стоимости; состав и поля — `reconcile/README.md`. | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `reconcile/demo.json` и файлы сценария | внедрение ошибок на обеих сторонах, dry-run, `apply` дважды, независимая проверка, карантин, `healed`, занятая блокировка, остановленный S3, 75 проходов под загрузками | `make reconcile-demo` | `5c3c238` | -| `reconcile/cost/` | стоимость обхода 1k/10k/30k × 3 прогона, закреплённые CPU, отбраковка чужой нагрузки | `make reconcile-cost` | `b191623` | -| `reconcile/cost-2026-10-29/`, `reconcile/cost-aborted/` | первая серия матрицы без отбраковки; прерванные попытки наполнить RustFS до 100k | `make reconcile-cost` | `5ca2cdc`, до `5ca2cdc` | -| `reconcile/after-checks.txt` | уровни «3» и «4» после трека на стенде из чистого состояния | команды внутри файла | `8cb5a66` | +| `reconcile/demo.json` и файлы сценария | внедрение ошибок на обеих сторонах, dry-run (счёт и множества id), `apply` дважды с журналом аудита, независимая проверка, карантин, снятие карантина только при совпавшем SHA-256, занятая блокировка, `docker stop` идущего прохода, остановленный S3, 74 прохода под загрузками | `make reconcile-demo` | `61dcb6b` | +| `reconcile/cost/` | стоимость обхода 1k/10k/30k/100k × 3 прогона, `--deep` на всех точках, закреплённые CPU, отбраковка чужой нагрузки | `make reconcile-cost` | `61dcb6b` | +| `reconcile/cost-b191623/`, `reconcile/cost-2026-10-29/`, `reconcile/cost-aborted/` | прошлые серии 1k/10k/30k (`b191623` — с лишней SQL-страницей; `5ca2cdc` — без отбраковки) и прерванные попытки наполнить 100k в прежних конфигурациях | `make reconcile-cost` | `b191623`, `5ca2cdc`, до `5ca2cdc` | diff --git a/evidence/sqlalchemy-2026-11-06/REVIEW-CLOSURE.md b/evidence/sqlalchemy-2026-11-06/REVIEW-CLOSURE.md new file mode 100644 index 00000000..0bbad55b --- /dev/null +++ b/evidence/sqlalchemy-2026-11-06/REVIEW-CLOSURE.md @@ -0,0 +1,30 @@ +# Проверка review1: 21 замечание + +Исходный список: .prep/lab4-review1-findings.json, нумерация по порядку (1–21). +Ни одно замечание не считается закрытым только по старому remark. Источник приложения: +SQLAlchemy-перенос 8e4532f6f5c05d902b6e2c310f54320d95585904, 404 текущих теста в grade3/student-tests.txt. +Строки трека ожидают отдельного цикла после уровня 4. + +| № | Состояние и проверяемое основание | +| --- | --- | +| 1 | Ожидает новой матрицы track5 1k/10k/30k/100k ×3 shallow/deep. Старые asyncpg цифры не доказательство. | +| 2 | REPORT сохраняет хронологию: исходная H2 100k в 148868b; редакция 30k в 5ca2cdc постфактум. Новая H2 будет записана до новой серии. | +| 3 | REPORT различает наблюдавшийся grace и recheck. test_row_written_after_listing_keeps_the_object проходит; новый demo должен отдельно вывести rechecked_total. | +| 4 | scripts/reconcile-inject.sh fresh использует один UUID; demo сравнивает множества. Методика: 18 явных загрузок + fixture предварительного публичного smoke. Ожидает нового demo. | +| 5 | _row хеширует любую строку в карантине даже без deep. test_other_bytes_of_the_same_length_keep_the_quarantine проходит; новый heal ожидается в track5. | +| 6 | Историческая колонка LB переименована в максимум из трёх. Новая таблица будет рассчитывать медиану и диапазон непосредственно из трёх JSON. | +| 7 | grade3/s3-security.txt: полный SHA/UTC, JSON политик сформирован json.dumps, 31 PASS и RESULT PASS. | +| 8 | grade3/failover-upload.json: UTC/SHA, target exited и сосед running при download, SHA равен. | +| 9 | scripts/clean-clone.sh сохраняет raw, проверяет ошибки и не удаляет volumes. Ожидает нового clone-прогона. | +| 10 | grade4/stack-faults.txt: test_token_is_checked_before_the_declared_size, 401 при Content-Length 10485761. | +| 11 | grade3/s3-security.txt: API ListBucket deny, Get/Put/Delete allow; отдельные ограниченные ключи reconciler. | +| 12 | Положительный прогресс продлевает deadline. grade4/stack-faults.txt: upload 3 MiB за 12,2 с, download за 16,0 с — оба PASS. | +| 13 | compose init:true; test_any_pass_failure_ends_as_reconcile_failed и test_cancelled_pass_releases_its_autocommit_lock проходят. Новый SIGTERM/outage demo ожидается. | +| 14 | ReconcileProvider использует dishka, EventBus и AttachmentsJournal; UoW events публикуются. Новый audit reason=reconcile ожидается в demo. | +| 15 | _rows использует lookahead size+1; test_pages_of_rows_are_not_followed_by_an_empty_one проходит. Ожидает новых чисел SQL из cost. | +| 16 | compose x-s3-client user65534:65534; grade3/limits.txt проверяет и одноразовые сервисы. CI отдельно проверяет s3-init/migrate через ps -aq. | +| 17 | REPORT ограничения процесса: carry-over закрывает 3.9, номер 4.1 пришёл из ЛР3; превышение 400 слов признано. Старые архивы не переписаны. | +| 18 | load-evidence.sh содержит полный digest и монтирования, сеть из project; ошибка клиента возвращается. Ожидает трёх реальных прогонов. | +| 19 | Новая серия S3 ×3: upload 0,828–5,039, download 0,510–1,397 с, <6 с. Счётчик negative: 53 в grade3, 54 в grade4; оба 0×5xx. Это число наблюдений, не константа. | +| 20 | upload_memory.py --out требует пустой каталог; provenance в каждом JSON. Изоляция cost будет проверена в track5 без удаления старых файлов. | +| 21 | Дубликат №5: любой карантин снимается только после SHA-256; тест с другими байтами той же длины проходит. | diff --git a/openspec/changes/verify-lab4-grade4-sqlalchemy/tasks.md b/openspec/changes/verify-lab4-grade4-sqlalchemy/tasks.md index 2eea887a..27233f33 100644 --- a/openspec/changes/verify-lab4-grade4-sqlalchemy/tasks.md +++ b/openspec/changes/verify-lab4-grade4-sqlalchemy/tasks.md @@ -1,11 +1,11 @@ ## 1. Обвязка -- [ ] 1.1 Исправить изоляцию серий, provenance, exit codes и безопасный clean-clone. -- [ ] 1.2 Проверить lint/check и закоммитить обвязку перед замерами. +- [x] 1.1 Исправить изоляцию серий, provenance, exit codes и безопасный clean-clone. +- [x] 1.2 Проверить lint/check и закоммитить обвязку перед замерами. ## 2. Проверки -- [ ] 2.1 Выполнить все stack-тесты отказов и загрузок через LB. +- [x] 2.1 Выполнить все stack-тесты отказов и загрузок через LB. - [ ] 2.2 Снять три серии памяти, проверить уборку оставшихся намерений. - [ ] 2.3 Подтвердить воспроизводимый клиент нагрузки и чистый clone с сырым выводом. diff --git a/tools/summarize_upload_memory.py b/tools/summarize_upload_memory.py new file mode 100644 index 00000000..e494c6f8 --- /dev/null +++ b/tools/summarize_upload_memory.py @@ -0,0 +1,50 @@ +import argparse +import json +import statistics +from collections import defaultdict +from pathlib import Path + +REPEATS = 3 + + +def spread(values: list[float]) -> dict[str, float]: + return {"median": statistics.median(values), "min": min(values), "max": max(values)} + + +def main() -> None: + parser = argparse.ArgumentParser(description="Summarize three independent upload memory runs") + parser.add_argument("root", type=Path) + args = parser.parse_args() + groups = defaultdict(list) + for path in sorted(args.root.glob("run*/slots*.json")): + run = json.loads(path.read_text()) + key = (run["upload_concurrency"], round(run["body_bytes"] / 1048576), run["concurrency"]) + groups[key].append((path, run)) + expected = {(s, m, c) for s in (3, 64) for m in (1, 10) for c in (10, 20, 40)} + if set(groups) != expected or any(len(runs) != REPEATS for runs in groups.values()): + parser.error("expected 12 points with three repeats each") + summary = [] + for (slots, size, concurrency), rows in sorted(groups.items()): + runs = [r for _, r in rows] + summary.append( + { + "slots": slots, + "mib": size, + "concurrency": concurrency, + "files": [str(p.relative_to(args.root)) for p, _ in rows], + "commits": sorted({r["commit"] for r in runs}), + "status_codes": [r["status_codes"] for r in runs], + "api_peak_mib": spread( + [max(m["cgroup_memory_peak_mib"] for m in r["memory"].values()) for r in runs] + ), + "lb_peak_mib": spread([r["lb"]["cgroup_memory_peak_mib"] for r in runs]), + "p95_ms": spread([r["latency_ms"]["p95"] for r in runs]), + "api_oom": sum(m["oom_kill"] for r in runs for m in r["memory"].values()), + "lb_oom": sum(r["lb"]["oom_kill"] for r in runs), + } + ) + print(json.dumps(summary, ensure_ascii=False, indent=2)) + + +if __name__ == "__main__": + main()