diff --git a/AGENTS.md b/AGENTS.md index 25604828..850196c2 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -21,7 +21,9 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка р make restore # вернуть остановленные реплики и дождаться их в ротации LB make scenario SCENARIO=failover-upload # upload → стоп обслужившей реплики → download через другую, SHA-256 make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты работают -make s3-check # приватный bucket вне API, ограниченные ключи API, повторный bootstrap +make s3-check # приватный bucket вне API, ограниченные ключи API, консоль, повторный bootstrap +make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела +make upload-memory # «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB make down # остановка без удаления данных; make reset-data — намеренное удаление volumes ``` @@ -55,5 +57,5 @@ make down # остановка без удаления д Решение заявлено на **«5»** с треком 2 «Согласованность двух хранилищ (reconciler)»; таблица доказательств — в `REPORT.md`. - **3** — RustFS и приватный bucket в общем стенде, метаданные в PostgreSQL; upload `201 ready` после записи и `COMMIT`, побайтное скачивание вторым участником, `404` постороннему, `403` анонимному GET в S3; лимиты 10 MiB / 40 MP, тип по содержимому, опасные `filename`; upload → стоп обслужившей реплики → download через другую; restart с volumes; недоступный S3 → `503` при работающих текстах; минимум lab3 сохранён. -- **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД и обрыва загрузки с grace period; потоковые лимиты и ≥10 одновременных загрузок с пиком памяти; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API. +- **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД под блокировкой строки и фоновая уборка намерений `pending` старше `UPLOAD_GRACE_SECONDS` (`SKIP LOCKED`, объект раньше строки); слоты загрузки на воркер, ограниченные буферы сокетов LB и API, фиксированный порог `mmap` glibc и замер ≥10 одновременных загрузок; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API. - **5** — трек 2: reconciler (`dry-run`/`apply`) для orphan/missing/mismatch/stale pending, внедрение ошибок на обеих сторонах, безопасность для свежих и используемых вложений, стоимость обхода 1k/10k объектов. diff --git a/Makefile b/Makefile index b89a7754..11e1ace3 100644 --- a/Makefile +++ b/Makefile @@ -131,8 +131,9 @@ attachments-evidence: sh scripts/evidence-attachments.sh upload-faults: - BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s --no-header --tb=short -p no:cacheprovider \ - student-tests/stack/test_attachment_faults.py > evidence/upload-faults.txt; \ + { echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD) BASE_URL=$(BASE_URL)"; \ + BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s --no-header --tb=short \ + -p no:cacheprovider student-tests/stack/test_attachment_faults.py; } > evidence/upload-faults.txt; \ status=$$?; cat evidence/upload-faults.txt; exit $$status upload-memory: diff --git a/REPORT.md b/REPORT.md index 777115e3..a5945994 100644 --- a/REPORT.md +++ b/REPORT.md @@ -30,7 +30,9 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh make restore # вернуть остановленную реплику и дождаться её в ротации LB make scenario SCENARIO=failover-upload # upload → стоп принявшей реплики → download через другую make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты и метаданные работают -make s3-check # приватность bucket вне API, права ключа API, повторный bootstrap +make s3-check # приватность bucket вне API, права ключа API, консоль, повторный bootstrap +make upload-faults # уровень «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела +make upload-memory # уровень «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v @@ -120,14 +122,16 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может 4. `filename` после percent-decode: 1–255 code points, не пробельный, без `/`, `\` и символов категории `Cc` (NUL, `\x01`, `\x7f`, перевод строки…) → иначе `400`; используется только для отображения; 5. `Content-Type` без параметров и регистра ∈ {`image/png`, `image/jpeg`} → иначе `415`; -6. поток копится со счётчиком и инкрементальным SHA-256; байт `MAX_UPLOAD_BYTES + 1` → `413`, дальше не читаем - (так закрыт и chunked без `Content-Length`); -7. проверка изображения в потоке под семафором (`IMAGE_CHECK_CONCURRENCY=2` на воркер): `Image.open` только +6. слот загрузки: не больше `UPLOAD_CONCURRENCY=3` тел в памяти воркера, остальные ждут, не читая тело (uvicorn + приостанавливает чтение сокета после 64 KiB), ожидание ограничено таймаутом запроса; +7. поток копится со счётчиком и инкрементальным SHA-256; байт `MAX_UPLOAD_BYTES + 1` → `413`, дальше не читаем + (так закрыт и chunked без `Content-Length`); обрыв клиента посреди тела → `400` в журнале, не `500`; +8. проверка изображения в потоке под семафором (`IMAGE_CHECK_CONCURRENCY=2` на воркер): `Image.open` только PNG/JPEG читает заголовок; формат ≠ заявленному → `415` (подмена MIME); `width × height > MAX_IMAGE_PIXELS` → `413` до декодирования (decompression bomb 100 000 × 100 000 весом 300 байт отклоняется по заголовку); PNG — `verify()` (все чанки, CRC, `IEND`, без распаковки пикселей), JPEG — `draft` в 1/8 + `load()` (полное декодирование потока, ≈1/64 памяти); ошибка → `415`; -8. запись (ниже). +9. запись (ниже); буфер тела освобождается до перевода в `ready`. **Порядок записи PostgreSQL ↔ S3.** `INSERT attachments (status='pending')` и `COMMIT` → `PutObject` → `UPDATE … SET status='ready'` и `COMMIT` → `201`. Намерение фиксируется до `PUT`, поэтому у любого объекта под @@ -138,11 +142,34 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может | --- | --- | --- | | обрыв клиента, `413`, `415`, `400`, `404` | ничего: строка пишется только после чтения и проверки | ошибка или обрыв | | `INSERT pending` | ничего | `503` | -| `PutObject` (S3 недоступен) | невидимая строка `pending` без объекта | `503` | -| `UPDATE ready` | невидимая строка `pending` и объект | `503` | +| `PutObject` (S3 недоступен, таймаут) | невидимая строка `pending`, объект возможен (отложенная запись) | `503`; уборка после grace | +| `UPDATE ready` отклонён | компенсация сразу: объект и строка удалены | `503` | +| процесс убит между `PUT` и `COMMIT` | невидимая строка `pending` и объект | обрыв (`502` от LB); уборка после grace | | после `COMMIT ready` | готовое вложение | `201` | -Строки `pending` после сбоя убирает механизм компенсации и очистки с grace period — изменение уровня «4». +**Компенсация и уборка (уровень «4»).** Инвариант: пока объект под `attachments/` существует, существует и строка с +его ключом; строка-намерение удаляется только после объекта. + +- *Компенсация.* Если `UPDATE … SET status='ready'` не зафиксирован, обработчик в новой транзакции берёт строку + `SELECT … FOR UPDATE`: `ready` (фиксация на самом деле прошла) — не трогает; `pending` — `DeleteObject`, затем + `DELETE … AND status='pending'`, `COMMIT`; строки нет — удаляет объект. Блокировка держится на время одного + `DeleteObject` (≤ 6 с < `idle_in_transaction_session_timeout` 10 с) и не даёт задержавшемуся `UPDATE ready` + проскочить между удалением объекта и строки. `UPDATE ready`, не нашедший строки (намерение уже убрано), даёт + `503` и удаление объекта, а не `201`. Сбой самого `PUT` и отмена по таймауту сразу не компенсируются: исход + `PUT` неизвестен, объект может появиться позже. +- *Уборка.* В каждом воркере `UploadSweeper` раз в `UPLOAD_SWEEP_INTERVAL_SECONDS=30` выбирает по одной строке + `WHERE status='pending' AND created_at < now − UPLOAD_GRACE_SECONDS ORDER BY created_at LIMIT 1 FOR UPDATE SKIP + LOCKED` (частичный индекс `attachments_pending_idx`), удаляет объект, затем строку, до `UPLOAD_SWEEP_BATCH=100` за + проход; `SKIP LOCKED` делит работу между 4 воркерами стенда, ошибка S3 откладывает строку до следующего прохода. + Каждое удаление — событие `audit.attachment_discarded` с причиной `compensation` или `abandoned`. +- *Grace period* `UPLOAD_GRACE_SECONDS=900` (минимум 60 в настройках): жизнь загрузки от `INSERT pending` до + `UPDATE ready` ограничена таймаутом запроса 8 с, отложенный `PUT` — таймаутами S3 6 с; запас больше 50 раз, + включая расхождение часов реплик одного хоста. Готовые строки и вложения в сообщениях не выбираются условием + `status='pending'`, а `message_attachments` ссылается на них с `ON DELETE RESTRICT`. +- *Незавершённый multipart* (сервер им не пользуется) удаляет lifecycle-правило bucket через сутки. + +Платформа: откат транзакции раньше стирал все события команды, а шина не публиковала их при исключении — журнал +терял удаления из компенсации и уборки. Теперь откат убирает только события своей транзакции. **Скачивание.** Строка `ready` по PK → членство → `GetObject` **до** отправки заголовков (пропавший объект → `404` с событием `attachment.object_missing` в журнале, недоступный S3 → `503`) → `StreamingResponse` кусками 64 KiB с @@ -160,6 +187,12 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` реплики, отказали бы и тексты, а ответы LB не несут `X-Instance-Id`. Сейчас upload и скачивание получают `503` от приложения за ≤2,6 с, а тексты и метаданные работают (`evidence/s3-outage.json`). +**Память загрузок (уровень «4»).** Пик памяти держат три настройки по всей цепочке, найденные замером (ниже): +слоты загрузки на воркер; буферы сокетов — HAProxy `tune.rcvbuf/sndbuf.client/server 65536`, у `api` +`net.ipv4.tcp_rmem`/`tcp_wmem` с максимумом 256 KiB (иначе ядро растит буфер до 6 MiB на соединение, и ожидающие +тела копятся в памяти контейнера LB); `MALLOC_MMAP_THRESHOLD_=131072` у `api` (иначе glibc после первого +освобождения поднимает порог `mmap` до 32 MiB и держит освобождённые тела в куче). + **Цепочка таймаутов:** клиент smoke/resilience 10/2 с; LB `timeout server` 10 с > `REQUEST_TIMEOUT_SECONDS` 8 с > худшая операция S3 2 × (1 + 2) = 6 с и ожидание соединения PostgreSQL + оператор 1 + 2 с. LB не повторяет upload: `disable-l7-retry` снят только для `GET` и `POST …/messages` с ключом, повтор отказа соединения безопасен (запрос @@ -169,8 +202,8 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` | Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials | | --- | --- | --- | --- | --- | --- | --- | -| load_balancer | `lb` | `haproxy:3.2.26-alpine@sha256:58938405…`, uid 99, `read_only` | `/healthz` :8404; реплики — `GET /health/ready` | нет | `edge` + `backend`; `127.0.0.1:${LB_HTTP_PORT:-8080}`, `127.0.0.1:${LB_STATS_PORT:-8404}` | нет | -| api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp` | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` | +| load_balancer | `lb` | `haproxy:3.2.26-alpine@sha256:58938405…`, uid 99, `read_only`, буферы сокетов 64 KiB | `/healthz` :8404; реплики — `GET /health/ready` | нет | `edge` + `backend`; `127.0.0.1:${LB_HTTP_PORT:-8080}`, `127.0.0.1:${LB_STATS_PORT:-8404}` | нет | +| api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp`, `tcp_rmem`/`tcp_wmem` ≤ 256 KiB | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` | | postgres (метаданные) | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready` | `pgdata` | `backend` | `postgres_password` через `POSTGRES_PASSWORD_FILE` | | s3 | `s3` | `rustfs/rustfs:1.0.4@sha256:ed9210d6…`, uid 10001, `read_only`, `cap_drop: ALL`, консоль выключена | `curl /health/ready` | `s3data:/data` | `backend`, :9000 без публикации | root: `s3_root_user`, `s3_root_password` через `RUSTFS_*_FILE` | | bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи и ключ API (создаёт пользователя) | @@ -203,6 +236,8 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | те же | 10 485 760 и 40 000 000; больше контракта задать нельзя (валидация настроек) | | — | `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS` | 1 и 2 с; две попытки укладываются в 8 с запроса | | — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS | +| — | `UPLOAD_CONCURRENCY`, `UPLOAD_GRACE_SECONDS`, `UPLOAD_SWEEP_INTERVAL_SECONDS`, `UPLOAD_SWEEP_BATCH` | 3 тела на воркер; 900 с; 30 с; 100 строк за проход (уровень «4») | +| — | `MALLOC_MMAP_THRESHOLD_` | 131 072: тела больше 128 KiB возвращаются системе при освобождении (уровень «4») | | — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 | ## Доказательства критериев @@ -212,7 +247,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | Публичный smoke | `make test BASE_URL=http://localhost:18084` | `PASS: lab4 public API scenario` (upload fixture → `201 ready`, сообщение `text=""` с `attachment_ids`, скачивание bob побайтно с `image/png`, eve `404` на метаданные и `/content`, весь минимум lab2–lab3) | `evidence/smoke.txt` | | Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, `make test` | `valid`; все сервисы `Healthy`, `migrate` и `s3-init` `Exited (0)`; smoke `PASS` | `evidence/clean-clone.txt` | | `make check` / `make validate` | `make check`; `make validate` в venv с `requirements-dev.txt` | `PASS: offline skeleton structure…`; `PASS: full OpenAPI 3.1 and JSON Schema validation` | `evidence/contract-checks.txt` | -| Собственные тесты и линтер | `make lint`; `make student-test` | ruff, формат, ty — `All checks passed!`; `325 passed` | `evidence/student-tests.txt` | +| Собственные тесты и линтер | `make lint`; `make student-test` | ruff, формат, ty — `All checks passed!`; `335 passed` (15 проверок стенда под маркером `stack` идут отдельно) | `evidence/student-tests.txt` | | **3.1** S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | `make attachments-evidence` (`ps`, `\d attachments`, bytea по схеме, листинг bucket, `docker inspect`) | `s3` healthy без портов; в схеме `bytea` только хеши токенов и отпечатки; 14 строк `ready` и 14 объектов `attachments/`; у реплик `ro=true`, только `tmpfs /tmp` и bind секретов; данные S3 на volume `s3data` | `evidence/storage-layout.txt` | | **3.2** `201 ready` только после записи объекта и `COMMIT`; побайтное скачивание вторым участником, SHA-256 | smoke; `make student-test` (`test_storage_failure_leaves_nothing_visible`: S3 отказал → `503`, строка `pending`, вложения нет); сверка вне API | sha256 и размер последней строки `ready` в PostgreSQL равны sha256 и размеру объекта, прочитанного `rc` из bucket (`99ea7533…`, 111817) | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/storage-layout.txt` | | **3.3** Message с `attachment_ids` читается участниками; посторонний `404`; анонимный GET в S3 — `403` | smoke; `make student-test` (`test_message_attachments.py`, `test_attachments.py`); `make s3-check` | eve `404` на метаданные и `/content`; вложение другого чата и неизвестное → `404`, 11 и дубли → `400`, посторонний с 11 → `404`; прямой HTTP GET объекта из отдельного контейнера → `403`, анонимные Head/List/Put → deny, политика `private` | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/s3-security.txt` | @@ -223,14 +258,18 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | **3.7** Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | `make scenario SCENARIO=s3-outage` | при остановленном `s3`: upload `503` за 0,98 с, `/content` `503` за 2,53 с, метаданные `200`, текст `201`, `/health/ready` `200`; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 | `evidence/s3-outage.json` | | **3.8** Закреплённая версия образа S3 и создание приватного bucket | `compose.yaml`, `infra/s3/init.sh`; `make s3-check` | образы по digest; `s3-init` пишет `bucket=messenger-attachments anonymous=private policy=messenger-api`; 22/22 проверки `PASS`, включая двойной повторный bootstrap без изменений | `evidence/s3-security.txt`, `evidence/environment.txt` | | **3.9** Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, секреты вне Git | `make stack-evidence`, `make storage-evidence` | 2 `api` без портов, `container_name` 0, LB видит `api1/api2 UP L7OK 200`; миграции `0001`–`0003`, повтор `up to date` без изменения счётчиков; `git ls-files secrets .env` пуст, `secrets/s3_*` игнорируются | `evidence/stack.txt`, `evidence/schema.txt`, `evidence/migrations.txt`, `evidence/secrets.txt` | -| Уровень «4» | — | заполняется изменением уровня «4» (компенсация и очистка, замер памяти, негативный suite стенда, ограниченные ключи) | — | +| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `335 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 × `404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с `Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 × `415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за прогон 53 ответа, из них 5xx — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` | +| **4.2** Прерывание загрузки и отказ между записью S3 и БД не оставляют вечных неучтённых объектов: компенсация и уборка с grace period | `make upload-faults` (триггеры PostgreSQL на время теста, `docker kill -s KILL` реплики); `make student-test` (`test_upload_consistency.py`) | отказ `COMMIT` после `PUT` → `503`, сразу нет ни строки, ни объекта (`HEAD` 404), в журнале `audit.attachment_discarded reason=compensation`; реплика убита между `PUT` и `COMMIT` (дважды, клиент получил `502` от LB) → остались `pending` и объект (`HEAD` 200); намерение, сдвинутое за grace, уборка удалила вместе с объектом через 23 с, свежее осталось (`pending`, `HEAD` 200) и ушло через 3 с после сдвига; готовое вложение в сообщении со сдвинутым `created_at` скачивается с тем же SHA-256; обрыв после 256 KiB из 5 MiB → `400` в журнале, намерение не создавалось, ключи bucket те же; зависшее тело → `503` за 8,00 с, ничего не записано. API-тесты: снятое во время `PUT` намерение → `503` и удалённый объект, сбой `PUT` оставляет `pending` до конца grace, два параллельных прохода делят 5 намерений ровно, следующий проход удаляет 0 | `evidence/upload-faults.txt`, `evidence/student-tests.txt` | +| **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` (слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждым прогоном) | при 3 слотах пик реплики 304 / 319 / 330 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB (простой ~120 MiB, лимит 512), все 140 загрузок `201`, `oom_kill` 0, пик LB ≤ 29 MiB; без лимита слотов те же загрузки дают 300 / 423 / 513 MiB — при 40 упор в лимит cgroup и только 43 из 80 `201`, 37 × `503`; 1 MiB при любой настройке — 187–219 MiB; с порогом `mmap` 32 MiB вместо 128 KiB — 317 / 334 / 368 MiB; таймауты: зависшее тело — `503` за 8 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/summary.txt`, `evidence/upload-memory/*.json`, `evidence/upload-memory/mmap-32m/` | +| **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у `s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — `AccessDenied`; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` | +| Регрессия уровня «3» и лабы 3 после изменений «4» | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` по каждой реплике с `make restore`, `lab4_scenarios.py failover-upload`, `s3-outage`, `abort-upload`, `make limits`, `make test-faults` | все `PASS`; остановлены по очереди обе реплики (`Exited (0)`); S3 остановлен — upload и `/content` `503` за 1,7 с, текст `201`; 15 проверок стенда (лабы 2–3 и уровень «4») — `passed` | `evidence/regression-level4.txt` | | Трек 2 | — | заполняется изменением трека 2 (reconciler) | — | ## Эксперименты и отказы Стенд: 2 реплики `api` (1 CPU, 512 MiB, 2 воркера), RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker Desktop VM 16 CPU, 7.65 ГиБ, параллельно работали стенды других лаб. Объём данных — синтетические пользователи -smoke и fixture `sample.png` (111 817 B). Нагрузочные измерения загрузок — уровень «4». +smoke и fixture `sample.png` (111 817 B), для уровня «4» — синтетические PNG 1 и 10 MiB (раздел ниже). | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | @@ -241,6 +280,56 @@ smoke и fixture `sample.png` (111 817 B). Нагрузочные измерен | Посторонний: метаданные, `/content`, upload в чужой чат, ссылка на чужое вложение | `404` без раскрытия | `404` во всех случаях, раньше проверок содержимого | — | | Анонимный клиент S3 из сети стенда | `403` | прямой GET `403`, Head/List/Put — deny | — | | Тело 10 485 761 B (`Content-Length` и chunked), PNG 100 000 × 100 000 | `413` до чтения сверх лимита и до декодирования | `413`; строк и объектов не появилось | — | +| Отказ `COMMIT` после записи объекта (триггер PostgreSQL, `55P03`) | `503`; объект и строка удалены сразу | `503`; строки нет, `HEAD` объекта 404, `audit.attachment_discarded reason=compensation` | сразу; вечных объектов нет | +| Реплика убита `SIGKILL` между `PUT` и `COMMIT` (дважды) | обрыв запроса; невидимый остаток уходит после grace | клиент — `502` от LB; `pending` и объект на месте; после сдвига за grace убраны через 23 с, свежий остаток не тронут до своего сдвига | grace 900 с (в тесте — сдвиг `created_at`); реплика возвращена `up --wait` | +| Клиент оборвал тело после 256 KiB из 5 MiB | ничего не записано, не `500` | `400` в журнале реплики, намерения нет, ключи bucket те же | — | +| Тело зависло после 1 KiB | `503` не позже таймаута запроса | `503` за 8,00 с, ничего не записано | слот свободен, следующий upload `201` | +| 36 ошибочных запросов к вложениям через LB | `4xx` по контракту, ни одного `5xx` | 16 × `400`, 6 × `404`, 4 × `413`, 10 × `415`; в журнале 0 × `5xx` | — | +| 40 одновременных загрузок по 10 MiB без лимита слотов | память растёт до лимита | пик 513 MiB = лимит cgroup, 43 из 80 `201`, 37 × `503`; в предварительном прогоне ядро ещё и убило воркер (`oom_kill` 1, 7 × `502`) | воркер перезапущен gunicorn; потерь `ready` нет | +| То же с 3 слотами на воркер | пик ограничен, все `201` | пик 330 MiB, LB 29 MiB, 80 × `201`, p95 4,8 с | — | +| То же с 3 слотами, но до ограничения буферов сокетов (предварительный прогон) | — | HAProxy (128 MiB) убит OOM: память сокетов ≈ 110 MB, соединения оборвались | найдено замером; исправлено `tune.*buf` LB и `tcp_rmem`/`tcp_wmem` API | + +### Эксперимент уровня «4»: память при одновременных загрузках + +**Гипотеза.** Без ограничения каждая загрузка 10 MiB в полёте держит в воркере несколько копий тела, и пик памяти +реплики растёт с числом одновременных загрузок до лимита cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик +ограничен величиной «простой + 2 воркера × слоты × память загрузки» и от числа клиентов не зависит; лишние клиенты +ждут слота — растёт задержка, а не число ошибок. + +**Методика.** `make upload-memory` (`scripts/upload_memory.py` и генератор `scripts/lab4_seed.py` из заготовки). +Стенд `compose.yaml`: 2 реплики по 1 CPU и 512 MiB, 2 воркера; LB 128 MiB; RustFS 1 CPU, 512 MiB. Перед каждым +прогоном реплики и LB пересоздаются (`memory.peak` cgroup v2 на ядре Docker Desktop не сбрасывается) и проходит +ожидание двух `UP` в LB. Затем c потоков на keep-alive соединениях через LB делают по 2 загрузки одного PNG 1024 × h +со случайными пикселями (1 048 276 или 10 485 256 B). Задержка — от отправки до ответа на клиенте; пик — +`memory.peak` каждой реплики и LB после прогона (включает память сокетов), простой — `memory.current` перед ним, +`oom_kill` — из `memory.events`. Конфигурации: 64 слота (фактически без лимита) и 3 слота; 1 и 10 MiB; c = 10, 20, +40; отдельно 3 слота и 10 MiB с порогом `mmap` 32 MiB. Один прогон на точку, клиент и стенд на одном хосте. + +**Результаты** (`evidence/upload-memory/summary.txt`, коммит `a774a2f`): + +| Слоты | Размер | c | Ответы | p50 / p95, мс | Пик реплики, MiB | Пик LB, MiB | +| --- | --- | --- | --- | --- | --- | --- | +| 64 | 1 MiB | 10 / 20 / 40 | все `201` | 201 / 283 … 347 / 688 | 188 / 202 / 219 | ≤ 27 | +| 64 | 10 MiB | 10 | 20 × `201` | 912 / 950 | 300 | 21 | +| 64 | 10 MiB | 20 | 40 × `201` | 2177 / 2493 | 423 | 24 | +| 64 | 10 MiB | 40 | 43 × `201`, 37 × `503` | 3921 / 6328 | **513 = лимит** | 26 | +| 3 | 1 MiB | 10 / 20 / 40 | все `201` | 113 / 233 … 298 / 557 | 190 / 193 / 194 | ≤ 30 | +| 3 | 10 MiB | 10 | 20 × `201` | 2352 / 4190 | 304 | 21 | +| 3 | 10 MiB | 20 | 40 × `201` | 1921 / 3241 | 319 | 24 | +| 3 | 10 MiB | 40 | 80 × `201` | 2711 / 4799 | **330** | 29 | +| 3, `mmap` 32 MiB | 10 MiB | 10 / 20 / 40 | все `201` | 1045 / 1054 … 3994 / 7735 | 317 / 334 / 368 | ≤ 29 | + +**Вывод.** Гипотеза подтверждена: без лимита пик 10 MiB-загрузок растёт 300 → 423 → 513 MiB и при 40 одновременных +упирается в лимит cgroup — реплика начинает отказывать (`503` по таймауту, в одном прогоне — убитый воркер). С тремя +слотами пик держится на 304–330 MiB (64 % лимита) при росте нагрузки вчетверо, все загрузки успешны; цена — +ожидание слота (p95 4,8 с при 40 клиентах). Одна загрузка 10 MiB в полёте стоит ≈ 35 MiB ((330 − 121) / 6 слотов): +тело, склейка кусков, копии проверки изображения и клиента S3. Для 1 MiB лимит не нужен: 190–220 MiB при любой +одновременности. Замер нашёл ещё два места, где копится память: буферы сокетов LB (до ограничения `tune.*buf` +HAProxy убивался OOM) и куча glibc (порог `mmap` 32 MiB даёт +38 MiB к пику при 40 клиентах). + +**Ограничения.** Один прогон на точку, разброс задержки между прогонами до 2 раз (неравномерное распределение +соединений между воркерами gunicorn); клиент, LB, API и RustFS делят один хост и CPU; пик cgroup включает +страничный кэш и память сокетов; параллельно работали стенды других лаб. ## Ограничения и следующие шаги @@ -250,11 +339,17 @@ smoke и fixture `sample.png` (111 817 B). Нагрузочные измерен - `verify()` для PNG проверяет структуру и CRC всех чанков, но не распаковывает пиксели: PNG с корректными CRC и испорченным zlib-потоком будет принят. Оригинал отдаётся побайтно, серверу это не вредит; полная распаковка стоила бы до 160 MB на 40 MP. -- Строки `pending` после сбоя S3 или `COMMIT` остаются до уровня «4»: компенсирующий `DeleteObject`, очистка по grace - period и сверка — следующие изменения; трек 2 добавляет reconciler. -- Одновременные загрузки на уровне «3» не ограничены: каждая держит до 10 MiB (на миг склейки — 20 MiB); лимит - параллелизма и замер пика памяти — уровень «4». +- Уборка брошенных загрузок живёт в процессах API: если все реплики остановлены, намерения ждут их возвращения + (невидимо для клиентов). Она находит только то, что начиналось с намерения в PostgreSQL; объекты без строки, + `ready` без объекта и несовпадение байтов при нормальной работе не возникают и ищутся reconciler трека 2. +- Компенсация не запускается при отмене запроса таймаутом посреди `PUT` или `UPDATE`: такие остатки ждут grace + period (15 минут). Ответ в этом случае — `503`, повтор клиента создаёт новое вложение. +- Слоты защищают память ценой ожидания: при 40 одновременных загрузках по 10 MiB p95 — 5,3 с, а при ещё большей + нагрузке хвост очереди упрётся в таймаут запроса 8 с и получит `503`; правильная реакция клиента — повтор позже. + Пик памяти снят на одном хосте, клиент и стенд делят CPU, по одному прогону на точку. +- Тело всё ещё собирается в памяти целиком (до ~34 MiB на загрузку 10 MiB с учётом копий проверки и клиента S3): + потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи. - Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные тесты проверяют `413` через `Content-Length`. -- Подтверждено прогонами: всё в таблице доказательств. Гипотезы: поведение под нагрузкой загрузок и стоимость - сверки хранилищ — проверяются на уровне «4» и в треке 2. +- Подтверждено прогонами: всё в таблице доказательств, включая уровень «4». Гипотеза до трека 2: стоимость сверки + хранилищ растёт линейно с числом объектов. diff --git a/evidence/contract-checks.txt b/evidence/contract-checks.txt index 9ea44110..9b6146fe 100644 --- a/evidence/contract-checks.txt +++ b/evidence/contract-checks.txt @@ -1,4 +1,4 @@ -date: 2026-10-28T17:51:36Z commit: 24f9d61 +date: 2026-10-28T21:18:13Z commit: a774a2f $ make check python3 scripts/check_contract.py PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. diff --git a/evidence/regression-level4.txt b/evidence/regression-level4.txt new file mode 100644 index 00000000..9499cb1c --- /dev/null +++ b/evidence/regression-level4.txt @@ -0,0 +1,31 @@ +date: 2026-10-28T21:19:01Z commit: a774a2f BASE_URL=http://localhost:18084 +# Регрессия уровня «3» и лабы 3 после изменений уровня «4» (буферы сокетов LB и API, порог mmap, слоты, уборка) +$ make test +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh # прогон 1 +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + mtusi2026lab4-api-1 Up 25 seconds (healthy) + mtusi2026lab4-api-2 Exited (0) 12 seconds ago +$ make restore + restored: 2 healthy +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh # прогон 2 +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + mtusi2026lab4-api-1 Exited (0) 12 seconds ago + mtusi2026lab4-api-2 Up 17 seconds (healthy) +$ make restore + restored: 2 healthy +$ python3 scripts/lab4_scenarios.py failover-upload --restore + exit 0: {'ok': True, 'upload_instance': '0b2544e9c8de', 'download_instance': 'cf30d7db141f', 'sha256_equal': True, 'download_ok_after_seconds': 2.709} +$ python3 scripts/lab4_scenarios.py s3-outage --restore + exit 0: {'ok': True, 'as_expected': True, 's3_back_healthy_seconds': 5.697} +$ python3 scripts/lab4_scenarios.py abort-upload --restore + exit 0: {'ok': True, 'rows_by_status': {}, 'ready_rows': 0, 'api_still_serves': True} + s3-outage: upload 503 за 1.696 с, metadata 200 за 0.018 с, download 503 за 1.631 с, text_message 201 за 0.007 с, health_ready 200 за 0.002 с +$ make limits +PASS: limits, ports, secrets, volumes and networks match the policy +$ make test-faults # все проверки стенда student-tests/stack: лабы 2–3 и уровень «4» лабы 4 +======================== 15 passed in 64.77s (0:01:04) ========================= + student-tests/stack/test_attachment_faults.py: 5 + student-tests/stack/test_faults.py: 10 diff --git a/evidence/s3-security.txt b/evidence/s3-security.txt index fabe6b69..aa292d5c 100644 --- a/evidence/s3-security.txt +++ b/evidence/s3-security.txt @@ -1,4 +1,4 @@ -== 2026-10-28T19:01:13Z S3 privacy and bootstrap checks +== 2026-10-28T21:18:05Z S3 privacy and bootstrap checks PASS s3: опубликованные host-порты: нет PASS s3: консоль :9001 внутри контейнера: 000 PASS s3-init: повторный запуск 1: 0 @@ -21,6 +21,7 @@ PASS anonymous: PutObject: deny PASS anonymous: прямой HTTP GET объекта из отдельного контейнера: 403 PASS bucket: anonymous policy: private PASS api: DeleteObject: allow +PASS s3: консоль :9001 из отдельного контейнера сети стенда: connection refused == IAM/bucket snapshot (без секретов) { "items": [ diff --git a/evidence/student-tests.txt b/evidence/student-tests.txt index 837ef6f2..7f1a5898 100644 --- a/evidence/student-tests.txt +++ b/evidence/student-tests.txt @@ -1,9 +1,9 @@ -date: 2026-10-28T17:51:45Z commit: 24f9d61 +date: 2026-10-28T21:18:14Z commit: a774a2f $ make lint -.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py +.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py All checks passed! -.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py -131 files already formatted +.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py +136 files already formatted .venv/bin/ty check src student-tests All checks passed! $ make student-test # pytest без маркера stack, по файлам @@ -14,36 +14,37 @@ configfile: pyproject.toml testpaths: student-tests plugins: asyncio-1.4.0, anyio-4.15.1 asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function -collected 335 items / 10 deselected / 325 selected +collected 350 items / 15 deselected / 335 selected student-tests/adapters/test_s3_storage.py .. [ 0%] student-tests/api/test_access.py ....... [ 2%] -student-tests/api/test_attachments.py .................................. [ 13%] -... [ 14%] -student-tests/api/test_bounded_contexts.py ................... [ 20%] -student-tests/api/test_cache.py ..... [ 21%] -student-tests/api/test_concurrency.py ... [ 22%] +student-tests/api/test_attachments.py .................................. [ 12%] +... [ 13%] +student-tests/api/test_bounded_contexts.py ................... [ 19%] +student-tests/api/test_cache.py ..... [ 20%] +student-tests/api/test_concurrency.py ... [ 21%] student-tests/api/test_consistency.py ........ [ 24%] -student-tests/api/test_drain.py .. [ 25%] -student-tests/api/test_events.py ....... [ 27%] -student-tests/api/test_idempotency.py ............... [ 32%] -student-tests/api/test_instance.py .... [ 33%] -student-tests/api/test_message_attachments.py ........... [ 36%] -student-tests/api/test_migrations.py ....... [ 39%] -student-tests/api/test_negative.py ..................................... [ 50%] - [ 50%] -student-tests/api/test_operability.py ............. [ 54%] -student-tests/api/test_pagination.py ................. [ 59%] -student-tests/api/test_pool.py .. [ 60%] -student-tests/api/test_sessions.py .................. [ 65%] -student-tests/api/test_timeout.py ...... [ 67%] +student-tests/api/test_drain.py .. [ 24%] +student-tests/api/test_events.py ....... [ 26%] +student-tests/api/test_idempotency.py ............... [ 31%] +student-tests/api/test_instance.py .... [ 32%] +student-tests/api/test_message_attachments.py ........... [ 35%] +student-tests/api/test_migrations.py ....... [ 37%] +student-tests/api/test_negative.py ..................................... [ 48%] + [ 48%] +student-tests/api/test_operability.py ............. [ 52%] +student-tests/api/test_pagination.py ................. [ 57%] +student-tests/api/test_pool.py .. [ 58%] +student-tests/api/test_sessions.py .................. [ 63%] +student-tests/api/test_timeout.py ...... [ 65%] +student-tests/api/test_upload_consistency.py ......... [ 68%] student-tests/api/test_wire_format.py .. [ 68%] student-tests/unit/test_attachments_domain.py .......................... [ 76%] - [ 76%] -student-tests/unit/test_authentication.py ..................... [ 82%] +. [ 77%] +student-tests/unit/test_authentication.py ..................... [ 83%] student-tests/unit/test_cursor.py ........... [ 86%] student-tests/unit/test_domain.py ...................................... [ 97%] ...... [ 99%] student-tests/unit/test_timeouts.py . [100%] -===================== 325 passed, 10 deselected in 35.54s ====================== +===================== 335 passed, 15 deselected in 38.39s ====================== diff --git a/evidence/upload-faults.txt b/evidence/upload-faults.txt new file mode 100644 index 00000000..308ea75e --- /dev/null +++ b/evidence/upload-faults.txt @@ -0,0 +1,57 @@ +date: 2026-10-28T21:17:12Z commit: a774a2f BASE_URL=http://localhost:18084 +============================= test session starts ============================== +collected 5 items + +student-tests/stack/test_attachment_faults.py 10 MiB + 1 с Content-Length, тело не отправлено: 413 +10 MiB + 1 chunked: 413 +PNG 100000×100000 (бомба): 413 +PNG 8001×5000: 413 +обрезанный PNG: 415 +обрезанный JPEG: 415 +JPEG как image/png: 415 +GIF как image/png: 415 +WebP как image/png: 415 +текст как image/png: 415 +PNG как image/jpeg: 415 +пустое тело: 415 +application/octet-stream: 415 +без Content-Type: 415 +filename='../a.png': 400 +filename='a/b.png': 400 +filename='a\\b.png': 400 +filename='a\x00.png': 400 +filename='a\x01.png': 400 +filename='a\x7f.png': 400 +filename='': 400 +filename=' ': 400 +filename='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx: 400 +filename=None: 400 +посторонний: upload в чужой чат: 404 +посторонний: метаданные: 404 +посторонний: /content: 404 +посторонний: ссылка на чужое вложение: 404 +вложение другого чата: 404 +неизвестное вложение: 404 +11 вложений: 400 +повтор вложения: 400 +невалидный UUID: 400 +пустой текст без вложений: 400 +невалидный id вложения: 400 +variant=thumbnail: 400 +строк вложений в чате: 2 (= ответов 201); ответов в журнале реплик: 53, из них 5xx: 0 +.отказ COMMIT после записи объекта: 503 unavailable +сразу после ответа: строка нет, объект HEAD 404 +журнал: audit.attachment_discarded reason=compensation +.реплика 0b2544e9c8de убита между PUT и COMMIT, клиент получил 502 +реплика cf30d7db141f убита между PUT и COMMIT, клиент получил 502 +остаток после падения: строка pending, объект HEAD 200 +остаток после падения: строка pending, объект HEAD 200 +старше grace: строка убрана через 23.2 с, объект HEAD 404 +моложе grace: строка pending, объект HEAD 200 +тот же после сдвига: убран через 2.9 с, объект HEAD 404 +готовое вложение в сообщении со сдвинутым created_at скачивается, SHA-256 совпадает +.обрыв после 256 KiB из 5 MiB: статус в журнале реплики [400], намерение None +.тело зависло после 1 KiB: 503 unavailable за 8.00 с +. + +============================== 5 passed in 47.68s ============================== diff --git a/evidence/upload-memory/mmap-32m/slots3-10mib-c10.json b/evidence/upload-memory/mmap-32m/slots3-10mib-c10.json new file mode 100644 index 00000000..aa039f00 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/slots3-10mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 10485256, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 2.049, + "successful_rps": 9.76, + "latency_ms": { + "p50": 1044.5, + "p95": 1054.0, + "p99": 1054.0, + "max": 1054.0 + }, + "memory": { + "373f923996f5": { + "idle_mib": 118.0, + "docker_stats_peak_mib": 284.1, + "cgroup_memory_peak_mib": 317.0, + "oom_kill": 0 + }, + "716a8bd3dadc": { + "idle_mib": 120.1, + "docker_stats_peak_mib": 284.8, + "cgroup_memory_peak_mib": 303.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 21.5, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/mmap-32m/slots3-10mib-c20.json b/evidence/upload-memory/mmap-32m/slots3-10mib-c20.json new file mode 100644 index 00000000..278a67c0 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/slots3-10mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 10485256, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 4.07, + "successful_rps": 9.83, + "latency_ms": { + "p50": 1371.3, + "p95": 2703.0, + "p99": 3511.2, + "max": 3511.2 + }, + "memory": { + "9f0550e32c1f": { + "idle_mib": 121.0, + "docker_stats_peak_mib": 283.9, + "cgroup_memory_peak_mib": 333.8, + "oom_kill": 0 + }, + "d67cf5f9a4cd": { + "idle_mib": 114.6, + "docker_stats_peak_mib": 274.2, + "cgroup_memory_peak_mib": 326.7, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 25.5, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/mmap-32m/slots3-10mib-c40.json b/evidence/upload-memory/mmap-32m/slots3-10mib-c40.json new file mode 100644 index 00000000..13abfeb7 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/slots3-10mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 10485256, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 9.697, + "successful_rps": 8.25, + "latency_ms": { + "p50": 3994.1, + "p95": 7734.9, + "p99": 8083.8, + "max": 8083.8 + }, + "memory": { + "2c476e16638d": { + "idle_mib": 117.4, + "docker_stats_peak_mib": 308.2, + "cgroup_memory_peak_mib": 344.4, + "oom_kill": 0 + }, + "06b193e00555": { + "idle_mib": 120.6, + "docker_stats_peak_mib": 327.0, + "cgroup_memory_peak_mib": 368.2, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 29.2, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/mmap-32m/summary.txt b/evidence/upload-memory/mmap-32m/summary.txt new file mode 100644 index 00000000..8d1ed800 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/summary.txt @@ -0,0 +1,5 @@ +# 2026-10-28T21:22:34Z commit a774a2f; api x2: 1 CPU, 512 MiB, 2 workers; MALLOC_MMAP_THRESHOLD_=33554432; 2 uploads per client; peaks from cgroup memory.peak, MiB +slots size conc codes p50_ms p95_ms api_idle api_peak api_oom lb_peak lb_oom + 3 10.0M 10 201x20 1044.5 1054.0 120.1 317.0 0 21.5 0 + 3 10.0M 20 201x40 1371.3 2703.0 121.0 333.8 0 25.5 0 + 3 10.0M 40 201x80 3994.1 7734.9 120.6 368.2 0 29.2 0 diff --git a/evidence/upload-memory/slots3-10mib-c10.json b/evidence/upload-memory/slots3-10mib-c10.json new file mode 100644 index 00000000..976af3fe --- /dev/null +++ b/evidence/upload-memory/slots3-10mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 10485256, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 5.065, + "successful_rps": 3.95, + "latency_ms": { + "p50": 2352.4, + "p95": 4189.7, + "p99": 4189.7, + "max": 4189.7 + }, + "memory": { + "3c2d730085c8": { + "idle_mib": 131.5, + "docker_stats_peak_mib": 293.7, + "cgroup_memory_peak_mib": 304.0, + "oom_kill": 0 + }, + "93f9bbc1bceb": { + "idle_mib": 111.1, + "docker_stats_peak_mib": 247.1, + "cgroup_memory_peak_mib": 281.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 21.2, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-10mib-c20.json b/evidence/upload-memory/slots3-10mib-c20.json new file mode 100644 index 00000000..cf7d490d --- /dev/null +++ b/evidence/upload-memory/slots3-10mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 10485256, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 4.465, + "successful_rps": 8.96, + "latency_ms": { + "p50": 1920.8, + "p95": 3240.6, + "p99": 3245.7, + "max": 3245.7 + }, + "memory": { + "e182be5b687d": { + "idle_mib": 120.5, + "docker_stats_peak_mib": 282.5, + "cgroup_memory_peak_mib": 319.1, + "oom_kill": 0 + }, + "f17f1e812c22": { + "idle_mib": 118.4, + "docker_stats_peak_mib": 294.0, + "cgroup_memory_peak_mib": 315.8, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 24.3, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-10mib-c40.json b/evidence/upload-memory/slots3-10mib-c40.json new file mode 100644 index 00000000..8c67a315 --- /dev/null +++ b/evidence/upload-memory/slots3-10mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 10485256, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 6.851, + "successful_rps": 11.68, + "latency_ms": { + "p50": 2711.0, + "p95": 4799.3, + "p99": 5257.9, + "max": 5257.9 + }, + "memory": { + "bb38d9440f2d": { + "idle_mib": 120.8, + "docker_stats_peak_mib": 298.7, + "cgroup_memory_peak_mib": 329.7, + "oom_kill": 0 + }, + "84d678b69298": { + "idle_mib": 119.4, + "docker_stats_peak_mib": 298.7, + "cgroup_memory_peak_mib": 312.7, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 28.6, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-1mib-c10.json b/evidence/upload-memory/slots3-1mib-c10.json new file mode 100644 index 00000000..fa84c48c --- /dev/null +++ b/evidence/upload-memory/slots3-1mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 1048276, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.265, + "successful_rps": 75.45, + "latency_ms": { + "p50": 113.1, + "p95": 232.8, + "p99": 232.8, + "max": 232.8 + }, + "memory": { + "c83ab609c3fd": { + "idle_mib": 120.8, + "docker_stats_peak_mib": 163.3, + "cgroup_memory_peak_mib": 190.4, + "oom_kill": 0 + }, + "26c71ec1883e": { + "idle_mib": 117.4, + "docker_stats_peak_mib": 162.7, + "cgroup_memory_peak_mib": 181.1, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 23.1, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-1mib-c20.json b/evidence/upload-memory/slots3-1mib-c20.json new file mode 100644 index 00000000..4231c545 --- /dev/null +++ b/evidence/upload-memory/slots3-1mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 1048276, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.468, + "successful_rps": 85.48, + "latency_ms": { + "p50": 224.4, + "p95": 366.0, + "p99": 371.8, + "max": 371.8 + }, + "memory": { + "4cc6524e77c8": { + "idle_mib": 112.1, + "docker_stats_peak_mib": 164.9, + "cgroup_memory_peak_mib": 192.9, + "oom_kill": 0 + }, + "c3ba0e9c5e5d": { + "idle_mib": 119.7, + "docker_stats_peak_mib": 164.6, + "cgroup_memory_peak_mib": 192.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 29.7, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-1mib-c40.json b/evidence/upload-memory/slots3-1mib-c40.json new file mode 100644 index 00000000..babeb61e --- /dev/null +++ b/evidence/upload-memory/slots3-1mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 1048276, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.783, + "successful_rps": 102.19, + "latency_ms": { + "p50": 297.8, + "p95": 556.8, + "p99": 751.0, + "max": 751.0 + }, + "memory": { + "76e59517c4ab": { + "idle_mib": 120.3, + "docker_stats_peak_mib": 169.2, + "cgroup_memory_peak_mib": 194.3, + "oom_kill": 0 + }, + "6432fcfd1bca": { + "idle_mib": 118.6, + "docker_stats_peak_mib": 168.7, + "cgroup_memory_peak_mib": 191.6, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 25.9, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-10mib-c10.json b/evidence/upload-memory/slots64-10mib-c10.json new file mode 100644 index 00000000..72aa5827 --- /dev/null +++ b/evidence/upload-memory/slots64-10mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 10485256, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 1.703, + "successful_rps": 11.74, + "latency_ms": { + "p50": 912.4, + "p95": 950.2, + "p99": 950.2, + "max": 950.2 + }, + "memory": { + "ed961ad8f7af": { + "idle_mib": 119.3, + "docker_stats_peak_mib": 169.9, + "cgroup_memory_peak_mib": 279.8, + "oom_kill": 0 + }, + "3eee49d32532": { + "idle_mib": 117.1, + "docker_stats_peak_mib": 183.5, + "cgroup_memory_peak_mib": 299.7, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 21.4, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-10mib-c20.json b/evidence/upload-memory/slots64-10mib-c20.json new file mode 100644 index 00000000..0f3e8c6f --- /dev/null +++ b/evidence/upload-memory/slots64-10mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 10485256, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 4.342, + "successful_rps": 9.21, + "latency_ms": { + "p50": 2177.2, + "p95": 2493.4, + "p99": 2621.4, + "max": 2621.4 + }, + "memory": { + "3beae51664f3": { + "idle_mib": 117.8, + "docker_stats_peak_mib": 366.2, + "cgroup_memory_peak_mib": 386.4, + "oom_kill": 0 + }, + "fbd9ba2a6325": { + "idle_mib": 113.8, + "docker_stats_peak_mib": 400.9, + "cgroup_memory_peak_mib": 422.6, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 23.6, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-10mib-c40.json b/evidence/upload-memory/slots64-10mib-c40.json new file mode 100644 index 00000000..a565ff27 --- /dev/null +++ b/evidence/upload-memory/slots64-10mib-c40.json @@ -0,0 +1,39 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 10485256, + "status_codes": { + "201": 43, + "503": 37 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 13.192, + "successful_rps": 3.26, + "latency_ms": { + "p50": 3920.8, + "p95": 6328.1, + "p99": 7061.7, + "max": 7061.7 + }, + "memory": { + "76bf24c2a7e4": { + "idle_mib": 120.7, + "docker_stats_peak_mib": 501.4, + "cgroup_memory_peak_mib": 513.2, + "oom_kill": 0 + }, + "b913c1711548": { + "idle_mib": 118.6, + "docker_stats_peak_mib": 511.9, + "cgroup_memory_peak_mib": 512.4, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 26.2, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-1mib-c10.json b/evidence/upload-memory/slots64-1mib-c10.json new file mode 100644 index 00000000..245548ae --- /dev/null +++ b/evidence/upload-memory/slots64-1mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 1048276, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.369, + "successful_rps": 54.21, + "latency_ms": { + "p50": 201.4, + "p95": 282.8, + "p99": 282.8, + "max": 282.8 + }, + "memory": { + "bd429b0994e1": { + "idle_mib": 111.7, + "docker_stats_peak_mib": 163.4, + "cgroup_memory_peak_mib": 184.2, + "oom_kill": 0 + }, + "abd2f4842514": { + "idle_mib": 119.4, + "docker_stats_peak_mib": 163.4, + "cgroup_memory_peak_mib": 187.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 20.9, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-1mib-c20.json b/evidence/upload-memory/slots64-1mib-c20.json new file mode 100644 index 00000000..4c432749 --- /dev/null +++ b/evidence/upload-memory/slots64-1mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 1048276, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.498, + "successful_rps": 80.37, + "latency_ms": { + "p50": 227.1, + "p95": 377.3, + "p99": 380.1, + "max": 380.1 + }, + "memory": { + "12d95dfd6365": { + "idle_mib": 117.2, + "docker_stats_peak_mib": 164.0, + "cgroup_memory_peak_mib": 193.9, + "oom_kill": 0 + }, + "66e748dbcb67": { + "idle_mib": 118.7, + "docker_stats_peak_mib": 164.8, + "cgroup_memory_peak_mib": 202.1, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 23.3, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-1mib-c40.json b/evidence/upload-memory/slots64-1mib-c40.json new file mode 100644 index 00000000..e77fde73 --- /dev/null +++ b/evidence/upload-memory/slots64-1mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 1048276, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.799, + "successful_rps": 100.07, + "latency_ms": { + "p50": 347.3, + "p95": 688.0, + "p99": 690.3, + "max": 690.3 + }, + "memory": { + "fa8ec003b262": { + "idle_mib": 117.1, + "docker_stats_peak_mib": 169.1, + "cgroup_memory_peak_mib": 209.4, + "oom_kill": 0 + }, + "9ff57a54c245": { + "idle_mib": 120.6, + "docker_stats_peak_mib": 167.9, + "cgroup_memory_peak_mib": 218.8, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 27.3, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/summary.txt b/evidence/upload-memory/summary.txt new file mode 100644 index 00000000..7f073bd1 --- /dev/null +++ b/evidence/upload-memory/summary.txt @@ -0,0 +1,14 @@ +# 2026-10-28T21:19:30Z commit a774a2f; api x2: 1 CPU, 512 MiB, 2 workers; MALLOC_MMAP_THRESHOLD_=131072; 2 uploads per client; peaks from cgroup memory.peak, MiB +slots size conc codes p50_ms p95_ms api_idle api_peak api_oom lb_peak lb_oom + 64 1.0M 10 201x20 201.4 282.8 119.4 187.5 0 20.9 0 + 64 1.0M 20 201x40 227.1 377.3 118.7 202.1 0 23.3 0 + 64 1.0M 40 201x80 347.3 688.0 120.6 218.8 0 27.3 0 + 64 10.0M 10 201x20 912.4 950.2 119.3 299.7 0 21.4 0 + 64 10.0M 20 201x40 2177.2 2493.4 117.8 422.6 0 23.6 0 + 64 10.0M 40 201x43,503x37 3920.8 6328.1 120.7 513.2 0 26.2 0 + 3 1.0M 10 201x20 113.1 232.8 120.8 190.4 0 23.1 0 + 3 1.0M 20 201x40 224.4 366.0 119.7 192.9 0 29.7 0 + 3 1.0M 40 201x80 297.8 556.8 120.3 194.3 0 25.9 0 + 3 10.0M 10 201x20 2352.4 4189.7 131.5 304.0 0 21.2 0 + 3 10.0M 20 201x40 1920.8 3240.6 120.5 319.1 0 24.3 0 + 3 10.0M 40 201x80 2711.0 4799.3 120.8 329.7 0 28.6 0 diff --git a/openspec/changes/add-lab4-upload-resilience/design.md b/openspec/changes/add-lab4-upload-resilience/design.md index 516adce6..e961421f 100644 --- a/openspec/changes/add-lab4-upload-resilience/design.md +++ b/openspec/changes/add-lab4-upload-resilience/design.md @@ -62,9 +62,9 @@ Grace period `UPLOAD_GRACE_SECONDS=900`, не меньше 60 (валидаци Замер D5 уточнил картину в двух местах, и решение дополнено: - **Ожидающая загрузка живёт в буферах сокетов.** Слот держит тело вне памяти воркера, но клиент продолжает слать, и байты копятся в ядре по цепочке: автонастройка TCP растит буфер приёма до 6 MiB на соединение, а память сокетов учитывается в cgroup контейнера. Первый прогон с 3 слотами при 40 одновременных загрузках по 10 MiB убил HAProxy по OOM (лимит 128 MiB, `memory.stat sock` ≈ 110 MB), соединения оборвались. Поэтому HAProxy получает `tune.rcvbuf.client/server` и `tune.sndbuf.client/server` по 64 KiB, а у `api` — `net.ipv4.tcp_rmem`/`tcp_wmem` с максимумом 256 KiB (sysctl сетевого namespace в `compose.yaml`). Пик LB после этого — 30 MiB; на пропускную способность внутри одного хоста буферы не влияют. Ожидающая загрузка стоит ~0,3 MiB на LB и столько же на реплике; число таких соединений ограничивает `maxconn 64` на реплику. -- **Аллокатор glibc не отдаёт освобождённые тела.** Тела больше 128 KiB берутся у `malloc`; после первого освобождения крупного блока glibc поднимает порог `mmap` до 32 MiB, и следующие буферы по 10 MiB остаются в куче процесса после освобождения. `MALLOC_MMAP_THRESHOLD_=131072` у `api` фиксирует порог: большие буферы выделяются `mmap` и возвращаются системе. При 3 слотах и 40 загрузках по 10 MiB пик реплики — 323 MiB против 364 MiB с порогом 32 MiB. +- **Аллокатор glibc не отдаёт освобождённые тела.** Тела больше 128 KiB берутся у `malloc`; после первого освобождения крупного блока glibc поднимает порог `mmap` до 32 MiB, и следующие буферы по 10 MiB остаются в куче процесса после освобождения. `MALLOC_MMAP_THRESHOLD_=131072` у `api` фиксирует порог: большие буферы выделяются `mmap` и возвращаются системе. При 3 слотах и 40 загрузках по 10 MiB пик реплики — 330 MiB против 368 MiB с порогом 32 MiB. -Итог замера: одна загрузка 10 MiB в полёте стоит ≈ 34 MiB, 6 слотов на реплику — ≈ 200 MiB поверх простоя ~120 MiB, пик 323 MiB (63 % лимита) при любой одновременности от 20 до 40. Без лимита (64 слота) те же 40 загрузок упираются в 512 MiB, ядро убивает воркер, и успешны лишь 31 из 80. Значение `UPLOAD_CONCURRENCY=3` оставлено. +Итог замера: одна загрузка 10 MiB в полёте стоит ≈ 35 MiB, 6 слотов на реплику — ≈ 210 MiB поверх простоя ~120 MiB, пик 304–330 MiB (до 64 % лимита) при 10–40 одновременных загрузках. Без лимита (64 слота) те же 40 загрузок упираются в 512 MiB: успешны 43 из 80, остальные получают `503`, а в предварительном прогоне ядро ещё и убило воркер. Значение `UPLOAD_CONCURRENCY=3` оставлено. ### D4. Обрыв и зависание тела diff --git a/openspec/changes/add-lab4-upload-resilience/tasks.md b/openspec/changes/add-lab4-upload-resilience/tasks.md index 3d2114c8..fa12590e 100644 --- a/openspec/changes/add-lab4-upload-resilience/tasks.md +++ b/openspec/changes/add-lab4-upload-resilience/tasks.md @@ -35,6 +35,6 @@ ## 6. Отчёт -- [ ] 6.1 `evidence/`: `upload-faults.txt`, `upload-memory/`, `s3-security.txt`, `student-tests.txt` -- [ ] 6.2 `REPORT.md`: строки 4.1–4.4, механизм компенсации и уборки, эксперимент памяти, таблица отказов, ограничения -- [ ] 6.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, сценарии уровня «3» и `make upload-faults` +- [x] 6.1 `evidence/`: `upload-faults.txt`, `upload-memory/`, `s3-security.txt`, `student-tests.txt`, `contract-checks.txt`, `regression-level4.txt` +- [x] 6.2 `REPORT.md`: строки 4.1–4.4, механизм компенсации и уборки, эксперимент памяти, таблица отказов, ограничения; `AGENTS.md`: команды и уровень «4» +- [x] 6.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, сценарии уровня «3» и `make upload-faults`