From 2b19277b1e40d62d229e46df9e8c67144d9ba314 Mon Sep 17 00:00:00 2001 From: Artyom Date: Thu, 29 Oct 2026 00:24:41 +0300 Subject: [PATCH] Record level 4 evidence and fill in the report Evidence comes from the running stand at a774a2f: upload-faults.txt with the negative suite through the balancer (36 user errors, no 5xx in the replica logs) and the compensation, crash, sweep, abort and stall checks; upload-memory with per-run JSON and a summary for 64 and 3 slots, 1 and 10 MiB and 10, 20 and 40 concurrent uploads plus the mmap threshold comparison; s3-security.txt with 23 checks; and regression-level4.txt showing that smoke, persistence, failover of each replica, the upload failover, S3 outage and abort scenarios, the limits policy and all 15 stand checks still pass. The lint and own test log now counts 335 tests. The upload-faults target stamps its output with the date and commit. REPORT.md gains rows 4.1 to 4.4 and a regression row, the compensation and sweep mechanism with its grace period, where each upload limit and buffer cap applies, the new variables, level 4 failure rows and the memory experiment with hypothesis, method, results and limits. AGENTS lists the new targets. Co-Authored-By: Claude Opus 5.5 (1M context) Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27 --- AGENTS.md | 6 +- Makefile | 5 +- REPORT.md | 133 +++++++++++++++--- evidence/contract-checks.txt | 2 +- evidence/regression-level4.txt | 31 ++++ evidence/s3-security.txt | 3 +- evidence/student-tests.txt | 53 +++---- evidence/upload-faults.txt | 57 ++++++++ .../mmap-32m/slots3-10mib-c10.json | 38 +++++ .../mmap-32m/slots3-10mib-c20.json | 38 +++++ .../mmap-32m/slots3-10mib-c40.json | 38 +++++ evidence/upload-memory/mmap-32m/summary.txt | 5 + evidence/upload-memory/slots3-10mib-c10.json | 38 +++++ evidence/upload-memory/slots3-10mib-c20.json | 38 +++++ evidence/upload-memory/slots3-10mib-c40.json | 38 +++++ evidence/upload-memory/slots3-1mib-c10.json | 38 +++++ evidence/upload-memory/slots3-1mib-c20.json | 38 +++++ evidence/upload-memory/slots3-1mib-c40.json | 38 +++++ evidence/upload-memory/slots64-10mib-c10.json | 38 +++++ evidence/upload-memory/slots64-10mib-c20.json | 38 +++++ evidence/upload-memory/slots64-10mib-c40.json | 39 +++++ evidence/upload-memory/slots64-1mib-c10.json | 38 +++++ evidence/upload-memory/slots64-1mib-c20.json | 38 +++++ evidence/upload-memory/slots64-1mib-c40.json | 38 +++++ evidence/upload-memory/summary.txt | 14 ++ .../add-lab4-upload-resilience/design.md | 4 +- .../add-lab4-upload-resilience/tasks.md | 6 +- 27 files changed, 834 insertions(+), 56 deletions(-) create mode 100644 evidence/regression-level4.txt create mode 100644 evidence/upload-faults.txt create mode 100644 evidence/upload-memory/mmap-32m/slots3-10mib-c10.json create mode 100644 evidence/upload-memory/mmap-32m/slots3-10mib-c20.json create mode 100644 evidence/upload-memory/mmap-32m/slots3-10mib-c40.json create mode 100644 evidence/upload-memory/mmap-32m/summary.txt create mode 100644 evidence/upload-memory/slots3-10mib-c10.json create mode 100644 evidence/upload-memory/slots3-10mib-c20.json create mode 100644 evidence/upload-memory/slots3-10mib-c40.json create mode 100644 evidence/upload-memory/slots3-1mib-c10.json create mode 100644 evidence/upload-memory/slots3-1mib-c20.json create mode 100644 evidence/upload-memory/slots3-1mib-c40.json create mode 100644 evidence/upload-memory/slots64-10mib-c10.json create mode 100644 evidence/upload-memory/slots64-10mib-c20.json create mode 100644 evidence/upload-memory/slots64-10mib-c40.json create mode 100644 evidence/upload-memory/slots64-1mib-c10.json create mode 100644 evidence/upload-memory/slots64-1mib-c20.json create mode 100644 evidence/upload-memory/slots64-1mib-c40.json create mode 100644 evidence/upload-memory/summary.txt diff --git a/AGENTS.md b/AGENTS.md index 25604828..850196c2 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -21,7 +21,9 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка р make restore # вернуть остановленные реплики и дождаться их в ротации LB make scenario SCENARIO=failover-upload # upload → стоп обслужившей реплики → download через другую, SHA-256 make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты работают -make s3-check # приватный bucket вне API, ограниченные ключи API, повторный bootstrap +make s3-check # приватный bucket вне API, ограниченные ключи API, консоль, повторный bootstrap +make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела +make upload-memory # «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB make down # остановка без удаления данных; make reset-data — намеренное удаление volumes ``` @@ -55,5 +57,5 @@ make down # остановка без удаления д Решение заявлено на **«5»** с треком 2 «Согласованность двух хранилищ (reconciler)»; таблица доказательств — в `REPORT.md`. - **3** — RustFS и приватный bucket в общем стенде, метаданные в PostgreSQL; upload `201 ready` после записи и `COMMIT`, побайтное скачивание вторым участником, `404` постороннему, `403` анонимному GET в S3; лимиты 10 MiB / 40 MP, тип по содержимому, опасные `filename`; upload → стоп обслужившей реплики → download через другую; restart с volumes; недоступный S3 → `503` при работающих текстах; минимум lab3 сохранён. -- **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД и обрыва загрузки с grace period; потоковые лимиты и ≥10 одновременных загрузок с пиком памяти; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API. +- **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД под блокировкой строки и фоновая уборка намерений `pending` старше `UPLOAD_GRACE_SECONDS` (`SKIP LOCKED`, объект раньше строки); слоты загрузки на воркер, ограниченные буферы сокетов LB и API, фиксированный порог `mmap` glibc и замер ≥10 одновременных загрузок; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API. - **5** — трек 2: reconciler (`dry-run`/`apply`) для orphan/missing/mismatch/stale pending, внедрение ошибок на обеих сторонах, безопасность для свежих и используемых вложений, стоимость обхода 1k/10k объектов. diff --git a/Makefile b/Makefile index b89a7754..11e1ace3 100644 --- a/Makefile +++ b/Makefile @@ -131,8 +131,9 @@ attachments-evidence: sh scripts/evidence-attachments.sh upload-faults: - BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s --no-header --tb=short -p no:cacheprovider \ - student-tests/stack/test_attachment_faults.py > evidence/upload-faults.txt; \ + { echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD) BASE_URL=$(BASE_URL)"; \ + BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s --no-header --tb=short \ + -p no:cacheprovider student-tests/stack/test_attachment_faults.py; } > evidence/upload-faults.txt; \ status=$$?; cat evidence/upload-faults.txt; exit $$status upload-memory: diff --git a/REPORT.md b/REPORT.md index 777115e3..a5945994 100644 --- a/REPORT.md +++ b/REPORT.md @@ -30,7 +30,9 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh make restore # вернуть остановленную реплику и дождаться её в ротации LB make scenario SCENARIO=failover-upload # upload → стоп принявшей реплики → download через другую make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты и метаданные работают -make s3-check # приватность bucket вне API, права ключа API, повторный bootstrap +make s3-check # приватность bucket вне API, права ключа API, консоль, повторный bootstrap +make upload-faults # уровень «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела +make upload-memory # уровень «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v @@ -120,14 +122,16 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может 4. `filename` после percent-decode: 1–255 code points, не пробельный, без `/`, `\` и символов категории `Cc` (NUL, `\x01`, `\x7f`, перевод строки…) → иначе `400`; используется только для отображения; 5. `Content-Type` без параметров и регистра ∈ {`image/png`, `image/jpeg`} → иначе `415`; -6. поток копится со счётчиком и инкрементальным SHA-256; байт `MAX_UPLOAD_BYTES + 1` → `413`, дальше не читаем - (так закрыт и chunked без `Content-Length`); -7. проверка изображения в потоке под семафором (`IMAGE_CHECK_CONCURRENCY=2` на воркер): `Image.open` только +6. слот загрузки: не больше `UPLOAD_CONCURRENCY=3` тел в памяти воркера, остальные ждут, не читая тело (uvicorn + приостанавливает чтение сокета после 64 KiB), ожидание ограничено таймаутом запроса; +7. поток копится со счётчиком и инкрементальным SHA-256; байт `MAX_UPLOAD_BYTES + 1` → `413`, дальше не читаем + (так закрыт и chunked без `Content-Length`); обрыв клиента посреди тела → `400` в журнале, не `500`; +8. проверка изображения в потоке под семафором (`IMAGE_CHECK_CONCURRENCY=2` на воркер): `Image.open` только PNG/JPEG читает заголовок; формат ≠ заявленному → `415` (подмена MIME); `width × height > MAX_IMAGE_PIXELS` → `413` до декодирования (decompression bomb 100 000 × 100 000 весом 300 байт отклоняется по заголовку); PNG — `verify()` (все чанки, CRC, `IEND`, без распаковки пикселей), JPEG — `draft` в 1/8 + `load()` (полное декодирование потока, ≈1/64 памяти); ошибка → `415`; -8. запись (ниже). +9. запись (ниже); буфер тела освобождается до перевода в `ready`. **Порядок записи PostgreSQL ↔ S3.** `INSERT attachments (status='pending')` и `COMMIT` → `PutObject` → `UPDATE … SET status='ready'` и `COMMIT` → `201`. Намерение фиксируется до `PUT`, поэтому у любого объекта под @@ -138,11 +142,34 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может | --- | --- | --- | | обрыв клиента, `413`, `415`, `400`, `404` | ничего: строка пишется только после чтения и проверки | ошибка или обрыв | | `INSERT pending` | ничего | `503` | -| `PutObject` (S3 недоступен) | невидимая строка `pending` без объекта | `503` | -| `UPDATE ready` | невидимая строка `pending` и объект | `503` | +| `PutObject` (S3 недоступен, таймаут) | невидимая строка `pending`, объект возможен (отложенная запись) | `503`; уборка после grace | +| `UPDATE ready` отклонён | компенсация сразу: объект и строка удалены | `503` | +| процесс убит между `PUT` и `COMMIT` | невидимая строка `pending` и объект | обрыв (`502` от LB); уборка после grace | | после `COMMIT ready` | готовое вложение | `201` | -Строки `pending` после сбоя убирает механизм компенсации и очистки с grace period — изменение уровня «4». +**Компенсация и уборка (уровень «4»).** Инвариант: пока объект под `attachments/` существует, существует и строка с +его ключом; строка-намерение удаляется только после объекта. + +- *Компенсация.* Если `UPDATE … SET status='ready'` не зафиксирован, обработчик в новой транзакции берёт строку + `SELECT … FOR UPDATE`: `ready` (фиксация на самом деле прошла) — не трогает; `pending` — `DeleteObject`, затем + `DELETE … AND status='pending'`, `COMMIT`; строки нет — удаляет объект. Блокировка держится на время одного + `DeleteObject` (≤ 6 с < `idle_in_transaction_session_timeout` 10 с) и не даёт задержавшемуся `UPDATE ready` + проскочить между удалением объекта и строки. `UPDATE ready`, не нашедший строки (намерение уже убрано), даёт + `503` и удаление объекта, а не `201`. Сбой самого `PUT` и отмена по таймауту сразу не компенсируются: исход + `PUT` неизвестен, объект может появиться позже. +- *Уборка.* В каждом воркере `UploadSweeper` раз в `UPLOAD_SWEEP_INTERVAL_SECONDS=30` выбирает по одной строке + `WHERE status='pending' AND created_at < now − UPLOAD_GRACE_SECONDS ORDER BY created_at LIMIT 1 FOR UPDATE SKIP + LOCKED` (частичный индекс `attachments_pending_idx`), удаляет объект, затем строку, до `UPLOAD_SWEEP_BATCH=100` за + проход; `SKIP LOCKED` делит работу между 4 воркерами стенда, ошибка S3 откладывает строку до следующего прохода. + Каждое удаление — событие `audit.attachment_discarded` с причиной `compensation` или `abandoned`. +- *Grace period* `UPLOAD_GRACE_SECONDS=900` (минимум 60 в настройках): жизнь загрузки от `INSERT pending` до + `UPDATE ready` ограничена таймаутом запроса 8 с, отложенный `PUT` — таймаутами S3 6 с; запас больше 50 раз, + включая расхождение часов реплик одного хоста. Готовые строки и вложения в сообщениях не выбираются условием + `status='pending'`, а `message_attachments` ссылается на них с `ON DELETE RESTRICT`. +- *Незавершённый multipart* (сервер им не пользуется) удаляет lifecycle-правило bucket через сутки. + +Платформа: откат транзакции раньше стирал все события команды, а шина не публиковала их при исключении — журнал +терял удаления из компенсации и уборки. Теперь откат убирает только события своей транзакции. **Скачивание.** Строка `ready` по PK → членство → `GetObject` **до** отправки заголовков (пропавший объект → `404` с событием `attachment.object_missing` в журнале, недоступный S3 → `503`) → `StreamingResponse` кусками 64 KiB с @@ -160,6 +187,12 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` реплики, отказали бы и тексты, а ответы LB не несут `X-Instance-Id`. Сейчас upload и скачивание получают `503` от приложения за ≤2,6 с, а тексты и метаданные работают (`evidence/s3-outage.json`). +**Память загрузок (уровень «4»).** Пик памяти держат три настройки по всей цепочке, найденные замером (ниже): +слоты загрузки на воркер; буферы сокетов — HAProxy `tune.rcvbuf/sndbuf.client/server 65536`, у `api` +`net.ipv4.tcp_rmem`/`tcp_wmem` с максимумом 256 KiB (иначе ядро растит буфер до 6 MiB на соединение, и ожидающие +тела копятся в памяти контейнера LB); `MALLOC_MMAP_THRESHOLD_=131072` у `api` (иначе glibc после первого +освобождения поднимает порог `mmap` до 32 MiB и держит освобождённые тела в куче). + **Цепочка таймаутов:** клиент smoke/resilience 10/2 с; LB `timeout server` 10 с > `REQUEST_TIMEOUT_SECONDS` 8 с > худшая операция S3 2 × (1 + 2) = 6 с и ожидание соединения PostgreSQL + оператор 1 + 2 с. LB не повторяет upload: `disable-l7-retry` снят только для `GET` и `POST …/messages` с ключом, повтор отказа соединения безопасен (запрос @@ -169,8 +202,8 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` | Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials | | --- | --- | --- | --- | --- | --- | --- | -| load_balancer | `lb` | `haproxy:3.2.26-alpine@sha256:58938405…`, uid 99, `read_only` | `/healthz` :8404; реплики — `GET /health/ready` | нет | `edge` + `backend`; `127.0.0.1:${LB_HTTP_PORT:-8080}`, `127.0.0.1:${LB_STATS_PORT:-8404}` | нет | -| api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp` | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` | +| load_balancer | `lb` | `haproxy:3.2.26-alpine@sha256:58938405…`, uid 99, `read_only`, буферы сокетов 64 KiB | `/healthz` :8404; реплики — `GET /health/ready` | нет | `edge` + `backend`; `127.0.0.1:${LB_HTTP_PORT:-8080}`, `127.0.0.1:${LB_STATS_PORT:-8404}` | нет | +| api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp`, `tcp_rmem`/`tcp_wmem` ≤ 256 KiB | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` | | postgres (метаданные) | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready` | `pgdata` | `backend` | `postgres_password` через `POSTGRES_PASSWORD_FILE` | | s3 | `s3` | `rustfs/rustfs:1.0.4@sha256:ed9210d6…`, uid 10001, `read_only`, `cap_drop: ALL`, консоль выключена | `curl /health/ready` | `s3data:/data` | `backend`, :9000 без публикации | root: `s3_root_user`, `s3_root_password` через `RUSTFS_*_FILE` | | bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи и ключ API (создаёт пользователя) | @@ -203,6 +236,8 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | те же | 10 485 760 и 40 000 000; больше контракта задать нельзя (валидация настроек) | | — | `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS` | 1 и 2 с; две попытки укладываются в 8 с запроса | | — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS | +| — | `UPLOAD_CONCURRENCY`, `UPLOAD_GRACE_SECONDS`, `UPLOAD_SWEEP_INTERVAL_SECONDS`, `UPLOAD_SWEEP_BATCH` | 3 тела на воркер; 900 с; 30 с; 100 строк за проход (уровень «4») | +| — | `MALLOC_MMAP_THRESHOLD_` | 131 072: тела больше 128 KiB возвращаются системе при освобождении (уровень «4») | | — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 | ## Доказательства критериев @@ -212,7 +247,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | Публичный smoke | `make test BASE_URL=http://localhost:18084` | `PASS: lab4 public API scenario` (upload fixture → `201 ready`, сообщение `text=""` с `attachment_ids`, скачивание bob побайтно с `image/png`, eve `404` на метаданные и `/content`, весь минимум lab2–lab3) | `evidence/smoke.txt` | | Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, `make test` | `valid`; все сервисы `Healthy`, `migrate` и `s3-init` `Exited (0)`; smoke `PASS` | `evidence/clean-clone.txt` | | `make check` / `make validate` | `make check`; `make validate` в venv с `requirements-dev.txt` | `PASS: offline skeleton structure…`; `PASS: full OpenAPI 3.1 and JSON Schema validation` | `evidence/contract-checks.txt` | -| Собственные тесты и линтер | `make lint`; `make student-test` | ruff, формат, ty — `All checks passed!`; `325 passed` | `evidence/student-tests.txt` | +| Собственные тесты и линтер | `make lint`; `make student-test` | ruff, формат, ty — `All checks passed!`; `335 passed` (15 проверок стенда под маркером `stack` идут отдельно) | `evidence/student-tests.txt` | | **3.1** S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | `make attachments-evidence` (`ps`, `\d attachments`, bytea по схеме, листинг bucket, `docker inspect`) | `s3` healthy без портов; в схеме `bytea` только хеши токенов и отпечатки; 14 строк `ready` и 14 объектов `attachments/`; у реплик `ro=true`, только `tmpfs /tmp` и bind секретов; данные S3 на volume `s3data` | `evidence/storage-layout.txt` | | **3.2** `201 ready` только после записи объекта и `COMMIT`; побайтное скачивание вторым участником, SHA-256 | smoke; `make student-test` (`test_storage_failure_leaves_nothing_visible`: S3 отказал → `503`, строка `pending`, вложения нет); сверка вне API | sha256 и размер последней строки `ready` в PostgreSQL равны sha256 и размеру объекта, прочитанного `rc` из bucket (`99ea7533…`, 111817) | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/storage-layout.txt` | | **3.3** Message с `attachment_ids` читается участниками; посторонний `404`; анонимный GET в S3 — `403` | smoke; `make student-test` (`test_message_attachments.py`, `test_attachments.py`); `make s3-check` | eve `404` на метаданные и `/content`; вложение другого чата и неизвестное → `404`, 11 и дубли → `400`, посторонний с 11 → `404`; прямой HTTP GET объекта из отдельного контейнера → `403`, анонимные Head/List/Put → deny, политика `private` | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/s3-security.txt` | @@ -223,14 +258,18 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | **3.7** Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | `make scenario SCENARIO=s3-outage` | при остановленном `s3`: upload `503` за 0,98 с, `/content` `503` за 2,53 с, метаданные `200`, текст `201`, `/health/ready` `200`; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 | `evidence/s3-outage.json` | | **3.8** Закреплённая версия образа S3 и создание приватного bucket | `compose.yaml`, `infra/s3/init.sh`; `make s3-check` | образы по digest; `s3-init` пишет `bucket=messenger-attachments anonymous=private policy=messenger-api`; 22/22 проверки `PASS`, включая двойной повторный bootstrap без изменений | `evidence/s3-security.txt`, `evidence/environment.txt` | | **3.9** Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, секреты вне Git | `make stack-evidence`, `make storage-evidence` | 2 `api` без портов, `container_name` 0, LB видит `api1/api2 UP L7OK 200`; миграции `0001`–`0003`, повтор `up to date` без изменения счётчиков; `git ls-files secrets .env` пуст, `secrets/s3_*` игнорируются | `evidence/stack.txt`, `evidence/schema.txt`, `evidence/migrations.txt`, `evidence/secrets.txt` | -| Уровень «4» | — | заполняется изменением уровня «4» (компенсация и очистка, замер памяти, негативный suite стенда, ограниченные ключи) | — | +| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `335 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 × `404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с `Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 × `415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за прогон 53 ответа, из них 5xx — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` | +| **4.2** Прерывание загрузки и отказ между записью S3 и БД не оставляют вечных неучтённых объектов: компенсация и уборка с grace period | `make upload-faults` (триггеры PostgreSQL на время теста, `docker kill -s KILL` реплики); `make student-test` (`test_upload_consistency.py`) | отказ `COMMIT` после `PUT` → `503`, сразу нет ни строки, ни объекта (`HEAD` 404), в журнале `audit.attachment_discarded reason=compensation`; реплика убита между `PUT` и `COMMIT` (дважды, клиент получил `502` от LB) → остались `pending` и объект (`HEAD` 200); намерение, сдвинутое за grace, уборка удалила вместе с объектом через 23 с, свежее осталось (`pending`, `HEAD` 200) и ушло через 3 с после сдвига; готовое вложение в сообщении со сдвинутым `created_at` скачивается с тем же SHA-256; обрыв после 256 KiB из 5 MiB → `400` в журнале, намерение не создавалось, ключи bucket те же; зависшее тело → `503` за 8,00 с, ничего не записано. API-тесты: снятое во время `PUT` намерение → `503` и удалённый объект, сбой `PUT` оставляет `pending` до конца grace, два параллельных прохода делят 5 намерений ровно, следующий проход удаляет 0 | `evidence/upload-faults.txt`, `evidence/student-tests.txt` | +| **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` (слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждым прогоном) | при 3 слотах пик реплики 304 / 319 / 330 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB (простой ~120 MiB, лимит 512), все 140 загрузок `201`, `oom_kill` 0, пик LB ≤ 29 MiB; без лимита слотов те же загрузки дают 300 / 423 / 513 MiB — при 40 упор в лимит cgroup и только 43 из 80 `201`, 37 × `503`; 1 MiB при любой настройке — 187–219 MiB; с порогом `mmap` 32 MiB вместо 128 KiB — 317 / 334 / 368 MiB; таймауты: зависшее тело — `503` за 8 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/summary.txt`, `evidence/upload-memory/*.json`, `evidence/upload-memory/mmap-32m/` | +| **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у `s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — `AccessDenied`; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` | +| Регрессия уровня «3» и лабы 3 после изменений «4» | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` по каждой реплике с `make restore`, `lab4_scenarios.py failover-upload`, `s3-outage`, `abort-upload`, `make limits`, `make test-faults` | все `PASS`; остановлены по очереди обе реплики (`Exited (0)`); S3 остановлен — upload и `/content` `503` за 1,7 с, текст `201`; 15 проверок стенда (лабы 2–3 и уровень «4») — `passed` | `evidence/regression-level4.txt` | | Трек 2 | — | заполняется изменением трека 2 (reconciler) | — | ## Эксперименты и отказы Стенд: 2 реплики `api` (1 CPU, 512 MiB, 2 воркера), RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker Desktop VM 16 CPU, 7.65 ГиБ, параллельно работали стенды других лаб. Объём данных — синтетические пользователи -smoke и fixture `sample.png` (111 817 B). Нагрузочные измерения загрузок — уровень «4». +smoke и fixture `sample.png` (111 817 B), для уровня «4» — синтетические PNG 1 и 10 MiB (раздел ниже). | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | @@ -241,6 +280,56 @@ smoke и fixture `sample.png` (111 817 B). Нагрузочные измерен | Посторонний: метаданные, `/content`, upload в чужой чат, ссылка на чужое вложение | `404` без раскрытия | `404` во всех случаях, раньше проверок содержимого | — | | Анонимный клиент S3 из сети стенда | `403` | прямой GET `403`, Head/List/Put — deny | — | | Тело 10 485 761 B (`Content-Length` и chunked), PNG 100 000 × 100 000 | `413` до чтения сверх лимита и до декодирования | `413`; строк и объектов не появилось | — | +| Отказ `COMMIT` после записи объекта (триггер PostgreSQL, `55P03`) | `503`; объект и строка удалены сразу | `503`; строки нет, `HEAD` объекта 404, `audit.attachment_discarded reason=compensation` | сразу; вечных объектов нет | +| Реплика убита `SIGKILL` между `PUT` и `COMMIT` (дважды) | обрыв запроса; невидимый остаток уходит после grace | клиент — `502` от LB; `pending` и объект на месте; после сдвига за grace убраны через 23 с, свежий остаток не тронут до своего сдвига | grace 900 с (в тесте — сдвиг `created_at`); реплика возвращена `up --wait` | +| Клиент оборвал тело после 256 KiB из 5 MiB | ничего не записано, не `500` | `400` в журнале реплики, намерения нет, ключи bucket те же | — | +| Тело зависло после 1 KiB | `503` не позже таймаута запроса | `503` за 8,00 с, ничего не записано | слот свободен, следующий upload `201` | +| 36 ошибочных запросов к вложениям через LB | `4xx` по контракту, ни одного `5xx` | 16 × `400`, 6 × `404`, 4 × `413`, 10 × `415`; в журнале 0 × `5xx` | — | +| 40 одновременных загрузок по 10 MiB без лимита слотов | память растёт до лимита | пик 513 MiB = лимит cgroup, 43 из 80 `201`, 37 × `503`; в предварительном прогоне ядро ещё и убило воркер (`oom_kill` 1, 7 × `502`) | воркер перезапущен gunicorn; потерь `ready` нет | +| То же с 3 слотами на воркер | пик ограничен, все `201` | пик 330 MiB, LB 29 MiB, 80 × `201`, p95 4,8 с | — | +| То же с 3 слотами, но до ограничения буферов сокетов (предварительный прогон) | — | HAProxy (128 MiB) убит OOM: память сокетов ≈ 110 MB, соединения оборвались | найдено замером; исправлено `tune.*buf` LB и `tcp_rmem`/`tcp_wmem` API | + +### Эксперимент уровня «4»: память при одновременных загрузках + +**Гипотеза.** Без ограничения каждая загрузка 10 MiB в полёте держит в воркере несколько копий тела, и пик памяти +реплики растёт с числом одновременных загрузок до лимита cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик +ограничен величиной «простой + 2 воркера × слоты × память загрузки» и от числа клиентов не зависит; лишние клиенты +ждут слота — растёт задержка, а не число ошибок. + +**Методика.** `make upload-memory` (`scripts/upload_memory.py` и генератор `scripts/lab4_seed.py` из заготовки). +Стенд `compose.yaml`: 2 реплики по 1 CPU и 512 MiB, 2 воркера; LB 128 MiB; RustFS 1 CPU, 512 MiB. Перед каждым +прогоном реплики и LB пересоздаются (`memory.peak` cgroup v2 на ядре Docker Desktop не сбрасывается) и проходит +ожидание двух `UP` в LB. Затем c потоков на keep-alive соединениях через LB делают по 2 загрузки одного PNG 1024 × h +со случайными пикселями (1 048 276 или 10 485 256 B). Задержка — от отправки до ответа на клиенте; пик — +`memory.peak` каждой реплики и LB после прогона (включает память сокетов), простой — `memory.current` перед ним, +`oom_kill` — из `memory.events`. Конфигурации: 64 слота (фактически без лимита) и 3 слота; 1 и 10 MiB; c = 10, 20, +40; отдельно 3 слота и 10 MiB с порогом `mmap` 32 MiB. Один прогон на точку, клиент и стенд на одном хосте. + +**Результаты** (`evidence/upload-memory/summary.txt`, коммит `a774a2f`): + +| Слоты | Размер | c | Ответы | p50 / p95, мс | Пик реплики, MiB | Пик LB, MiB | +| --- | --- | --- | --- | --- | --- | --- | +| 64 | 1 MiB | 10 / 20 / 40 | все `201` | 201 / 283 … 347 / 688 | 188 / 202 / 219 | ≤ 27 | +| 64 | 10 MiB | 10 | 20 × `201` | 912 / 950 | 300 | 21 | +| 64 | 10 MiB | 20 | 40 × `201` | 2177 / 2493 | 423 | 24 | +| 64 | 10 MiB | 40 | 43 × `201`, 37 × `503` | 3921 / 6328 | **513 = лимит** | 26 | +| 3 | 1 MiB | 10 / 20 / 40 | все `201` | 113 / 233 … 298 / 557 | 190 / 193 / 194 | ≤ 30 | +| 3 | 10 MiB | 10 | 20 × `201` | 2352 / 4190 | 304 | 21 | +| 3 | 10 MiB | 20 | 40 × `201` | 1921 / 3241 | 319 | 24 | +| 3 | 10 MiB | 40 | 80 × `201` | 2711 / 4799 | **330** | 29 | +| 3, `mmap` 32 MiB | 10 MiB | 10 / 20 / 40 | все `201` | 1045 / 1054 … 3994 / 7735 | 317 / 334 / 368 | ≤ 29 | + +**Вывод.** Гипотеза подтверждена: без лимита пик 10 MiB-загрузок растёт 300 → 423 → 513 MiB и при 40 одновременных +упирается в лимит cgroup — реплика начинает отказывать (`503` по таймауту, в одном прогоне — убитый воркер). С тремя +слотами пик держится на 304–330 MiB (64 % лимита) при росте нагрузки вчетверо, все загрузки успешны; цена — +ожидание слота (p95 4,8 с при 40 клиентах). Одна загрузка 10 MiB в полёте стоит ≈ 35 MiB ((330 − 121) / 6 слотов): +тело, склейка кусков, копии проверки изображения и клиента S3. Для 1 MiB лимит не нужен: 190–220 MiB при любой +одновременности. Замер нашёл ещё два места, где копится память: буферы сокетов LB (до ограничения `tune.*buf` +HAProxy убивался OOM) и куча glibc (порог `mmap` 32 MiB даёт +38 MiB к пику при 40 клиентах). + +**Ограничения.** Один прогон на точку, разброс задержки между прогонами до 2 раз (неравномерное распределение +соединений между воркерами gunicorn); клиент, LB, API и RustFS делят один хост и CPU; пик cgroup включает +страничный кэш и память сокетов; параллельно работали стенды других лаб. ## Ограничения и следующие шаги @@ -250,11 +339,17 @@ smoke и fixture `sample.png` (111 817 B). Нагрузочные измерен - `verify()` для PNG проверяет структуру и CRC всех чанков, но не распаковывает пиксели: PNG с корректными CRC и испорченным zlib-потоком будет принят. Оригинал отдаётся побайтно, серверу это не вредит; полная распаковка стоила бы до 160 MB на 40 MP. -- Строки `pending` после сбоя S3 или `COMMIT` остаются до уровня «4»: компенсирующий `DeleteObject`, очистка по grace - period и сверка — следующие изменения; трек 2 добавляет reconciler. -- Одновременные загрузки на уровне «3» не ограничены: каждая держит до 10 MiB (на миг склейки — 20 MiB); лимит - параллелизма и замер пика памяти — уровень «4». +- Уборка брошенных загрузок живёт в процессах API: если все реплики остановлены, намерения ждут их возвращения + (невидимо для клиентов). Она находит только то, что начиналось с намерения в PostgreSQL; объекты без строки, + `ready` без объекта и несовпадение байтов при нормальной работе не возникают и ищутся reconciler трека 2. +- Компенсация не запускается при отмене запроса таймаутом посреди `PUT` или `UPDATE`: такие остатки ждут grace + period (15 минут). Ответ в этом случае — `503`, повтор клиента создаёт новое вложение. +- Слоты защищают память ценой ожидания: при 40 одновременных загрузках по 10 MiB p95 — 5,3 с, а при ещё большей + нагрузке хвост очереди упрётся в таймаут запроса 8 с и получит `503`; правильная реакция клиента — повтор позже. + Пик памяти снят на одном хосте, клиент и стенд делят CPU, по одному прогону на точку. +- Тело всё ещё собирается в памяти целиком (до ~34 MiB на загрузку 10 MiB с учётом копий проверки и клиента S3): + потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи. - Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные тесты проверяют `413` через `Content-Length`. -- Подтверждено прогонами: всё в таблице доказательств. Гипотезы: поведение под нагрузкой загрузок и стоимость - сверки хранилищ — проверяются на уровне «4» и в треке 2. +- Подтверждено прогонами: всё в таблице доказательств, включая уровень «4». Гипотеза до трека 2: стоимость сверки + хранилищ растёт линейно с числом объектов. diff --git a/evidence/contract-checks.txt b/evidence/contract-checks.txt index 9ea44110..9b6146fe 100644 --- a/evidence/contract-checks.txt +++ b/evidence/contract-checks.txt @@ -1,4 +1,4 @@ -date: 2026-10-28T17:51:36Z commit: 24f9d61 +date: 2026-10-28T21:18:13Z commit: a774a2f $ make check python3 scripts/check_contract.py PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. diff --git a/evidence/regression-level4.txt b/evidence/regression-level4.txt new file mode 100644 index 00000000..9499cb1c --- /dev/null +++ b/evidence/regression-level4.txt @@ -0,0 +1,31 @@ +date: 2026-10-28T21:19:01Z commit: a774a2f BASE_URL=http://localhost:18084 +# Регрессия уровня «3» и лабы 3 после изменений уровня «4» (буферы сокетов LB и API, порог mmap, слоты, уборка) +$ make test +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh # прогон 1 +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + mtusi2026lab4-api-1 Up 25 seconds (healthy) + mtusi2026lab4-api-2 Exited (0) 12 seconds ago +$ make restore + restored: 2 healthy +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh # прогон 2 +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + mtusi2026lab4-api-1 Exited (0) 12 seconds ago + mtusi2026lab4-api-2 Up 17 seconds (healthy) +$ make restore + restored: 2 healthy +$ python3 scripts/lab4_scenarios.py failover-upload --restore + exit 0: {'ok': True, 'upload_instance': '0b2544e9c8de', 'download_instance': 'cf30d7db141f', 'sha256_equal': True, 'download_ok_after_seconds': 2.709} +$ python3 scripts/lab4_scenarios.py s3-outage --restore + exit 0: {'ok': True, 'as_expected': True, 's3_back_healthy_seconds': 5.697} +$ python3 scripts/lab4_scenarios.py abort-upload --restore + exit 0: {'ok': True, 'rows_by_status': {}, 'ready_rows': 0, 'api_still_serves': True} + s3-outage: upload 503 за 1.696 с, metadata 200 за 0.018 с, download 503 за 1.631 с, text_message 201 за 0.007 с, health_ready 200 за 0.002 с +$ make limits +PASS: limits, ports, secrets, volumes and networks match the policy +$ make test-faults # все проверки стенда student-tests/stack: лабы 2–3 и уровень «4» лабы 4 +======================== 15 passed in 64.77s (0:01:04) ========================= + student-tests/stack/test_attachment_faults.py: 5 + student-tests/stack/test_faults.py: 10 diff --git a/evidence/s3-security.txt b/evidence/s3-security.txt index fabe6b69..aa292d5c 100644 --- a/evidence/s3-security.txt +++ b/evidence/s3-security.txt @@ -1,4 +1,4 @@ -== 2026-10-28T19:01:13Z S3 privacy and bootstrap checks +== 2026-10-28T21:18:05Z S3 privacy and bootstrap checks PASS s3: опубликованные host-порты: нет PASS s3: консоль :9001 внутри контейнера: 000 PASS s3-init: повторный запуск 1: 0 @@ -21,6 +21,7 @@ PASS anonymous: PutObject: deny PASS anonymous: прямой HTTP GET объекта из отдельного контейнера: 403 PASS bucket: anonymous policy: private PASS api: DeleteObject: allow +PASS s3: консоль :9001 из отдельного контейнера сети стенда: connection refused == IAM/bucket snapshot (без секретов) { "items": [ diff --git a/evidence/student-tests.txt b/evidence/student-tests.txt index 837ef6f2..7f1a5898 100644 --- a/evidence/student-tests.txt +++ b/evidence/student-tests.txt @@ -1,9 +1,9 @@ -date: 2026-10-28T17:51:45Z commit: 24f9d61 +date: 2026-10-28T21:18:14Z commit: a774a2f $ make lint -.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py +.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py All checks passed! -.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py -131 files already formatted +.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py +136 files already formatted .venv/bin/ty check src student-tests All checks passed! $ make student-test # pytest без маркера stack, по файлам @@ -14,36 +14,37 @@ configfile: pyproject.toml testpaths: student-tests plugins: asyncio-1.4.0, anyio-4.15.1 asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function -collected 335 items / 10 deselected / 325 selected +collected 350 items / 15 deselected / 335 selected student-tests/adapters/test_s3_storage.py .. [ 0%] student-tests/api/test_access.py ....... [ 2%] -student-tests/api/test_attachments.py .................................. [ 13%] -... [ 14%] -student-tests/api/test_bounded_contexts.py ................... [ 20%] -student-tests/api/test_cache.py ..... [ 21%] -student-tests/api/test_concurrency.py ... [ 22%] +student-tests/api/test_attachments.py .................................. [ 12%] +... [ 13%] +student-tests/api/test_bounded_contexts.py ................... [ 19%] +student-tests/api/test_cache.py ..... [ 20%] +student-tests/api/test_concurrency.py ... [ 21%] student-tests/api/test_consistency.py ........ [ 24%] -student-tests/api/test_drain.py .. [ 25%] -student-tests/api/test_events.py ....... [ 27%] -student-tests/api/test_idempotency.py ............... [ 32%] -student-tests/api/test_instance.py .... [ 33%] -student-tests/api/test_message_attachments.py ........... [ 36%] -student-tests/api/test_migrations.py ....... [ 39%] -student-tests/api/test_negative.py ..................................... [ 50%] - [ 50%] -student-tests/api/test_operability.py ............. [ 54%] -student-tests/api/test_pagination.py ................. [ 59%] -student-tests/api/test_pool.py .. [ 60%] -student-tests/api/test_sessions.py .................. [ 65%] -student-tests/api/test_timeout.py ...... [ 67%] +student-tests/api/test_drain.py .. [ 24%] +student-tests/api/test_events.py ....... [ 26%] +student-tests/api/test_idempotency.py ............... [ 31%] +student-tests/api/test_instance.py .... [ 32%] +student-tests/api/test_message_attachments.py ........... [ 35%] +student-tests/api/test_migrations.py ....... [ 37%] +student-tests/api/test_negative.py ..................................... [ 48%] + [ 48%] +student-tests/api/test_operability.py ............. [ 52%] +student-tests/api/test_pagination.py ................. [ 57%] +student-tests/api/test_pool.py .. [ 58%] +student-tests/api/test_sessions.py .................. [ 63%] +student-tests/api/test_timeout.py ...... [ 65%] +student-tests/api/test_upload_consistency.py ......... [ 68%] student-tests/api/test_wire_format.py .. [ 68%] student-tests/unit/test_attachments_domain.py .......................... [ 76%] - [ 76%] -student-tests/unit/test_authentication.py ..................... [ 82%] +. [ 77%] +student-tests/unit/test_authentication.py ..................... [ 83%] student-tests/unit/test_cursor.py ........... [ 86%] student-tests/unit/test_domain.py ...................................... [ 97%] ...... [ 99%] student-tests/unit/test_timeouts.py . [100%] -===================== 325 passed, 10 deselected in 35.54s ====================== +===================== 335 passed, 15 deselected in 38.39s ====================== diff --git a/evidence/upload-faults.txt b/evidence/upload-faults.txt new file mode 100644 index 00000000..308ea75e --- /dev/null +++ b/evidence/upload-faults.txt @@ -0,0 +1,57 @@ +date: 2026-10-28T21:17:12Z commit: a774a2f BASE_URL=http://localhost:18084 +============================= test session starts ============================== +collected 5 items + +student-tests/stack/test_attachment_faults.py 10 MiB + 1 с Content-Length, тело не отправлено: 413 +10 MiB + 1 chunked: 413 +PNG 100000×100000 (бомба): 413 +PNG 8001×5000: 413 +обрезанный PNG: 415 +обрезанный JPEG: 415 +JPEG как image/png: 415 +GIF как image/png: 415 +WebP как image/png: 415 +текст как image/png: 415 +PNG как image/jpeg: 415 +пустое тело: 415 +application/octet-stream: 415 +без Content-Type: 415 +filename='../a.png': 400 +filename='a/b.png': 400 +filename='a\\b.png': 400 +filename='a\x00.png': 400 +filename='a\x01.png': 400 +filename='a\x7f.png': 400 +filename='': 400 +filename=' ': 400 +filename='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx: 400 +filename=None: 400 +посторонний: upload в чужой чат: 404 +посторонний: метаданные: 404 +посторонний: /content: 404 +посторонний: ссылка на чужое вложение: 404 +вложение другого чата: 404 +неизвестное вложение: 404 +11 вложений: 400 +повтор вложения: 400 +невалидный UUID: 400 +пустой текст без вложений: 400 +невалидный id вложения: 400 +variant=thumbnail: 400 +строк вложений в чате: 2 (= ответов 201); ответов в журнале реплик: 53, из них 5xx: 0 +.отказ COMMIT после записи объекта: 503 unavailable +сразу после ответа: строка нет, объект HEAD 404 +журнал: audit.attachment_discarded reason=compensation +.реплика 0b2544e9c8de убита между PUT и COMMIT, клиент получил 502 +реплика cf30d7db141f убита между PUT и COMMIT, клиент получил 502 +остаток после падения: строка pending, объект HEAD 200 +остаток после падения: строка pending, объект HEAD 200 +старше grace: строка убрана через 23.2 с, объект HEAD 404 +моложе grace: строка pending, объект HEAD 200 +тот же после сдвига: убран через 2.9 с, объект HEAD 404 +готовое вложение в сообщении со сдвинутым created_at скачивается, SHA-256 совпадает +.обрыв после 256 KiB из 5 MiB: статус в журнале реплики [400], намерение None +.тело зависло после 1 KiB: 503 unavailable за 8.00 с +. + +============================== 5 passed in 47.68s ============================== diff --git a/evidence/upload-memory/mmap-32m/slots3-10mib-c10.json b/evidence/upload-memory/mmap-32m/slots3-10mib-c10.json new file mode 100644 index 00000000..aa039f00 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/slots3-10mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 10485256, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 2.049, + "successful_rps": 9.76, + "latency_ms": { + "p50": 1044.5, + "p95": 1054.0, + "p99": 1054.0, + "max": 1054.0 + }, + "memory": { + "373f923996f5": { + "idle_mib": 118.0, + "docker_stats_peak_mib": 284.1, + "cgroup_memory_peak_mib": 317.0, + "oom_kill": 0 + }, + "716a8bd3dadc": { + "idle_mib": 120.1, + "docker_stats_peak_mib": 284.8, + "cgroup_memory_peak_mib": 303.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 21.5, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/mmap-32m/slots3-10mib-c20.json b/evidence/upload-memory/mmap-32m/slots3-10mib-c20.json new file mode 100644 index 00000000..278a67c0 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/slots3-10mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 10485256, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 4.07, + "successful_rps": 9.83, + "latency_ms": { + "p50": 1371.3, + "p95": 2703.0, + "p99": 3511.2, + "max": 3511.2 + }, + "memory": { + "9f0550e32c1f": { + "idle_mib": 121.0, + "docker_stats_peak_mib": 283.9, + "cgroup_memory_peak_mib": 333.8, + "oom_kill": 0 + }, + "d67cf5f9a4cd": { + "idle_mib": 114.6, + "docker_stats_peak_mib": 274.2, + "cgroup_memory_peak_mib": 326.7, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 25.5, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/mmap-32m/slots3-10mib-c40.json b/evidence/upload-memory/mmap-32m/slots3-10mib-c40.json new file mode 100644 index 00000000..13abfeb7 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/slots3-10mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 10485256, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 9.697, + "successful_rps": 8.25, + "latency_ms": { + "p50": 3994.1, + "p95": 7734.9, + "p99": 8083.8, + "max": 8083.8 + }, + "memory": { + "2c476e16638d": { + "idle_mib": 117.4, + "docker_stats_peak_mib": 308.2, + "cgroup_memory_peak_mib": 344.4, + "oom_kill": 0 + }, + "06b193e00555": { + "idle_mib": 120.6, + "docker_stats_peak_mib": 327.0, + "cgroup_memory_peak_mib": 368.2, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 29.2, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/mmap-32m/summary.txt b/evidence/upload-memory/mmap-32m/summary.txt new file mode 100644 index 00000000..8d1ed800 --- /dev/null +++ b/evidence/upload-memory/mmap-32m/summary.txt @@ -0,0 +1,5 @@ +# 2026-10-28T21:22:34Z commit a774a2f; api x2: 1 CPU, 512 MiB, 2 workers; MALLOC_MMAP_THRESHOLD_=33554432; 2 uploads per client; peaks from cgroup memory.peak, MiB +slots size conc codes p50_ms p95_ms api_idle api_peak api_oom lb_peak lb_oom + 3 10.0M 10 201x20 1044.5 1054.0 120.1 317.0 0 21.5 0 + 3 10.0M 20 201x40 1371.3 2703.0 121.0 333.8 0 25.5 0 + 3 10.0M 40 201x80 3994.1 7734.9 120.6 368.2 0 29.2 0 diff --git a/evidence/upload-memory/slots3-10mib-c10.json b/evidence/upload-memory/slots3-10mib-c10.json new file mode 100644 index 00000000..976af3fe --- /dev/null +++ b/evidence/upload-memory/slots3-10mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 10485256, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 5.065, + "successful_rps": 3.95, + "latency_ms": { + "p50": 2352.4, + "p95": 4189.7, + "p99": 4189.7, + "max": 4189.7 + }, + "memory": { + "3c2d730085c8": { + "idle_mib": 131.5, + "docker_stats_peak_mib": 293.7, + "cgroup_memory_peak_mib": 304.0, + "oom_kill": 0 + }, + "93f9bbc1bceb": { + "idle_mib": 111.1, + "docker_stats_peak_mib": 247.1, + "cgroup_memory_peak_mib": 281.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 21.2, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-10mib-c20.json b/evidence/upload-memory/slots3-10mib-c20.json new file mode 100644 index 00000000..cf7d490d --- /dev/null +++ b/evidence/upload-memory/slots3-10mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 10485256, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 4.465, + "successful_rps": 8.96, + "latency_ms": { + "p50": 1920.8, + "p95": 3240.6, + "p99": 3245.7, + "max": 3245.7 + }, + "memory": { + "e182be5b687d": { + "idle_mib": 120.5, + "docker_stats_peak_mib": 282.5, + "cgroup_memory_peak_mib": 319.1, + "oom_kill": 0 + }, + "f17f1e812c22": { + "idle_mib": 118.4, + "docker_stats_peak_mib": 294.0, + "cgroup_memory_peak_mib": 315.8, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 24.3, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-10mib-c40.json b/evidence/upload-memory/slots3-10mib-c40.json new file mode 100644 index 00000000..8c67a315 --- /dev/null +++ b/evidence/upload-memory/slots3-10mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 10485256, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 6.851, + "successful_rps": 11.68, + "latency_ms": { + "p50": 2711.0, + "p95": 4799.3, + "p99": 5257.9, + "max": 5257.9 + }, + "memory": { + "bb38d9440f2d": { + "idle_mib": 120.8, + "docker_stats_peak_mib": 298.7, + "cgroup_memory_peak_mib": 329.7, + "oom_kill": 0 + }, + "84d678b69298": { + "idle_mib": 119.4, + "docker_stats_peak_mib": 298.7, + "cgroup_memory_peak_mib": 312.7, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 28.6, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-1mib-c10.json b/evidence/upload-memory/slots3-1mib-c10.json new file mode 100644 index 00000000..fa84c48c --- /dev/null +++ b/evidence/upload-memory/slots3-1mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 1048276, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.265, + "successful_rps": 75.45, + "latency_ms": { + "p50": 113.1, + "p95": 232.8, + "p99": 232.8, + "max": 232.8 + }, + "memory": { + "c83ab609c3fd": { + "idle_mib": 120.8, + "docker_stats_peak_mib": 163.3, + "cgroup_memory_peak_mib": 190.4, + "oom_kill": 0 + }, + "26c71ec1883e": { + "idle_mib": 117.4, + "docker_stats_peak_mib": 162.7, + "cgroup_memory_peak_mib": 181.1, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 23.1, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-1mib-c20.json b/evidence/upload-memory/slots3-1mib-c20.json new file mode 100644 index 00000000..4231c545 --- /dev/null +++ b/evidence/upload-memory/slots3-1mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 1048276, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.468, + "successful_rps": 85.48, + "latency_ms": { + "p50": 224.4, + "p95": 366.0, + "p99": 371.8, + "max": 371.8 + }, + "memory": { + "4cc6524e77c8": { + "idle_mib": 112.1, + "docker_stats_peak_mib": 164.9, + "cgroup_memory_peak_mib": 192.9, + "oom_kill": 0 + }, + "c3ba0e9c5e5d": { + "idle_mib": 119.7, + "docker_stats_peak_mib": 164.6, + "cgroup_memory_peak_mib": 192.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 29.7, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots3-1mib-c40.json b/evidence/upload-memory/slots3-1mib-c40.json new file mode 100644 index 00000000..babeb61e --- /dev/null +++ b/evidence/upload-memory/slots3-1mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 3, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 1048276, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.783, + "successful_rps": 102.19, + "latency_ms": { + "p50": 297.8, + "p95": 556.8, + "p99": 751.0, + "max": 751.0 + }, + "memory": { + "76e59517c4ab": { + "idle_mib": 120.3, + "docker_stats_peak_mib": 169.2, + "cgroup_memory_peak_mib": 194.3, + "oom_kill": 0 + }, + "6432fcfd1bca": { + "idle_mib": 118.6, + "docker_stats_peak_mib": 168.7, + "cgroup_memory_peak_mib": 191.6, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 25.9, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-10mib-c10.json b/evidence/upload-memory/slots64-10mib-c10.json new file mode 100644 index 00000000..72aa5827 --- /dev/null +++ b/evidence/upload-memory/slots64-10mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 10485256, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 1.703, + "successful_rps": 11.74, + "latency_ms": { + "p50": 912.4, + "p95": 950.2, + "p99": 950.2, + "max": 950.2 + }, + "memory": { + "ed961ad8f7af": { + "idle_mib": 119.3, + "docker_stats_peak_mib": 169.9, + "cgroup_memory_peak_mib": 279.8, + "oom_kill": 0 + }, + "3eee49d32532": { + "idle_mib": 117.1, + "docker_stats_peak_mib": 183.5, + "cgroup_memory_peak_mib": 299.7, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 21.4, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-10mib-c20.json b/evidence/upload-memory/slots64-10mib-c20.json new file mode 100644 index 00000000..0f3e8c6f --- /dev/null +++ b/evidence/upload-memory/slots64-10mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 10485256, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 4.342, + "successful_rps": 9.21, + "latency_ms": { + "p50": 2177.2, + "p95": 2493.4, + "p99": 2621.4, + "max": 2621.4 + }, + "memory": { + "3beae51664f3": { + "idle_mib": 117.8, + "docker_stats_peak_mib": 366.2, + "cgroup_memory_peak_mib": 386.4, + "oom_kill": 0 + }, + "fbd9ba2a6325": { + "idle_mib": 113.8, + "docker_stats_peak_mib": 400.9, + "cgroup_memory_peak_mib": 422.6, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 23.6, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-10mib-c40.json b/evidence/upload-memory/slots64-10mib-c40.json new file mode 100644 index 00000000..a565ff27 --- /dev/null +++ b/evidence/upload-memory/slots64-10mib-c40.json @@ -0,0 +1,39 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 10485256, + "status_codes": { + "201": 43, + "503": 37 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 13.192, + "successful_rps": 3.26, + "latency_ms": { + "p50": 3920.8, + "p95": 6328.1, + "p99": 7061.7, + "max": 7061.7 + }, + "memory": { + "76bf24c2a7e4": { + "idle_mib": 120.7, + "docker_stats_peak_mib": 501.4, + "cgroup_memory_peak_mib": 513.2, + "oom_kill": 0 + }, + "b913c1711548": { + "idle_mib": 118.6, + "docker_stats_peak_mib": 511.9, + "cgroup_memory_peak_mib": 512.4, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 26.2, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-1mib-c10.json b/evidence/upload-memory/slots64-1mib-c10.json new file mode 100644 index 00000000..245548ae --- /dev/null +++ b/evidence/upload-memory/slots64-1mib-c10.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 20, + "concurrency": 10, + "body_bytes": 1048276, + "status_codes": { + "201": 20 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.369, + "successful_rps": 54.21, + "latency_ms": { + "p50": 201.4, + "p95": 282.8, + "p99": 282.8, + "max": 282.8 + }, + "memory": { + "bd429b0994e1": { + "idle_mib": 111.7, + "docker_stats_peak_mib": 163.4, + "cgroup_memory_peak_mib": 184.2, + "oom_kill": 0 + }, + "abd2f4842514": { + "idle_mib": 119.4, + "docker_stats_peak_mib": 163.4, + "cgroup_memory_peak_mib": 187.5, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 20.9, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-1mib-c20.json b/evidence/upload-memory/slots64-1mib-c20.json new file mode 100644 index 00000000..4c432749 --- /dev/null +++ b/evidence/upload-memory/slots64-1mib-c20.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 40, + "concurrency": 20, + "body_bytes": 1048276, + "status_codes": { + "201": 40 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.498, + "successful_rps": 80.37, + "latency_ms": { + "p50": 227.1, + "p95": 377.3, + "p99": 380.1, + "max": 380.1 + }, + "memory": { + "12d95dfd6365": { + "idle_mib": 117.2, + "docker_stats_peak_mib": 164.0, + "cgroup_memory_peak_mib": 193.9, + "oom_kill": 0 + }, + "66e748dbcb67": { + "idle_mib": 118.7, + "docker_stats_peak_mib": 164.8, + "cgroup_memory_peak_mib": 202.1, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 23.3, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/slots64-1mib-c40.json b/evidence/upload-memory/slots64-1mib-c40.json new file mode 100644 index 00000000..e77fde73 --- /dev/null +++ b/evidence/upload-memory/slots64-1mib-c40.json @@ -0,0 +1,38 @@ +{ + "upload_concurrency": 64, + "mode": "http", + "count": 80, + "concurrency": 40, + "body_bytes": 1048276, + "status_codes": { + "201": 80 + }, + "instances": 2, + "linked_in_messages": 0, + "elapsed_seconds": 0.799, + "successful_rps": 100.07, + "latency_ms": { + "p50": 347.3, + "p95": 688.0, + "p99": 690.3, + "max": 690.3 + }, + "memory": { + "fa8ec003b262": { + "idle_mib": 117.1, + "docker_stats_peak_mib": 169.1, + "cgroup_memory_peak_mib": 209.4, + "oom_kill": 0 + }, + "9ff57a54c245": { + "idle_mib": 120.6, + "docker_stats_peak_mib": 167.9, + "cgroup_memory_peak_mib": 218.8, + "oom_kill": 0 + } + }, + "lb": { + "cgroup_memory_peak_mib": 27.3, + "oom_kill": 0 + } +} diff --git a/evidence/upload-memory/summary.txt b/evidence/upload-memory/summary.txt new file mode 100644 index 00000000..7f073bd1 --- /dev/null +++ b/evidence/upload-memory/summary.txt @@ -0,0 +1,14 @@ +# 2026-10-28T21:19:30Z commit a774a2f; api x2: 1 CPU, 512 MiB, 2 workers; MALLOC_MMAP_THRESHOLD_=131072; 2 uploads per client; peaks from cgroup memory.peak, MiB +slots size conc codes p50_ms p95_ms api_idle api_peak api_oom lb_peak lb_oom + 64 1.0M 10 201x20 201.4 282.8 119.4 187.5 0 20.9 0 + 64 1.0M 20 201x40 227.1 377.3 118.7 202.1 0 23.3 0 + 64 1.0M 40 201x80 347.3 688.0 120.6 218.8 0 27.3 0 + 64 10.0M 10 201x20 912.4 950.2 119.3 299.7 0 21.4 0 + 64 10.0M 20 201x40 2177.2 2493.4 117.8 422.6 0 23.6 0 + 64 10.0M 40 201x43,503x37 3920.8 6328.1 120.7 513.2 0 26.2 0 + 3 1.0M 10 201x20 113.1 232.8 120.8 190.4 0 23.1 0 + 3 1.0M 20 201x40 224.4 366.0 119.7 192.9 0 29.7 0 + 3 1.0M 40 201x80 297.8 556.8 120.3 194.3 0 25.9 0 + 3 10.0M 10 201x20 2352.4 4189.7 131.5 304.0 0 21.2 0 + 3 10.0M 20 201x40 1920.8 3240.6 120.5 319.1 0 24.3 0 + 3 10.0M 40 201x80 2711.0 4799.3 120.8 329.7 0 28.6 0 diff --git a/openspec/changes/add-lab4-upload-resilience/design.md b/openspec/changes/add-lab4-upload-resilience/design.md index 516adce6..e961421f 100644 --- a/openspec/changes/add-lab4-upload-resilience/design.md +++ b/openspec/changes/add-lab4-upload-resilience/design.md @@ -62,9 +62,9 @@ Grace period `UPLOAD_GRACE_SECONDS=900`, не меньше 60 (валидаци Замер D5 уточнил картину в двух местах, и решение дополнено: - **Ожидающая загрузка живёт в буферах сокетов.** Слот держит тело вне памяти воркера, но клиент продолжает слать, и байты копятся в ядре по цепочке: автонастройка TCP растит буфер приёма до 6 MiB на соединение, а память сокетов учитывается в cgroup контейнера. Первый прогон с 3 слотами при 40 одновременных загрузках по 10 MiB убил HAProxy по OOM (лимит 128 MiB, `memory.stat sock` ≈ 110 MB), соединения оборвались. Поэтому HAProxy получает `tune.rcvbuf.client/server` и `tune.sndbuf.client/server` по 64 KiB, а у `api` — `net.ipv4.tcp_rmem`/`tcp_wmem` с максимумом 256 KiB (sysctl сетевого namespace в `compose.yaml`). Пик LB после этого — 30 MiB; на пропускную способность внутри одного хоста буферы не влияют. Ожидающая загрузка стоит ~0,3 MiB на LB и столько же на реплике; число таких соединений ограничивает `maxconn 64` на реплику. -- **Аллокатор glibc не отдаёт освобождённые тела.** Тела больше 128 KiB берутся у `malloc`; после первого освобождения крупного блока glibc поднимает порог `mmap` до 32 MiB, и следующие буферы по 10 MiB остаются в куче процесса после освобождения. `MALLOC_MMAP_THRESHOLD_=131072` у `api` фиксирует порог: большие буферы выделяются `mmap` и возвращаются системе. При 3 слотах и 40 загрузках по 10 MiB пик реплики — 323 MiB против 364 MiB с порогом 32 MiB. +- **Аллокатор glibc не отдаёт освобождённые тела.** Тела больше 128 KiB берутся у `malloc`; после первого освобождения крупного блока glibc поднимает порог `mmap` до 32 MiB, и следующие буферы по 10 MiB остаются в куче процесса после освобождения. `MALLOC_MMAP_THRESHOLD_=131072` у `api` фиксирует порог: большие буферы выделяются `mmap` и возвращаются системе. При 3 слотах и 40 загрузках по 10 MiB пик реплики — 330 MiB против 368 MiB с порогом 32 MiB. -Итог замера: одна загрузка 10 MiB в полёте стоит ≈ 34 MiB, 6 слотов на реплику — ≈ 200 MiB поверх простоя ~120 MiB, пик 323 MiB (63 % лимита) при любой одновременности от 20 до 40. Без лимита (64 слота) те же 40 загрузок упираются в 512 MiB, ядро убивает воркер, и успешны лишь 31 из 80. Значение `UPLOAD_CONCURRENCY=3` оставлено. +Итог замера: одна загрузка 10 MiB в полёте стоит ≈ 35 MiB, 6 слотов на реплику — ≈ 210 MiB поверх простоя ~120 MiB, пик 304–330 MiB (до 64 % лимита) при 10–40 одновременных загрузках. Без лимита (64 слота) те же 40 загрузок упираются в 512 MiB: успешны 43 из 80, остальные получают `503`, а в предварительном прогоне ядро ещё и убило воркер. Значение `UPLOAD_CONCURRENCY=3` оставлено. ### D4. Обрыв и зависание тела diff --git a/openspec/changes/add-lab4-upload-resilience/tasks.md b/openspec/changes/add-lab4-upload-resilience/tasks.md index 3d2114c8..fa12590e 100644 --- a/openspec/changes/add-lab4-upload-resilience/tasks.md +++ b/openspec/changes/add-lab4-upload-resilience/tasks.md @@ -35,6 +35,6 @@ ## 6. Отчёт -- [ ] 6.1 `evidence/`: `upload-faults.txt`, `upload-memory/`, `s3-security.txt`, `student-tests.txt` -- [ ] 6.2 `REPORT.md`: строки 4.1–4.4, механизм компенсации и уборки, эксперимент памяти, таблица отказов, ограничения -- [ ] 6.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, сценарии уровня «3» и `make upload-faults` +- [x] 6.1 `evidence/`: `upload-faults.txt`, `upload-memory/`, `s3-security.txt`, `student-tests.txt`, `contract-checks.txt`, `regression-level4.txt` +- [x] 6.2 `REPORT.md`: строки 4.1–4.4, механизм компенсации и уборки, эксперимент памяти, таблица отказов, ограничения; `AGENTS.md`: команды и уровень «4» +- [x] 6.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, сценарии уровня «3» и `make upload-faults`