Files
mtusi2026lab4/REPORT.md
T

48 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Антонов Егор, БПИ2301
  • Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявляется
  • Commit/PR: ветка solution/БПИ2301-Antonov; ссылка на PR — после публикации
  • Использованные источники, библиотеки и помощь ИИ: документация S3 API (PutObject, ListObjectsV2, политики), MinIO (mc, IAM), HAProxy 3.0 (http-request set-timeout, health checks), sharp/libvips (failOn, limitInputPixels, sequentialRead), Prisma, Node.js streams. Новые библиотеки: @aws-sdk/client-s3 3.700.0, sharp 0.33.5; остальные — как в lab3. Перед сдачей просмотрены замечания проверяющих к чужим PR этой лабораторной, и те же сценарии воспроизведены на своём стенде; код из чужих решений не использовался. ИИ-ассистент использовался как парный программист: код, тесты, скрипты экспериментов и текст отчёта по моим решениям с последующим ревью; проверки воспроизведены мной на своём стенде.

Запуск из чистого clone

На хосте нужен только Docker (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри tools — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM. Из свежего git clone на commit f8e41b1 проходят сборка, make check, make test, make test-persistence, make test-failover, check-s3.sh и собственные тесты.

Компонент Версия
API runtime node:20.17.0-slim + openssl, NestJS 10 / Fastify, Prisma 6.1.0, @aws-sdk/client-s3 3.700.0, sharp 0.33.5
Балансировщик haproxy:3.0.6-alpine
PostgreSQL postgres:17.2-alpine
Redis redis:7.4.1-alpine
S3 pgsty/minio:RELEASE.2026-08-04T00-00-00Z, закреплён digest
Bootstrap S3 pgsty/mc:RELEASE.2026-10-26T00-00-00Z, закреплён digest
secrets-init alpine:3.20.3
tools (проверки) docker:27.3.1-cli + python3, make, git
# 1. Запуск: secrets-init → postgres, redis, s3 → s3-init, migrate (один раз) → api ×2, reconciler → lb; ждёт healthcheck
docker compose up -d --build --wait

# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
docker compose run --rm --build tools make check
docker compose run --rm tools make test
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
docker compose up -d --wait
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait

# 3. Проверки вложений и эксперименты уровня 4
docker compose run --rm tools sh scripts/check-s3.sh                       # приватность bucket и права пользователя API
docker compose run --rm tools python3 scripts/attachment-scenario.py       # защита, отказ реплики, обрыв, отказы БД
docker compose run --rm tools sh scripts/s3-outage.sh stop                 # отказ S3: stop или pause
docker compose run --rm tools sh scripts/reconcile-demo.sh                 # сверка: grace, dry-run, apply
docker compose run --rm tools python3 scripts/upload-experiment.py         # загрузки и пик памяти

# Эксперименты lab3 сохранены
docker compose run --rm tools python3 scripts/experiment.py idempotency
docker compose run --rm tools python3 scripts/experiment.py failover
docker compose run --rm tools python3 scripts/experiment.py failover --kill

# 4. Собственные тесты: отдельные postgres, s3 (tmpfs) и redis
docker compose -f compose.test.yaml run --rm --build tests
docker compose -f compose.test.yaml down -v

# 5. Все доказательства в evidence/ одной командой (~15 минут)
docker compose run --rm tools sh scripts/collect-evidence.sh

# Безопасная остановка (данные и секреты сохраняются)
docker compose stop          # или: docker compose down
# Намеренное удаление учебных данных и сгенерированных секретов
docker compose down -v
  • Обновление работающего стенда. docker compose up не пересоздаёт контейнер при изменении содержимого примонтированного infra/haproxy/haproxy.cfg. После изменения конфигурации LB: docker compose up -d --force-recreate --no-deps lb. Из чистого clone это не требуется.
  • .env необязателен: в compose.yaml те же значения по умолчанию. Для своих: cp .env.example .env, затем docker compose --env-file .env up -d --build --wait.
  • Секреты создаёт one-shot сервис secrets-init в именованном volume secrets, раздельно по сервисам (volume.subpath): пароли PostgreSQL и Redis, root-ключи S3, отдельные ключи S3 для API. Действий оператора не требуется; секреты не попадают в Git, образы, логи и evidence.
  • Наружу опубликован только LB на 127.0.0.1:8080. API, PostgreSQL, Redis и S3 доступны только во внутренней сети compose.
  • Swagger UI: http://localhost:8080/docs — обязательный контракт contracts/openapi.json 1.4.0 без изменений. Служебное расширение описано отдельно: contracts/extensions.openapi.json.

Архитектура и решения

client ──HTTP──▶ lb (HAProxy, 127.0.0.1:8080) ──round robin, без sticky──▶ api ×2 (без опубликованных портов)
                     │  проверка GET /health/core каждые 1 s                  │
                     │  адреса реплик — Docker DNS                            ├──SQL──▶ postgres (метаданные) ── volume pgdata
                                                                             ├──кэш сессий──▶ redis
                                                                             └──S3 API──▶ s3 (байты, приватный bucket) ── volume s3data
                                                                                            ▲
reconciler (раз в 5 минут): листинг S3 + сверка с PostgreSQL, удаление сирот ───────────────┘
s3-init (один раз): bucket, запрет анонимного доступа, политика и пользователь API
secrets-init ──▶ volume secrets: postgres/ redis/ s3/ s3-init/ api/ migrate/ reconciler/ (каждому сервису — свой подкаталог, ro)
Роль Service Health/readiness Volume Сеть/порт Credentials Лимиты
Балансировщик lb проверяет backends сам — 127.0.0.1:8080 — 0.25 CPU, 64M
API ×2 api HAProxy и Docker: /health/core; контрактный /health/ready — (stateless) внутренняя, 8080 secrets/api: БД, кэш, ключи S3 пользователя API 0.5 CPU, 256M каждая
БД postgres pg_isready pgdata внутренняя secrets/postgres 1 CPU, 512M
Кэш сессий redis redis-cli ping — внутренняя secrets/redis 0.25 CPU, 128M
S3 s3 /minio/health/live s3data внутренняя, 9000; консоль выключена (MINIO_BROWSER=off) secrets/s3: root-ключи 0.5 CPU, 512M
Bootstrap S3 s3-init exit 0 — внутренняя secrets/s3-init: root-ключи и ключи API 0.25 CPU, 256M
Сверка reconciler healthcheck отключён, отчёт JSON в лог — внутренняя secrets/reconciler: БД, ключи S3 пользователя API 0.25 CPU, 128M
Миграции migrate exit 0 — внутренняя secrets/migrate 0.5 CPU, 512M
Bootstrap секретов secrets-init exit 0 secrets — генерирует 0.1 CPU, 32M

Выбор S3. Выбран MinIO. Официальные образы и бинарные файлы больше не раздаются: minio/minio и quay.io/minio/* не скачиваются, dl.min.io отвечает 410 Gone с сообщением, что open source проект заархивирован (проверено 2026-11-05). Поэтому используется сторонняя сборка pgsty/minio + pgsty/mc, версии закреплены тегом и digest. Приложение работает по протоколу S3 и не зависит от конкретного сервера.

Bucket и права (s3-init в compose.yaml). Запуск идемпотентен: mc mb --ignore-existing, mc anonymous set none, политика messenger-api перезаписывается, пользователь и привязка политики обновляются. Пользователь API получает только ListBucket, GetBucketLocation, ListBucketMultipartUploads на bucket и GetObject, PutObject, DeleteObject, AbortMultipartUpload, ListMultipartUploadParts на его объекты. Root-ключи есть только у s3 и s3-init.

Модель данных (миграция 20261105000000_attachments).

  • attachments: чат, владелец, filename, content_type, size_bytes, sha256, object_key, время. CHECK дублируют проверки API: допустимые MIME, размер 1–10 485 760, формат SHA-256.
  • message_attachments: сообщение, position 0–9, вложение. PK (message_id, position), уникальность (message_id, attachment_id). Порядок attachment_ids хранится явно, поэтому POST, история и повтор возвращают один и тот же список.
  • Object key назначает сервер: attachments/<uuid>. filename используется только для отображения и в заголовке Content-Disposition.
  • Отдельного статуса нет: в lab4 строка существует только у готового вложения. status: ready, variants: [], error_code: null формируются в ответе; состояния появятся миграцией в lab5.

Загрузка (src/attachments/). Порядок проверок:

  1. Токен → доступ к чату → filename → Content-Type → Content-Length. До этого тело не читается: хук onRequest на этом маршруте заменяет разбор тела сквозной передачей потока, поэтому аноним всегда получает 401, посторонний 404, а не ошибку формата.
  2. Лимит 16 одновременных загрузок на реплику, сверх него 503.
  3. Тело пишется потоком во временный файл с учётом backpressure, одновременно считается SHA-256; при превышении 10 MiB — 413, дедлайн на приём тела 60 s. Каталог удаляется в finally, остатки после аварийного падения — при старте процесса.
  4. Сигнатура файла и совпадение с Content-Type; для PNG — наличие IEND в конце файла. Несовпадение → 415.
  5. sharp.metadata() читает размеры без декодирования: больше 40 млн пикселей → 413.
  6. Полное декодирование sharp(... { failOn: 'warning', sequentialRead: true, limitInputPixels }).stats(), не более 2 одновременно на реплику. Ошибка → 415.
  7. PUT файла в S3 с ChecksumSHA256: MinIO сам сверяет контрольную сумму.
  8. INSERT метаданных и ответ 201.

Способ декодирования выбран разовым замером на PNG 8000×5000 при 0.5 CPU (в evidence не сохранён): stats() — пик 85 МиБ, 3,3 s; raw().toBuffer() — 184 МиБ, 0,1 s; resize(1,1) — 459 МиБ, 0,5 s. Выигрыш по памяти важнее скорости при лимите реплики 256 МиБ. Режим failOn: 'warning' выбран потому, что error и truncated пропускают JPEG с испорченными данными скана.

Когда возвращается 201. Только после подтверждения записи объекта в S3 и успешного INSERT. На API не остаётся копии: временный файл удаляется, байты читаются только из S3.

Скачивание. Метаданные и /content ищут вложение одним запросом с условием членства в чате, поэтому посторонний и неизвестный ID неразличимы (404). Байты передаются потоком через API, без redirect, с истинным Content-Type, Content-Length, X-Content-Type-Options: nosniff. variant: отсутствует или original — файл; thumbnail, crop, optimized — 404; прочее, пустое или повторённое — 400.

Идемпотентность с вложениями. В хеш запроса входит список ID в заданном порядке после приведения к нижнему регистру: отсутствующий attachment_ids и [] равны, перестановка при том же ключе — 409. Доступ к чату и принадлежность вложений чату проверяются при каждом запросе, в том числе при повторе.

Согласованность S3 и PostgreSQL. Распределённой транзакции нет. Порядок записи: сначала S3, потом БД, поэтому объект без строки возможен, а видимая строка без объекта при нормальной работе — нет.

Сбой Что происходит Итог
Обрыв клиента или лимит до PUT до S3 ничего не дошло временный файл удалён
Отказ PUT одиночный PUT с известной длиной, multipart не используется 503, строки нет
Явный отказ БД (известный код Prisma: ограничение, внешний ключ) запись точно не состоялась объект удаляется сразу, ответ 500
Неясный исход (потеря соединения, необработанная ошибка БД) COMMIT мог пройти, поэтому API объект не удаляет 503; повтор создаст новое вложение; решает сверка
Падение API между PUT и INSERT объект без строки решает сверка
Отказ удаления при сверке учитывается в failed объект остаётся, следующий проход повторит

Сверка (src/attachments/reconciler.ts, сервис reconciler). Каждые 5 минут постранично обходит префикс attachments/. Объект считается сиротой, только если он старше grace period (1 час, по LastModified) и в момент проверки на него нет строки. Grace намного больше максимального времени загрузки (приём 60 s + PUT 20 s), поэтому загрузка в процессе не считается сиротой. Запуск без --apply — dry-run, хранилища не меняются. При отказе PostgreSQL проход прерывается до удалений. Каждый проход пишет JSON-отчёт в лог. Ручной запуск: docker compose run --rm --no-deps reconciler node dist/reconcile.js [--apply] [--grace-seconds=N].

Критичные зависимости и проверка готовности

Контракт требует фиксировать критичные зависимости в отчёте (contracts/README.md):

Endpoint Что проверяет Кто использует
/health/live жизнь процесса контракт
/health/ready остановка процесса, PostgreSQL, S3 (HeadBucket, таймаут 1 s) контракт: клиенты и оператор
/health/core остановка процесса, PostgreSQL HAProxy и Docker healthcheck

Почему HAProxy проверяет не /health/ready. S3 один и общий для всех реплик. Если бы LB проверял /health/ready, падение S3 одновременно вывело бы из балансировки все исправные реплики: перестали бы работать вход, история и текстовые сообщения, которым S3 не нужен, а клиент получал бы 503 от LB без X-Instance-Id. Исключение реплики имеет смысл, когда другая реплика может обслужить запрос; при отказе общего S3 такой реплики нет. Поэтому /health/ready честно сообщает о неполной готовности (503), а бизнес-запросы продолжают обслуживаться; недоступны только вложения. Это проверено: при остановленном S3 текстовое сообщение получает 201 (evidence/s3.txt).

Основание и статус решения. /health/core — дополнение, не описанное в обязательном контракте. Отдельного разрешения именно на служебный health-путь в материалах курса нет; решение опирается на общее правило COURSE.md: новые возможности добавляются обратно совместимо, в отдельном contracts/extensions.openapi.json или документе. Расширение описано в contracts/extensions.openapi.json, обязательные endpoint не изменены. Требование backend_readiness из contracts/infrastructure.json выполняется по смыслу: LB активно проверяет готовность каждой реплики и исключает неготовую, что показано сценарием с закрытым доступом к БД (evidence/failures.txt §5). Если проверяющий требует проверки именно через /health/ready, возврат — две строки (infra/haproxy/haproxy.cfg, Dockerfile) ценой остановки всего чата при падении S3.

Ограничение решения. Реплика, потерявшая связь только с S3 при рабочем S3 у других, из LB не исключается и отвечает 503 на запросы вложений. Такой частичный отказ не проверялся.

Redis не критичен: как и в lab3, вход и бизнес-запросы идут через PostgreSQL, при недоступном Redis отвечает 503 только logout.

Таймауты (согласованы между собой):

Параметр Значение Где
Проверка backend inter 1s, fall 2, rise 2, timeout check 1s, путь /health/core infra/haproxy/haproxy.cfg
Таймауты LB connect 1 s, server 10 s, client 30 s; для POST .../attachments server 60 s там же
S3: соединение, простой 1 s, 5 s; при скачивании 5 s ограничивают только ожидание начала ответа src/storage/s3.service.ts
S3: вся операция 20 s там же
S3: проверка готовности 1 s там же
Приём тела загрузки 60 s (UPLOAD_BODY_TIMEOUT_MS) src/attachments/attachments.service.ts
Одновременные загрузки / декодирования 16 (MAX_CONCURRENT_UPLOADS) / 2 на реплику attachments.service.ts, image-validation.ts
Остальное как в lab3: SHUTDOWN_DELAY_MS=3000, stop_grace_period: 10s, БД statement_timeout=5000 compose.yaml

HAProxy, в отличие от nginx, не ограничивает размер тела, поэтому отдельной настройки 10 MiB нет: файл ровно 10 MiB проходит через LB, а 413 формирует API в формате контракта с X-Request-Id и X-Instance-Id.

Перенесено из lab3: весь API, HAProxy, 2 реплики, идемпотентность, graceful shutdown, tombstone при logout, раздельные секреты, migrate, тесты, эксперименты. Изменено: проверка LB и Docker на /health/core; /health/ready учитывает S3; Message содержит настоящие attachment_ids; в хеш идемпотентности входит список вложений; restart.sh перезапускает и s3; testTimeout jest 30 s; .gitattributes с LF.

Соответствие .env.example:

Переменная Где используется
APP_HOST, APP_PORT API слушает 0.0.0.0:8080 внутри сети; APP_PORT в .env — опубликованный порт LB на 127.0.0.1
APP_ENV передаётся в API, поведение не меняет
SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS сроки жизни, по умолчанию 3600 и 86400
DATABASE_URL_FILE, CACHE_URL_FILE файлы в /run/secrets; в тестах — DATABASE_URL, CACHE_URL
SESSION_STORE=postgres фиксировано: источник истины сессий — PostgreSQL
API_REPLICAS deploy.replicas, по умолчанию 2
S3_ENDPOINT, S3_REGION, S3_BUCKET в compose.yaml endpoint задан как http://s3:9000, остальные настраиваются
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE файлы в /run/secrets; в тестах — S3_ACCESS_KEY_ID, S3_SECRET_ACCESS_KEY
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS лимиты загрузки, 10485760 и 40000000
RECONCILE_GRACE_SECONDS, RECONCILE_INTERVAL_SECONDS параметры сервиса reconciler, 3600 и 300 (добавлены к примеру)

Доказательства критериев

Файлы собраны docker compose run --rm tools sh scripts/collect-evidence.sh на commit f8e41b1 с чистых volumes; в заголовке каждого .txt — дата и commit, в .json — дата.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test через LB PASS: lab4 public API scenario evidence/smoke.txt
Структура контракта make check PASS: offline skeleton structure evidence/smoke.txt
3: минимум lab3 сохранён smoke, make test-failover, experiment.py, собственные тесты одна сессия чередует 2 реплики; failover и идемпотентность проходят evidence/smoke.txt, evidence/failover.txt, evidence/idempotency.json
3: S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket docker compose ps, \d attachments, анонимный GET сервис s3 с volume; в таблице вложений нет поля байт; анонимный GET объекта 403 evidence/container.txt, evidence/attachments.txt §1
3: POST → 201 ready после сохранения; скачивание побайтно; Message читается; посторонний без доступа make test; attachment-scenario.py §1 201 ready, Bob скачал, SHA-256 совпал, text="" с вложением 201; Eve 404 на метаданные и байты evidence/attachments.txt §1
3: реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME по содержимому; опасные filename; лимиты до чтения/декодирования тесты attachments.e2e-spec.ts ровно 10 MiB и ровно 40 млн пикселей 201; 10 MiB + 1 и 8001×5000 413; ../, \, NUL, DEL, U+0085, пробелы — 400 evidence/tests.txt
3: остановка обслужившей загрузку реплики → скачивание через другую attachment-scenario.py §2 для обеих реплик по 6 скачиваний через оставшуюся реплику, SHA-256 совпал, остановленная запросов не получала evidence/attachments.txt §2
3: restart с сохранением volumes сохраняет метаданные и оригинал make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS с повторным чтением файла; started= сменился у postgres, redis, s3, обеих api, lb evidence/persistence.txt
3: failover для обеих реплик make test-failover остановлены разные реплики; 0 ошибок; запись через 3,56–3,58 s; файл прочитан evidence/failover.txt
Защита: на API нет обязательного локального оригинала поиск файла по размеру на оставшейся реплике; временные каталоги файла нет; временных каталогов 0 evidence/attachments.txt §2–3
4: слишком большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 attachments.e2e-spec.ts, attachment-access.e2e-spec.ts 413; 11 видов битых PNG и 4 вида битых JPEG 415; подмена в обе стороны 415; неизвестный и другой чат — одинаковый 404 evidence/tests.txt
4: прерывание и отказ между S3 и БД не оставляют вечных неучтённых объектов; grace attachment-scenario.py §3–5, reconcile-demo.sh обрыв: 0 новых строк и объектов; реальный отказ БД: 503, объект защищён grace, затем удалён только он; dry-run ничего не меняет; при повторе удалять нечего evidence/attachments.txt, evidence/s3.txt
4: лимиты, таймауты, потоковая обработка; ≥10 одновременных загрузок с пиком памяти upload-experiment.py см. «Эксперименты»; максимум VmHWM 163 МиБ при лимите 256 МиБ, OOM нет evidence/upload-memory.json
4: bootstrap идемпотентен двойной запуск s3-init оба завершились успешно, bucket ... ready evidence/s3.txt
4: отдельные S3 credentials с ограниченными правами check-s3.sh свой bucket разрешён; другой bucket, создание bucket, смена политики, админ-команды запрещены evidence/s3.txt
4: консоль не открыта; приватность проверена вне API check-s3.sh порт S3 не опубликован, MINIO_BROWSER=off; анонимные GET объекта, листинг и PUT — 403 evidence/s3.txt
Защита: недоступность S3 s3-outage.sh stop, pause ready, скачивание и загрузка 503 от API за 1–5 s; метаданные 200; текст 201; после восстановления файл цел evidence/s3.txt
lab3: LB исключает неготовую реплику; лимиты; секреты pg_hba reject для одной реплики; docker inspect; ls /run/secrets live 200, core 503, is DOWN, 10 из 10 запросов через вторую реплику; лимиты у всех контейнеров, включая завершившиеся; у каждого сервиса свои файлы evidence/failures.txt §5, evidence/container.txt
lab2/3: logout, expiry, отказы Redis и БД probe.py как в lab3 evidence/failures.txt
Собственные тесты docker compose -f compose.test.yaml run --rm --build tests Tests: 163 passed, 163 total evidence/tests.txt

Реальность остановок видна по docker inspect в failover.txt и persistence.txt, а не только по заголовку X-Instance-Id.

Эксперименты и отказы

Одновременные загрузки и пик памяти

Гипотеза. Потоковая запись тела на диск и ограничение числа декодирований не дают памяти реплики расти пропорционально данным в обработке.

Методика. scripts/upload-experiment.py в контейнере tools: для каждого профиля реплики API перезапускаются (чтобы VmHWM относился к этому профилю), затем 3 раунда по N одновременных POST через LB. Память: VmRSS процесса каждые 0,2 s и VmHWM. Стенд: 2 реплики по 0.5 CPU и 256 МиБ, Docker Desktop WSL2, 12 vCPU. Объём данных после эксперимента: 290 вложений, 264 сообщения. Прогрева нет: каждый профиль начинается сразу после готовности реплик. Каждый профиль выполнен один раз.

Профиль Запросов Ответы Успешных RPS Доля ошибок p50 / p95 / p99, s Простой → пик VmHWM, МиБ (макс. реплика) Данных в обработке на реплику, МиБ Макс. CPU реплики
sample.png 112 КиБ × 10 30 30 × 201 14,83 0 0,49 / 0,71 / 0,81 104 → 118 0,6 44 %
PNG 10 МиБ × 1 3 3 × 201 1,67 0 0,69 / 0,74 / 0,74 105 → 122 10 25 %
PNG 10 МиБ × 10 30 30 × 201 3,13 0 2,95 / 3,77 / 3,77 105 → 144 50 55 %
PNG 10 МиБ × 20 60 60 × 201 3,61 0 4,45 / 6,51 / 6,59 106 → 151 100 55 %
PNG 10 МиБ × 40 120 96 × 201, 24 × 503 3,90 0,20 7,86 / 8,37 / 8,40 104 → 156 160 (лимит 16 загрузок) 53 %
PNG 40 МП, 127 КиБ × 10 30 30 × 201 0,34 0 23,2 / 33,5 / 33,5 104 → 163 5 файлов, до 2 декодируются 55 %
JPEG 40 МП, 235 КиБ × 10 30 30 × 201 0,35 0 21,6 / 29,5 / 29,8 104 → 163 5 файлов, до 2 декодируются 55 %

Запросы распределялись между репликами поровну, поэтому на реплику приходится половина одновременных загрузок. Во всех профилях: oom_killed=false, 0 временных каталогов после прогона, SHA-256 в ответах и при контрольном скачивании совпал.

Вывод. В этих пределах гипотеза подтверждена: при росте данных в обработке на реплику с 10 до 160 МиБ пик вырос с 122 до 156 МиБ, то есть на 34 МиБ при 150 МиБ дополнительных данных, и остался ниже лимита 256 МиБ. Узкое место — CPU: реплики упираются в лимит 0.5 CPU, а RPS для файлов 10 МиБ почти не растёт от 10 к 40 загрузкам. Отказы при × 40 совпадают с расчётом: по 20 запросов на реплику при лимите 16 дают 4 отказа на реплику за раунд, всего 24.

Как читать показатели памяти. Основной показатель — RSS процесса. memory.max_usage_in_bytes cgroup в профилях 40 МП и × 40 достигает 256 МиБ, но по устройству этого счётчика в него входит кэш страниц, в том числе временных файлов; OOM при этом нет. docker stats показывает меньше RSS, поэтому не используется как оценка пика. Разброс между запусками: в более ранних прогонах того же сценария (в evidence не сохранены) максимум VmHWM доходил до 174 МиБ.

Ограничения измерения. Закрытая модель нагрузки (раунд ждёт завершения всех запросов), клиент на том же хосте, один прогон. Файлы 40 МП — худший случай по декодированию, но они однородные и хорошо сжимаются; изображение одновременно на 10 МиБ и 40 МП не проверялось. При 5 файлах 40 МП на реплику p99 уже около 33 s; при 16 возможно превышение таймаута LB 60 s и 504.

Устойчивость записи (сценарии lab3)

Методика как в lab3: scripts/experiment.py, 4 потока closed-loop POST сообщений, неудачный запрос повторяется с тем же ключом, окна 5 s до воздействия, 10 s после команды остановки, 5 s после восстановления. Один прогон каждого сценария. Объём данных: 265 → 17 944 сообщений. Ресурсы под нагрузкой: api 44–48 % CPU и 137–180 МиБ, postgres 26 % и 77 МиБ, lb 11 % и 14 МиБ, s3 2 % и 249 МиБ. Потерь и дублей подтверждённых сообщений 0 из 7011 (docker stop), 5365 (docker kill), 5303 (rolling).

Сценарий, окно Успешных RPS Ошибки (доля) p50 / p95 / p99, ms: до → отказ Макс. пауза записи
docker stop api-1: до / отказ / после 134 / 107 / 155 0 / 0 / 0 12,7/87,9/101 → 13,7/90,9/99,1 0,11 s
docker stop api-2: до / отказ / после 155 / 115 / 158 0 / 0 / 0 11,4/80,2/107 → 12,6/90,6/149 0,10 s
docker kill api-1: до / отказ / после 158 / 79 / 157 0 / 2 (0,24 %) / 0 11,3/80,0/117 → 13,4/92,9/1012 0,92 s
docker kill api-2: до / отказ / после 158 / 64 / 143 0 / 2 (0,30 %) / 0 11,9/74,7/85,1 → 14,1/95,5/1011 0,99 s
Rolling update, вся замена (33,7 s) 128 0 15,2 / 83,5 / 111 0,22 s

Отказы

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка реплики, обслужившей загрузку, для обеих реплик другая реплика отдаёт файл 6 из 6 скачиваний через оставшуюся реплику, SHA-256 совпал, локальной копии нет сразу; потерь нет
make test-failover ×2, разные реплики ≤ 10 s, без дублей, файл читается 0 ошибок, запись через 3,56–3,58 s PASS
restart.sh: postgres, redis, s3, api ×2, lb данные, файл и токен сохраняются PASS потерь нет
docker compose stop s3 вложения 503, остальное работает ready 503 за 1,01 s; скачивание 503 за 1,01 s; загрузка 503 за 1,03 s; метаданные 200; текст 201 после start ready 200, файл цел
docker compose pause s3 (S3 завис) ответы ограничены таймаутами ready 503 за 1,01 s; скачивание и загрузка 503 за 5,0 s; текст 201 после unpause ready 200, файл цел
Обрыв загрузки через LB ничего не остаётся строки 7 → 7, объекты 7 → 7, временных каталогов 0 потерь нет
PostgreSQL отклоняет INSERT после PUT (триггер RAISE EXCEPTION) объект без строки не становится вечным 503, строки 7 → 7, объекты 7 → 8; grace 3600 s — не удалён; grace 1 s — удалён только он, 7 привязанных не тронуты следующая загрузка 201
Потеря соединения с PostgreSQL при INSERT (триггер pg_terminate_backend) объект не удаляется сразу 503, строки 8 → 8, объекты 8 → 9; grace 3600 s — не удалён; grace 1 s — удалён только он, 8 привязанных не тронуты следующая загрузка 201
Объект создан напрямую в S3, строки нет dry-run не удаляет, apply удаляет только его dry-run: orphans: 1, deleted: 0; apply: deleted: 1, referenced: 11; повтор orphans: 0 —
Сверка во время зависшего S3 проход прерывается, сервис живёт в логе reconcile pass aborted, контейнер продолжает работу следующий проход штатный
Живая реплика без доступа к PostgreSQL LB исключает её live 200, core 503, is DOWN, 10 из 10 запросов через вторую реплику после возврата доступа снова в ротации
docker compose stop redis, stop postgres, stop api как в lab3 logout 503 без отзыва; 503 database unavailable; при остановке всех API — LB 503 в формате контракта после start работает

В failures.txt §3 при остановленном PostgreSQL анонимный запрос получает 401 от API: для ответа без токена БД не нужна, а реплики ещё не исключены из LB (≤ 3 s).

Отказ между записью в S3 и PostgreSQL внедрялся реальным триггером на таблице. Случай «COMMIT прошёл, ответ потерян» проверен только тестом с подменой ошибки Prisma: надёжно оборвать соединение точно после COMMIT на стенде не удаётся.

Ограничения и следующие шаги

  • Отказ процесса, а не узла. Все контейнеры на одном хосте. LB, PostgreSQL, Redis и S3 — по одному экземпляру, один диск MinIO без репликации: потеря тома s3data означает потерю файлов.
  • Образ S3. Сторонняя сборка заархивированного проекта; контейнер работает от root. Для учебного стенда с синтетическими данными это приемлемо, для реальной системы потребовалась бы своя сборка или другой S3-сервер.
  • /health/core не входит в обязательный контракт; основание и способ отката — в разделе «Критичные зависимости и проверка готовности».
  • Строка есть, объекта нет. Сверка находит только объекты без строк. Потеря объекта (например, удаление вручную) проявляется как 500 при скачивании с записью в логе. Обратная сверка — трек 5.2, не заявлен.
  • Непривязанные вложения не удаляются. Загруженный файл, на который не сослалось ни одно сообщение, учтён в БД и остаётся навсегда: API удаления нет.
  • Строгая проверка изображений. failOn: 'warning' может отклонить редкий настоящий файл с предупреждением декодера. PNG с более чем 64 КиБ данных после IEND тоже получит 415.
  • Цена проверки. Полное декодирование 40 МП занимает секунды CPU. Лимит загрузок общий на реплику, а не на пользователя: один пользователь может занять все слоты; rate limiting не реализован.
  • Лишние байты после 413. Тело больше лимита отклоняется сразу, но оставшиеся байты дочитываются и отбрасываются, чтобы клиент получил ответ. Память не растёт, трафик ограничен только таймаутами LB.
  • Медленные клиенты. Приём тела загрузки ограничен 60 s; скачивание обрывается LB, если клиент не читает данные 30 s.
  • Права сверки. reconciler использует того же S3-пользователя, что и API, включая DeleteObject; отдельная учётная запись не заведена.
  • filename. Запрещены разделители пути, управляющие символы и разделители строк. Символы форматирования Unicode (например, смена направления текста) разрешены, чтобы не отклонять эмодзи с соединителями; имя используется только для отображения.
  • HTTP без TLS — только для локального стенда (TLS — lab7). X-Instance-Id раскрывает короткий id контейнера. Grace рассчитан на единые часы одного хоста; на нескольких узлах он должен учитывать расхождение часов.
  • Подтверждено измерением: файл переживает остановку реплики и restart; память API не растёт пропорционально данным в указанных профилях; отказ S3 не останавливает текстовый чат; сироты удаляются только после grace. Гипотеза, не измерена: стоимость обхода сверкой при большом числе объектов (трек 5.2).

Ответы на вопросы защиты

  • Почему файл в Docker volume одной реплики не равен объектному хранилищу? Volume привязан к контейнеру и хосту: другая реплика его не видит, а при остановке реплики файл недоступен. S3 — отдельный общий сервис со своим API и правами, поэтому файл читает любая реплика.
  • Когда можно честно вернуть 201? Когда объект подтверждён S3, а метаданные зафиксированы в PostgreSQL.
  • Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет? Клиент получит ошибку, объект останется без строки и будет удалён сверкой после grace. Если исход неясен, API объект не удаляет, потому что COMMIT мог пройти.
  • Почему случайный object key и приватный bucket не заменяют ACL приложения? Bucket закрывает прямой доступ, но API читает объекты с правами на весь bucket, и участие в чате S3 неизвестно: его проверяет только приложение. Ключ также может утечь, например через логи.