48 KiB
Отчёт — лабораторная 4
- Автор, группа: Антонов Егор, БПИ2301
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявляется
- Commit/PR: ветка
solution/БПИ2301-Antonov; ссылка на PR — после публикации - Использованные источники, библиотеки и помощь ИИ: документация S3 API (PutObject, ListObjectsV2, политики), MinIO (
mc, IAM), HAProxy 3.0 (http-request set-timeout, health checks),sharp/libvips (failOn,limitInputPixels,sequentialRead), Prisma, Node.js streams. Новые библиотеки:@aws-sdk/client-s33.700.0,sharp0.33.5; остальные — как в lab3. Перед сдачей просмотрены замечания проверяющих к чужим PR этой лабораторной, и те же сценарии воспроизведены на своём стенде; код из чужих решений не использовался. ИИ-ассистент использовался как парный программист: код, тесты, скрипты экспериментов и текст отчёта по моим решениям с последующим ревью; проверки воспроизведены мной на своём стенде.
Запуск из чистого clone
На хосте нужен только Docker (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри tools — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM. Из свежего git clone на commit f8e41b1 проходят сборка, make check, make test, make test-persistence, make test-failover, check-s3.sh и собственные тесты.
| Компонент | Версия |
|---|---|
| API runtime | node:20.17.0-slim + openssl, NestJS 10 / Fastify, Prisma 6.1.0, @aws-sdk/client-s3 3.700.0, sharp 0.33.5 |
| Балансировщик | haproxy:3.0.6-alpine |
| PostgreSQL | postgres:17.2-alpine |
| Redis | redis:7.4.1-alpine |
| S3 | pgsty/minio:RELEASE.2026-08-04T00-00-00Z, закреплён digest |
| Bootstrap S3 | pgsty/mc:RELEASE.2026-10-26T00-00-00Z, закреплён digest |
| secrets-init | alpine:3.20.3 |
| tools (проверки) | docker:27.3.1-cli + python3, make, git |
# 1. Запуск: secrets-init → postgres, redis, s3 → s3-init, migrate (один раз) → api ×2, reconciler → lb; ждёт healthcheck
docker compose up -d --build --wait
# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
docker compose run --rm --build tools make check
docker compose run --rm tools make test
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
docker compose up -d --wait
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
# 3. Проверки вложений и эксперименты уровня 4
docker compose run --rm tools sh scripts/check-s3.sh # приватность bucket и права пользователя API
docker compose run --rm tools python3 scripts/attachment-scenario.py # защита, отказ реплики, обрыв, отказы БД
docker compose run --rm tools sh scripts/s3-outage.sh stop # отказ S3: stop или pause
docker compose run --rm tools sh scripts/reconcile-demo.sh # сверка: grace, dry-run, apply
docker compose run --rm tools python3 scripts/upload-experiment.py # загрузки и пик памяти
# Эксперименты lab3 сохранены
docker compose run --rm tools python3 scripts/experiment.py idempotency
docker compose run --rm tools python3 scripts/experiment.py failover
docker compose run --rm tools python3 scripts/experiment.py failover --kill
# 4. Собственные тесты: отдельные postgres, s3 (tmpfs) и redis
docker compose -f compose.test.yaml run --rm --build tests
docker compose -f compose.test.yaml down -v
# 5. Все доказательства в evidence/ одной командой (~15 минут)
docker compose run --rm tools sh scripts/collect-evidence.sh
# Безопасная остановка (данные и секреты сохраняются)
docker compose stop # или: docker compose down
# Намеренное удаление учебных данных и сгенерированных секретов
docker compose down -v
- Обновление работающего стенда.
docker compose upне пересоздаёт контейнер при изменении содержимого примонтированногоinfra/haproxy/haproxy.cfg. После изменения конфигурации LB:docker compose up -d --force-recreate --no-deps lb. Из чистого clone это не требуется. .envнеобязателен: вcompose.yamlте же значения по умолчанию. Для своих:cp .env.example .env, затемdocker compose --env-file .env up -d --build --wait.- Секреты создаёт one-shot сервис
secrets-initв именованном volumesecrets, раздельно по сервисам (volume.subpath): пароли PostgreSQL и Redis, root-ключи S3, отдельные ключи S3 для API. Действий оператора не требуется; секреты не попадают в Git, образы, логи и evidence. - Наружу опубликован только LB на
127.0.0.1:8080. API, PostgreSQL, Redis и S3 доступны только во внутренней сети compose. - Swagger UI: http://localhost:8080/docs — обязательный контракт
contracts/openapi.json1.4.0 без изменений. Служебное расширение описано отдельно: contracts/extensions.openapi.json.
Архитектура и решения
client ──HTTP──▶ lb (HAProxy, 127.0.0.1:8080) ──round robin, без sticky──▶ api ×2 (без опубликованных портов)
│ проверка GET /health/core каждые 1 s │
│ адреса реплик — Docker DNS ├──SQL──▶ postgres (метаданные) ── volume pgdata
├──кэш сессий──▶ redis
└──S3 API──▶ s3 (байты, приватный bucket) ── volume s3data
▲
reconciler (раз в 5 минут): листинг S3 + сверка с PostgreSQL, удаление сирот ───────────────┘
s3-init (один раз): bucket, запрет анонимного доступа, политика и пользователь API
secrets-init ──▶ volume secrets: postgres/ redis/ s3/ s3-init/ api/ migrate/ reconciler/ (каждому сервису — свой подкаталог, ro)
| Роль | Service | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|---|---|---|---|---|---|---|
| Балансировщик | lb |
проверяет backends сам | — | 127.0.0.1:8080 |
— | 0.25 CPU, 64M |
| API ×2 | api |
HAProxy и Docker: /health/core; контрактный /health/ready |
— (stateless) | внутренняя, 8080 | secrets/api: БД, кэш, ключи S3 пользователя API |
0.5 CPU, 256M каждая |
| БД | postgres |
pg_isready |
pgdata |
внутренняя | secrets/postgres |
1 CPU, 512M |
| Кэш сессий | redis |
redis-cli ping |
— | внутренняя | secrets/redis |
0.25 CPU, 128M |
| S3 | s3 |
/minio/health/live |
s3data |
внутренняя, 9000; консоль выключена (MINIO_BROWSER=off) |
secrets/s3: root-ключи |
0.5 CPU, 512M |
| Bootstrap S3 | s3-init |
exit 0 | — | внутренняя | secrets/s3-init: root-ключи и ключи API |
0.25 CPU, 256M |
| Сверка | reconciler |
healthcheck отключён, отчёт JSON в лог | — | внутренняя | secrets/reconciler: БД, ключи S3 пользователя API |
0.25 CPU, 128M |
| Миграции | migrate |
exit 0 | — | внутренняя | secrets/migrate |
0.5 CPU, 512M |
| Bootstrap секретов | secrets-init |
exit 0 | secrets |
— | генерирует | 0.1 CPU, 32M |
Выбор S3. Выбран MinIO. Официальные образы и бинарные файлы больше не раздаются: minio/minio и quay.io/minio/* не скачиваются, dl.min.io отвечает 410 Gone с сообщением, что open source проект заархивирован (проверено 2026-11-05). Поэтому используется сторонняя сборка pgsty/minio + pgsty/mc, версии закреплены тегом и digest. Приложение работает по протоколу S3 и не зависит от конкретного сервера.
Bucket и права (s3-init в compose.yaml). Запуск идемпотентен: mc mb --ignore-existing, mc anonymous set none, политика messenger-api перезаписывается, пользователь и привязка политики обновляются. Пользователь API получает только ListBucket, GetBucketLocation, ListBucketMultipartUploads на bucket и GetObject, PutObject, DeleteObject, AbortMultipartUpload, ListMultipartUploadParts на его объекты. Root-ключи есть только у s3 и s3-init.
Модель данных (миграция 20261105000000_attachments).
attachments: чат, владелец,filename,content_type,size_bytes,sha256,object_key, время. CHECK дублируют проверки API: допустимые MIME, размер 1–10 485 760, формат SHA-256.message_attachments: сообщение,position0–9, вложение. PK(message_id, position), уникальность(message_id, attachment_id). Порядокattachment_idsхранится явно, поэтому POST, история и повтор возвращают один и тот же список.- Object key назначает сервер:
attachments/<uuid>.filenameиспользуется только для отображения и в заголовкеContent-Disposition. - Отдельного статуса нет: в lab4 строка существует только у готового вложения.
status: ready,variants: [],error_code: nullформируются в ответе; состояния появятся миграцией в lab5.
Загрузка (src/attachments/). Порядок проверок:
- Токен → доступ к чату →
filename→Content-Type→Content-Length. До этого тело не читается: хукonRequestна этом маршруте заменяет разбор тела сквозной передачей потока, поэтому аноним всегда получает401, посторонний404, а не ошибку формата. - Лимит 16 одновременных загрузок на реплику, сверх него
503. - Тело пишется потоком во временный файл с учётом backpressure, одновременно считается SHA-256; при превышении 10 MiB —
413, дедлайн на приём тела 60 s. Каталог удаляется вfinally, остатки после аварийного падения — при старте процесса. - Сигнатура файла и совпадение с
Content-Type; для PNG — наличиеIENDв конце файла. Несовпадение →415. sharp.metadata()читает размеры без декодирования: больше 40 млн пикселей →413.- Полное декодирование
sharp(... { failOn: 'warning', sequentialRead: true, limitInputPixels }).stats(), не более 2 одновременно на реплику. Ошибка →415. - PUT файла в S3 с
ChecksumSHA256: MinIO сам сверяет контрольную сумму. - INSERT метаданных и ответ
201.
Способ декодирования выбран разовым замером на PNG 8000×5000 при 0.5 CPU (в evidence не сохранён): stats() — пик 85 МиБ, 3,3 s; raw().toBuffer() — 184 МиБ, 0,1 s; resize(1,1) — 459 МиБ, 0,5 s. Выигрыш по памяти важнее скорости при лимите реплики 256 МиБ. Режим failOn: 'warning' выбран потому, что error и truncated пропускают JPEG с испорченными данными скана.
Когда возвращается 201. Только после подтверждения записи объекта в S3 и успешного INSERT. На API не остаётся копии: временный файл удаляется, байты читаются только из S3.
Скачивание. Метаданные и /content ищут вложение одним запросом с условием членства в чате, поэтому посторонний и неизвестный ID неразличимы (404). Байты передаются потоком через API, без redirect, с истинным Content-Type, Content-Length, X-Content-Type-Options: nosniff. variant: отсутствует или original — файл; thumbnail, crop, optimized — 404; прочее, пустое или повторённое — 400.
Идемпотентность с вложениями. В хеш запроса входит список ID в заданном порядке после приведения к нижнему регистру: отсутствующий attachment_ids и [] равны, перестановка при том же ключе — 409. Доступ к чату и принадлежность вложений чату проверяются при каждом запросе, в том числе при повторе.
Согласованность S3 и PostgreSQL. Распределённой транзакции нет. Порядок записи: сначала S3, потом БД, поэтому объект без строки возможен, а видимая строка без объекта при нормальной работе — нет.
| Сбой | Что происходит | Итог |
|---|---|---|
| Обрыв клиента или лимит до PUT | до S3 ничего не дошло | временный файл удалён |
| Отказ PUT | одиночный PUT с известной длиной, multipart не используется | 503, строки нет |
| Явный отказ БД (известный код Prisma: ограничение, внешний ключ) | запись точно не состоялась | объект удаляется сразу, ответ 500 |
| Неясный исход (потеря соединения, необработанная ошибка БД) | COMMIT мог пройти, поэтому API объект не удаляет | 503; повтор создаст новое вложение; решает сверка |
| Падение API между PUT и INSERT | объект без строки | решает сверка |
| Отказ удаления при сверке | учитывается в failed |
объект остаётся, следующий проход повторит |
Сверка (src/attachments/reconciler.ts, сервис reconciler). Каждые 5 минут постранично обходит префикс attachments/. Объект считается сиротой, только если он старше grace period (1 час, по LastModified) и в момент проверки на него нет строки. Grace намного больше максимального времени загрузки (приём 60 s + PUT 20 s), поэтому загрузка в процессе не считается сиротой. Запуск без --apply — dry-run, хранилища не меняются. При отказе PostgreSQL проход прерывается до удалений. Каждый проход пишет JSON-отчёт в лог. Ручной запуск: docker compose run --rm --no-deps reconciler node dist/reconcile.js [--apply] [--grace-seconds=N].
Критичные зависимости и проверка готовности
Контракт требует фиксировать критичные зависимости в отчёте (contracts/README.md):
| Endpoint | Что проверяет | Кто использует |
|---|---|---|
/health/live |
жизнь процесса | контракт |
/health/ready |
остановка процесса, PostgreSQL, S3 (HeadBucket, таймаут 1 s) |
контракт: клиенты и оператор |
/health/core |
остановка процесса, PostgreSQL | HAProxy и Docker healthcheck |
Почему HAProxy проверяет не /health/ready. S3 один и общий для всех реплик. Если бы LB проверял /health/ready, падение S3 одновременно вывело бы из балансировки все исправные реплики: перестали бы работать вход, история и текстовые сообщения, которым S3 не нужен, а клиент получал бы 503 от LB без X-Instance-Id. Исключение реплики имеет смысл, когда другая реплика может обслужить запрос; при отказе общего S3 такой реплики нет. Поэтому /health/ready честно сообщает о неполной готовности (503), а бизнес-запросы продолжают обслуживаться; недоступны только вложения. Это проверено: при остановленном S3 текстовое сообщение получает 201 (evidence/s3.txt).
Основание и статус решения. /health/core — дополнение, не описанное в обязательном контракте. Отдельного разрешения именно на служебный health-путь в материалах курса нет; решение опирается на общее правило COURSE.md: новые возможности добавляются обратно совместимо, в отдельном contracts/extensions.openapi.json или документе. Расширение описано в contracts/extensions.openapi.json, обязательные endpoint не изменены. Требование backend_readiness из contracts/infrastructure.json выполняется по смыслу: LB активно проверяет готовность каждой реплики и исключает неготовую, что показано сценарием с закрытым доступом к БД (evidence/failures.txt §5). Если проверяющий требует проверки именно через /health/ready, возврат — две строки (infra/haproxy/haproxy.cfg, Dockerfile) ценой остановки всего чата при падении S3.
Ограничение решения. Реплика, потерявшая связь только с S3 при рабочем S3 у других, из LB не исключается и отвечает 503 на запросы вложений. Такой частичный отказ не проверялся.
Redis не критичен: как и в lab3, вход и бизнес-запросы идут через PostgreSQL, при недоступном Redis отвечает 503 только logout.
Таймауты (согласованы между собой):
| Параметр | Значение | Где |
|---|---|---|
| Проверка backend | inter 1s, fall 2, rise 2, timeout check 1s, путь /health/core |
infra/haproxy/haproxy.cfg |
| Таймауты LB | connect 1 s, server 10 s, client 30 s; для POST .../attachments server 60 s |
там же |
| S3: соединение, простой | 1 s, 5 s; при скачивании 5 s ограничивают только ожидание начала ответа | src/storage/s3.service.ts |
| S3: вся операция | 20 s | там же |
| S3: проверка готовности | 1 s | там же |
| Приём тела загрузки | 60 s (UPLOAD_BODY_TIMEOUT_MS) |
src/attachments/attachments.service.ts |
| Одновременные загрузки / декодирования | 16 (MAX_CONCURRENT_UPLOADS) / 2 на реплику |
attachments.service.ts, image-validation.ts |
| Остальное | как в lab3: SHUTDOWN_DELAY_MS=3000, stop_grace_period: 10s, БД statement_timeout=5000 |
compose.yaml |
HAProxy, в отличие от nginx, не ограничивает размер тела, поэтому отдельной настройки 10 MiB нет: файл ровно 10 MiB проходит через LB, а 413 формирует API в формате контракта с X-Request-Id и X-Instance-Id.
Перенесено из lab3: весь API, HAProxy, 2 реплики, идемпотентность, graceful shutdown, tombstone при logout, раздельные секреты, migrate, тесты, эксперименты. Изменено: проверка LB и Docker на /health/core; /health/ready учитывает S3; Message содержит настоящие attachment_ids; в хеш идемпотентности входит список вложений; restart.sh перезапускает и s3; testTimeout jest 30 s; .gitattributes с LF.
Соответствие .env.example:
| Переменная | Где используется |
|---|---|
APP_HOST, APP_PORT |
API слушает 0.0.0.0:8080 внутри сети; APP_PORT в .env — опубликованный порт LB на 127.0.0.1 |
APP_ENV |
передаётся в API, поведение не меняет |
SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS |
сроки жизни, по умолчанию 3600 и 86400 |
DATABASE_URL_FILE, CACHE_URL_FILE |
файлы в /run/secrets; в тестах — DATABASE_URL, CACHE_URL |
SESSION_STORE=postgres |
фиксировано: источник истины сессий — PostgreSQL |
API_REPLICAS |
deploy.replicas, по умолчанию 2 |
S3_ENDPOINT, S3_REGION, S3_BUCKET |
в compose.yaml endpoint задан как http://s3:9000, остальные настраиваются |
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE |
файлы в /run/secrets; в тестах — S3_ACCESS_KEY_ID, S3_SECRET_ACCESS_KEY |
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
лимиты загрузки, 10485760 и 40000000 |
RECONCILE_GRACE_SECONDS, RECONCILE_INTERVAL_SECONDS |
параметры сервиса reconciler, 3600 и 300 (добавлены к примеру) |
Доказательства критериев
Файлы собраны docker compose run --rm tools sh scripts/collect-evidence.sh на commit f8e41b1 с чистых volumes; в заголовке каждого .txt — дата и commit, в .json — дата.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test через LB |
PASS: lab4 public API scenario |
evidence/smoke.txt |
| Структура контракта | make check |
PASS: offline skeleton structure |
evidence/smoke.txt |
| 3: минимум lab3 сохранён | smoke, make test-failover, experiment.py, собственные тесты |
одна сессия чередует 2 реплики; failover и идемпотентность проходят | evidence/smoke.txt, evidence/failover.txt, evidence/idempotency.json |
| 3: S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket | docker compose ps, \d attachments, анонимный GET |
сервис s3 с volume; в таблице вложений нет поля байт; анонимный GET объекта 403 |
evidence/container.txt, evidence/attachments.txt §1 |
3: POST → 201 ready после сохранения; скачивание побайтно; Message читается; посторонний без доступа |
make test; attachment-scenario.py §1 |
201 ready, Bob скачал, SHA-256 совпал, text="" с вложением 201; Eve 404 на метаданные и байты |
evidence/attachments.txt §1 |
| 3: реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME по содержимому; опасные filename; лимиты до чтения/декодирования | тесты attachments.e2e-spec.ts |
ровно 10 MiB и ровно 40 млн пикселей 201; 10 MiB + 1 и 8001×5000 413; ../, \, NUL, DEL, U+0085, пробелы — 400 |
evidence/tests.txt |
| 3: остановка обслужившей загрузку реплики → скачивание через другую | attachment-scenario.py §2 для обеих реплик |
по 6 скачиваний через оставшуюся реплику, SHA-256 совпал, остановленная запросов не получала | evidence/attachments.txt §2 |
| 3: restart с сохранением volumes сохраняет метаданные и оригинал | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS с повторным чтением файла; started= сменился у postgres, redis, s3, обеих api, lb |
evidence/persistence.txt |
| 3: failover для обеих реплик | make test-failover |
остановлены разные реплики; 0 ошибок; запись через 3,56–3,58 s; файл прочитан | evidence/failover.txt |
| Защита: на API нет обязательного локального оригинала | поиск файла по размеру на оставшейся реплике; временные каталоги | файла нет; временных каталогов 0 | evidence/attachments.txt §2–3 |
4: слишком большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 |
attachments.e2e-spec.ts, attachment-access.e2e-spec.ts |
413; 11 видов битых PNG и 4 вида битых JPEG 415; подмена в обе стороны 415; неизвестный и другой чат — одинаковый 404 |
evidence/tests.txt |
| 4: прерывание и отказ между S3 и БД не оставляют вечных неучтённых объектов; grace | attachment-scenario.py §3–5, reconcile-demo.sh |
обрыв: 0 новых строк и объектов; реальный отказ БД: 503, объект защищён grace, затем удалён только он; dry-run ничего не меняет; при повторе удалять нечего |
evidence/attachments.txt, evidence/s3.txt |
| 4: лимиты, таймауты, потоковая обработка; ≥10 одновременных загрузок с пиком памяти | upload-experiment.py |
см. «Эксперименты»; максимум VmHWM 163 МиБ при лимите 256 МиБ, OOM нет |
evidence/upload-memory.json |
| 4: bootstrap идемпотентен | двойной запуск s3-init |
оба завершились успешно, bucket ... ready |
evidence/s3.txt |
| 4: отдельные S3 credentials с ограниченными правами | check-s3.sh |
свой bucket разрешён; другой bucket, создание bucket, смена политики, админ-команды запрещены | evidence/s3.txt |
| 4: консоль не открыта; приватность проверена вне API | check-s3.sh |
порт S3 не опубликован, MINIO_BROWSER=off; анонимные GET объекта, листинг и PUT — 403 |
evidence/s3.txt |
| Защита: недоступность S3 | s3-outage.sh stop, pause |
ready, скачивание и загрузка 503 от API за 1–5 s; метаданные 200; текст 201; после восстановления файл цел |
evidence/s3.txt |
| lab3: LB исключает неготовую реплику; лимиты; секреты | pg_hba reject для одной реплики; docker inspect; ls /run/secrets |
live 200, core 503, is DOWN, 10 из 10 запросов через вторую реплику; лимиты у всех контейнеров, включая завершившиеся; у каждого сервиса свои файлы |
evidence/failures.txt §5, evidence/container.txt |
| lab2/3: logout, expiry, отказы Redis и БД | probe.py |
как в lab3 | evidence/failures.txt |
| Собственные тесты | docker compose -f compose.test.yaml run --rm --build tests |
Tests: 163 passed, 163 total |
evidence/tests.txt |
Реальность остановок видна по docker inspect в failover.txt и persistence.txt, а не только по заголовку X-Instance-Id.
Эксперименты и отказы
Одновременные загрузки и пик памяти
Гипотеза. Потоковая запись тела на диск и ограничение числа декодирований не дают памяти реплики расти пропорционально данным в обработке.
Методика. scripts/upload-experiment.py в контейнере tools: для каждого профиля реплики API перезапускаются (чтобы VmHWM относился к этому профилю), затем 3 раунда по N одновременных POST через LB. Память: VmRSS процесса каждые 0,2 s и VmHWM. Стенд: 2 реплики по 0.5 CPU и 256 МиБ, Docker Desktop WSL2, 12 vCPU. Объём данных после эксперимента: 290 вложений, 264 сообщения. Прогрева нет: каждый профиль начинается сразу после готовности реплик. Каждый профиль выполнен один раз.
| Профиль | Запросов | Ответы | Успешных RPS | Доля ошибок | p50 / p95 / p99, s | Простой → пик VmHWM, МиБ (макс. реплика) |
Данных в обработке на реплику, МиБ | Макс. CPU реплики |
|---|---|---|---|---|---|---|---|---|
sample.png 112 КиБ × 10 |
30 | 30 × 201 | 14,83 | 0 | 0,49 / 0,71 / 0,81 | 104 → 118 | 0,6 | 44 % |
| PNG 10 МиБ × 1 | 3 | 3 × 201 | 1,67 | 0 | 0,69 / 0,74 / 0,74 | 105 → 122 | 10 | 25 % |
| PNG 10 МиБ × 10 | 30 | 30 × 201 | 3,13 | 0 | 2,95 / 3,77 / 3,77 | 105 → 144 | 50 | 55 % |
| PNG 10 МиБ × 20 | 60 | 60 × 201 | 3,61 | 0 | 4,45 / 6,51 / 6,59 | 106 → 151 | 100 | 55 % |
| PNG 10 МиБ × 40 | 120 | 96 × 201, 24 × 503 | 3,90 | 0,20 | 7,86 / 8,37 / 8,40 | 104 → 156 | 160 (лимит 16 загрузок) | 53 % |
| PNG 40 МП, 127 КиБ × 10 | 30 | 30 × 201 | 0,34 | 0 | 23,2 / 33,5 / 33,5 | 104 → 163 | 5 файлов, до 2 декодируются | 55 % |
| JPEG 40 МП, 235 КиБ × 10 | 30 | 30 × 201 | 0,35 | 0 | 21,6 / 29,5 / 29,8 | 104 → 163 | 5 файлов, до 2 декодируются | 55 % |
Запросы распределялись между репликами поровну, поэтому на реплику приходится половина одновременных загрузок. Во всех профилях: oom_killed=false, 0 временных каталогов после прогона, SHA-256 в ответах и при контрольном скачивании совпал.
Вывод. В этих пределах гипотеза подтверждена: при росте данных в обработке на реплику с 10 до 160 МиБ пик вырос с 122 до 156 МиБ, то есть на 34 МиБ при 150 МиБ дополнительных данных, и остался ниже лимита 256 МиБ. Узкое место — CPU: реплики упираются в лимит 0.5 CPU, а RPS для файлов 10 МиБ почти не растёт от 10 к 40 загрузкам. Отказы при × 40 совпадают с расчётом: по 20 запросов на реплику при лимите 16 дают 4 отказа на реплику за раунд, всего 24.
Как читать показатели памяти. Основной показатель — RSS процесса. memory.max_usage_in_bytes cgroup в профилях 40 МП и × 40 достигает 256 МиБ, но по устройству этого счётчика в него входит кэш страниц, в том числе временных файлов; OOM при этом нет. docker stats показывает меньше RSS, поэтому не используется как оценка пика. Разброс между запусками: в более ранних прогонах того же сценария (в evidence не сохранены) максимум VmHWM доходил до 174 МиБ.
Ограничения измерения. Закрытая модель нагрузки (раунд ждёт завершения всех запросов), клиент на том же хосте, один прогон. Файлы 40 МП — худший случай по декодированию, но они однородные и хорошо сжимаются; изображение одновременно на 10 МиБ и 40 МП не проверялось. При 5 файлах 40 МП на реплику p99 уже около 33 s; при 16 возможно превышение таймаута LB 60 s и 504.
Устойчивость записи (сценарии lab3)
Методика как в lab3: scripts/experiment.py, 4 потока closed-loop POST сообщений, неудачный запрос повторяется с тем же ключом, окна 5 s до воздействия, 10 s после команды остановки, 5 s после восстановления. Один прогон каждого сценария. Объём данных: 265 → 17 944 сообщений. Ресурсы под нагрузкой: api 44–48 % CPU и 137–180 МиБ, postgres 26 % и 77 МиБ, lb 11 % и 14 МиБ, s3 2 % и 249 МиБ. Потерь и дублей подтверждённых сообщений 0 из 7011 (docker stop), 5365 (docker kill), 5303 (rolling).
| Сценарий, окно | Успешных RPS | Ошибки (доля) | p50 / p95 / p99, ms: до → отказ | Макс. пауза записи |
|---|---|---|---|---|
docker stop api-1: до / отказ / после |
134 / 107 / 155 | 0 / 0 / 0 | 12,7/87,9/101 → 13,7/90,9/99,1 | 0,11 s |
docker stop api-2: до / отказ / после |
155 / 115 / 158 | 0 / 0 / 0 | 11,4/80,2/107 → 12,6/90,6/149 | 0,10 s |
docker kill api-1: до / отказ / после |
158 / 79 / 157 | 0 / 2 (0,24 %) / 0 | 11,3/80,0/117 → 13,4/92,9/1012 | 0,92 s |
docker kill api-2: до / отказ / после |
158 / 64 / 143 | 0 / 2 (0,30 %) / 0 | 11,9/74,7/85,1 → 14,1/95,5/1011 | 0,99 s |
| Rolling update, вся замена (33,7 s) | 128 | 0 | 15,2 / 83,5 / 111 | 0,22 s |
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановка реплики, обслужившей загрузку, для обеих реплик | другая реплика отдаёт файл | 6 из 6 скачиваний через оставшуюся реплику, SHA-256 совпал, локальной копии нет | сразу; потерь нет |
make test-failover ×2, разные реплики |
≤ 10 s, без дублей, файл читается | 0 ошибок, запись через 3,56–3,58 s | PASS |
restart.sh: postgres, redis, s3, api ×2, lb |
данные, файл и токен сохраняются | PASS | потерь нет |
docker compose stop s3 |
вложения 503, остальное работает |
ready 503 за 1,01 s; скачивание 503 за 1,01 s; загрузка 503 за 1,03 s; метаданные 200; текст 201 |
после start ready 200, файл цел |
docker compose pause s3 (S3 завис) |
ответы ограничены таймаутами | ready 503 за 1,01 s; скачивание и загрузка 503 за 5,0 s; текст 201 |
после unpause ready 200, файл цел |
| Обрыв загрузки через LB | ничего не остаётся | строки 7 → 7, объекты 7 → 7, временных каталогов 0 | потерь нет |
PostgreSQL отклоняет INSERT после PUT (триггер RAISE EXCEPTION) |
объект без строки не становится вечным | 503, строки 7 → 7, объекты 7 → 8; grace 3600 s — не удалён; grace 1 s — удалён только он, 7 привязанных не тронуты |
следующая загрузка 201 |
Потеря соединения с PostgreSQL при INSERT (триггер pg_terminate_backend) |
объект не удаляется сразу | 503, строки 8 → 8, объекты 8 → 9; grace 3600 s — не удалён; grace 1 s — удалён только он, 8 привязанных не тронуты |
следующая загрузка 201 |
| Объект создан напрямую в S3, строки нет | dry-run не удаляет, apply удаляет только его | dry-run: orphans: 1, deleted: 0; apply: deleted: 1, referenced: 11; повтор orphans: 0 |
— |
| Сверка во время зависшего S3 | проход прерывается, сервис живёт | в логе reconcile pass aborted, контейнер продолжает работу |
следующий проход штатный |
| Живая реплика без доступа к PostgreSQL | LB исключает её | live 200, core 503, is DOWN, 10 из 10 запросов через вторую реплику |
после возврата доступа снова в ротации |
docker compose stop redis, stop postgres, stop api |
как в lab3 | logout 503 без отзыва; 503 database unavailable; при остановке всех API — LB 503 в формате контракта |
после start работает |
В failures.txt §3 при остановленном PostgreSQL анонимный запрос получает 401 от API: для ответа без токена БД не нужна, а реплики ещё не исключены из LB (≤ 3 s).
Отказ между записью в S3 и PostgreSQL внедрялся реальным триггером на таблице. Случай «COMMIT прошёл, ответ потерян» проверен только тестом с подменой ошибки Prisma: надёжно оборвать соединение точно после COMMIT на стенде не удаётся.
Ограничения и следующие шаги
- Отказ процесса, а не узла. Все контейнеры на одном хосте. LB, PostgreSQL, Redis и S3 — по одному экземпляру, один диск MinIO без репликации: потеря тома
s3dataозначает потерю файлов. - Образ S3. Сторонняя сборка заархивированного проекта; контейнер работает от root. Для учебного стенда с синтетическими данными это приемлемо, для реальной системы потребовалась бы своя сборка или другой S3-сервер.
/health/coreне входит в обязательный контракт; основание и способ отката — в разделе «Критичные зависимости и проверка готовности».- Строка есть, объекта нет. Сверка находит только объекты без строк. Потеря объекта (например, удаление вручную) проявляется как
500при скачивании с записью в логе. Обратная сверка — трек 5.2, не заявлен. - Непривязанные вложения не удаляются. Загруженный файл, на который не сослалось ни одно сообщение, учтён в БД и остаётся навсегда: API удаления нет.
- Строгая проверка изображений.
failOn: 'warning'может отклонить редкий настоящий файл с предупреждением декодера. PNG с более чем 64 КиБ данных послеIENDтоже получит415. - Цена проверки. Полное декодирование 40 МП занимает секунды CPU. Лимит загрузок общий на реплику, а не на пользователя: один пользователь может занять все слоты; rate limiting не реализован.
- Лишние байты после
413. Тело больше лимита отклоняется сразу, но оставшиеся байты дочитываются и отбрасываются, чтобы клиент получил ответ. Память не растёт, трафик ограничен только таймаутами LB. - Медленные клиенты. Приём тела загрузки ограничен 60 s; скачивание обрывается LB, если клиент не читает данные 30 s.
- Права сверки.
reconcilerиспользует того же S3-пользователя, что и API, включаяDeleteObject; отдельная учётная запись не заведена. filename. Запрещены разделители пути, управляющие символы и разделители строк. Символы форматирования Unicode (например, смена направления текста) разрешены, чтобы не отклонять эмодзи с соединителями; имя используется только для отображения.- HTTP без TLS — только для локального стенда (TLS — lab7).
X-Instance-Idраскрывает короткий id контейнера. Grace рассчитан на единые часы одного хоста; на нескольких узлах он должен учитывать расхождение часов. - Подтверждено измерением: файл переживает остановку реплики и restart; память API не растёт пропорционально данным в указанных профилях; отказ S3 не останавливает текстовый чат; сироты удаляются только после grace. Гипотеза, не измерена: стоимость обхода сверкой при большом числе объектов (трек 5.2).
Ответы на вопросы защиты
- Почему файл в Docker volume одной реплики не равен объектному хранилищу? Volume привязан к контейнеру и хосту: другая реплика его не видит, а при остановке реплики файл недоступен. S3 — отдельный общий сервис со своим API и правами, поэтому файл читает любая реплика.
- Когда можно честно вернуть 201? Когда объект подтверждён S3, а метаданные зафиксированы в PostgreSQL.
- Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет? Клиент получит ошибку, объект останется без строки и будет удалён сверкой после grace. Если исход неясен, API объект не удаляет, потому что COMMIT мог пройти.
- Почему случайный object key и приватный bucket не заменяют ACL приложения? Bucket закрывает прямой доступ, но API читает объекты с правами на весь bucket, и участие в чате S3 неизвестно: его проверяет только приложение. Ключ также может утечь, например через логи.