From 9141873b0490a60d9f7e2df5d89917e0cdb7b5f6 Mon Sep 17 00:00:00 2001 From: aegor Date: Thu, 5 Nov 2026 17:45:51 +0300 Subject: [PATCH] docs: add lab4 report and evidence --- REPORT.md | 283 ++++++++++++++++++- evidence/attachments.txt | 76 +++++ evidence/container.txt | 163 +++++++++++ evidence/failover-kill.json | 148 ++++++++++ evidence/failover-stop.json | 150 ++++++++++ evidence/failover.txt | 52 ++++ evidence/failures.txt | 143 ++++++++++ evidence/idempotency.json | 12 + evidence/persistence.txt | 24 ++ evidence/rolling.json | 69 +++++ evidence/s3.txt | 88 ++++++ evidence/smoke.txt | 26 ++ evidence/tests.txt | 300 ++++++++++++++++++++ evidence/upload-memory.json | 536 ++++++++++++++++++++++++++++++++++++ 14 files changed, 2056 insertions(+), 14 deletions(-) create mode 100644 evidence/attachments.txt create mode 100644 evidence/container.txt create mode 100644 evidence/failover-kill.json create mode 100644 evidence/failover-stop.json create mode 100644 evidence/failover.txt create mode 100644 evidence/failures.txt create mode 100644 evidence/idempotency.json create mode 100644 evidence/persistence.txt create mode 100644 evidence/rolling.json create mode 100644 evidence/s3.txt create mode 100644 evidence/smoke.txt create mode 100644 evidence/tests.txt create mode 100644 evidence/upload-memory.json diff --git a/REPORT.md b/REPORT.md index 9ad2b84..f9a3cc1 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,292 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Антонов Егор, БПИ2301 +- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не заявляется +- Commit/PR: ветка `solution/БПИ2301-Antonov`; ссылка на PR — после публикации +- Использованные источники, библиотеки и помощь ИИ: документация S3 API (PutObject, ListObjectsV2, политики), MinIO (`mc`, IAM), HAProxy 3.0 (`http-request set-timeout`, health checks), `sharp`/libvips (`failOn`, `limitInputPixels`, `sequentialRead`), Prisma, Node.js streams. Новые библиотеки: `@aws-sdk/client-s3` 3.700.0, `sharp` 0.33.5; остальные — как в lab3. Перед сдачей просмотрены замечания проверяющих к чужим PR этой лабораторной, и те же сценарии воспроизведены на своём стенде; код из чужих решений не использовался. ИИ-ассистент использовался как парный программист: код, тесты, скрипты экспериментов и текст отчёта по моим решениям с последующим ревью; проверки воспроизведены мной на своём стенде. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +На хосте нужен **только Docker** (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри `tools` — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM. Из свежего `git clone` на commit `f8e41b1` проходят сборка, `make check`, `make test`, `make test-persistence`, `make test-failover`, `check-s3.sh` и собственные тесты. + +| Компонент | Версия | +| --- | --- | +| API runtime | `node:20.17.0-slim` + openssl, NestJS 10 / Fastify, Prisma 6.1.0, `@aws-sdk/client-s3` 3.700.0, `sharp` 0.33.5 | +| Балансировщик | `haproxy:3.0.6-alpine` | +| PostgreSQL | `postgres:17.2-alpine` | +| Redis | `redis:7.4.1-alpine` | +| S3 | `pgsty/minio:RELEASE.2026-08-04T00-00-00Z`, закреплён digest | +| Bootstrap S3 | `pgsty/mc:RELEASE.2026-10-26T00-00-00Z`, закреплён digest | +| secrets-init | `alpine:3.20.3` | +| tools (проверки) | `docker:27.3.1-cli` + python3, make, git | + +```sh +# 1. Запуск: secrets-init → postgres, redis, s3 → s3-init, migrate (один раз) → api ×2, reconciler → lb; ждёт healthcheck +docker compose up -d --build --wait + +# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080) +docker compose run --rm --build tools make check +docker compose run --rm tools make test +docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh +docker compose up -d --wait +docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh +docker compose up -d --wait + +# 3. Проверки вложений и эксперименты уровня 4 +docker compose run --rm tools sh scripts/check-s3.sh # приватность bucket и права пользователя API +docker compose run --rm tools python3 scripts/attachment-scenario.py # защита, отказ реплики, обрыв, отказы БД +docker compose run --rm tools sh scripts/s3-outage.sh stop # отказ S3: stop или pause +docker compose run --rm tools sh scripts/reconcile-demo.sh # сверка: grace, dry-run, apply +docker compose run --rm tools python3 scripts/upload-experiment.py # загрузки и пик памяти + +# Эксперименты lab3 сохранены +docker compose run --rm tools python3 scripts/experiment.py idempotency +docker compose run --rm tools python3 scripts/experiment.py failover +docker compose run --rm tools python3 scripts/experiment.py failover --kill + +# 4. Собственные тесты: отдельные postgres, s3 (tmpfs) и redis +docker compose -f compose.test.yaml run --rm --build tests +docker compose -f compose.test.yaml down -v + +# 5. Все доказательства в evidence/ одной командой (~15 минут) +docker compose run --rm tools sh scripts/collect-evidence.sh + +# Безопасная остановка (данные и секреты сохраняются) +docker compose stop # или: docker compose down +# Намеренное удаление учебных данных и сгенерированных секретов +docker compose down -v +``` + +- **Обновление работающего стенда.** `docker compose up` не пересоздаёт контейнер при изменении содержимого примонтированного `infra/haproxy/haproxy.cfg`. После изменения конфигурации LB: `docker compose up -d --force-recreate --no-deps lb`. Из чистого clone это не требуется. +- **`.env` необязателен**: в `compose.yaml` те же значения по умолчанию. Для своих: `cp .env.example .env`, затем `docker compose --env-file .env up -d --build --wait`. +- **Секреты** создаёт one-shot сервис `secrets-init` в именованном volume `secrets`, раздельно по сервисам (`volume.subpath`): пароли PostgreSQL и Redis, root-ключи S3, отдельные ключи S3 для API. Действий оператора не требуется; секреты не попадают в Git, образы, логи и evidence. +- **Наружу опубликован только LB** на `127.0.0.1:8080`. API, PostgreSQL, Redis и S3 доступны только во внутренней сети compose. +- **Swagger UI**: http://localhost:8080/docs — обязательный контракт `contracts/openapi.json` 1.4.0 без изменений. Служебное расширение описано отдельно: [contracts/extensions.openapi.json](contracts/extensions.openapi.json). ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` +client ──HTTP──▶ lb (HAProxy, 127.0.0.1:8080) ──round robin, без sticky──▶ api ×2 (без опубликованных портов) + │ проверка GET /health/core каждые 1 s │ + │ адреса реплик — Docker DNS ├──SQL──▶ postgres (метаданные) ── volume pgdata + ├──кэш сессий──▶ redis + └──S3 API──▶ s3 (байты, приватный bucket) ── volume s3data + ▲ +reconciler (раз в 5 минут): листинг S3 + сверка с PostgreSQL, удаление сирот ───────────────┘ +s3-init (один раз): bucket, запрет анонимного доступа, политика и пользователь API +secrets-init ──▶ volume secrets: postgres/ redis/ s3/ s3-init/ api/ migrate/ reconciler/ (каждому сервису — свой подкаталог, ro) +``` + +| Роль | Service | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты | +| --- | --- | --- | --- | --- | --- | --- | +| Балансировщик | `lb` | проверяет backends сам | — | `127.0.0.1:8080` | — | 0.25 CPU, 64M | +| API ×2 | `api` | HAProxy и Docker: `/health/core`; контрактный `/health/ready` | — (stateless) | внутренняя, 8080 | `secrets/api`: БД, кэш, ключи S3 пользователя API | 0.5 CPU, 256M каждая | +| БД | `postgres` | `pg_isready` | `pgdata` | внутренняя | `secrets/postgres` | 1 CPU, 512M | +| Кэш сессий | `redis` | `redis-cli ping` | — | внутренняя | `secrets/redis` | 0.25 CPU, 128M | +| S3 | `s3` | `/minio/health/live` | `s3data` | внутренняя, 9000; консоль выключена (`MINIO_BROWSER=off`) | `secrets/s3`: root-ключи | 0.5 CPU, 512M | +| Bootstrap S3 | `s3-init` | exit 0 | — | внутренняя | `secrets/s3-init`: root-ключи и ключи API | 0.25 CPU, 256M | +| Сверка | `reconciler` | healthcheck отключён, отчёт JSON в лог | — | внутренняя | `secrets/reconciler`: БД, ключи S3 пользователя API | 0.25 CPU, 128M | +| Миграции | `migrate` | exit 0 | — | внутренняя | `secrets/migrate` | 0.5 CPU, 512M | +| Bootstrap секретов | `secrets-init` | exit 0 | `secrets` | — | генерирует | 0.1 CPU, 32M | + +**Выбор S3.** Выбран MinIO. Официальные образы и бинарные файлы больше не раздаются: `minio/minio` и `quay.io/minio/*` не скачиваются, `dl.min.io` отвечает `410 Gone` с сообщением, что open source проект заархивирован (проверено 2026-11-05). Поэтому используется сторонняя сборка `pgsty/minio` + `pgsty/mc`, версии закреплены тегом и digest. Приложение работает по протоколу S3 и не зависит от конкретного сервера. + +**Bucket и права** (`s3-init` в `compose.yaml`). Запуск идемпотентен: `mc mb --ignore-existing`, `mc anonymous set none`, политика `messenger-api` перезаписывается, пользователь и привязка политики обновляются. Пользователь API получает только `ListBucket`, `GetBucketLocation`, `ListBucketMultipartUploads` на bucket и `GetObject`, `PutObject`, `DeleteObject`, `AbortMultipartUpload`, `ListMultipartUploadParts` на его объекты. Root-ключи есть только у `s3` и `s3-init`. + +**Модель данных** (миграция `20261105000000_attachments`). +- `attachments`: чат, владелец, `filename`, `content_type`, `size_bytes`, `sha256`, `object_key`, время. CHECK дублируют проверки API: допустимые MIME, размер 1–10 485 760, формат SHA-256. +- `message_attachments`: сообщение, `position` 0–9, вложение. PK `(message_id, position)`, уникальность `(message_id, attachment_id)`. Порядок `attachment_ids` хранится явно, поэтому POST, история и повтор возвращают один и тот же список. +- Object key назначает сервер: `attachments/`. `filename` используется только для отображения и в заголовке `Content-Disposition`. +- Отдельного статуса нет: в lab4 строка существует только у готового вложения. `status: ready`, `variants: []`, `error_code: null` формируются в ответе; состояния появятся миграцией в lab5. + +**Загрузка** (`src/attachments/`). Порядок проверок: +1. Токен → доступ к чату → `filename` → `Content-Type` → `Content-Length`. До этого тело не читается: хук `onRequest` на этом маршруте заменяет разбор тела сквозной передачей потока, поэтому аноним всегда получает `401`, посторонний `404`, а не ошибку формата. +2. Лимит 16 одновременных загрузок на реплику, сверх него `503`. +3. Тело пишется потоком во временный файл с учётом backpressure, одновременно считается SHA-256; при превышении 10 MiB — `413`, дедлайн на приём тела 60 s. Каталог удаляется в `finally`, остатки после аварийного падения — при старте процесса. +4. Сигнатура файла и совпадение с `Content-Type`; для PNG — наличие `IEND` в конце файла. Несовпадение → `415`. +5. `sharp.metadata()` читает размеры без декодирования: больше 40 млн пикселей → `413`. +6. Полное декодирование `sharp(... { failOn: 'warning', sequentialRead: true, limitInputPixels }).stats()`, не более 2 одновременно на реплику. Ошибка → `415`. +7. PUT файла в S3 с `ChecksumSHA256`: MinIO сам сверяет контрольную сумму. +8. INSERT метаданных и ответ `201`. + +Способ декодирования выбран разовым замером на PNG 8000×5000 при 0.5 CPU (в evidence не сохранён): `stats()` — пик 85 МиБ, 3,3 s; `raw().toBuffer()` — 184 МиБ, 0,1 s; `resize(1,1)` — 459 МиБ, 0,5 s. Выигрыш по памяти важнее скорости при лимите реплики 256 МиБ. Режим `failOn: 'warning'` выбран потому, что `error` и `truncated` пропускают JPEG с испорченными данными скана. + +**Когда возвращается 201.** Только после подтверждения записи объекта в S3 и успешного INSERT. На API не остаётся копии: временный файл удаляется, байты читаются только из S3. + +**Скачивание.** Метаданные и `/content` ищут вложение одним запросом с условием членства в чате, поэтому посторонний и неизвестный ID неразличимы (`404`). Байты передаются потоком через API, без redirect, с истинным `Content-Type`, `Content-Length`, `X-Content-Type-Options: nosniff`. `variant`: отсутствует или `original` — файл; `thumbnail`, `crop`, `optimized` — `404`; прочее, пустое или повторённое — `400`. + +**Идемпотентность с вложениями.** В хеш запроса входит список ID в заданном порядке после приведения к нижнему регистру: отсутствующий `attachment_ids` и `[]` равны, перестановка при том же ключе — `409`. Доступ к чату и принадлежность вложений чату проверяются при каждом запросе, в том числе при повторе. + +**Согласованность S3 и PostgreSQL.** Распределённой транзакции нет. Порядок записи: сначала S3, потом БД, поэтому объект без строки возможен, а видимая строка без объекта при нормальной работе — нет. + +| Сбой | Что происходит | Итог | +| --- | --- | --- | +| Обрыв клиента или лимит до PUT | до S3 ничего не дошло | временный файл удалён | +| Отказ PUT | одиночный PUT с известной длиной, multipart не используется | `503`, строки нет | +| Явный отказ БД (известный код Prisma: ограничение, внешний ключ) | запись точно не состоялась | объект удаляется сразу, ответ `500` | +| Неясный исход (потеря соединения, необработанная ошибка БД) | COMMIT мог пройти, поэтому API объект **не удаляет** | `503`; повтор создаст новое вложение; решает сверка | +| Падение API между PUT и INSERT | объект без строки | решает сверка | +| Отказ удаления при сверке | учитывается в `failed` | объект остаётся, следующий проход повторит | + +**Сверка** (`src/attachments/reconciler.ts`, сервис `reconciler`). Каждые 5 минут постранично обходит префикс `attachments/`. Объект считается сиротой, только если он старше grace period (1 час, по `LastModified`) и в момент проверки на него нет строки. Grace намного больше максимального времени загрузки (приём 60 s + PUT 20 s), поэтому загрузка в процессе не считается сиротой. Запуск без `--apply` — dry-run, хранилища не меняются. При отказе PostgreSQL проход прерывается до удалений. Каждый проход пишет JSON-отчёт в лог. Ручной запуск: `docker compose run --rm --no-deps reconciler node dist/reconcile.js [--apply] [--grace-seconds=N]`. + +### Критичные зависимости и проверка готовности + +Контракт требует фиксировать критичные зависимости в отчёте ([contracts/README.md](contracts/README.md)): + +| Endpoint | Что проверяет | Кто использует | +| --- | --- | --- | +| `/health/live` | жизнь процесса | контракт | +| `/health/ready` | остановка процесса, PostgreSQL, S3 (`HeadBucket`, таймаут 1 s) | контракт: клиенты и оператор | +| `/health/core` | остановка процесса, PostgreSQL | HAProxy и Docker healthcheck | + +**Почему HAProxy проверяет не `/health/ready`.** S3 один и общий для всех реплик. Если бы LB проверял `/health/ready`, падение S3 одновременно вывело бы из балансировки все исправные реплики: перестали бы работать вход, история и текстовые сообщения, которым S3 не нужен, а клиент получал бы `503` от LB без `X-Instance-Id`. Исключение реплики имеет смысл, когда другая реплика может обслужить запрос; при отказе общего S3 такой реплики нет. Поэтому `/health/ready` честно сообщает о неполной готовности (`503`), а бизнес-запросы продолжают обслуживаться; недоступны только вложения. Это проверено: при остановленном S3 текстовое сообщение получает `201` ([evidence/s3.txt](evidence/s3.txt)). + +**Основание и статус решения.** `/health/core` — дополнение, не описанное в обязательном контракте. Отдельного разрешения именно на служебный health-путь в материалах курса нет; решение опирается на общее правило `COURSE.md`: новые возможности добавляются обратно совместимо, в отдельном `contracts/extensions.openapi.json` или документе. Расширение описано в [contracts/extensions.openapi.json](contracts/extensions.openapi.json), обязательные endpoint не изменены. Требование `backend_readiness` из `contracts/infrastructure.json` выполняется по смыслу: LB активно проверяет готовность каждой реплики и исключает неготовую, что показано сценарием с закрытым доступом к БД ([evidence/failures.txt](evidence/failures.txt) §5). Если проверяющий требует проверки именно через `/health/ready`, возврат — две строки (`infra/haproxy/haproxy.cfg`, `Dockerfile`) ценой остановки всего чата при падении S3. + +**Ограничение решения.** Реплика, потерявшая связь только с S3 при рабочем S3 у других, из LB не исключается и отвечает `503` на запросы вложений. Такой частичный отказ не проверялся. + +Redis не критичен: как и в lab3, вход и бизнес-запросы идут через PostgreSQL, при недоступном Redis отвечает `503` только logout. + +**Таймауты** (согласованы между собой): + +| Параметр | Значение | Где | +| --- | --- | --- | +| Проверка backend | `inter 1s`, `fall 2`, `rise 2`, `timeout check 1s`, путь `/health/core` | `infra/haproxy/haproxy.cfg` | +| Таймауты LB | connect 1 s, server 10 s, client 30 s; для `POST .../attachments` server 60 s | там же | +| S3: соединение, простой | 1 s, 5 s; при скачивании 5 s ограничивают только ожидание начала ответа | `src/storage/s3.service.ts` | +| S3: вся операция | 20 s | там же | +| S3: проверка готовности | 1 s | там же | +| Приём тела загрузки | 60 s (`UPLOAD_BODY_TIMEOUT_MS`) | `src/attachments/attachments.service.ts` | +| Одновременные загрузки / декодирования | 16 (`MAX_CONCURRENT_UPLOADS`) / 2 на реплику | `attachments.service.ts`, `image-validation.ts` | +| Остальное | как в lab3: `SHUTDOWN_DELAY_MS=3000`, `stop_grace_period: 10s`, БД `statement_timeout=5000` | `compose.yaml` | + +HAProxy, в отличие от nginx, не ограничивает размер тела, поэтому отдельной настройки 10 MiB нет: файл ровно 10 MiB проходит через LB, а `413` формирует API в формате контракта с `X-Request-Id` и `X-Instance-Id`. + +**Перенесено из lab3:** весь API, HAProxy, 2 реплики, идемпотентность, graceful shutdown, tombstone при logout, раздельные секреты, `migrate`, тесты, эксперименты. **Изменено:** проверка LB и Docker на `/health/core`; `/health/ready` учитывает S3; `Message` содержит настоящие `attachment_ids`; в хеш идемпотентности входит список вложений; `restart.sh` перезапускает и `s3`; `testTimeout` jest 30 s; `.gitattributes` с LF. + +**Соответствие `.env.example`:** + +| Переменная | Где используется | +| --- | --- | +| `APP_HOST`, `APP_PORT` | API слушает `0.0.0.0:8080` внутри сети; `APP_PORT` в `.env` — опубликованный порт LB на `127.0.0.1` | +| `APP_ENV` | передаётся в API, поведение не меняет | +| `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS` | сроки жизни, по умолчанию 3600 и 86400 | +| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | файлы в `/run/secrets`; в тестах — `DATABASE_URL`, `CACHE_URL` | +| `SESSION_STORE=postgres` | фиксировано: источник истины сессий — PostgreSQL | +| `API_REPLICAS` | `deploy.replicas`, по умолчанию 2 | +| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | в `compose.yaml` endpoint задан как `http://s3:9000`, остальные настраиваются | +| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | файлы в `/run/secrets`; в тестах — `S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY` | +| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | лимиты загрузки, 10485760 и 40000000 | +| `RECONCILE_GRACE_SECONDS`, `RECONCILE_INTERVAL_SECONDS` | параметры сервиса `reconciler`, 3600 и 300 (добавлены к примеру) | ## Доказательства критериев +Файлы собраны `docker compose run --rm tools sh scripts/collect-evidence.sh` на commit `f8e41b1` с чистых volumes; в заголовке каждого `.txt` — дата и commit, в `.json` — дата. + | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Публичный smoke | `make test` через LB | `PASS: lab4 public API scenario` | [evidence/smoke.txt](evidence/smoke.txt) | +| Структура контракта | `make check` | `PASS: offline skeleton structure` | [evidence/smoke.txt](evidence/smoke.txt) | +| **3**: минимум lab3 сохранён | smoke, `make test-failover`, `experiment.py`, собственные тесты | одна сессия чередует 2 реплики; failover и идемпотентность проходят | [evidence/smoke.txt](evidence/smoke.txt), [evidence/failover.txt](evidence/failover.txt), [evidence/idempotency.json](evidence/idempotency.json) | +| **3**: S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket | `docker compose ps`, `\d attachments`, анонимный GET | сервис `s3` с volume; в таблице вложений нет поля байт; анонимный GET объекта `403` | [evidence/container.txt](evidence/container.txt), [evidence/attachments.txt](evidence/attachments.txt) §1 | +| **3**: POST → `201 ready` после сохранения; скачивание побайтно; Message читается; посторонний без доступа | `make test`; `attachment-scenario.py` §1 | `201 ready`, Bob скачал, SHA-256 совпал, `text=""` с вложением `201`; Eve `404` на метаданные и байты | [evidence/attachments.txt](evidence/attachments.txt) §1 | +| **3**: реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME по содержимому; опасные filename; лимиты до чтения/декодирования | тесты `attachments.e2e-spec.ts` | ровно 10 MiB и ровно 40 млн пикселей `201`; 10 MiB + 1 и 8001×5000 `413`; `../`, `\`, NUL, DEL, U+0085, пробелы — `400` | [evidence/tests.txt](evidence/tests.txt) | +| **3**: остановка обслужившей загрузку реплики → скачивание через другую | `attachment-scenario.py` §2 для обеих реплик | по 6 скачиваний через оставшуюся реплику, SHA-256 совпал, остановленная запросов не получала | [evidence/attachments.txt](evidence/attachments.txt) §2 | +| **3**: restart с сохранением volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS с повторным чтением файла; `started=` сменился у postgres, redis, s3, обеих api, lb | [evidence/persistence.txt](evidence/persistence.txt) | +| **3**: failover для обеих реплик | `make test-failover` | остановлены разные реплики; 0 ошибок; запись через 3,56–3,58 s; файл прочитан | [evidence/failover.txt](evidence/failover.txt) | +| Защита: на API нет обязательного локального оригинала | поиск файла по размеру на оставшейся реплике; временные каталоги | файла нет; временных каталогов 0 | [evidence/attachments.txt](evidence/attachments.txt) §2–3 | +| **4**: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, файл другого чата; нет 500 | `attachments.e2e-spec.ts`, `attachment-access.e2e-spec.ts` | `413`; 11 видов битых PNG и 4 вида битых JPEG `415`; подмена в обе стороны `415`; неизвестный и другой чат — одинаковый `404` | [evidence/tests.txt](evidence/tests.txt) | +| **4**: прерывание и отказ между S3 и БД не оставляют вечных неучтённых объектов; grace | `attachment-scenario.py` §3–5, `reconcile-demo.sh` | обрыв: 0 новых строк и объектов; реальный отказ БД: `503`, объект защищён grace, затем удалён только он; dry-run ничего не меняет; при повторе удалять нечего | [evidence/attachments.txt](evidence/attachments.txt), [evidence/s3.txt](evidence/s3.txt) | +| **4**: лимиты, таймауты, потоковая обработка; ≥10 одновременных загрузок с пиком памяти | `upload-experiment.py` | см. «Эксперименты»; максимум `VmHWM` 163 МиБ при лимите 256 МиБ, OOM нет | [evidence/upload-memory.json](evidence/upload-memory.json) | +| **4**: bootstrap идемпотентен | двойной запуск `s3-init` | оба завершились успешно, `bucket ... ready` | [evidence/s3.txt](evidence/s3.txt) | +| **4**: отдельные S3 credentials с ограниченными правами | `check-s3.sh` | свой bucket разрешён; другой bucket, создание bucket, смена политики, админ-команды запрещены | [evidence/s3.txt](evidence/s3.txt) | +| **4**: консоль не открыта; приватность проверена вне API | `check-s3.sh` | порт S3 не опубликован, `MINIO_BROWSER=off`; анонимные GET объекта, листинг и PUT — `403` | [evidence/s3.txt](evidence/s3.txt) | +| Защита: недоступность S3 | `s3-outage.sh stop`, `pause` | `ready`, скачивание и загрузка `503` от API за 1–5 s; метаданные `200`; текст `201`; после восстановления файл цел | [evidence/s3.txt](evidence/s3.txt) | +| lab3: LB исключает неготовую реплику; лимиты; секреты | `pg_hba reject` для одной реплики; `docker inspect`; `ls /run/secrets` | `live 200`, `core 503`, `is DOWN`, 10 из 10 запросов через вторую реплику; лимиты у всех контейнеров, включая завершившиеся; у каждого сервиса свои файлы | [evidence/failures.txt](evidence/failures.txt) §5, [evidence/container.txt](evidence/container.txt) | +| lab2/3: logout, expiry, отказы Redis и БД | `probe.py` | как в lab3 | [evidence/failures.txt](evidence/failures.txt) | +| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | `Tests: 163 passed, 163 total` | [evidence/tests.txt](evidence/tests.txt) | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Реальность остановок видна по `docker inspect` в `failover.txt` и `persistence.txt`, а не только по заголовку `X-Instance-Id`. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +### Одновременные загрузки и пик памяти + +**Гипотеза.** Потоковая запись тела на диск и ограничение числа декодирований не дают памяти реплики расти пропорционально данным в обработке. + +**Методика.** `scripts/upload-experiment.py` в контейнере `tools`: для каждого профиля реплики API перезапускаются (чтобы `VmHWM` относился к этому профилю), затем 3 раунда по N одновременных POST через LB. Память: `VmRSS` процесса каждые 0,2 s и `VmHWM`. Стенд: 2 реплики по 0.5 CPU и 256 МиБ, Docker Desktop WSL2, 12 vCPU. Объём данных после эксперимента: 290 вложений, 264 сообщения. Прогрева нет: каждый профиль начинается сразу после готовности реплик. Каждый профиль выполнен один раз. + +| Профиль | Запросов | Ответы | Успешных RPS | Доля ошибок | p50 / p95 / p99, s | Простой → пик `VmHWM`, МиБ (макс. реплика) | Данных в обработке на реплику, МиБ | Макс. CPU реплики | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| `sample.png` 112 КиБ × 10 | 30 | 30 × 201 | 14,83 | 0 | 0,49 / 0,71 / 0,81 | 104 → 118 | 0,6 | 44 % | +| PNG 10 МиБ × 1 | 3 | 3 × 201 | 1,67 | 0 | 0,69 / 0,74 / 0,74 | 105 → 122 | 10 | 25 % | +| PNG 10 МиБ × 10 | 30 | 30 × 201 | 3,13 | 0 | 2,95 / 3,77 / 3,77 | 105 → 144 | 50 | 55 % | +| PNG 10 МиБ × 20 | 60 | 60 × 201 | 3,61 | 0 | 4,45 / 6,51 / 6,59 | 106 → 151 | 100 | 55 % | +| PNG 10 МиБ × 40 | 120 | 96 × 201, 24 × 503 | 3,90 | 0,20 | 7,86 / 8,37 / 8,40 | 104 → 156 | 160 (лимит 16 загрузок) | 53 % | +| PNG 40 МП, 127 КиБ × 10 | 30 | 30 × 201 | 0,34 | 0 | 23,2 / 33,5 / 33,5 | 104 → 163 | 5 файлов, до 2 декодируются | 55 % | +| JPEG 40 МП, 235 КиБ × 10 | 30 | 30 × 201 | 0,35 | 0 | 21,6 / 29,5 / 29,8 | 104 → 163 | 5 файлов, до 2 декодируются | 55 % | + +Запросы распределялись между репликами поровну, поэтому на реплику приходится половина одновременных загрузок. Во всех профилях: `oom_killed=false`, 0 временных каталогов после прогона, SHA-256 в ответах и при контрольном скачивании совпал. + +**Вывод.** В этих пределах гипотеза подтверждена: при росте данных в обработке на реплику с 10 до 160 МиБ пик вырос с 122 до 156 МиБ, то есть на 34 МиБ при 150 МиБ дополнительных данных, и остался ниже лимита 256 МиБ. Узкое место — CPU: реплики упираются в лимит 0.5 CPU, а RPS для файлов 10 МиБ почти не растёт от 10 к 40 загрузкам. Отказы при × 40 совпадают с расчётом: по 20 запросов на реплику при лимите 16 дают 4 отказа на реплику за раунд, всего 24. + +**Как читать показатели памяти.** Основной показатель — RSS процесса. `memory.max_usage_in_bytes` cgroup в профилях 40 МП и × 40 достигает 256 МиБ, но по устройству этого счётчика в него входит кэш страниц, в том числе временных файлов; OOM при этом нет. `docker stats` показывает меньше RSS, поэтому не используется как оценка пика. Разброс между запусками: в более ранних прогонах того же сценария (в evidence не сохранены) максимум `VmHWM` доходил до 174 МиБ. + +**Ограничения измерения.** Закрытая модель нагрузки (раунд ждёт завершения всех запросов), клиент на том же хосте, один прогон. Файлы 40 МП — худший случай по декодированию, но они однородные и хорошо сжимаются; изображение одновременно на 10 МиБ и 40 МП не проверялось. При 5 файлах 40 МП на реплику p99 уже около 33 s; при 16 возможно превышение таймаута LB 60 s и `504`. + +### Устойчивость записи (сценарии lab3) + +Методика как в lab3: `scripts/experiment.py`, 4 потока closed-loop `POST` сообщений, неудачный запрос повторяется с тем же ключом, окна 5 s до воздействия, 10 s после команды остановки, 5 s после восстановления. Один прогон каждого сценария. Объём данных: 265 → 17 944 сообщений. Ресурсы под нагрузкой: api 44–48 % CPU и 137–180 МиБ, postgres 26 % и 77 МиБ, lb 11 % и 14 МиБ, s3 2 % и 249 МиБ. Потерь и дублей подтверждённых сообщений 0 из 7011 (`docker stop`), 5365 (`docker kill`), 5303 (rolling). + +| Сценарий, окно | Успешных RPS | Ошибки (доля) | p50 / p95 / p99, ms: до → отказ | Макс. пауза записи | +| --- | --- | --- | --- | --- | +| `docker stop` api-1: до / отказ / после | 134 / 107 / 155 | 0 / 0 / 0 | 12,7/87,9/101 → 13,7/90,9/99,1 | 0,11 s | +| `docker stop` api-2: до / отказ / после | 155 / 115 / 158 | 0 / 0 / 0 | 11,4/80,2/107 → 12,6/90,6/149 | 0,10 s | +| `docker kill` api-1: до / отказ / после | 158 / 79 / 157 | 0 / 2 (0,24 %) / 0 | 11,3/80,0/117 → 13,4/92,9/1012 | 0,92 s | +| `docker kill` api-2: до / отказ / после | 158 / 64 / 143 | 0 / 2 (0,30 %) / 0 | 11,9/74,7/85,1 → 14,1/95,5/1011 | 0,99 s | +| Rolling update, вся замена (33,7 s) | 128 | 0 | 15,2 / 83,5 / 111 | 0,22 s | + +### Отказы | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Остановка реплики, обслужившей загрузку, для обеих реплик | другая реплика отдаёт файл | 6 из 6 скачиваний через оставшуюся реплику, SHA-256 совпал, локальной копии нет | сразу; потерь нет | +| `make test-failover` ×2, разные реплики | ≤ 10 s, без дублей, файл читается | 0 ошибок, запись через 3,56–3,58 s | PASS | +| `restart.sh`: postgres, redis, s3, api ×2, lb | данные, файл и токен сохраняются | PASS | потерь нет | +| `docker compose stop s3` | вложения `503`, остальное работает | `ready` `503` за 1,01 s; скачивание `503` за 1,01 s; загрузка `503` за 1,03 s; метаданные `200`; текст `201` | после `start` `ready 200`, файл цел | +| `docker compose pause s3` (S3 завис) | ответы ограничены таймаутами | `ready` `503` за 1,01 s; скачивание и загрузка `503` за 5,0 s; текст `201` | после `unpause` `ready 200`, файл цел | +| Обрыв загрузки через LB | ничего не остаётся | строки 7 → 7, объекты 7 → 7, временных каталогов 0 | потерь нет | +| PostgreSQL отклоняет INSERT после PUT (триггер `RAISE EXCEPTION`) | объект без строки не становится вечным | `503`, строки 7 → 7, объекты 7 → 8; grace 3600 s — не удалён; grace 1 s — удалён только он, 7 привязанных не тронуты | следующая загрузка `201` | +| Потеря соединения с PostgreSQL при INSERT (триггер `pg_terminate_backend`) | объект не удаляется сразу | `503`, строки 8 → 8, объекты 8 → 9; grace 3600 s — не удалён; grace 1 s — удалён только он, 8 привязанных не тронуты | следующая загрузка `201` | +| Объект создан напрямую в S3, строки нет | dry-run не удаляет, apply удаляет только его | dry-run: `orphans: 1, deleted: 0`; apply: `deleted: 1`, `referenced: 11`; повтор `orphans: 0` | — | +| Сверка во время зависшего S3 | проход прерывается, сервис живёт | в логе `reconcile pass aborted`, контейнер продолжает работу | следующий проход штатный | +| Живая реплика без доступа к PostgreSQL | LB исключает её | `live 200`, `core 503`, `is DOWN`, 10 из 10 запросов через вторую реплику | после возврата доступа снова в ротации | +| `docker compose stop redis`, `stop postgres`, `stop api` | как в lab3 | logout `503` без отзыва; `503 database unavailable`; при остановке всех API — LB `503` в формате контракта | после `start` работает | + +В `failures.txt` §3 при остановленном PostgreSQL анонимный запрос получает `401` от API: для ответа без токена БД не нужна, а реплики ещё не исключены из LB (≤ 3 s). + +Отказ между записью в S3 и PostgreSQL внедрялся реальным триггером на таблице. Случай «COMMIT прошёл, ответ потерян» проверен только тестом с подменой ошибки Prisma: надёжно оборвать соединение точно после COMMIT на стенде не удаётся. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- **Отказ процесса, а не узла.** Все контейнеры на одном хосте. LB, PostgreSQL, Redis и S3 — по одному экземпляру, один диск MinIO без репликации: потеря тома `s3data` означает потерю файлов. +- **Образ S3.** Сторонняя сборка заархивированного проекта; контейнер работает от root. Для учебного стенда с синтетическими данными это приемлемо, для реальной системы потребовалась бы своя сборка или другой S3-сервер. +- **`/health/core`** не входит в обязательный контракт; основание и способ отката — в разделе «Критичные зависимости и проверка готовности». +- **Строка есть, объекта нет.** Сверка находит только объекты без строк. Потеря объекта (например, удаление вручную) проявляется как `500` при скачивании с записью в логе. Обратная сверка — трек 5.2, не заявлен. +- **Непривязанные вложения не удаляются.** Загруженный файл, на который не сослалось ни одно сообщение, учтён в БД и остаётся навсегда: API удаления нет. +- **Строгая проверка изображений.** `failOn: 'warning'` может отклонить редкий настоящий файл с предупреждением декодера. PNG с более чем 64 КиБ данных после `IEND` тоже получит `415`. +- **Цена проверки.** Полное декодирование 40 МП занимает секунды CPU. Лимит загрузок общий на реплику, а не на пользователя: один пользователь может занять все слоты; rate limiting не реализован. +- **Лишние байты после `413`.** Тело больше лимита отклоняется сразу, но оставшиеся байты дочитываются и отбрасываются, чтобы клиент получил ответ. Память не растёт, трафик ограничен только таймаутами LB. +- **Медленные клиенты.** Приём тела загрузки ограничен 60 s; скачивание обрывается LB, если клиент не читает данные 30 s. +- **Права сверки.** `reconciler` использует того же S3-пользователя, что и API, включая `DeleteObject`; отдельная учётная запись не заведена. +- **`filename`.** Запрещены разделители пути, управляющие символы и разделители строк. Символы форматирования Unicode (например, смена направления текста) разрешены, чтобы не отклонять эмодзи с соединителями; имя используется только для отображения. +- HTTP без TLS — только для локального стенда (TLS — lab7). `X-Instance-Id` раскрывает короткий id контейнера. Grace рассчитан на единые часы одного хоста; на нескольких узлах он должен учитывать расхождение часов. +- **Подтверждено измерением:** файл переживает остановку реплики и restart; память API не растёт пропорционально данным в указанных профилях; отказ S3 не останавливает текстовый чат; сироты удаляются только после grace. **Гипотеза, не измерена:** стоимость обхода сверкой при большом числе объектов (трек 5.2). + +## Ответы на вопросы защиты + +- **Почему файл в Docker volume одной реплики не равен объектному хранилищу?** Volume привязан к контейнеру и хосту: другая реплика его не видит, а при остановке реплики файл недоступен. S3 — отдельный общий сервис со своим API и правами, поэтому файл читает любая реплика. +- **Когда можно честно вернуть 201?** Когда объект подтверждён S3, а метаданные зафиксированы в PostgreSQL. +- **Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?** Клиент получит ошибку, объект останется без строки и будет удалён сверкой после grace. Если исход неясен, API объект не удаляет, потому что COMMIT мог пройти. +- **Почему случайный object key и приватный bucket не заменяют ACL приложения?** Bucket закрывает прямой доступ, но API читает объекты с правами на весь bucket, и участие в чате S3 неизвестно: его проверяет только приложение. Ключ также может утечь, например через логи. diff --git a/evidence/attachments.txt b/evidence/attachments.txt new file mode 100644 index 0000000..25bc61f --- /dev/null +++ b/evidence/attachments.txt @@ -0,0 +1,76 @@ +# Вложения: сценарий защиты, остановка загрузившей реплики, прерванная загрузка, отказ между S3 и БД +# date: 2026-11-05T13:59:24Z +# commit: f8e41b1 + +$ python3 scripts/attachment-scenario.py + +## 1. Сценарий защиты: загрузка, сообщение, второй участник, посторонний, S3 мимо API +POST /attachments -> 201 status=ready variants=[] error_code=None sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +POST /messages text="" -> 201 attachment_ids совпадают: True +Bob GET /content -> 200 image/png sha256 совпадает: True +Eve GET /attachments/{id} -> 404 +Eve GET /attachments/{id}/content -> 404 +object_key в БД: attachments/, filename в ключ не входит: True +Анонимный GET объекта напрямую в S3 -> 403 + +## 2. Остановка реплики, обслужившей загрузку; скачивание через другую +upload -> 201, обслужила реплика 0900a35b199d +stop-one.sh: /messenger-lab4-api-2 exited finished=2026-11-05T13:59:28.482320827Z +download -> 200 реплика=bb4424f819bb sha256 совпадает: True +download -> 200 реплика=bb4424f819bb sha256 совпадает: True +download -> 200 реплика=bb4424f819bb sha256 совпадает: True +download -> 200 реплика=bb4424f819bb sha256 совпадает: True +download -> 200 реплика=bb4424f819bb sha256 совпадает: True +download -> 200 реплика=bb4424f819bb sha256 совпадает: True +остановленная реплика среди обслуживших: False ; 0.05s +Файл оригинала на диске обслужившей реплики (поиск по точному размеру 111817 байт): + bb4424f819bb -> нет +реплика 0900a35b199d возвращена +upload -> 201, обслужила реплика bb4424f819bb +stop-one.sh: /messenger-lab4-api-1 exited finished=2026-11-05T13:59:35.788929779Z +download -> 200 реплика=0900a35b199d sha256 совпадает: True +download -> 200 реплика=0900a35b199d sha256 совпадает: True +download -> 200 реплика=0900a35b199d sha256 совпадает: True +download -> 200 реплика=0900a35b199d sha256 совпадает: True +download -> 200 реплика=0900a35b199d sha256 совпадает: True +download -> 200 реплика=0900a35b199d sha256 совпадает: True +остановленная реплика среди обслуживших: False ; 0.12s +Файл оригинала на диске обслужившей реплики (поиск по точному размеру 111817 байт): + 0900a35b199d -> нет +реплика bb4424f819bb возвращена + +## 3. Прерванная загрузка через LB: ни строки, ни объекта, ни временного файла +$ reconcile --grace-seconds=3600 +{"mode":"dry-run","grace_seconds":3600,"scanned":7,"fresh_skipped":7,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":207} +$ reconcile --grace-seconds=3600 +{"mode":"dry-run","grace_seconds":3600,"scanned":7,"fresh_skipped":7,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":218} +строк attachments: 7 -> 7; объектов: 7 -> 7 +временных каталогов в bb4424f819bb: 0 +временных каталогов в 0900a35b199d: 0 + +## 4. Реальный отказ PostgreSQL между PUT и INSERT: триггер отклоняет вставку +$ reconcile --grace-seconds=3600 +{"mode":"dry-run","grace_seconds":3600,"scanned":7,"fresh_skipped":7,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":208} +upload при отказе INSERT -> 503 unavailable +строк attachments: 7 -> 7 +$ reconcile --apply --grace-seconds=3600 +{"mode":"apply","grace_seconds":3600,"scanned":8,"fresh_skipped":8,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":207} +объектов было 7, стало 8; свежий объект защищён grace: удалено 0 +$ reconcile --apply --grace-seconds=1 +{"mode":"apply","grace_seconds":1,"scanned":8,"fresh_skipped":0,"referenced":7,"orphans":1,"deleted":1,"failed":0,"orphan_keys":["attachments/2e115516-6a91-4d6a-8b18-577663eebebe"],"duration_ms":300} +после grace: сирот 1, удалено 1, привязанные объекты не тронуты: 7 +следующая загрузка без отказа -> 201 + +## 5. Потеря соединения с PostgreSQL между PUT и INSERT: исход неясен, объект остаётся до сверки +$ reconcile --grace-seconds=3600 +{"mode":"dry-run","grace_seconds":3600,"scanned":8,"fresh_skipped":8,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":210} +upload при отказе INSERT -> 503 unavailable +строк attachments: 8 -> 8 +$ reconcile --apply --grace-seconds=3600 +{"mode":"apply","grace_seconds":3600,"scanned":9,"fresh_skipped":9,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":214} +объектов было 8, стало 9; свежий объект защищён grace: удалено 0 +$ reconcile --apply --grace-seconds=1 +{"mode":"apply","grace_seconds":1,"scanned":9,"fresh_skipped":0,"referenced":8,"orphans":1,"deleted":1,"failed":0,"orphan_keys":["attachments/38b788ac-03f5-4bb4-88cf-813b8445c686"],"duration_ms":221} +после grace: сирот 1, удалено 1, привязанные объекты не тронуты: 8 +следующая загрузка без отказа -> 201 + diff --git a/evidence/container.txt b/evidence/container.txt new file mode 100644 index 0000000..b1c3739 --- /dev/null +++ b/evidence/container.txt @@ -0,0 +1,163 @@ +# Стенд: сервисы, порты, лимиты, секреты, миграции +# date: 2026-11-05T13:56:38Z +# commit: f8e41b1 + +$ docker compose ps -a --format table {{.Service}}\t{{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}} +SERVICE NAME IMAGE STATUS PORTS +api messenger-lab4-api-1 mtusi-messenger-lab4-api:dev Up 11 seconds (healthy) 8080/tcp +api messenger-lab4-api-2 mtusi-messenger-lab4-api:dev Up 11 seconds (healthy) 8080/tcp +lb messenger-lab4-lb-1 haproxy:3.0.6-alpine Up 5 seconds 127.0.0.1:8080->8080/tcp +migrate messenger-lab4-migrate-1 mtusi-messenger-lab4-migrate:dev Exited (0) 12 seconds ago +postgres messenger-lab4-postgres-1 postgres:17.2-alpine Up 21 seconds (healthy) 5432/tcp +reconciler messenger-lab4-reconciler-1 mtusi-messenger-lab4-api:dev Up 11 seconds 8080/tcp +redis messenger-lab4-redis-1 redis:7.4.1-alpine Up 21 seconds (healthy) 6379/tcp +s3 messenger-lab4-s3-1 pgsty/minio:RELEASE.2026-08-04T00-00-00Z@sha256:b6bfe7239bfc83fb90d31612d9704d86039dd714f7904b3f1ad68f211e602372 Up 21 seconds (healthy) 9000/tcp +s3-init messenger-lab4-s3-init-1 pgsty/mc:RELEASE.2026-10-26T00-00-00Z@sha256:ce62c9053c69ce12a527a322345b5ad9f44b5f8a7b8189f82e516f2e3f30f1d8 Exited (0) 12 seconds ago +secrets-init messenger-lab4-secrets-init-1 alpine:3.20.3 Exited (0) 21 seconds ago +tools messenger-lab4-tools-run-3ba5514e0d22 mtusi-messenger-lab4-tools:dev Up 4 seconds + +## CPU/RAM-лимиты (NanoCpus: 1e9 = 1 CPU; Memory в байтах) +$ sh -c docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $(docker compose ps -aq) +/messenger-lab4-api-1 cpus=500000000 memory=268435456 +/messenger-lab4-api-2 cpus=500000000 memory=268435456 +/messenger-lab4-lb-1 cpus=250000000 memory=67108864 +/messenger-lab4-migrate-1 cpus=500000000 memory=536870912 +/messenger-lab4-postgres-1 cpus=1000000000 memory=536870912 +/messenger-lab4-reconciler-1 cpus=250000000 memory=134217728 +/messenger-lab4-redis-1 cpus=250000000 memory=134217728 +/messenger-lab4-s3-1 cpus=500000000 memory=536870912 +/messenger-lab4-s3-init-1 cpus=250000000 memory=268435456 +/messenger-lab4-secrets-init-1 cpus=100000000 memory=33554432 +/messenger-lab4-tools-run-3ba5514e0d22 cpus=1000000000 memory=268435456 + +## container_name не задан (одно имя сервиса масштабируется) +$ sh -c docker compose config | grep -c container_name || true +0 + +## Секреты: каждый сервис видит только свои файлы +$ docker compose exec -T postgres ls /run/secrets +pg_password + +$ docker compose exec -T redis ls /run/secrets +redis_password + +$ docker compose exec -T s3 ls /run/secrets +s3_root_password +s3_root_user + +$ docker compose exec -T api ls /run/secrets +cache_url +database_url +s3_access_key_id +s3_secret_access_key + +$ docker compose exec -T reconciler ls /run/secrets +database_url +s3_access_key_id +s3_secret_access_key + +$ docker compose run --rm --no-deps -T --entrypoint ls s3-init /run/secrets +s3_access_key_id +s3_root_password +s3_root_user +s3_secret_access_key + +$ docker compose exec -T lb sh -c ls /run/secrets 2>/dev/null || echo "no /run/secrets" +no /run/secrets + +$ docker compose exec -T lb haproxy -v +HAProxy version 3.0.6-c2c0090 2024/11/07 - https://haproxy.org/ +Status: long-term supported branch - will stop receiving fixes around Q2 2029. +Known bugs: http://www.haproxy.org/bugs/bugs-3.0.6.html +Running on: Linux 5.15.153.1-microsoft-standard-WSL2 #1 SMP Fri Mar 29 23:14:13 UTC 2024 x86_64 + +$ docker compose exec -T postgres postgres --version +postgres (PostgreSQL) 17.2 + +$ docker compose exec -T redis redis-server --version +Redis server v=7.4.1 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=a93ce81042b3a6d7 + +$ docker compose exec -T s3 minio --version +minio version RELEASE.2026-08-04T00-00-00Z (commit-id=d88f46ccee345a9c2fabe2d221d9a9e56bc11aec) +Runtime: go1.26.5 linux/amd64 +License: GNU AGPLv3 - https://www.gnu.org/licenses/agpl-3.0.html +Copyright: 2015-2026 MinIO, Inc. + +## Таблицы вложений +$ docker compose exec -T postgres psql -U messenger -d messenger -c \d attachments -c \d message_attachments + Table "public.attachments" + Column | Type | Collation | Nullable | Default +--------------+-----------------------------+-----------+----------+------------------- + id | uuid | | not null | + chat_id | uuid | | not null | + owner_id | uuid | | not null | + filename | character varying(255) | | not null | + content_type | character varying(32) | | not null | + size_bytes | integer | | not null | + sha256 | character(64) | | not null | + object_key | character varying(128) | | not null | + created_at | timestamp(3) with time zone | | not null | CURRENT_TIMESTAMP + updated_at | timestamp(3) with time zone | | not null | CURRENT_TIMESTAMP +Indexes: + "attachments_pkey" PRIMARY KEY, btree (id) + "attachments_chat_id_idx" btree (chat_id) + "attachments_object_key_key" UNIQUE, btree (object_key) + "attachments_owner_id_idx" btree (owner_id) +Check constraints: + "attachments_content_type_allowed" CHECK (content_type::text = ANY (ARRAY['image/png'::character varying, 'image/jpeg'::character varying]::text[])) + "attachments_filename_not_blank" CHECK (btrim(filename::text) <> ''::text) + "attachments_sha256_format" CHECK (sha256 ~ '^[a-f0-9]{64}$'::text) + "attachments_size_range" CHECK (size_bytes >= 1 AND size_bytes <= 10485760) +Foreign-key constraints: + "attachments_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON UPDATE CASCADE ON DELETE CASCADE + "attachments_owner_id_fkey" FOREIGN KEY (owner_id) REFERENCES users(id) ON UPDATE CASCADE ON DELETE RESTRICT +Referenced by: + TABLE "message_attachments" CONSTRAINT "message_attachments_attachment_id_fkey" FOREIGN KEY (attachment_id) REFERENCES attachments(id) ON UPDATE CASCADE + + Table "public.message_attachments" + Column | Type | Collation | Nullable | Default +---------------+----------+-----------+----------+--------- + message_id | uuid | | not null | + position | smallint | | not null | + attachment_id | uuid | | not null | +Indexes: + "message_attachments_pkey" PRIMARY KEY, btree (message_id, "position") + "message_attachments_attachment_id_idx" btree (attachment_id) + "message_attachments_message_id_attachment_id_key" UNIQUE, btree (message_id, attachment_id) +Check constraints: + "message_attachments_position_range" CHECK ("position" >= 0 AND "position" <= 9) +Foreign-key constraints: + "message_attachments_attachment_id_fkey" FOREIGN KEY (attachment_id) REFERENCES attachments(id) ON UPDATE CASCADE + "message_attachments_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON UPDATE CASCADE ON DELETE CASCADE + + +## Миграции: отдельный one-shot сервис, повторный запуск ничего не применяет +$ docker compose run --rm migrate + Container messenger-lab4-secrets-init-1 Created + Container messenger-lab4-postgres-1 Running + Container messenger-lab4-secrets-init-1 Starting + Container messenger-lab4-secrets-init-1 Started + Container messenger-lab4-secrets-init-1 Waiting + Container messenger-lab4-secrets-init-1 Exited +Prisma schema loaded from prisma/schema.prisma +Datasource "db": PostgreSQL database "messenger", schema "public" at "postgres:5432" + +4 migrations found in prisma/migrations + + +No pending migrations to apply. + +$ docker compose run --rm --no-deps migrate sh -c export DATABASE_URL="$(cat "$DATABASE_URL_FILE")"; npx prisma migrate diff --from-url "$DATABASE_URL" --to-schema-datamodel prisma/schema.prisma --exit-code +No difference detected. + + +$ docker compose exec -T postgres psql -U messenger -d messenger -c SELECT migration_name, finished_at FROM _prisma_migrations ORDER BY started_at + migration_name | finished_at +---------------------------------+------------------------------- + 20261021000000_init | 2026-11-05 13:56:26.122879+00 + 20261021010000_auth_sessions | 2026-11-05 13:56:26.136187+00 + 20261101000000_idempotency_keys | 2026-11-05 13:56:26.145579+00 + 20261105000000_attachments | 2026-11-05 13:56:26.159672+00 +(4 rows) + + diff --git a/evidence/failover-kill.json b/evidence/failover-kill.json new file mode 100644 index 0000000..c366d57 --- /dev/null +++ b/evidence/failover-kill.json @@ -0,0 +1,148 @@ +{ + "scenario": "sequential failover of each api replica", + "resources_under_load": [ + "messenger-lab4-api-1 cpu=44.15% mem=105MiB / 256MiB", + "messenger-lab4-api-2 cpu=49.51% mem=122.1MiB / 256MiB", + "messenger-lab4-lb-1 cpu=13.85% mem=15.72MiB / 64MiB", + "messenger-lab4-postgres-1 cpu=26.52% mem=65.75MiB / 512MiB", + "messenger-lab4-reconciler-1 cpu=0.00% mem=32.57MiB / 128MiB", + "messenger-lab4-redis-1 cpu=1.89% mem=8.105MiB / 128MiB", + "messenger-lab4-s3-1 cpu=0.09% mem=248.8MiB / 512MiB" + ], + "replicas": [ + { + "container": "/messenger-lab4-api-1 running image=0387c3cfc941", + "action": "docker kill (SIGKILL)", + "before": { + "seconds": 5.0, + "successful_writes": 789, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 157.8, + "latency_ms_successful": { + "p50": 11.3, + "p95": 80.0, + "p99": 117.2 + }, + "max_write_gap_seconds": 0.155, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + }, + "stop_command_seconds": 0.444, + "target_last_success_after_stop_seconds": null, + "outage_window": { + "seconds": 10.444, + "successful_writes": 828, + "failed_attempts": 2, + "error_ratio": 0.0024, + "successful_rps": 79.3, + "latency_ms_successful": { + "p50": 13.4, + "p95": 92.9, + "p99": 1012.3 + }, + "max_write_gap_seconds": 0.916, + "instances": [ + "0900a35b199d" + ] + }, + "restore_until_healthy_seconds": 5.742, + "restore_until_serving_seconds": 3.928, + "after_restore": { + "seconds": 5.027, + "successful_writes": 791, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 157.4, + "latency_ms_successful": { + "p50": 11.9, + "p95": 74.7, + "p99": 85.1 + }, + "max_write_gap_seconds": 0.143, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + } + }, + { + "container": "/messenger-lab4-api-2 running image=0387c3cfc941", + "action": "docker kill (SIGKILL)", + "before": { + "seconds": 5.0, + "successful_writes": 790, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 158.0, + "latency_ms_successful": { + "p50": 11.9, + "p95": 74.7, + "p99": 85.1 + }, + "max_write_gap_seconds": 0.143, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + }, + "stop_command_seconds": 0.444, + "target_last_success_after_stop_seconds": null, + "outage_window": { + "seconds": 10.444, + "successful_writes": 670, + "failed_attempts": 2, + "error_ratio": 0.003, + "successful_rps": 64.2, + "latency_ms_successful": { + "p50": 14.1, + "p95": 95.5, + "p99": 1010.9 + }, + "max_write_gap_seconds": 0.989, + "instances": [ + "bb4424f819bb" + ] + }, + "restore_until_healthy_seconds": 5.757, + "restore_until_serving_seconds": 4.112, + "after_restore": { + "seconds": 5.032, + "successful_writes": 720, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 143.1, + "latency_ms_successful": { + "p50": 13.2, + "p95": 77.0, + "p99": 90.7 + }, + "max_write_gap_seconds": 0.082, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + } + } + ], + "dataset": { + "messages_in_db_before": 7276, + "messages_in_db_after": 12641 + }, + "history": { + "confirmed": 5365, + "stored": 5365, + "lost_confirmed": 0, + "duplicates": 0 + }, + "load": { + "workers": 4, + "model": "closed loop, POST message", + "warmup_seconds": 5, + "client_timeout_seconds": 2, + "retry": "same Idempotency-Key until success" + }, + "date": "2026-11-05T14:08:00Z" +} diff --git a/evidence/failover-stop.json b/evidence/failover-stop.json new file mode 100644 index 0000000..3482601 --- /dev/null +++ b/evidence/failover-stop.json @@ -0,0 +1,150 @@ +{ + "scenario": "sequential failover of each api replica", + "resources_under_load": [ + "messenger-lab4-api-1 cpu=44.28% mem=180MiB / 256MiB", + "messenger-lab4-api-2 cpu=47.97% mem=137MiB / 256MiB", + "messenger-lab4-lb-1 cpu=10.58% mem=13.88MiB / 64MiB", + "messenger-lab4-postgres-1 cpu=25.75% mem=76.62MiB / 512MiB", + "messenger-lab4-reconciler-1 cpu=0.00% mem=30.15MiB / 128MiB", + "messenger-lab4-redis-1 cpu=1.84% mem=8.105MiB / 128MiB", + "messenger-lab4-s3-1 cpu=2.26% mem=248.7MiB / 512MiB" + ], + "replicas": [ + { + "container": "/messenger-lab4-api-1 running image=0387c3cfc941", + "action": "docker stop (SIGTERM, graceful)", + "before": { + "seconds": 5.0, + "successful_writes": 669, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 133.8, + "latency_ms_successful": { + "p50": 12.7, + "p95": 87.9, + "p99": 101.1 + }, + "max_write_gap_seconds": 0.085, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + }, + "stop_command_seconds": 3.527, + "target_last_success_after_stop_seconds": 1.476, + "outage_window": { + "seconds": 13.527, + "successful_writes": 1452, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 107.3, + "latency_ms_successful": { + "p50": 13.7, + "p95": 90.9, + "p99": 99.1 + }, + "max_write_gap_seconds": 0.106, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + }, + "restore_until_healthy_seconds": 5.401, + "restore_until_serving_seconds": 4.045, + "after_restore": { + "seconds": 5.025, + "successful_writes": 781, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 155.4, + "latency_ms_successful": { + "p50": 11.4, + "p95": 80.3, + "p99": 106.7 + }, + "max_write_gap_seconds": 0.091, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + } + }, + { + "container": "/messenger-lab4-api-2 running image=0387c3cfc941", + "action": "docker stop (SIGTERM, graceful)", + "before": { + "seconds": 5.0, + "successful_writes": 777, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 155.4, + "latency_ms_successful": { + "p50": 11.4, + "p95": 80.2, + "p99": 106.7 + }, + "max_write_gap_seconds": 0.091, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + }, + "stop_command_seconds": 3.588, + "target_last_success_after_stop_seconds": 1.931, + "outage_window": { + "seconds": 13.588, + "successful_writes": 1560, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 114.8, + "latency_ms_successful": { + "p50": 12.6, + "p95": 90.6, + "p99": 149.4 + }, + "max_write_gap_seconds": 0.103, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + }, + "restore_until_healthy_seconds": 5.974, + "restore_until_serving_seconds": 3.539, + "after_restore": { + "seconds": 5.035, + "successful_writes": 793, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 157.5, + "latency_ms_successful": { + "p50": 11.1, + "p95": 79.5, + "p99": 94.0 + }, + "max_write_gap_seconds": 0.148, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ] + } + } + ], + "dataset": { + "messages_in_db_before": 265, + "messages_in_db_after": 7276 + }, + "history": { + "confirmed": 7011, + "stored": 7011, + "lost_confirmed": 0, + "duplicates": 0 + }, + "load": { + "workers": 4, + "model": "closed loop, POST message", + "warmup_seconds": 5, + "client_timeout_seconds": 2, + "retry": "same Idempotency-Key until success" + }, + "date": "2026-11-05T14:07:08Z" +} diff --git a/evidence/failover.txt b/evidence/failover.txt new file mode 100644 index 0000000..39bc405 --- /dev/null +++ b/evidence/failover.txt @@ -0,0 +1,52 @@ +# make test-failover: stop-one.sh останавливает реплику, обслужившую тест; затем вторую +# date: 2026-11-05T13:58:43Z +# commit: f8e41b1 + +## Прогон 1 +### до +/messenger-lab4-api-1 id=bb4424f819bb running exit=0 finished=2026-11-05T13:58:37.640782752Z +/messenger-lab4-api-2 id=0900a35b199d running exit=0 finished=2026-11-05T13:58:37.58216166Z + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 3.558} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +### после: остановленная реплика Exited (0) — штатное завершение по SIGTERM +/messenger-lab4-api-1 id=bb4424f819bb running exit=0 finished=2026-11-05T13:58:37.640782752Z +/messenger-lab4-api-2 id=0900a35b199d exited exit=0 finished=2026-11-05T13:58:47.981063522Z + +### журнал HAProxy +Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. +Server api/api1 was DOWN and now enters maintenance (No IP for server ). + +остановлена реплика: 0900a35b199d + +## Прогон 2 +### до +/messenger-lab4-api-1 id=bb4424f819bb running exit=0 finished=2026-11-05T13:58:37.640782752Z +/messenger-lab4-api-2 id=0900a35b199d running exit=0 finished=2026-11-05T13:58:47.981063522Z + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 130, "failed_attempts": 0, "first_recovery_seconds": 3.575} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +### после: остановленная реплика Exited (0) — штатное завершение по SIGTERM +/messenger-lab4-api-1 id=bb4424f819bb exited exit=0 finished=2026-11-05T13:59:08.399118281Z +/messenger-lab4-api-2 id=0900a35b199d running exit=0 finished=2026-11-05T13:58:47.981063522Z + +### журнал HAProxy +Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 2ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue. +Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. +Server api/api2 was DOWN and now enters maintenance (No IP for server ). + +остановлена реплика: bb4424f819bb + +## Проверка guard: stop-one.sh отказывается останавливать не api +$ env TARGET_INSTANCE_ID=6285848df28a sh scripts/stop-one.sh +refusing to stop 6285848df28a: not an api replica of messenger-lab4 (messenger-lab4/postgres) +EXIT CODE 1 + diff --git a/evidence/failures.txt b/evidence/failures.txt new file mode 100644 index 0000000..cbb6529 --- /dev/null +++ b/evidence/failures.txt @@ -0,0 +1,143 @@ +# Отказы зависимостей, ошибки LB, expiry +# date: 2026-11-05T14:08:50Z +# commit: f8e41b1 + +## 1. Redis остановлен: вход и Bearer через PostgreSQL; logout — 503 без отзыва (токен остаётся действующим) +$ docker compose stop redis + Container messenger-lab4-redis-1 Stopping + Container messenger-lab4-redis-1 Stopped + +$ python3 scripts/probe.py logout +register -> 201 +login -> 201 expires_at: 2026-11-05T15:08:51.406Z +GET /api/v1/users/me -> 200 +DELETE /api/v1/auth/sessions/current -> 503 {"error": {"code": "unavailable", "message": "session cache unavailable", "request_id": "34e10540-6a85-41d2-a969-d375e95ede98"}} +GET /api/v1/users/me -> 200 + +$ docker compose start redis + Container messenger-lab4-secrets-init-1 Starting + Container messenger-lab4-secrets-init-1 Started + Container messenger-lab4-secrets-init-1 Waiting + Container messenger-lab4-secrets-init-1 Exited + Container messenger-lab4-redis-1 Starting + Container messenger-lab4-redis-1 Started + +## 2. Redis снова доступен: logout отзывает токен на всех репликах +$ python3 scripts/probe.py logout +register -> 201 +login -> 201 expires_at: 2026-11-05T15:08:56.699Z +GET /api/v1/users/me -> 200 +DELETE /api/v1/auth/sessions/current -> 204 +GET /api/v1/users/me -> 401 + +## 3. PostgreSQL остановлен: live 200, запрос с токеном — 503 без внутренних деталей, аноним — 401 +$ docker compose stop postgres + Container messenger-lab4-postgres-1 Stopping + Container messenger-lab4-postgres-1 Stopped + +$ python3 scripts/probe.py status GET /health/live +GET /health/live (anonymous) -> 200 {"status": "ok"} + +$ python3 scripts/probe.py status GET /api/v1/chats Bearer unknown-token +GET /api/v1/chats (Bearer unknown-token) -> 503 {"error": {"code": "unavailable", "message": "database unavailable", "request_id": "1613a3ed-45d9-4d26-bdef-16d6a2a111fd"}} + +$ python3 scripts/probe.py status GET /api/v1/users/me +GET /api/v1/users/me (anonymous) -> 401 {"error": {"code": "unauthorized", "message": "missing or invalid session", "request_id": "947900bb-f8b7-4dc9-8f17-4b049c7747dc"}} + +$ docker compose start postgres + Container messenger-lab4-secrets-init-1 Starting + Container messenger-lab4-secrets-init-1 Started + Container messenger-lab4-secrets-init-1 Waiting + Container messenger-lab4-secrets-init-1 Exited + Container messenger-lab4-postgres-1 Starting + Container messenger-lab4-postgres-1 Started + +$ python3 scripts/probe.py ready +ready + +## 4. Все реплики API остановлены: LB отвечает 503 в формате ошибки контракта +$ docker compose stop api + Container messenger-lab4-api-3 Stopping + Container messenger-lab4-api-4 Stopping + Container messenger-lab4-api-4 Stopped + Container messenger-lab4-api-3 Stopped + +$ python3 scripts/probe.py status GET /api/v1/users/me +GET /api/v1/users/me (anonymous) -> 503 {"error": {"code": "unavailable", "message": "no API replica available", "request_id": "483476c1-5e87-4bbe-8d77-3a172f3c8934"}} + +$ docker compose start api + Container messenger-lab4-secrets-init-1 Starting + Container messenger-lab4-secrets-init-1 Started + Container messenger-lab4-secrets-init-1 Waiting + Container messenger-lab4-secrets-init-1 Waiting + Container messenger-lab4-secrets-init-1 Waiting + Container messenger-lab4-secrets-init-1 Exited + Container messenger-lab4-secrets-init-1 Exited + Container messenger-lab4-postgres-1 Waiting + Container messenger-lab4-secrets-init-1 Exited + Container messenger-lab4-s3-1 Waiting + Container messenger-lab4-postgres-1 Healthy + Container messenger-lab4-migrate-1 Starting + Container messenger-lab4-s3-1 Healthy + Container messenger-lab4-s3-init-1 Starting + Container messenger-lab4-migrate-1 Started + Container messenger-lab4-s3-init-1 Started + Container messenger-lab4-s3-init-1 Waiting + Container messenger-lab4-migrate-1 Waiting + Container messenger-lab4-s3-init-1 Exited + Container messenger-lab4-migrate-1 Exited + Container messenger-lab4-api-4 Starting + Container messenger-lab4-api-4 Started + Container messenger-lab4-api-3 Starting + Container messenger-lab4-api-3 Started + +$ python3 scripts/probe.py ready +ready + +## 5. Живая, но неготовая реплика: PostgreSQL отклоняет подключения только от одной API (pg_hba reject) +target=4f49dcd66a29 ip=172.27.0.7 +$ docker exec 4f49dcd66a29 node -e let n=0;const g=p=>require('http').get('http://127.0.0.1:8080'+p,r=>{console.log(p,r.statusCode);r.resume();if(++n===2)process.exit(0)});g('/health/live');g('/health/core') +/health/live 200 +/health/core 503 + +$ python3 scripts/probe.py instances 10 +register -> 201 +login -> 201 expires_at: 2026-11-05T15:09:17.986Z +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 + +Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 2ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue. +Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 4ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. + +### доступ возвращён: реплика снова готова и получает запросы +$ python3 scripts/probe.py instances 6 +register -> 201 +login -> 201 expires_at: 2026-11-05T15:09:22.744Z +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 4f49dcd66a29 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 4f49dcd66a29 +GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26 +GET /api/v1/users/me -> 200 X-Instance-Id: 4f49dcd66a29 + +## 6. Expiry: реплики пересозданы с SESSION_TTL_SECONDS=2 +$ sh -c docker exec $(docker compose ps -q api | head -1) printenv SESSION_TTL_SECONDS +2 + +$ python3 scripts/probe.py expiry 2 +register -> 201 +login -> 201 expires_at: 2026-11-05T14:09:35.576Z +GET /api/v1/users/me (fresh) -> 200 +GET /api/v1/users/me (after 3s) -> 401 + +$ python3 scripts/probe.py ready +ready + diff --git a/evidence/idempotency.json b/evidence/idempotency.json new file mode 100644 index 0000000..82641cc --- /dev/null +++ b/evidence/idempotency.json @@ -0,0 +1,12 @@ +{ + "scenario": "parallel POST with one Idempotency-Key through LB", + "requests": 20, + "all_201": true, + "distinct_message_ids": 1, + "instances": [ + "0900a35b199d", + "bb4424f819bb" + ], + "messages_in_history": 1, + "date": "2026-11-05T14:06:10Z" +} diff --git a/evidence/persistence.txt b/evidence/persistence.txt new file mode 100644 index 0000000..f2c8bc4 --- /dev/null +++ b/evidence/persistence.txt @@ -0,0 +1,24 @@ +# make test-persistence: restart.sh перезапускает postgres, redis, s3, api, lb с сохранением volumes +# date: 2026-11-05T13:58:32Z +# commit: f8e41b1 + +## до +/messenger-lab4-api-1 running started=2026-11-05T13:56:27.073950909Z +/messenger-lab4-api-2 running started=2026-11-05T13:56:27.359178642Z +/messenger-lab4-lb-1 running started=2026-11-05T13:56:33.130552561Z +/messenger-lab4-postgres-1 running started=2026-11-05T13:56:17.503936862Z +/messenger-lab4-redis-1 running started=2026-11-05T13:56:17.512981001Z +/messenger-lab4-s3-1 running started=2026-11-05T13:56:17.516358837Z + +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://lb:8080" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +## после +/messenger-lab4-api-1 running started=2026-11-05T13:58:38.339108415Z +/messenger-lab4-api-2 running started=2026-11-05T13:58:38.170906453Z +/messenger-lab4-lb-1 running started=2026-11-05T13:58:36.012363468Z +/messenger-lab4-postgres-1 running started=2026-11-05T13:58:35.944741705Z +/messenger-lab4-redis-1 running started=2026-11-05T13:58:35.661397483Z +/messenger-lab4-s3-1 running started=2026-11-05T13:58:35.410755983Z diff --git a/evidence/rolling.json b/evidence/rolling.json new file mode 100644 index 0000000..cdb6e95 --- /dev/null +++ b/evidence/rolling.json @@ -0,0 +1,69 @@ +{ + "scenario": "rolling replacement: migrate once, then add new replica, wait healthy, stop old one", + "resources_under_load": [ + "messenger-lab4-api-1 cpu=49.37% mem=104.1MiB / 256MiB", + "messenger-lab4-api-2 cpu=50.09% mem=121.8MiB / 256MiB", + "messenger-lab4-lb-1 cpu=10.88% mem=16.03MiB / 64MiB", + "messenger-lab4-postgres-1 cpu=24.86% mem=68.67MiB / 512MiB", + "messenger-lab4-reconciler-1 cpu=0.00% mem=32.57MiB / 128MiB", + "messenger-lab4-redis-1 cpu=1.69% mem=8.105MiB / 128MiB", + "messenger-lab4-s3-1 cpu=0.09% mem=248.8MiB / 512MiB" + ], + "before": [ + "/messenger-lab4-api-1 running image=0387c3cfc941", + "/messenger-lab4-api-2 running image=0387c3cfc941" + ], + "after": [ + "/messenger-lab4-api-3 running image=b352fc8e08ea", + "/messenger-lab4-api-4 running image=b352fc8e08ea" + ], + "steps": [ + { + "replaced": "bb4424f819bb", + "new_replica_ready_seconds": 6.727, + "step_seconds": 10.356 + }, + { + "replaced": "0900a35b199d", + "new_replica_ready_seconds": 6.775, + "step_seconds": 10.466 + } + ], + "during_update": { + "seconds": 33.715, + "successful_writes": 4320, + "failed_attempts": 0, + "error_ratio": 0.0, + "successful_rps": 128.1, + "latency_ms_successful": { + "p50": 15.2, + "p95": 83.5, + "p99": 110.6 + }, + "max_write_gap_seconds": 0.215, + "instances": [ + "0900a35b199d", + "4f49dcd66a29", + "984f0bba8d26", + "bb4424f819bb" + ] + }, + "dataset": { + "messages_in_db_before": 12641, + "messages_in_db_after": 17944 + }, + "history": { + "confirmed": 5303, + "stored": 5303, + "lost_confirmed": 0, + "duplicates": 0 + }, + "load": { + "workers": 4, + "model": "closed loop, POST message", + "warmup_seconds": 5, + "client_timeout_seconds": 2, + "retry": "same Idempotency-Key until success" + }, + "date": "2026-11-05T14:08:50Z" +} diff --git a/evidence/s3.txt b/evidence/s3.txt new file mode 100644 index 0000000..faa6750 --- /dev/null +++ b/evidence/s3.txt @@ -0,0 +1,88 @@ +# S3: идемпотентный bootstrap, приватность мимо API, отказ S3, сверка +# date: 2026-11-05T14:00:11Z +# commit: f8e41b1 + +## Повторный bootstrap ничего не ломает +$ docker compose run --rm --no-deps -T s3-init +Bucket created successfully `root/messenger-attachments`. +Access permission for `root/messenger-attachments` is set to `private` +Created policy `messenger-api` successfully. +bucket messenger-attachments ready + +$ docker compose run --rm --no-deps -T s3-init +Bucket created successfully `root/messenger-attachments`. +Access permission for `root/messenger-attachments` is set to `private` +Created policy `messenger-api` successfully. +bucket messenger-attachments ready + +$ sh scripts/check-s3.sh +## S3 не опубликован наружу, консоль выключена +s3 ports=9000/tcp +MINIO_BROWSER=off + +## Права пользователя API: только свой bucket +PUT в свой bucket -> allowed +GET из своего bucket -> allowed +создание другого bucket -> denied +GET из другого bucket -> denied +PUT в другой bucket -> denied +изменение политики bucket -> denied +администрирование пользователей -> denied + +## Анонимный доступ напрямую к S3, мимо API +GET messenger-attachments/ -> 403 +GET messenger-attachments/ -> 403 +PUT messenger-attachments/anon.txt -> 403 + +PASS: bucket приватный, у API нет прав вне своего bucket + +## Отказ: контейнер S3 остановлен +$ sh scripts/s3-outage.sh stop +## S3: stop +GET /health/live -> 200 0.01s X-Instance-Id=yes +GET /health/ready -> 503 unavailable 1.01s X-Instance-Id=yes +GET /attachments/{id} -> 200 0.01s X-Instance-Id=yes +GET /attachments/{id}/content -> 503 unavailable 1.01s X-Instance-Id=yes +POST /attachments -> 503 unavailable 1.03s X-Instance-Id=yes +POST /messages (текст) -> 201 0.03s X-Instance-Id=yes +## S3 восстановлен +GET /health/ready -> 200 0.01s X-Instance-Id=yes +GET /attachments/{id}/content -> 200 0.01s X-Instance-Id=yes +sha256 совпадает: True + +## Отказ: контейнер S3 завис (docker pause) +$ sh scripts/s3-outage.sh pause +## S3: pause +GET /health/live -> 200 0.01s X-Instance-Id=yes +GET /health/ready -> 503 unavailable 1.01s X-Instance-Id=yes +GET /attachments/{id} -> 200 0.01s X-Instance-Id=yes +GET /attachments/{id}/content -> 503 unavailable 5.01s X-Instance-Id=yes +POST /attachments -> 503 unavailable 5.02s X-Instance-Id=yes +POST /messages (текст) -> 201 0.01s X-Instance-Id=yes +## S3 восстановлен +GET /health/ready -> 200 0.01s X-Instance-Id=yes +GET /attachments/{id}/content -> 200 0.01s X-Instance-Id=yes +sha256 совпадает: True + +## Сверка: объект без метаданных +$ sh scripts/reconcile-demo.sh +## Отказ между S3 и БД: объект есть, строки нет +Name : orphan-1793887242 + +## Свежий объект, grace 3600 с, --apply: не удалён +{"mode":"apply","grace_seconds":3600,"scanned":12,"fresh_skipped":12,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":294} +объект на месте + +## Dry-run, grace 1 с: найден, не удалён +{"mode":"dry-run","grace_seconds":1,"scanned":12,"fresh_skipped":0,"referenced":11,"orphans":1,"deleted":0,"failed":0,"orphan_keys":["attachments/orphan-1793887242"],"duration_ms":299} +объект на месте + +## --apply, grace 1 с: удалён только он +{"mode":"apply","grace_seconds":1,"scanned":12,"fresh_skipped":0,"referenced":11,"orphans":1,"deleted":1,"failed":0,"orphan_keys":["attachments/orphan-1793887242"],"duration_ms":305} +объект удалён + +## Повторный запуск: удалять нечего +{"mode":"apply","grace_seconds":1,"scanned":11,"fresh_skipped":0,"referenced":11,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":292} + +## Журнал постоянного сервиса reconciler +{"mode":"apply","grace_seconds":3600,"scanned":0,"fresh_skipped":0,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":219} diff --git a/evidence/smoke.txt b/evidence/smoke.txt new file mode 100644 index 0000000..eb35b90 --- /dev/null +++ b/evidence/smoke.txt @@ -0,0 +1,26 @@ +# Публичные проверки через LB; разные реплики обслуживают одну сессию +# date: 2026-11-05T13:58:22Z +# commit: f8e41b1 + +$ make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +$ make test +python3 tests/smoke.py --base-url "http://lb:8080" +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. + +$ sh -c docker compose ps -q api | cut -c1-12 +bb4424f819bb +0900a35b199d + +$ python3 scripts/probe.py instances 6 +register -> 201 +login -> 201 expires_at: 2026-11-05T14:58:32.678Z +GET /api/v1/users/me -> 200 X-Instance-Id: 0900a35b199d +GET /api/v1/users/me -> 200 X-Instance-Id: bb4424f819bb +GET /api/v1/users/me -> 200 X-Instance-Id: 0900a35b199d +GET /api/v1/users/me -> 200 X-Instance-Id: bb4424f819bb +GET /api/v1/users/me -> 200 X-Instance-Id: 0900a35b199d +GET /api/v1/users/me -> 200 X-Instance-Id: bb4424f819bb + diff --git a/evidence/tests.txt b/evidence/tests.txt new file mode 100644 index 0000000..aefb283 --- /dev/null +++ b/evidence/tests.txt @@ -0,0 +1,300 @@ +# Собственные e2e-тесты (PostgreSQL + Redis + MinIO из compose.test.yaml) +# date: 2026-11-05T13:56:52Z +# commit: f8e41b1 + +$ docker compose -f compose.test.yaml run --rm tests npx jest --config ./test/jest-e2e.json --verbose + Network messenger-lab4-test_default Creating + Network messenger-lab4-test_default Created + Container messenger-lab4-test-redis-1 Creating + Container messenger-lab4-test-postgres-1 Creating + Container messenger-lab4-test-s3-1 Creating + Container messenger-lab4-test-s3-1 Created + Container messenger-lab4-test-redis-1 Created + Container messenger-lab4-test-postgres-1 Created + Container messenger-lab4-test-s3-1 Starting + Container messenger-lab4-test-postgres-1 Starting + Container messenger-lab4-test-redis-1 Starting + Container messenger-lab4-test-s3-1 Started + Container messenger-lab4-test-postgres-1 Started + Container messenger-lab4-test-redis-1 Started +Prisma schema loaded from prisma/schema.prisma +Datasource "db": PostgreSQL database "messenger_test", schema "public" at "postgres:5432" + +4 migrations found in prisma/migrations + +Applying migration `20261021000000_init` +Applying migration `20261021010000_auth_sessions` +Applying migration `20261101000000_idempotency_keys` +Applying migration `20261105000000_attachments` + +The following migration(s) have been applied: + +migrations/ + └─ 20261021000000_init/ + └─ migration.sql + └─ 20261021010000_auth_sessions/ + └─ migration.sql + └─ 20261101000000_idempotency_keys/ + └─ migration.sql + └─ 20261105000000_attachments/ + └─ migration.sql + +All migrations have been successfully applied. +PASS test/docs.e2e-spec.ts (36.929 s) + Swagger UI и примеры (e2e) + ✓ отдаёт Swagger UI и документ контракта со всеми путями (129 ms) + ✓ каждый пример запроса и ответа проходит JSON Schema контракта (1216 ms) + +[Nest] 199 - 11/05/2026, 1:57:48 PM  ERROR [HttpExceptionFilter] DELETE /api/v1/auth/sessions/current -> 503: session cache unavailable +PASS test/concurrency.e2e-spec.ts (39.993 s) + Безопасность при конкурентном доступе (e2e) + ✓ принимает 100 конкурентных сообщений от 10 клиентов и сохраняет ровно 100 уникальных (6695 ms) + ✓ регистрирует ровно одного пользователя при гонке 10 запросов за один и тот же username (255 ms) + +PASS test/auth.e2e-spec.ts (40.18 s) + Аутентификация и сессии (e2e) + регистрация + ✓ требует password (1114 ms) + ✓ отклоняет password короче 12 code points (39 ms) + ✓ хранит пароль как Argon2id-хеш, а не открытым текстом (1457 ms) + POST /api/v1/auth/sessions + ✓ выдаёт непрозрачный Bearer-токен с expires_at и пользователем (1872 ms) + ✓ принимает пароль с двоеточием и не-ASCII символами (212 ms) + ✓ отвечает одинаковым 401 на неверный пароль и неизвестного пользователя (1050 ms) + ✓ отклоняет JSON body при входе даже с верным Basic (222 ms) + ✓ отвечает 401 без заголовка Authorization (87 ms) + защищённые endpoint + ✓ не принимают Basic (274 ms) + ✓ не принимают X-User-Id сам по себе (367 ms) + ✓ игнорируют X-User-Id рядом с Bearer (368 ms) + ✓ отвечают 401 на неизвестный токен (12 ms) + DELETE /api/v1/auth/sessions/current + ✓ отзывает только текущий токен: 204, затем 401 на повтор (286 ms) + +[Nest] 186 - 11/05/2026, 1:57:48 PM  ERROR [HttpExceptionFilter] GET /health/ready -> 503: object storage unavailable +PASS test/reconciler.e2e-spec.ts (40.637 s) + Сверка объектов S3 с метаданными (e2e) + ✓ dry-run сообщает о сироте и ничего не удаляет, apply удаляет, повторный запуск ничего не делает (1848 ms) + ✓ не трогает свежий объект внутри grace period (882 ms) + ✓ не трогает старый объект, на который есть метаданные (431 ms) + ✓ при отказе PostgreSQL проход прерывается и ничего не удаляет (304 ms) + ✓ сбой удаления считается и повторяется на следующем проходе (709 ms) + ✓ обходит все страницы листинга (276 ms) + ✓ реальная загрузка остаётся доступной после сверки всего bucket префикса вложений (280 ms) + Готовность при отказе S3 (e2e) + ✓ ready — 503 с заголовками за короткое время, live и core — 200 (214 ms) + ✓ при рабочем S3 ready — 200 (151 ms) + +[Nest] 199 - 11/05/2026, 1:57:49 PM  ERROR [HttpExceptionFilter] DELETE /api/v1/auth/sessions/current -> 503: session cache unavailable +[Nest] 180 - 11/05/2026, 1:57:49 PM  ERROR [S3Service] get attachments/c5c757b1-4a1e-4d7d-bd28-bde4aac0ba5b failed: Error +[Nest] 180 - 11/05/2026, 1:57:49 PM  ERROR [HttpExceptionFilter] GET /api/v1/attachments/c5c757b1-4a1e-4d7d-bd28-bde4aac0ba5b/content -> 503: object storage unavailable +[Nest] 180 - 11/05/2026, 1:57:49 PM  ERROR [S3Service] get attachments/3895acb2-be69-4f6a-a6fa-7152175fcc99 failed: NoSuchKey +[Nest] 180 - 11/05/2026, 1:57:49 PM  ERROR [HttpExceptionFilter] GET /api/v1/attachments/3895acb2-be69-4f6a-a6fa-7152175fcc99/content -> 500: Internal server error +[Nest] 199 - 11/05/2026, 1:57:50 PM  ERROR [HttpExceptionFilter] GET /health/ready -> 503: database unavailable +[Nest] 199 - 11/05/2026, 1:57:50 PM  ERROR [HttpExceptionFilter] GET /api/v1/chats -> 503: database unavailable +[Nest] 199 - 11/05/2026, 1:57:50 PM  ERROR [HttpExceptionFilter] GET /api/v1/chats -> 503: database unavailable +[Nest] 199 - 11/05/2026, 1:57:50 PM  ERROR [HttpExceptionFilter] POST /api/v1/users -> 503: database unavailable +[Nest] 199 - 11/05/2026, 1:57:50 PM  ERROR [HttpExceptionFilter] GET /api/v1/chats -> 500: Internal server error +PASS test/failures.e2e-spec.ts (42.799 s) + Уровень 4: expiry, отказы зависимостей, rollback (e2e) + ✓ сессия истекает при коротком SESSION_TTL_SECONDS, в том числе из кэша (6117 ms) + ✓ без Redis вход и проверка сессии работают через PostgreSQL, logout — 503 без отзыва (1677 ms) + ✓ logout через реплику без связи с Redis не создаёт расхождения с репликой, у которой сессия в кэше (1178 ms) + ✓ без PostgreSQL отвечает ограниченным 503 и не пускает анонима (996 ms) + ✓ неожиданное исключение — 500 internal_error без деталей, с X-Request-Id и X-Instance-Id (319 ms) + ✓ откатывает создание чата целиком, если один из участников не существует (343 ms) + +PASS test/idempotency.e2e-spec.ts (42.892 s) + Идемпотентность отправки и X-Instance-Id (e2e) + ✓ требует Idempotency-Key правильного формата (2420 ms) + ✓ повтор с тем же ключом и телом возвращает тот же 201 и то же сообщение (2546 ms) + ✓ тот же ключ с другим телом — 409, сообщение не создаётся (1433 ms) + ✓ 20 параллельных запросов с одним ключом через два экземпляра создают ровно одно сообщение (601 ms) + ✓ область ключа — пользователь и чат: одинаковый ключ у разных пользователей и чатов независим (393 ms) + ✓ повтор заново проверяет сессию (162 ms) + ✓ после IDEMPOTENCY_TTL_SECONDS ключ можно использовать заново (1780 ms) + ✓ X-Instance-Id есть в успешных ответах, ошибках и health и стабилен в процессе (177 ms) + +PASS test/attachment-access.e2e-spec.ts (44.094 s) + Скачивание и привязка вложений (e2e) + чтение + ✓ участник получает метаданные и оригинал побайтно (1434 ms) + ✓ JPEG отдаётся с истинным Content-Type (178 ms) + ✓ посторонний и неизвестный ID получают одинаковый 404 (191 ms) + ✓ без токена 401, неверный UUID 400 (88 ms) + ✓ variant: original явно, отсутствующий 404, неизвестный и повторённый 400 (219 ms) + ✓ нет доступа к S3 — метаданные 200, content 503 с заголовками (298 ms) + ✓ объект пропал из S3 — 500 без внутренних деталей (156 ms) + attachment_ids в сообщениях + ✓ text="" с вложением принимается, Message читается вторым участником (136 ms) + ✓ порядок [B, A] сохраняется в ответе, истории и повторе; перестановка с тем же ключом — 409 (539 ms) + ✓ отсутствующий attachment_ids и [] равны при повторе, изменение списка — 409 (159 ms) + ✓ вложение другого чата и неизвестное — одинаковый 404, сообщение не создаётся (141 ms) + ✓ смесь своего и чужого вложения — 404 (214 ms) + ✓ посторонний не может отправить вложение в чужой чат (106 ms) + ✓ любой участник может сослаться на вложение чата, вложение можно использовать повторно (142 ms) + ✓ ровно 10 вложений принимается, 11 — 400 (677 ms) + ✓ UUID в другом регистре — тот же ID и дубль (102 ms) + ✓ text отсутствует — 400 (93 ms) + ✓ text null — 400 (77 ms) + ✓ attachment_ids null — 400 (61 ms) + ✓ attachment_ids строка — 400 (133 ms) + ✓ элемент не UUID — 400 (77 ms) + ✓ элемент число — 400 (112 ms) + ✓ дубликат — 400 (95 ms) + ✓ пустой текст без вложений — 400 (126 ms) + ✓ пробельный текст без вложений — 400 (84 ms) + +PASS test/api.e2e-spec.ts (48.453 s) + API мессенджера (e2e) — граничные случаи сверх публичного smoke + POST /api/v1/users + ✓ отклоняет некорректный JSON с кодом 400 (565 ms) + ✓ отклоняет тело с лишними полями (716 ms) + ✓ отклоняет username с заглавными буквами (35 ms) + ✓ отклоняет display_name из одних пробелов (17 ms) + ✓ отклоняет дубликат username с кодом 409 (2341 ms) + ✓ никогда не возвращает поле пароля или его хэша (139 ms) + ✓ отклоняет username короче 3 символов (9 ms) + ✓ отклоняет username длиннее 32 символов (12 ms) + ✓ отклоняет username с недопустимыми символами (дефис) (12 ms) + ✓ принимает username ровно на границах длины 3 и 32 символа (237 ms) + ✓ отклоняет display_name длиннее 100 Unicode code points (39 ms) + ✓ принимает display_name ровно из 100 code points, считая эмодзи вне BMP за один символ (69 ms) + ✓ отклоняет display_name из 101 code point, состоящий из эмодзи вне BMP (8 ms) + контроль доступа + ✓ возвращает 401 раньше 404, если и актор, и ресурс невалидны (23 ms) + ✓ возвращает 404 (не 403), когда чат запрашивает не его участник (2329 ms) + ✓ отклоняет создание чата, если вызывающий не входит в member_ids (409 ms) + ✓ отклоняет создание чата с дублирующимися member_ids (134 ms) + ✓ считает один UUID в разном регистре дубликатом и узнаёт вызывающего в верхнем регистре (167 ms) + ✓ принимает ровно 100 участников и отклоняет 101 (222 ms) + ✓ отклоняет создание чата с неизвестным участником (134 ms) + ✓ отклоняет создание чата с пустым/пробельным title (102 ms) + ✓ возвращает 400 для синтаксически некорректного chat_id (не UUID) (103 ms) + ✓ возвращает 404 для корректного по формату, но несуществующего chat_id (122 ms) + GET /api/v1/chats (пагинация) + ✓ использует limit=50 по умолчанию, если limit не передан (128 ms) + ✓ отклоняет нечисловой limit (219 ms) + ✓ отклоняет limit=0 (115 ms) + ✓ отклоняет повторённые limit и cursor (112 ms) + ✓ отклоняет cursor, не являющийся корректным base64url JSON (156 ms) + ✓ отклоняет корректно закодированный cursor с id чата, который никогда не существовал (149 ms) + ✓ обходит весь список чатов по страницам без пропусков и дублей (255 ms) + сообщения + ✓ не принимает sender_id, переданный клиентом (528 ms) + ✓ считает attachment_ids: [] равным отсутствию поля, неизвестный ID — 404, неверный тип — 400 (295 ms) + ✓ отклоняет пустое сообщение (270 ms) + ✓ отклоняет сообщение из одних пробелов (233 ms) + ✓ отклоняет отправку в чат, где вызывающий не участник (491 ms) + ✓ отклоняет limit=0 при чтении истории (260 ms) + ✓ отклоняет limit=101 при чтении истории (234 ms) + ✓ отклоняет нечисловой limit (591 ms) + ✓ отклоняет текст сообщения длиннее 4000 Unicode code points (265 ms) + ✓ принимает текст сообщения ровно из 4000 Unicode code points (275 ms) + ✓ отклоняет текст сообщения свыше 4000 code points, состоящий из эмодзи вне BMP (325 ms) + ✓ отклоняет cursor, не являющийся корректным base64url JSON (345 ms) + ✓ отклоняет корректно закодированный cursor с id сообщения, которое никогда не существовало в этом чате (372 ms) + ✓ возвращает 400 для синтаксически некорректного chat_id при отправке сообщения (112 ms) + ✓ возвращает 400 для синтаксически некорректного chat_id при чтении истории (120 ms) + ✓ отклоняет cursor, взятый из другого чата (355 ms) + ✓ обходит всю историю по страницам без пропусков и дублей (824 ms) + X-Request-Id + ✓ присутствует и уникален для независимых запросов (10 ms) + ✓ совпадает с request_id внутри тела ошибки (26 ms) + + console.warn + An error was encountered in a non-retryable streaming request. + + 150 | private async guard(action: string, run: () => Promise): Promise { + 151 | try { + > 152 | return await run(); + | ^ + 153 | } catch (error) { + 154 | const reason = error instanceof Error ? error.name : 'unknown error'; + 155 | this.logger.error(`${action} failed: ${reason}`); + + at ../node_modules/@smithy/middleware-retry/dist-cjs/index.js:329:125 + at ../node_modules/@aws-sdk/middleware-flexible-checksums/dist-cjs/index.js:263:18 + at ../node_modules/@aws-sdk/middleware-sdk-s3/dist-cjs/index.js:110:22 + at ../node_modules/@aws-sdk/middleware-sdk-s3/dist-cjs/index.js:138:14 + at ../node_modules/@aws-sdk/middleware-logger/dist-cjs/index.js:34:22 + at S3Service.guard (../src/storage/s3.service.ts:152:11) + at S3Service.putFile (../src/storage/s3.service.ts:64:3) + at AttachmentsService.store (../src/attachments/attachments.service.ts:117:3) + at AttachmentsService.upload (../src/attachments/attachments.service.ts:63:11) + at AttachmentsController.upload (../src/attachments/attachments.controller.ts:36:22) + at ../node_modules/@nestjs/core/router/router-execution-context.js:46:28 + at Object. (../node_modules/@nestjs/core/router/router-proxy.js:9:17) + +[Nest] 174 - 11/05/2026, 1:58:03 PM  ERROR [S3Service] put attachments/7ce5f967-a067-4b1e-820b-05e913049840 failed: Error +[Nest] 174 - 11/05/2026, 1:58:03 PM  ERROR [HttpExceptionFilter] POST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=a.png -> 503: object storage unavailable +[Nest] 174 - 11/05/2026, 1:58:03 PM  ERROR [HttpExceptionFilter] POST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=sample.png -> 500: Internal server error +[Nest] 174 - 11/05/2026, 1:58:03 PM  ERROR [AttachmentsService] metadata insert failed for attachments/9a51c460-2292-49ed-80dc-bb1001ac37b7 +[Nest] 174 - 11/05/2026, 1:58:03 PM  ERROR [HttpExceptionFilter] POST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=sample.png -> 503: database unavailable +[Nest] 174 - 11/05/2026, 1:58:03 PM  ERROR [HttpExceptionFilter] POST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=sample.png -> 503: database unavailable +PASS test/attachments.e2e-spec.ts (55.555 s) + Загрузка вложений (e2e) + успешная загрузка + ✓ возвращает 201 Attachment по контракту и сохраняет метаданные (1699 ms) + ✓ принимает реальный JPEG (129 ms) + ✓ игнорирует параметры и регистр Content-Type (96 ms) + ✓ принимает файл ровно 10 MiB, filename ровно 255 символов и PNG с байтами после IEND (2012 ms) + ✓ принимает ровно 40 млн пикселей (9399 ms) + порядок проверок и доступ + ✓ без токена — 401 раньше любых проверок содержимого (33 ms) + ✓ посторонний и несуществующий чат — одинаковый 404, чужой файл не сохраняется (43 ms) + ✓ неверный UUID чата — 400 (7 ms) + filename + ✓ отсутствует — 400 (14 ms) + ✓ пустой — 400 (8 ms) + ✓ только пробелы — 400 (9 ms) + ✓ 256 символов — 400 (7 ms) + ✓ путь через / — 400 (8 ms) + ✓ путь через \ — 400 (6 ms) + ✓ NUL — 400 (8 ms) + ✓ перевод строки — 400 (5 ms) + ✓ DEL — 400 (6 ms) + ✓ C1 U+0085 — 400 (10 ms) + ✓ разделитель строк U+2028 — 400 (6 ms) + ✓ повторённый параметр — 400 (6 ms) + тип содержимого + ✓ Content-Type text/plain — 415 (5 ms) + ✓ Content-Type application/json — 415 (102 ms) + ✓ Content-Type application/octet-stream — 415 (7 ms) + ✓ Content-Type multipart/form-data; boundary=x — 415 (6 ms) + ✓ Content-Type image/gif — 415 (8 ms) + ✓ Content-Type image/webp — 415 (6 ms) + ✓ без Content-Type — 415 (6 ms) + ✓ подмена MIME в обе стороны и чужие форматы — 415 (57 ms) + ✓ пустое тело — 400 (25 ms) + повреждённые изображения + ✓ PNG: первые 33 байта sample.png — 415 (15 ms) + ✓ PNG: половина файла — 415 (19 ms) + ✓ PNG: без последних 20 байт — 415 (20 ms) + ✓ PNG: без IEND — 415 (18 ms) + ✓ PNG: неверный CRC — 415 (51 ms) + ✓ PNG: фильтр строки 5 — 415 (13 ms) + ✓ PNG: фильтр строки 255 — 415 (13 ms) + ✓ PNG: неверный фильтр в последней строке — 415 (16 ms) + ✓ PNG: мусор в IDAT с верным CRC — 415 (24 ms) + ✓ PNG: данных меньше, чем строк — 415 (17 ms) + ✓ PNG: палитра на 257 записей — 415 (11 ms) + ✓ JPEG: все повреждения — 415 (63 ms) + лимиты + ✓ 10 MiB + 1 байт — 413 и без чтения объявленного тела (1266 ms) + ✓ превышение при chunked без Content-Length — 413 (801 ms) + ✓ превышение лимита пикселей — 413 до декодирования (28 ms) + ✓ оборванная загрузка не оставляет временных файлов и строк в БД (810 ms) + отказы + ✓ S3 недоступен — 503 с заголовками, метаданные не создаются (193 ms) + ✓ явный отказ INSERT после PUT удаляет объект (77 ms) + ✓ необработанная ошибка PostgreSQL при INSERT — 503, объект не удаляется (45 ms) + ✓ при неясном исходе COMMIT объект не удаляется (41 ms) + +A worker process has failed to exit gracefully and has been force exited. This is likely caused by tests leaking due to improper teardown. Try running with --detectOpenHandles to find leaks. Active timers can also cause this, ensure that .unref() was called on them. +Test Suites: 9 passed, 9 total +Tests: 163 passed, 163 total +Snapshots: 0 total +Time: 56.981 s +Ran all test suites. + diff --git a/evidence/upload-memory.json b/evidence/upload-memory.json new file mode 100644 index 0000000..08788d6 --- /dev/null +++ b/evidence/upload-memory.json @@ -0,0 +1,536 @@ +{ + "date": "2026-11-05T14:06:08Z", + "api_replica_limits": { + "cpus": 0.5, + "memory_mib": 256 + }, + "rows_after_attachments_messages": "290|264", + "results": [ + { + "profile": "sample 112 KiB x10", + "body_bytes": 111817, + "content_type": "image/png", + "concurrency": 10, + "rounds": 3, + "requests": 30, + "statuses": { + "201": 30 + }, + "wall_seconds": 2.02, + "successful_rps": 14.83, + "error_rate": 0.0, + "latency_seconds": { + "p50": 0.488, + "p95": 0.707, + "p99": 0.811 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 104, + "sampled_peak_rss_mib": 118, + "vm_hwm_mib": 118, + "cgroup_max_usage_with_page_cache_mib": 73, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + }, + "0900a35b199d": { + "idle_rss_mib": 103, + "sampled_peak_rss_mib": 113, + "vm_hwm_mib": 113, + "cgroup_max_usage_with_page_cache_mib": 64, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 4.55, + "last_mem": "121.2MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 1.91, + "last_mem": "12.31MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 40.14, + "last_mem": "64.27MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 43.73, + "last_mem": "56.66MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 0, + "last_mem": "29.14MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 0.55, + "last_mem": "8.105MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 5.16, + "last_mem": "34.39MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 5.51, + "last_mem": "68.39MiB" + } + } + }, + { + "profile": "png 10 MiB x1", + "body_bytes": 10485760, + "content_type": "image/png", + "concurrency": 1, + "rounds": 3, + "requests": 3, + "statuses": { + "201": 3 + }, + "wall_seconds": 1.8, + "successful_rps": 1.67, + "error_rate": 0.0, + "latency_seconds": { + "p50": 0.69, + "p95": 0.742, + "p99": 0.742 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 103, + "sampled_peak_rss_mib": 112, + "vm_hwm_mib": 121, + "cgroup_max_usage_with_page_cache_mib": 74, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 1 + }, + "0900a35b199d": { + "idle_rss_mib": 105, + "sampled_peak_rss_mib": 122, + "vm_hwm_mib": 122, + "cgroup_max_usage_with_page_cache_mib": 77, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 2 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 0.75, + "last_mem": "119.3MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 0.55, + "last_mem": "12.31MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 12.44, + "last_mem": "57.14MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 24.71, + "last_mem": "67.43MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 3.9, + "last_mem": "30.21MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 0.47, + "last_mem": "8.23MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 1.02, + "last_mem": "32MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 5.27, + "last_mem": "87.09MiB" + } + } + }, + { + "profile": "png 10 MiB x10", + "body_bytes": 10485760, + "content_type": "image/png", + "concurrency": 10, + "rounds": 3, + "requests": 30, + "statuses": { + "201": 30 + }, + "wall_seconds": 9.58, + "successful_rps": 3.13, + "error_rate": 0.0, + "latency_seconds": { + "p50": 2.945, + "p95": 3.77, + "p99": 3.771 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 103, + "sampled_peak_rss_mib": 142, + "vm_hwm_mib": 142, + "cgroup_max_usage_with_page_cache_mib": 145, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + }, + "0900a35b199d": { + "idle_rss_mib": 105, + "sampled_peak_rss_mib": 143, + "vm_hwm_mib": 144, + "cgroup_max_usage_with_page_cache_mib": 139, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 8.22, + "last_mem": "103.6MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 9.11, + "last_mem": "12.32MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 54.38, + "last_mem": "85.79MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 54.51, + "last_mem": "87.57MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 0, + "last_mem": "30.12MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 3.06, + "last_mem": "8.234MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 5.81, + "last_mem": "44.02MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 46.28, + "last_mem": "147.5MiB" + } + } + }, + { + "profile": "png 40 MP x10", + "body_bytes": 126786, + "content_type": "image/png", + "concurrency": 10, + "rounds": 3, + "requests": 30, + "statuses": { + "201": 30 + }, + "wall_seconds": 89.21, + "successful_rps": 0.34, + "error_rate": 0.0, + "latency_seconds": { + "p50": 23.187, + "p95": 33.475, + "p99": 33.514 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 104, + "sampled_peak_rss_mib": 152, + "vm_hwm_mib": 153, + "cgroup_max_usage_with_page_cache_mib": 256, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + }, + "0900a35b199d": { + "idle_rss_mib": 104, + "sampled_peak_rss_mib": 160, + "vm_hwm_mib": 163, + "cgroup_max_usage_with_page_cache_mib": 256, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 2.34, + "last_mem": "111.8MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 1.26, + "last_mem": "12.33MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 55.41, + "last_mem": "66.35MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 54.7, + "last_mem": "67.4MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 0, + "last_mem": "30.14MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 8.95, + "last_mem": "8.105MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 5.1, + "last_mem": "45MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 7.63, + "last_mem": "160.1MiB" + } + } + }, + { + "profile": "jpeg 40 MP x10", + "body_bytes": 235018, + "content_type": "image/jpeg", + "concurrency": 10, + "rounds": 3, + "requests": 30, + "statuses": { + "201": 30 + }, + "wall_seconds": 86.77, + "successful_rps": 0.35, + "error_rate": 0.0, + "latency_seconds": { + "p50": 21.567, + "p95": 29.473, + "p99": 29.817 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 103, + "sampled_peak_rss_mib": 150, + "vm_hwm_mib": 158, + "cgroup_max_usage_with_page_cache_mib": 256, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + }, + "0900a35b199d": { + "idle_rss_mib": 104, + "sampled_peak_rss_mib": 160, + "vm_hwm_mib": 163, + "cgroup_max_usage_with_page_cache_mib": 256, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 15 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 1.93, + "last_mem": "102MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 0.61, + "last_mem": "12.42MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 54.66, + "last_mem": "48.4MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 55.35, + "last_mem": "58.52MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 0, + "last_mem": "30.15MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 3.8, + "last_mem": "8.105MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 3.13, + "last_mem": "45.41MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 5.96, + "last_mem": "161.7MiB" + } + } + }, + { + "profile": "png 10 MiB x20", + "body_bytes": 10485760, + "content_type": "image/png", + "concurrency": 20, + "rounds": 3, + "requests": 60, + "statuses": { + "201": 60 + }, + "wall_seconds": 16.62, + "successful_rps": 3.61, + "error_rate": 0.0, + "latency_seconds": { + "p50": 4.453, + "p95": 6.507, + "p99": 6.588 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 106, + "sampled_peak_rss_mib": 151, + "vm_hwm_mib": 151, + "cgroup_max_usage_with_page_cache_mib": 199, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 30 + }, + "0900a35b199d": { + "idle_rss_mib": 104, + "sampled_peak_rss_mib": 148, + "vm_hwm_mib": 148, + "cgroup_max_usage_with_page_cache_mib": 194, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 30 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 1.92, + "last_mem": "104MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 12.15, + "last_mem": "12.68MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 54.25, + "last_mem": "96.46MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 54.62, + "last_mem": "91.93MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 0, + "last_mem": "30.15MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 3.07, + "last_mem": "8.23MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 4.49, + "last_mem": "47.98MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 49.68, + "last_mem": "174.5MiB" + } + } + }, + { + "profile": "png 10 MiB x40 (выше лимита 16 на реплику)", + "body_bytes": 10485760, + "content_type": "image/png", + "concurrency": 40, + "rounds": 3, + "requests": 120, + "statuses": { + "503": 24, + "201": 96 + }, + "wall_seconds": 24.63, + "successful_rps": 3.9, + "error_rate": 0.2, + "latency_seconds": { + "p50": 7.862, + "p95": 8.374, + "p99": 8.399 + }, + "sha256_in_responses_ok": true, + "download_sha256_ok": true, + "replicas": { + "bb4424f819bb": { + "idle_rss_mib": 104, + "sampled_peak_rss_mib": 156, + "vm_hwm_mib": 156, + "cgroup_max_usage_with_page_cache_mib": 256, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 60 + }, + "0900a35b199d": { + "idle_rss_mib": 102, + "sampled_peak_rss_mib": 150, + "vm_hwm_mib": 150, + "cgroup_max_usage_with_page_cache_mib": 256, + "oom_killed": "false", + "temp_dirs_left": 0, + "served": 60 + } + }, + "docker_stats": { + "messenger-lab4-tools-run-3ba5514e0d22": { + "max_cpu_percent": 15.56, + "last_mem": "122.4MiB" + }, + "messenger-lab4-lb-1": { + "max_cpu_percent": 26.52, + "last_mem": "13.5MiB" + }, + "messenger-lab4-api-1": { + "max_cpu_percent": 52.45, + "last_mem": "98.35MiB" + }, + "messenger-lab4-api-2": { + "max_cpu_percent": 52.64, + "last_mem": "91.67MiB" + }, + "messenger-lab4-reconciler-1": { + "max_cpu_percent": 0, + "last_mem": "30.15MiB" + }, + "messenger-lab4-redis-1": { + "max_cpu_percent": 3.46, + "last_mem": "8.105MiB" + }, + "messenger-lab4-postgres-1": { + "max_cpu_percent": 7.07, + "last_mem": "65.05MiB" + }, + "messenger-lab4-s3-1": { + "max_cpu_percent": 49.36, + "last_mem": "248.1MiB" + } + } + } + ] +}