forked from mtusi2026/mtusi2026lab4
docs: add lab4 report and evidence
This commit is contained in:
@@ -1,37 +1,292 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Антонов Егор, БПИ2301
|
||||
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не заявляется
|
||||
- Commit/PR: ветка `solution/БПИ2301-Antonov`; ссылка на PR — после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: документация S3 API (PutObject, ListObjectsV2, политики), MinIO (`mc`, IAM), HAProxy 3.0 (`http-request set-timeout`, health checks), `sharp`/libvips (`failOn`, `limitInputPixels`, `sequentialRead`), Prisma, Node.js streams. Новые библиотеки: `@aws-sdk/client-s3` 3.700.0, `sharp` 0.33.5; остальные — как в lab3. Перед сдачей просмотрены замечания проверяющих к чужим PR этой лабораторной, и те же сценарии воспроизведены на своём стенде; код из чужих решений не использовался. ИИ-ассистент использовался как парный программист: код, тесты, скрипты экспериментов и текст отчёта по моим решениям с последующим ревью; проверки воспроизведены мной на своём стенде.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
На хосте нужен **только Docker** (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри `tools` — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM. Из свежего `git clone` на commit `f8e41b1` проходят сборка, `make check`, `make test`, `make test-persistence`, `make test-failover`, `check-s3.sh` и собственные тесты.
|
||||
|
||||
| Компонент | Версия |
|
||||
| --- | --- |
|
||||
| API runtime | `node:20.17.0-slim` + openssl, NestJS 10 / Fastify, Prisma 6.1.0, `@aws-sdk/client-s3` 3.700.0, `sharp` 0.33.5 |
|
||||
| Балансировщик | `haproxy:3.0.6-alpine` |
|
||||
| PostgreSQL | `postgres:17.2-alpine` |
|
||||
| Redis | `redis:7.4.1-alpine` |
|
||||
| S3 | `pgsty/minio:RELEASE.2026-08-04T00-00-00Z`, закреплён digest |
|
||||
| Bootstrap S3 | `pgsty/mc:RELEASE.2026-10-26T00-00-00Z`, закреплён digest |
|
||||
| secrets-init | `alpine:3.20.3` |
|
||||
| tools (проверки) | `docker:27.3.1-cli` + python3, make, git |
|
||||
|
||||
```sh
|
||||
# 1. Запуск: secrets-init → postgres, redis, s3 → s3-init, migrate (один раз) → api ×2, reconciler → lb; ждёт healthcheck
|
||||
docker compose up -d --build --wait
|
||||
|
||||
# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
|
||||
docker compose run --rm --build tools make check
|
||||
docker compose run --rm tools make test
|
||||
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
docker compose up -d --wait
|
||||
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose up -d --wait
|
||||
|
||||
# 3. Проверки вложений и эксперименты уровня 4
|
||||
docker compose run --rm tools sh scripts/check-s3.sh # приватность bucket и права пользователя API
|
||||
docker compose run --rm tools python3 scripts/attachment-scenario.py # защита, отказ реплики, обрыв, отказы БД
|
||||
docker compose run --rm tools sh scripts/s3-outage.sh stop # отказ S3: stop или pause
|
||||
docker compose run --rm tools sh scripts/reconcile-demo.sh # сверка: grace, dry-run, apply
|
||||
docker compose run --rm tools python3 scripts/upload-experiment.py # загрузки и пик памяти
|
||||
|
||||
# Эксперименты lab3 сохранены
|
||||
docker compose run --rm tools python3 scripts/experiment.py idempotency
|
||||
docker compose run --rm tools python3 scripts/experiment.py failover
|
||||
docker compose run --rm tools python3 scripts/experiment.py failover --kill
|
||||
|
||||
# 4. Собственные тесты: отдельные postgres, s3 (tmpfs) и redis
|
||||
docker compose -f compose.test.yaml run --rm --build tests
|
||||
docker compose -f compose.test.yaml down -v
|
||||
|
||||
# 5. Все доказательства в evidence/ одной командой (~15 минут)
|
||||
docker compose run --rm tools sh scripts/collect-evidence.sh
|
||||
|
||||
# Безопасная остановка (данные и секреты сохраняются)
|
||||
docker compose stop # или: docker compose down
|
||||
# Намеренное удаление учебных данных и сгенерированных секретов
|
||||
docker compose down -v
|
||||
```
|
||||
|
||||
- **Обновление работающего стенда.** `docker compose up` не пересоздаёт контейнер при изменении содержимого примонтированного `infra/haproxy/haproxy.cfg`. После изменения конфигурации LB: `docker compose up -d --force-recreate --no-deps lb`. Из чистого clone это не требуется.
|
||||
- **`.env` необязателен**: в `compose.yaml` те же значения по умолчанию. Для своих: `cp .env.example .env`, затем `docker compose --env-file .env up -d --build --wait`.
|
||||
- **Секреты** создаёт one-shot сервис `secrets-init` в именованном volume `secrets`, раздельно по сервисам (`volume.subpath`): пароли PostgreSQL и Redis, root-ключи S3, отдельные ключи S3 для API. Действий оператора не требуется; секреты не попадают в Git, образы, логи и evidence.
|
||||
- **Наружу опубликован только LB** на `127.0.0.1:8080`. API, PostgreSQL, Redis и S3 доступны только во внутренней сети compose.
|
||||
- **Swagger UI**: http://localhost:8080/docs — обязательный контракт `contracts/openapi.json` 1.4.0 без изменений. Служебное расширение описано отдельно: [contracts/extensions.openapi.json](contracts/extensions.openapi.json).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
client ──HTTP──▶ lb (HAProxy, 127.0.0.1:8080) ──round robin, без sticky──▶ api ×2 (без опубликованных портов)
|
||||
│ проверка GET /health/core каждые 1 s │
|
||||
│ адреса реплик — Docker DNS ├──SQL──▶ postgres (метаданные) ── volume pgdata
|
||||
├──кэш сессий──▶ redis
|
||||
└──S3 API──▶ s3 (байты, приватный bucket) ── volume s3data
|
||||
▲
|
||||
reconciler (раз в 5 минут): листинг S3 + сверка с PostgreSQL, удаление сирот ───────────────┘
|
||||
s3-init (один раз): bucket, запрет анонимного доступа, политика и пользователь API
|
||||
secrets-init ──▶ volume secrets: postgres/ redis/ s3/ s3-init/ api/ migrate/ reconciler/ (каждому сервису — свой подкаталог, ro)
|
||||
```
|
||||
|
||||
| Роль | Service | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| Балансировщик | `lb` | проверяет backends сам | — | `127.0.0.1:8080` | — | 0.25 CPU, 64M |
|
||||
| API ×2 | `api` | HAProxy и Docker: `/health/core`; контрактный `/health/ready` | — (stateless) | внутренняя, 8080 | `secrets/api`: БД, кэш, ключи S3 пользователя API | 0.5 CPU, 256M каждая |
|
||||
| БД | `postgres` | `pg_isready` | `pgdata` | внутренняя | `secrets/postgres` | 1 CPU, 512M |
|
||||
| Кэш сессий | `redis` | `redis-cli ping` | — | внутренняя | `secrets/redis` | 0.25 CPU, 128M |
|
||||
| S3 | `s3` | `/minio/health/live` | `s3data` | внутренняя, 9000; консоль выключена (`MINIO_BROWSER=off`) | `secrets/s3`: root-ключи | 0.5 CPU, 512M |
|
||||
| Bootstrap S3 | `s3-init` | exit 0 | — | внутренняя | `secrets/s3-init`: root-ключи и ключи API | 0.25 CPU, 256M |
|
||||
| Сверка | `reconciler` | healthcheck отключён, отчёт JSON в лог | — | внутренняя | `secrets/reconciler`: БД, ключи S3 пользователя API | 0.25 CPU, 128M |
|
||||
| Миграции | `migrate` | exit 0 | — | внутренняя | `secrets/migrate` | 0.5 CPU, 512M |
|
||||
| Bootstrap секретов | `secrets-init` | exit 0 | `secrets` | — | генерирует | 0.1 CPU, 32M |
|
||||
|
||||
**Выбор S3.** Выбран MinIO. Официальные образы и бинарные файлы больше не раздаются: `minio/minio` и `quay.io/minio/*` не скачиваются, `dl.min.io` отвечает `410 Gone` с сообщением, что open source проект заархивирован (проверено 2026-11-05). Поэтому используется сторонняя сборка `pgsty/minio` + `pgsty/mc`, версии закреплены тегом и digest. Приложение работает по протоколу S3 и не зависит от конкретного сервера.
|
||||
|
||||
**Bucket и права** (`s3-init` в `compose.yaml`). Запуск идемпотентен: `mc mb --ignore-existing`, `mc anonymous set none`, политика `messenger-api` перезаписывается, пользователь и привязка политики обновляются. Пользователь API получает только `ListBucket`, `GetBucketLocation`, `ListBucketMultipartUploads` на bucket и `GetObject`, `PutObject`, `DeleteObject`, `AbortMultipartUpload`, `ListMultipartUploadParts` на его объекты. Root-ключи есть только у `s3` и `s3-init`.
|
||||
|
||||
**Модель данных** (миграция `20261105000000_attachments`).
|
||||
- `attachments`: чат, владелец, `filename`, `content_type`, `size_bytes`, `sha256`, `object_key`, время. CHECK дублируют проверки API: допустимые MIME, размер 1–10 485 760, формат SHA-256.
|
||||
- `message_attachments`: сообщение, `position` 0–9, вложение. PK `(message_id, position)`, уникальность `(message_id, attachment_id)`. Порядок `attachment_ids` хранится явно, поэтому POST, история и повтор возвращают один и тот же список.
|
||||
- Object key назначает сервер: `attachments/<uuid>`. `filename` используется только для отображения и в заголовке `Content-Disposition`.
|
||||
- Отдельного статуса нет: в lab4 строка существует только у готового вложения. `status: ready`, `variants: []`, `error_code: null` формируются в ответе; состояния появятся миграцией в lab5.
|
||||
|
||||
**Загрузка** (`src/attachments/`). Порядок проверок:
|
||||
1. Токен → доступ к чату → `filename` → `Content-Type` → `Content-Length`. До этого тело не читается: хук `onRequest` на этом маршруте заменяет разбор тела сквозной передачей потока, поэтому аноним всегда получает `401`, посторонний `404`, а не ошибку формата.
|
||||
2. Лимит 16 одновременных загрузок на реплику, сверх него `503`.
|
||||
3. Тело пишется потоком во временный файл с учётом backpressure, одновременно считается SHA-256; при превышении 10 MiB — `413`, дедлайн на приём тела 60 s. Каталог удаляется в `finally`, остатки после аварийного падения — при старте процесса.
|
||||
4. Сигнатура файла и совпадение с `Content-Type`; для PNG — наличие `IEND` в конце файла. Несовпадение → `415`.
|
||||
5. `sharp.metadata()` читает размеры без декодирования: больше 40 млн пикселей → `413`.
|
||||
6. Полное декодирование `sharp(... { failOn: 'warning', sequentialRead: true, limitInputPixels }).stats()`, не более 2 одновременно на реплику. Ошибка → `415`.
|
||||
7. PUT файла в S3 с `ChecksumSHA256`: MinIO сам сверяет контрольную сумму.
|
||||
8. INSERT метаданных и ответ `201`.
|
||||
|
||||
Способ декодирования выбран разовым замером на PNG 8000×5000 при 0.5 CPU (в evidence не сохранён): `stats()` — пик 85 МиБ, 3,3 s; `raw().toBuffer()` — 184 МиБ, 0,1 s; `resize(1,1)` — 459 МиБ, 0,5 s. Выигрыш по памяти важнее скорости при лимите реплики 256 МиБ. Режим `failOn: 'warning'` выбран потому, что `error` и `truncated` пропускают JPEG с испорченными данными скана.
|
||||
|
||||
**Когда возвращается 201.** Только после подтверждения записи объекта в S3 и успешного INSERT. На API не остаётся копии: временный файл удаляется, байты читаются только из S3.
|
||||
|
||||
**Скачивание.** Метаданные и `/content` ищут вложение одним запросом с условием членства в чате, поэтому посторонний и неизвестный ID неразличимы (`404`). Байты передаются потоком через API, без redirect, с истинным `Content-Type`, `Content-Length`, `X-Content-Type-Options: nosniff`. `variant`: отсутствует или `original` — файл; `thumbnail`, `crop`, `optimized` — `404`; прочее, пустое или повторённое — `400`.
|
||||
|
||||
**Идемпотентность с вложениями.** В хеш запроса входит список ID в заданном порядке после приведения к нижнему регистру: отсутствующий `attachment_ids` и `[]` равны, перестановка при том же ключе — `409`. Доступ к чату и принадлежность вложений чату проверяются при каждом запросе, в том числе при повторе.
|
||||
|
||||
**Согласованность S3 и PostgreSQL.** Распределённой транзакции нет. Порядок записи: сначала S3, потом БД, поэтому объект без строки возможен, а видимая строка без объекта при нормальной работе — нет.
|
||||
|
||||
| Сбой | Что происходит | Итог |
|
||||
| --- | --- | --- |
|
||||
| Обрыв клиента или лимит до PUT | до S3 ничего не дошло | временный файл удалён |
|
||||
| Отказ PUT | одиночный PUT с известной длиной, multipart не используется | `503`, строки нет |
|
||||
| Явный отказ БД (известный код Prisma: ограничение, внешний ключ) | запись точно не состоялась | объект удаляется сразу, ответ `500` |
|
||||
| Неясный исход (потеря соединения, необработанная ошибка БД) | COMMIT мог пройти, поэтому API объект **не удаляет** | `503`; повтор создаст новое вложение; решает сверка |
|
||||
| Падение API между PUT и INSERT | объект без строки | решает сверка |
|
||||
| Отказ удаления при сверке | учитывается в `failed` | объект остаётся, следующий проход повторит |
|
||||
|
||||
**Сверка** (`src/attachments/reconciler.ts`, сервис `reconciler`). Каждые 5 минут постранично обходит префикс `attachments/`. Объект считается сиротой, только если он старше grace period (1 час, по `LastModified`) и в момент проверки на него нет строки. Grace намного больше максимального времени загрузки (приём 60 s + PUT 20 s), поэтому загрузка в процессе не считается сиротой. Запуск без `--apply` — dry-run, хранилища не меняются. При отказе PostgreSQL проход прерывается до удалений. Каждый проход пишет JSON-отчёт в лог. Ручной запуск: `docker compose run --rm --no-deps reconciler node dist/reconcile.js [--apply] [--grace-seconds=N]`.
|
||||
|
||||
### Критичные зависимости и проверка готовности
|
||||
|
||||
Контракт требует фиксировать критичные зависимости в отчёте ([contracts/README.md](contracts/README.md)):
|
||||
|
||||
| Endpoint | Что проверяет | Кто использует |
|
||||
| --- | --- | --- |
|
||||
| `/health/live` | жизнь процесса | контракт |
|
||||
| `/health/ready` | остановка процесса, PostgreSQL, S3 (`HeadBucket`, таймаут 1 s) | контракт: клиенты и оператор |
|
||||
| `/health/core` | остановка процесса, PostgreSQL | HAProxy и Docker healthcheck |
|
||||
|
||||
**Почему HAProxy проверяет не `/health/ready`.** S3 один и общий для всех реплик. Если бы LB проверял `/health/ready`, падение S3 одновременно вывело бы из балансировки все исправные реплики: перестали бы работать вход, история и текстовые сообщения, которым S3 не нужен, а клиент получал бы `503` от LB без `X-Instance-Id`. Исключение реплики имеет смысл, когда другая реплика может обслужить запрос; при отказе общего S3 такой реплики нет. Поэтому `/health/ready` честно сообщает о неполной готовности (`503`), а бизнес-запросы продолжают обслуживаться; недоступны только вложения. Это проверено: при остановленном S3 текстовое сообщение получает `201` ([evidence/s3.txt](evidence/s3.txt)).
|
||||
|
||||
**Основание и статус решения.** `/health/core` — дополнение, не описанное в обязательном контракте. Отдельного разрешения именно на служебный health-путь в материалах курса нет; решение опирается на общее правило `COURSE.md`: новые возможности добавляются обратно совместимо, в отдельном `contracts/extensions.openapi.json` или документе. Расширение описано в [contracts/extensions.openapi.json](contracts/extensions.openapi.json), обязательные endpoint не изменены. Требование `backend_readiness` из `contracts/infrastructure.json` выполняется по смыслу: LB активно проверяет готовность каждой реплики и исключает неготовую, что показано сценарием с закрытым доступом к БД ([evidence/failures.txt](evidence/failures.txt) §5). Если проверяющий требует проверки именно через `/health/ready`, возврат — две строки (`infra/haproxy/haproxy.cfg`, `Dockerfile`) ценой остановки всего чата при падении S3.
|
||||
|
||||
**Ограничение решения.** Реплика, потерявшая связь только с S3 при рабочем S3 у других, из LB не исключается и отвечает `503` на запросы вложений. Такой частичный отказ не проверялся.
|
||||
|
||||
Redis не критичен: как и в lab3, вход и бизнес-запросы идут через PostgreSQL, при недоступном Redis отвечает `503` только logout.
|
||||
|
||||
**Таймауты** (согласованы между собой):
|
||||
|
||||
| Параметр | Значение | Где |
|
||||
| --- | --- | --- |
|
||||
| Проверка backend | `inter 1s`, `fall 2`, `rise 2`, `timeout check 1s`, путь `/health/core` | `infra/haproxy/haproxy.cfg` |
|
||||
| Таймауты LB | connect 1 s, server 10 s, client 30 s; для `POST .../attachments` server 60 s | там же |
|
||||
| S3: соединение, простой | 1 s, 5 s; при скачивании 5 s ограничивают только ожидание начала ответа | `src/storage/s3.service.ts` |
|
||||
| S3: вся операция | 20 s | там же |
|
||||
| S3: проверка готовности | 1 s | там же |
|
||||
| Приём тела загрузки | 60 s (`UPLOAD_BODY_TIMEOUT_MS`) | `src/attachments/attachments.service.ts` |
|
||||
| Одновременные загрузки / декодирования | 16 (`MAX_CONCURRENT_UPLOADS`) / 2 на реплику | `attachments.service.ts`, `image-validation.ts` |
|
||||
| Остальное | как в lab3: `SHUTDOWN_DELAY_MS=3000`, `stop_grace_period: 10s`, БД `statement_timeout=5000` | `compose.yaml` |
|
||||
|
||||
HAProxy, в отличие от nginx, не ограничивает размер тела, поэтому отдельной настройки 10 MiB нет: файл ровно 10 MiB проходит через LB, а `413` формирует API в формате контракта с `X-Request-Id` и `X-Instance-Id`.
|
||||
|
||||
**Перенесено из lab3:** весь API, HAProxy, 2 реплики, идемпотентность, graceful shutdown, tombstone при logout, раздельные секреты, `migrate`, тесты, эксперименты. **Изменено:** проверка LB и Docker на `/health/core`; `/health/ready` учитывает S3; `Message` содержит настоящие `attachment_ids`; в хеш идемпотентности входит список вложений; `restart.sh` перезапускает и `s3`; `testTimeout` jest 30 s; `.gitattributes` с LF.
|
||||
|
||||
**Соответствие `.env.example`:**
|
||||
|
||||
| Переменная | Где используется |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | API слушает `0.0.0.0:8080` внутри сети; `APP_PORT` в `.env` — опубликованный порт LB на `127.0.0.1` |
|
||||
| `APP_ENV` | передаётся в API, поведение не меняет |
|
||||
| `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS` | сроки жизни, по умолчанию 3600 и 86400 |
|
||||
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | файлы в `/run/secrets`; в тестах — `DATABASE_URL`, `CACHE_URL` |
|
||||
| `SESSION_STORE=postgres` | фиксировано: источник истины сессий — PostgreSQL |
|
||||
| `API_REPLICAS` | `deploy.replicas`, по умолчанию 2 |
|
||||
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | в `compose.yaml` endpoint задан как `http://s3:9000`, остальные настраиваются |
|
||||
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | файлы в `/run/secrets`; в тестах — `S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY` |
|
||||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | лимиты загрузки, 10485760 и 40000000 |
|
||||
| `RECONCILE_GRACE_SECONDS`, `RECONCILE_INTERVAL_SECONDS` | параметры сервиса `reconciler`, 3600 и 300 (добавлены к примеру) |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Файлы собраны `docker compose run --rm tools sh scripts/collect-evidence.sh` на commit `f8e41b1` с чистых volumes; в заголовке каждого `.txt` — дата и commit, в `.json` — дата.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke | `make test` через LB | `PASS: lab4 public API scenario` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| Структура контракта | `make check` | `PASS: offline skeleton structure` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| **3**: минимум lab3 сохранён | smoke, `make test-failover`, `experiment.py`, собственные тесты | одна сессия чередует 2 реплики; failover и идемпотентность проходят | [evidence/smoke.txt](evidence/smoke.txt), [evidence/failover.txt](evidence/failover.txt), [evidence/idempotency.json](evidence/idempotency.json) |
|
||||
| **3**: S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket | `docker compose ps`, `\d attachments`, анонимный GET | сервис `s3` с volume; в таблице вложений нет поля байт; анонимный GET объекта `403` | [evidence/container.txt](evidence/container.txt), [evidence/attachments.txt](evidence/attachments.txt) §1 |
|
||||
| **3**: POST → `201 ready` после сохранения; скачивание побайтно; Message читается; посторонний без доступа | `make test`; `attachment-scenario.py` §1 | `201 ready`, Bob скачал, SHA-256 совпал, `text=""` с вложением `201`; Eve `404` на метаданные и байты | [evidence/attachments.txt](evidence/attachments.txt) §1 |
|
||||
| **3**: реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME по содержимому; опасные filename; лимиты до чтения/декодирования | тесты `attachments.e2e-spec.ts` | ровно 10 MiB и ровно 40 млн пикселей `201`; 10 MiB + 1 и 8001×5000 `413`; `../`, `\`, NUL, DEL, U+0085, пробелы — `400` | [evidence/tests.txt](evidence/tests.txt) |
|
||||
| **3**: остановка обслужившей загрузку реплики → скачивание через другую | `attachment-scenario.py` §2 для обеих реплик | по 6 скачиваний через оставшуюся реплику, SHA-256 совпал, остановленная запросов не получала | [evidence/attachments.txt](evidence/attachments.txt) §2 |
|
||||
| **3**: restart с сохранением volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS с повторным чтением файла; `started=` сменился у postgres, redis, s3, обеих api, lb | [evidence/persistence.txt](evidence/persistence.txt) |
|
||||
| **3**: failover для обеих реплик | `make test-failover` | остановлены разные реплики; 0 ошибок; запись через 3,56–3,58 s; файл прочитан | [evidence/failover.txt](evidence/failover.txt) |
|
||||
| Защита: на API нет обязательного локального оригинала | поиск файла по размеру на оставшейся реплике; временные каталоги | файла нет; временных каталогов 0 | [evidence/attachments.txt](evidence/attachments.txt) §2–3 |
|
||||
| **4**: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, файл другого чата; нет 500 | `attachments.e2e-spec.ts`, `attachment-access.e2e-spec.ts` | `413`; 11 видов битых PNG и 4 вида битых JPEG `415`; подмена в обе стороны `415`; неизвестный и другой чат — одинаковый `404` | [evidence/tests.txt](evidence/tests.txt) |
|
||||
| **4**: прерывание и отказ между S3 и БД не оставляют вечных неучтённых объектов; grace | `attachment-scenario.py` §3–5, `reconcile-demo.sh` | обрыв: 0 новых строк и объектов; реальный отказ БД: `503`, объект защищён grace, затем удалён только он; dry-run ничего не меняет; при повторе удалять нечего | [evidence/attachments.txt](evidence/attachments.txt), [evidence/s3.txt](evidence/s3.txt) |
|
||||
| **4**: лимиты, таймауты, потоковая обработка; ≥10 одновременных загрузок с пиком памяти | `upload-experiment.py` | см. «Эксперименты»; максимум `VmHWM` 163 МиБ при лимите 256 МиБ, OOM нет | [evidence/upload-memory.json](evidence/upload-memory.json) |
|
||||
| **4**: bootstrap идемпотентен | двойной запуск `s3-init` | оба завершились успешно, `bucket ... ready` | [evidence/s3.txt](evidence/s3.txt) |
|
||||
| **4**: отдельные S3 credentials с ограниченными правами | `check-s3.sh` | свой bucket разрешён; другой bucket, создание bucket, смена политики, админ-команды запрещены | [evidence/s3.txt](evidence/s3.txt) |
|
||||
| **4**: консоль не открыта; приватность проверена вне API | `check-s3.sh` | порт S3 не опубликован, `MINIO_BROWSER=off`; анонимные GET объекта, листинг и PUT — `403` | [evidence/s3.txt](evidence/s3.txt) |
|
||||
| Защита: недоступность S3 | `s3-outage.sh stop`, `pause` | `ready`, скачивание и загрузка `503` от API за 1–5 s; метаданные `200`; текст `201`; после восстановления файл цел | [evidence/s3.txt](evidence/s3.txt) |
|
||||
| lab3: LB исключает неготовую реплику; лимиты; секреты | `pg_hba reject` для одной реплики; `docker inspect`; `ls /run/secrets` | `live 200`, `core 503`, `is DOWN`, 10 из 10 запросов через вторую реплику; лимиты у всех контейнеров, включая завершившиеся; у каждого сервиса свои файлы | [evidence/failures.txt](evidence/failures.txt) §5, [evidence/container.txt](evidence/container.txt) |
|
||||
| lab2/3: logout, expiry, отказы Redis и БД | `probe.py` | как в lab3 | [evidence/failures.txt](evidence/failures.txt) |
|
||||
| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | `Tests: 163 passed, 163 total` | [evidence/tests.txt](evidence/tests.txt) |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Реальность остановок видна по `docker inspect` в `failover.txt` и `persistence.txt`, а не только по заголовку `X-Instance-Id`.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
### Одновременные загрузки и пик памяти
|
||||
|
||||
**Гипотеза.** Потоковая запись тела на диск и ограничение числа декодирований не дают памяти реплики расти пропорционально данным в обработке.
|
||||
|
||||
**Методика.** `scripts/upload-experiment.py` в контейнере `tools`: для каждого профиля реплики API перезапускаются (чтобы `VmHWM` относился к этому профилю), затем 3 раунда по N одновременных POST через LB. Память: `VmRSS` процесса каждые 0,2 s и `VmHWM`. Стенд: 2 реплики по 0.5 CPU и 256 МиБ, Docker Desktop WSL2, 12 vCPU. Объём данных после эксперимента: 290 вложений, 264 сообщения. Прогрева нет: каждый профиль начинается сразу после готовности реплик. Каждый профиль выполнен один раз.
|
||||
|
||||
| Профиль | Запросов | Ответы | Успешных RPS | Доля ошибок | p50 / p95 / p99, s | Простой → пик `VmHWM`, МиБ (макс. реплика) | Данных в обработке на реплику, МиБ | Макс. CPU реплики |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| `sample.png` 112 КиБ × 10 | 30 | 30 × 201 | 14,83 | 0 | 0,49 / 0,71 / 0,81 | 104 → 118 | 0,6 | 44 % |
|
||||
| PNG 10 МиБ × 1 | 3 | 3 × 201 | 1,67 | 0 | 0,69 / 0,74 / 0,74 | 105 → 122 | 10 | 25 % |
|
||||
| PNG 10 МиБ × 10 | 30 | 30 × 201 | 3,13 | 0 | 2,95 / 3,77 / 3,77 | 105 → 144 | 50 | 55 % |
|
||||
| PNG 10 МиБ × 20 | 60 | 60 × 201 | 3,61 | 0 | 4,45 / 6,51 / 6,59 | 106 → 151 | 100 | 55 % |
|
||||
| PNG 10 МиБ × 40 | 120 | 96 × 201, 24 × 503 | 3,90 | 0,20 | 7,86 / 8,37 / 8,40 | 104 → 156 | 160 (лимит 16 загрузок) | 53 % |
|
||||
| PNG 40 МП, 127 КиБ × 10 | 30 | 30 × 201 | 0,34 | 0 | 23,2 / 33,5 / 33,5 | 104 → 163 | 5 файлов, до 2 декодируются | 55 % |
|
||||
| JPEG 40 МП, 235 КиБ × 10 | 30 | 30 × 201 | 0,35 | 0 | 21,6 / 29,5 / 29,8 | 104 → 163 | 5 файлов, до 2 декодируются | 55 % |
|
||||
|
||||
Запросы распределялись между репликами поровну, поэтому на реплику приходится половина одновременных загрузок. Во всех профилях: `oom_killed=false`, 0 временных каталогов после прогона, SHA-256 в ответах и при контрольном скачивании совпал.
|
||||
|
||||
**Вывод.** В этих пределах гипотеза подтверждена: при росте данных в обработке на реплику с 10 до 160 МиБ пик вырос с 122 до 156 МиБ, то есть на 34 МиБ при 150 МиБ дополнительных данных, и остался ниже лимита 256 МиБ. Узкое место — CPU: реплики упираются в лимит 0.5 CPU, а RPS для файлов 10 МиБ почти не растёт от 10 к 40 загрузкам. Отказы при × 40 совпадают с расчётом: по 20 запросов на реплику при лимите 16 дают 4 отказа на реплику за раунд, всего 24.
|
||||
|
||||
**Как читать показатели памяти.** Основной показатель — RSS процесса. `memory.max_usage_in_bytes` cgroup в профилях 40 МП и × 40 достигает 256 МиБ, но по устройству этого счётчика в него входит кэш страниц, в том числе временных файлов; OOM при этом нет. `docker stats` показывает меньше RSS, поэтому не используется как оценка пика. Разброс между запусками: в более ранних прогонах того же сценария (в evidence не сохранены) максимум `VmHWM` доходил до 174 МиБ.
|
||||
|
||||
**Ограничения измерения.** Закрытая модель нагрузки (раунд ждёт завершения всех запросов), клиент на том же хосте, один прогон. Файлы 40 МП — худший случай по декодированию, но они однородные и хорошо сжимаются; изображение одновременно на 10 МиБ и 40 МП не проверялось. При 5 файлах 40 МП на реплику p99 уже около 33 s; при 16 возможно превышение таймаута LB 60 s и `504`.
|
||||
|
||||
### Устойчивость записи (сценарии lab3)
|
||||
|
||||
Методика как в lab3: `scripts/experiment.py`, 4 потока closed-loop `POST` сообщений, неудачный запрос повторяется с тем же ключом, окна 5 s до воздействия, 10 s после команды остановки, 5 s после восстановления. Один прогон каждого сценария. Объём данных: 265 → 17 944 сообщений. Ресурсы под нагрузкой: api 44–48 % CPU и 137–180 МиБ, postgres 26 % и 77 МиБ, lb 11 % и 14 МиБ, s3 2 % и 249 МиБ. Потерь и дублей подтверждённых сообщений 0 из 7011 (`docker stop`), 5365 (`docker kill`), 5303 (rolling).
|
||||
|
||||
| Сценарий, окно | Успешных RPS | Ошибки (доля) | p50 / p95 / p99, ms: до → отказ | Макс. пауза записи |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| `docker stop` api-1: до / отказ / после | 134 / 107 / 155 | 0 / 0 / 0 | 12,7/87,9/101 → 13,7/90,9/99,1 | 0,11 s |
|
||||
| `docker stop` api-2: до / отказ / после | 155 / 115 / 158 | 0 / 0 / 0 | 11,4/80,2/107 → 12,6/90,6/149 | 0,10 s |
|
||||
| `docker kill` api-1: до / отказ / после | 158 / 79 / 157 | 0 / 2 (0,24 %) / 0 | 11,3/80,0/117 → 13,4/92,9/1012 | 0,92 s |
|
||||
| `docker kill` api-2: до / отказ / после | 158 / 64 / 143 | 0 / 2 (0,30 %) / 0 | 11,9/74,7/85,1 → 14,1/95,5/1011 | 0,99 s |
|
||||
| Rolling update, вся замена (33,7 s) | 128 | 0 | 15,2 / 83,5 / 111 | 0,22 s |
|
||||
|
||||
### Отказы
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Остановка реплики, обслужившей загрузку, для обеих реплик | другая реплика отдаёт файл | 6 из 6 скачиваний через оставшуюся реплику, SHA-256 совпал, локальной копии нет | сразу; потерь нет |
|
||||
| `make test-failover` ×2, разные реплики | ≤ 10 s, без дублей, файл читается | 0 ошибок, запись через 3,56–3,58 s | PASS |
|
||||
| `restart.sh`: postgres, redis, s3, api ×2, lb | данные, файл и токен сохраняются | PASS | потерь нет |
|
||||
| `docker compose stop s3` | вложения `503`, остальное работает | `ready` `503` за 1,01 s; скачивание `503` за 1,01 s; загрузка `503` за 1,03 s; метаданные `200`; текст `201` | после `start` `ready 200`, файл цел |
|
||||
| `docker compose pause s3` (S3 завис) | ответы ограничены таймаутами | `ready` `503` за 1,01 s; скачивание и загрузка `503` за 5,0 s; текст `201` | после `unpause` `ready 200`, файл цел |
|
||||
| Обрыв загрузки через LB | ничего не остаётся | строки 7 → 7, объекты 7 → 7, временных каталогов 0 | потерь нет |
|
||||
| PostgreSQL отклоняет INSERT после PUT (триггер `RAISE EXCEPTION`) | объект без строки не становится вечным | `503`, строки 7 → 7, объекты 7 → 8; grace 3600 s — не удалён; grace 1 s — удалён только он, 7 привязанных не тронуты | следующая загрузка `201` |
|
||||
| Потеря соединения с PostgreSQL при INSERT (триггер `pg_terminate_backend`) | объект не удаляется сразу | `503`, строки 8 → 8, объекты 8 → 9; grace 3600 s — не удалён; grace 1 s — удалён только он, 8 привязанных не тронуты | следующая загрузка `201` |
|
||||
| Объект создан напрямую в S3, строки нет | dry-run не удаляет, apply удаляет только его | dry-run: `orphans: 1, deleted: 0`; apply: `deleted: 1`, `referenced: 11`; повтор `orphans: 0` | — |
|
||||
| Сверка во время зависшего S3 | проход прерывается, сервис живёт | в логе `reconcile pass aborted`, контейнер продолжает работу | следующий проход штатный |
|
||||
| Живая реплика без доступа к PostgreSQL | LB исключает её | `live 200`, `core 503`, `is DOWN`, 10 из 10 запросов через вторую реплику | после возврата доступа снова в ротации |
|
||||
| `docker compose stop redis`, `stop postgres`, `stop api` | как в lab3 | logout `503` без отзыва; `503 database unavailable`; при остановке всех API — LB `503` в формате контракта | после `start` работает |
|
||||
|
||||
В `failures.txt` §3 при остановленном PostgreSQL анонимный запрос получает `401` от API: для ответа без токена БД не нужна, а реплики ещё не исключены из LB (≤ 3 s).
|
||||
|
||||
Отказ между записью в S3 и PostgreSQL внедрялся реальным триггером на таблице. Случай «COMMIT прошёл, ответ потерян» проверен только тестом с подменой ошибки Prisma: надёжно оборвать соединение точно после COMMIT на стенде не удаётся.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- **Отказ процесса, а не узла.** Все контейнеры на одном хосте. LB, PostgreSQL, Redis и S3 — по одному экземпляру, один диск MinIO без репликации: потеря тома `s3data` означает потерю файлов.
|
||||
- **Образ S3.** Сторонняя сборка заархивированного проекта; контейнер работает от root. Для учебного стенда с синтетическими данными это приемлемо, для реальной системы потребовалась бы своя сборка или другой S3-сервер.
|
||||
- **`/health/core`** не входит в обязательный контракт; основание и способ отката — в разделе «Критичные зависимости и проверка готовности».
|
||||
- **Строка есть, объекта нет.** Сверка находит только объекты без строк. Потеря объекта (например, удаление вручную) проявляется как `500` при скачивании с записью в логе. Обратная сверка — трек 5.2, не заявлен.
|
||||
- **Непривязанные вложения не удаляются.** Загруженный файл, на который не сослалось ни одно сообщение, учтён в БД и остаётся навсегда: API удаления нет.
|
||||
- **Строгая проверка изображений.** `failOn: 'warning'` может отклонить редкий настоящий файл с предупреждением декодера. PNG с более чем 64 КиБ данных после `IEND` тоже получит `415`.
|
||||
- **Цена проверки.** Полное декодирование 40 МП занимает секунды CPU. Лимит загрузок общий на реплику, а не на пользователя: один пользователь может занять все слоты; rate limiting не реализован.
|
||||
- **Лишние байты после `413`.** Тело больше лимита отклоняется сразу, но оставшиеся байты дочитываются и отбрасываются, чтобы клиент получил ответ. Память не растёт, трафик ограничен только таймаутами LB.
|
||||
- **Медленные клиенты.** Приём тела загрузки ограничен 60 s; скачивание обрывается LB, если клиент не читает данные 30 s.
|
||||
- **Права сверки.** `reconciler` использует того же S3-пользователя, что и API, включая `DeleteObject`; отдельная учётная запись не заведена.
|
||||
- **`filename`.** Запрещены разделители пути, управляющие символы и разделители строк. Символы форматирования Unicode (например, смена направления текста) разрешены, чтобы не отклонять эмодзи с соединителями; имя используется только для отображения.
|
||||
- HTTP без TLS — только для локального стенда (TLS — lab7). `X-Instance-Id` раскрывает короткий id контейнера. Grace рассчитан на единые часы одного хоста; на нескольких узлах он должен учитывать расхождение часов.
|
||||
- **Подтверждено измерением:** файл переживает остановку реплики и restart; память API не растёт пропорционально данным в указанных профилях; отказ S3 не останавливает текстовый чат; сироты удаляются только после grace. **Гипотеза, не измерена:** стоимость обхода сверкой при большом числе объектов (трек 5.2).
|
||||
|
||||
## Ответы на вопросы защиты
|
||||
|
||||
- **Почему файл в Docker volume одной реплики не равен объектному хранилищу?** Volume привязан к контейнеру и хосту: другая реплика его не видит, а при остановке реплики файл недоступен. S3 — отдельный общий сервис со своим API и правами, поэтому файл читает любая реплика.
|
||||
- **Когда можно честно вернуть 201?** Когда объект подтверждён S3, а метаданные зафиксированы в PostgreSQL.
|
||||
- **Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?** Клиент получит ошибку, объект останется без строки и будет удалён сверкой после grace. Если исход неясен, API объект не удаляет, потому что COMMIT мог пройти.
|
||||
- **Почему случайный object key и приватный bucket не заменяют ACL приложения?** Bucket закрывает прямой доступ, но API читает объекты с правами на весь bucket, и участие в чате S3 неизвестно: его проверяет только приложение. Ключ также может утечь, например через логи.
|
||||
|
||||
@@ -0,0 +1,76 @@
|
||||
# Вложения: сценарий защиты, остановка загрузившей реплики, прерванная загрузка, отказ между S3 и БД
|
||||
# date: 2026-11-05T13:59:24Z
|
||||
# commit: f8e41b1
|
||||
|
||||
$ python3 scripts/attachment-scenario.py
|
||||
|
||||
## 1. Сценарий защиты: загрузка, сообщение, второй участник, посторонний, S3 мимо API
|
||||
POST /attachments -> 201 status=ready variants=[] error_code=None sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
POST /messages text="" -> 201 attachment_ids совпадают: True
|
||||
Bob GET /content -> 200 image/png sha256 совпадает: True
|
||||
Eve GET /attachments/{id} -> 404
|
||||
Eve GET /attachments/{id}/content -> 404
|
||||
object_key в БД: attachments/<uuid>, filename в ключ не входит: True
|
||||
Анонимный GET объекта напрямую в S3 -> 403
|
||||
|
||||
## 2. Остановка реплики, обслужившей загрузку; скачивание через другую
|
||||
upload -> 201, обслужила реплика 0900a35b199d
|
||||
stop-one.sh: /messenger-lab4-api-2 exited finished=2026-11-05T13:59:28.482320827Z
|
||||
download -> 200 реплика=bb4424f819bb sha256 совпадает: True
|
||||
download -> 200 реплика=bb4424f819bb sha256 совпадает: True
|
||||
download -> 200 реплика=bb4424f819bb sha256 совпадает: True
|
||||
download -> 200 реплика=bb4424f819bb sha256 совпадает: True
|
||||
download -> 200 реплика=bb4424f819bb sha256 совпадает: True
|
||||
download -> 200 реплика=bb4424f819bb sha256 совпадает: True
|
||||
остановленная реплика среди обслуживших: False ; 0.05s
|
||||
Файл оригинала на диске обслужившей реплики (поиск по точному размеру 111817 байт):
|
||||
bb4424f819bb -> нет
|
||||
реплика 0900a35b199d возвращена
|
||||
upload -> 201, обслужила реплика bb4424f819bb
|
||||
stop-one.sh: /messenger-lab4-api-1 exited finished=2026-11-05T13:59:35.788929779Z
|
||||
download -> 200 реплика=0900a35b199d sha256 совпадает: True
|
||||
download -> 200 реплика=0900a35b199d sha256 совпадает: True
|
||||
download -> 200 реплика=0900a35b199d sha256 совпадает: True
|
||||
download -> 200 реплика=0900a35b199d sha256 совпадает: True
|
||||
download -> 200 реплика=0900a35b199d sha256 совпадает: True
|
||||
download -> 200 реплика=0900a35b199d sha256 совпадает: True
|
||||
остановленная реплика среди обслуживших: False ; 0.12s
|
||||
Файл оригинала на диске обслужившей реплики (поиск по точному размеру 111817 байт):
|
||||
0900a35b199d -> нет
|
||||
реплика bb4424f819bb возвращена
|
||||
|
||||
## 3. Прерванная загрузка через LB: ни строки, ни объекта, ни временного файла
|
||||
$ reconcile --grace-seconds=3600
|
||||
{"mode":"dry-run","grace_seconds":3600,"scanned":7,"fresh_skipped":7,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":207}
|
||||
$ reconcile --grace-seconds=3600
|
||||
{"mode":"dry-run","grace_seconds":3600,"scanned":7,"fresh_skipped":7,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":218}
|
||||
строк attachments: 7 -> 7; объектов: 7 -> 7
|
||||
временных каталогов в bb4424f819bb: 0
|
||||
временных каталогов в 0900a35b199d: 0
|
||||
|
||||
## 4. Реальный отказ PostgreSQL между PUT и INSERT: триггер отклоняет вставку
|
||||
$ reconcile --grace-seconds=3600
|
||||
{"mode":"dry-run","grace_seconds":3600,"scanned":7,"fresh_skipped":7,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":208}
|
||||
upload при отказе INSERT -> 503 unavailable
|
||||
строк attachments: 7 -> 7
|
||||
$ reconcile --apply --grace-seconds=3600
|
||||
{"mode":"apply","grace_seconds":3600,"scanned":8,"fresh_skipped":8,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":207}
|
||||
объектов было 7, стало 8; свежий объект защищён grace: удалено 0
|
||||
$ reconcile --apply --grace-seconds=1
|
||||
{"mode":"apply","grace_seconds":1,"scanned":8,"fresh_skipped":0,"referenced":7,"orphans":1,"deleted":1,"failed":0,"orphan_keys":["attachments/2e115516-6a91-4d6a-8b18-577663eebebe"],"duration_ms":300}
|
||||
после grace: сирот 1, удалено 1, привязанные объекты не тронуты: 7
|
||||
следующая загрузка без отказа -> 201
|
||||
|
||||
## 5. Потеря соединения с PostgreSQL между PUT и INSERT: исход неясен, объект остаётся до сверки
|
||||
$ reconcile --grace-seconds=3600
|
||||
{"mode":"dry-run","grace_seconds":3600,"scanned":8,"fresh_skipped":8,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":210}
|
||||
upload при отказе INSERT -> 503 unavailable
|
||||
строк attachments: 8 -> 8
|
||||
$ reconcile --apply --grace-seconds=3600
|
||||
{"mode":"apply","grace_seconds":3600,"scanned":9,"fresh_skipped":9,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":214}
|
||||
объектов было 8, стало 9; свежий объект защищён grace: удалено 0
|
||||
$ reconcile --apply --grace-seconds=1
|
||||
{"mode":"apply","grace_seconds":1,"scanned":9,"fresh_skipped":0,"referenced":8,"orphans":1,"deleted":1,"failed":0,"orphan_keys":["attachments/38b788ac-03f5-4bb4-88cf-813b8445c686"],"duration_ms":221}
|
||||
после grace: сирот 1, удалено 1, привязанные объекты не тронуты: 8
|
||||
следующая загрузка без отказа -> 201
|
||||
|
||||
@@ -0,0 +1,163 @@
|
||||
# Стенд: сервисы, порты, лимиты, секреты, миграции
|
||||
# date: 2026-11-05T13:56:38Z
|
||||
# commit: f8e41b1
|
||||
|
||||
$ docker compose ps -a --format table {{.Service}}\t{{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}
|
||||
SERVICE NAME IMAGE STATUS PORTS
|
||||
api messenger-lab4-api-1 mtusi-messenger-lab4-api:dev Up 11 seconds (healthy) 8080/tcp
|
||||
api messenger-lab4-api-2 mtusi-messenger-lab4-api:dev Up 11 seconds (healthy) 8080/tcp
|
||||
lb messenger-lab4-lb-1 haproxy:3.0.6-alpine Up 5 seconds 127.0.0.1:8080->8080/tcp
|
||||
migrate messenger-lab4-migrate-1 mtusi-messenger-lab4-migrate:dev Exited (0) 12 seconds ago
|
||||
postgres messenger-lab4-postgres-1 postgres:17.2-alpine Up 21 seconds (healthy) 5432/tcp
|
||||
reconciler messenger-lab4-reconciler-1 mtusi-messenger-lab4-api:dev Up 11 seconds 8080/tcp
|
||||
redis messenger-lab4-redis-1 redis:7.4.1-alpine Up 21 seconds (healthy) 6379/tcp
|
||||
s3 messenger-lab4-s3-1 pgsty/minio:RELEASE.2026-08-04T00-00-00Z@sha256:b6bfe7239bfc83fb90d31612d9704d86039dd714f7904b3f1ad68f211e602372 Up 21 seconds (healthy) 9000/tcp
|
||||
s3-init messenger-lab4-s3-init-1 pgsty/mc:RELEASE.2026-10-26T00-00-00Z@sha256:ce62c9053c69ce12a527a322345b5ad9f44b5f8a7b8189f82e516f2e3f30f1d8 Exited (0) 12 seconds ago
|
||||
secrets-init messenger-lab4-secrets-init-1 alpine:3.20.3 Exited (0) 21 seconds ago
|
||||
tools messenger-lab4-tools-run-3ba5514e0d22 mtusi-messenger-lab4-tools:dev Up 4 seconds
|
||||
|
||||
## CPU/RAM-лимиты (NanoCpus: 1e9 = 1 CPU; Memory в байтах)
|
||||
$ sh -c docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $(docker compose ps -aq)
|
||||
/messenger-lab4-api-1 cpus=500000000 memory=268435456
|
||||
/messenger-lab4-api-2 cpus=500000000 memory=268435456
|
||||
/messenger-lab4-lb-1 cpus=250000000 memory=67108864
|
||||
/messenger-lab4-migrate-1 cpus=500000000 memory=536870912
|
||||
/messenger-lab4-postgres-1 cpus=1000000000 memory=536870912
|
||||
/messenger-lab4-reconciler-1 cpus=250000000 memory=134217728
|
||||
/messenger-lab4-redis-1 cpus=250000000 memory=134217728
|
||||
/messenger-lab4-s3-1 cpus=500000000 memory=536870912
|
||||
/messenger-lab4-s3-init-1 cpus=250000000 memory=268435456
|
||||
/messenger-lab4-secrets-init-1 cpus=100000000 memory=33554432
|
||||
/messenger-lab4-tools-run-3ba5514e0d22 cpus=1000000000 memory=268435456
|
||||
|
||||
## container_name не задан (одно имя сервиса масштабируется)
|
||||
$ sh -c docker compose config | grep -c container_name || true
|
||||
0
|
||||
|
||||
## Секреты: каждый сервис видит только свои файлы
|
||||
$ docker compose exec -T postgres ls /run/secrets
|
||||
pg_password
|
||||
|
||||
$ docker compose exec -T redis ls /run/secrets
|
||||
redis_password
|
||||
|
||||
$ docker compose exec -T s3 ls /run/secrets
|
||||
s3_root_password
|
||||
s3_root_user
|
||||
|
||||
$ docker compose exec -T api ls /run/secrets
|
||||
cache_url
|
||||
database_url
|
||||
s3_access_key_id
|
||||
s3_secret_access_key
|
||||
|
||||
$ docker compose exec -T reconciler ls /run/secrets
|
||||
database_url
|
||||
s3_access_key_id
|
||||
s3_secret_access_key
|
||||
|
||||
$ docker compose run --rm --no-deps -T --entrypoint ls s3-init /run/secrets
|
||||
s3_access_key_id
|
||||
s3_root_password
|
||||
s3_root_user
|
||||
s3_secret_access_key
|
||||
|
||||
$ docker compose exec -T lb sh -c ls /run/secrets 2>/dev/null || echo "no /run/secrets"
|
||||
no /run/secrets
|
||||
|
||||
$ docker compose exec -T lb haproxy -v
|
||||
HAProxy version 3.0.6-c2c0090 2024/11/07 - https://haproxy.org/
|
||||
Status: long-term supported branch - will stop receiving fixes around Q2 2029.
|
||||
Known bugs: http://www.haproxy.org/bugs/bugs-3.0.6.html
|
||||
Running on: Linux 5.15.153.1-microsoft-standard-WSL2 #1 SMP Fri Mar 29 23:14:13 UTC 2024 x86_64
|
||||
|
||||
$ docker compose exec -T postgres postgres --version
|
||||
postgres (PostgreSQL) 17.2
|
||||
|
||||
$ docker compose exec -T redis redis-server --version
|
||||
Redis server v=7.4.1 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=a93ce81042b3a6d7
|
||||
|
||||
$ docker compose exec -T s3 minio --version
|
||||
minio version RELEASE.2026-08-04T00-00-00Z (commit-id=d88f46ccee345a9c2fabe2d221d9a9e56bc11aec)
|
||||
Runtime: go1.26.5 linux/amd64
|
||||
License: GNU AGPLv3 - https://www.gnu.org/licenses/agpl-3.0.html
|
||||
Copyright: 2015-2026 MinIO, Inc.
|
||||
|
||||
## Таблицы вложений
|
||||
$ docker compose exec -T postgres psql -U messenger -d messenger -c \d attachments -c \d message_attachments
|
||||
Table "public.attachments"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
--------------+-----------------------------+-----------+----------+-------------------
|
||||
id | uuid | | not null |
|
||||
chat_id | uuid | | not null |
|
||||
owner_id | uuid | | not null |
|
||||
filename | character varying(255) | | not null |
|
||||
content_type | character varying(32) | | not null |
|
||||
size_bytes | integer | | not null |
|
||||
sha256 | character(64) | | not null |
|
||||
object_key | character varying(128) | | not null |
|
||||
created_at | timestamp(3) with time zone | | not null | CURRENT_TIMESTAMP
|
||||
updated_at | timestamp(3) with time zone | | not null | CURRENT_TIMESTAMP
|
||||
Indexes:
|
||||
"attachments_pkey" PRIMARY KEY, btree (id)
|
||||
"attachments_chat_id_idx" btree (chat_id)
|
||||
"attachments_object_key_key" UNIQUE, btree (object_key)
|
||||
"attachments_owner_id_idx" btree (owner_id)
|
||||
Check constraints:
|
||||
"attachments_content_type_allowed" CHECK (content_type::text = ANY (ARRAY['image/png'::character varying, 'image/jpeg'::character varying]::text[]))
|
||||
"attachments_filename_not_blank" CHECK (btrim(filename::text) <> ''::text)
|
||||
"attachments_sha256_format" CHECK (sha256 ~ '^[a-f0-9]{64}$'::text)
|
||||
"attachments_size_range" CHECK (size_bytes >= 1 AND size_bytes <= 10485760)
|
||||
Foreign-key constraints:
|
||||
"attachments_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON UPDATE CASCADE ON DELETE CASCADE
|
||||
"attachments_owner_id_fkey" FOREIGN KEY (owner_id) REFERENCES users(id) ON UPDATE CASCADE ON DELETE RESTRICT
|
||||
Referenced by:
|
||||
TABLE "message_attachments" CONSTRAINT "message_attachments_attachment_id_fkey" FOREIGN KEY (attachment_id) REFERENCES attachments(id) ON UPDATE CASCADE
|
||||
|
||||
Table "public.message_attachments"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
---------------+----------+-----------+----------+---------
|
||||
message_id | uuid | | not null |
|
||||
position | smallint | | not null |
|
||||
attachment_id | uuid | | not null |
|
||||
Indexes:
|
||||
"message_attachments_pkey" PRIMARY KEY, btree (message_id, "position")
|
||||
"message_attachments_attachment_id_idx" btree (attachment_id)
|
||||
"message_attachments_message_id_attachment_id_key" UNIQUE, btree (message_id, attachment_id)
|
||||
Check constraints:
|
||||
"message_attachments_position_range" CHECK ("position" >= 0 AND "position" <= 9)
|
||||
Foreign-key constraints:
|
||||
"message_attachments_attachment_id_fkey" FOREIGN KEY (attachment_id) REFERENCES attachments(id) ON UPDATE CASCADE
|
||||
"message_attachments_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON UPDATE CASCADE ON DELETE CASCADE
|
||||
|
||||
|
||||
## Миграции: отдельный one-shot сервис, повторный запуск ничего не применяет
|
||||
$ docker compose run --rm migrate
|
||||
Container messenger-lab4-secrets-init-1 Created
|
||||
Container messenger-lab4-postgres-1 Running
|
||||
Container messenger-lab4-secrets-init-1 Starting
|
||||
Container messenger-lab4-secrets-init-1 Started
|
||||
Container messenger-lab4-secrets-init-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Exited
|
||||
Prisma schema loaded from prisma/schema.prisma
|
||||
Datasource "db": PostgreSQL database "messenger", schema "public" at "postgres:5432"
|
||||
|
||||
4 migrations found in prisma/migrations
|
||||
|
||||
|
||||
No pending migrations to apply.
|
||||
|
||||
$ docker compose run --rm --no-deps migrate sh -c export DATABASE_URL="$(cat "$DATABASE_URL_FILE")"; npx prisma migrate diff --from-url "$DATABASE_URL" --to-schema-datamodel prisma/schema.prisma --exit-code
|
||||
No difference detected.
|
||||
|
||||
|
||||
$ docker compose exec -T postgres psql -U messenger -d messenger -c SELECT migration_name, finished_at FROM _prisma_migrations ORDER BY started_at
|
||||
migration_name | finished_at
|
||||
---------------------------------+-------------------------------
|
||||
20261021000000_init | 2026-11-05 13:56:26.122879+00
|
||||
20261021010000_auth_sessions | 2026-11-05 13:56:26.136187+00
|
||||
20261101000000_idempotency_keys | 2026-11-05 13:56:26.145579+00
|
||||
20261105000000_attachments | 2026-11-05 13:56:26.159672+00
|
||||
(4 rows)
|
||||
|
||||
|
||||
@@ -0,0 +1,148 @@
|
||||
{
|
||||
"scenario": "sequential failover of each api replica",
|
||||
"resources_under_load": [
|
||||
"messenger-lab4-api-1 cpu=44.15% mem=105MiB / 256MiB",
|
||||
"messenger-lab4-api-2 cpu=49.51% mem=122.1MiB / 256MiB",
|
||||
"messenger-lab4-lb-1 cpu=13.85% mem=15.72MiB / 64MiB",
|
||||
"messenger-lab4-postgres-1 cpu=26.52% mem=65.75MiB / 512MiB",
|
||||
"messenger-lab4-reconciler-1 cpu=0.00% mem=32.57MiB / 128MiB",
|
||||
"messenger-lab4-redis-1 cpu=1.89% mem=8.105MiB / 128MiB",
|
||||
"messenger-lab4-s3-1 cpu=0.09% mem=248.8MiB / 512MiB"
|
||||
],
|
||||
"replicas": [
|
||||
{
|
||||
"container": "/messenger-lab4-api-1 running image=0387c3cfc941",
|
||||
"action": "docker kill (SIGKILL)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 789,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 157.8,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.3,
|
||||
"p95": 80.0,
|
||||
"p99": 117.2
|
||||
},
|
||||
"max_write_gap_seconds": 0.155,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 0.444,
|
||||
"target_last_success_after_stop_seconds": null,
|
||||
"outage_window": {
|
||||
"seconds": 10.444,
|
||||
"successful_writes": 828,
|
||||
"failed_attempts": 2,
|
||||
"error_ratio": 0.0024,
|
||||
"successful_rps": 79.3,
|
||||
"latency_ms_successful": {
|
||||
"p50": 13.4,
|
||||
"p95": 92.9,
|
||||
"p99": 1012.3
|
||||
},
|
||||
"max_write_gap_seconds": 0.916,
|
||||
"instances": [
|
||||
"0900a35b199d"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.742,
|
||||
"restore_until_serving_seconds": 3.928,
|
||||
"after_restore": {
|
||||
"seconds": 5.027,
|
||||
"successful_writes": 791,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 157.4,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.9,
|
||||
"p95": 74.7,
|
||||
"p99": 85.1
|
||||
},
|
||||
"max_write_gap_seconds": 0.143,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"container": "/messenger-lab4-api-2 running image=0387c3cfc941",
|
||||
"action": "docker kill (SIGKILL)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 790,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 158.0,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.9,
|
||||
"p95": 74.7,
|
||||
"p99": 85.1
|
||||
},
|
||||
"max_write_gap_seconds": 0.143,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 0.444,
|
||||
"target_last_success_after_stop_seconds": null,
|
||||
"outage_window": {
|
||||
"seconds": 10.444,
|
||||
"successful_writes": 670,
|
||||
"failed_attempts": 2,
|
||||
"error_ratio": 0.003,
|
||||
"successful_rps": 64.2,
|
||||
"latency_ms_successful": {
|
||||
"p50": 14.1,
|
||||
"p95": 95.5,
|
||||
"p99": 1010.9
|
||||
},
|
||||
"max_write_gap_seconds": 0.989,
|
||||
"instances": [
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.757,
|
||||
"restore_until_serving_seconds": 4.112,
|
||||
"after_restore": {
|
||||
"seconds": 5.032,
|
||||
"successful_writes": 720,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 143.1,
|
||||
"latency_ms_successful": {
|
||||
"p50": 13.2,
|
||||
"p95": 77.0,
|
||||
"p99": 90.7
|
||||
},
|
||||
"max_write_gap_seconds": 0.082,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"dataset": {
|
||||
"messages_in_db_before": 7276,
|
||||
"messages_in_db_after": 12641
|
||||
},
|
||||
"history": {
|
||||
"confirmed": 5365,
|
||||
"stored": 5365,
|
||||
"lost_confirmed": 0,
|
||||
"duplicates": 0
|
||||
},
|
||||
"load": {
|
||||
"workers": 4,
|
||||
"model": "closed loop, POST message",
|
||||
"warmup_seconds": 5,
|
||||
"client_timeout_seconds": 2,
|
||||
"retry": "same Idempotency-Key until success"
|
||||
},
|
||||
"date": "2026-11-05T14:08:00Z"
|
||||
}
|
||||
@@ -0,0 +1,150 @@
|
||||
{
|
||||
"scenario": "sequential failover of each api replica",
|
||||
"resources_under_load": [
|
||||
"messenger-lab4-api-1 cpu=44.28% mem=180MiB / 256MiB",
|
||||
"messenger-lab4-api-2 cpu=47.97% mem=137MiB / 256MiB",
|
||||
"messenger-lab4-lb-1 cpu=10.58% mem=13.88MiB / 64MiB",
|
||||
"messenger-lab4-postgres-1 cpu=25.75% mem=76.62MiB / 512MiB",
|
||||
"messenger-lab4-reconciler-1 cpu=0.00% mem=30.15MiB / 128MiB",
|
||||
"messenger-lab4-redis-1 cpu=1.84% mem=8.105MiB / 128MiB",
|
||||
"messenger-lab4-s3-1 cpu=2.26% mem=248.7MiB / 512MiB"
|
||||
],
|
||||
"replicas": [
|
||||
{
|
||||
"container": "/messenger-lab4-api-1 running image=0387c3cfc941",
|
||||
"action": "docker stop (SIGTERM, graceful)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 669,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 133.8,
|
||||
"latency_ms_successful": {
|
||||
"p50": 12.7,
|
||||
"p95": 87.9,
|
||||
"p99": 101.1
|
||||
},
|
||||
"max_write_gap_seconds": 0.085,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 3.527,
|
||||
"target_last_success_after_stop_seconds": 1.476,
|
||||
"outage_window": {
|
||||
"seconds": 13.527,
|
||||
"successful_writes": 1452,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 107.3,
|
||||
"latency_ms_successful": {
|
||||
"p50": 13.7,
|
||||
"p95": 90.9,
|
||||
"p99": 99.1
|
||||
},
|
||||
"max_write_gap_seconds": 0.106,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.401,
|
||||
"restore_until_serving_seconds": 4.045,
|
||||
"after_restore": {
|
||||
"seconds": 5.025,
|
||||
"successful_writes": 781,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 155.4,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.4,
|
||||
"p95": 80.3,
|
||||
"p99": 106.7
|
||||
},
|
||||
"max_write_gap_seconds": 0.091,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"container": "/messenger-lab4-api-2 running image=0387c3cfc941",
|
||||
"action": "docker stop (SIGTERM, graceful)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 777,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 155.4,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.4,
|
||||
"p95": 80.2,
|
||||
"p99": 106.7
|
||||
},
|
||||
"max_write_gap_seconds": 0.091,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 3.588,
|
||||
"target_last_success_after_stop_seconds": 1.931,
|
||||
"outage_window": {
|
||||
"seconds": 13.588,
|
||||
"successful_writes": 1560,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 114.8,
|
||||
"latency_ms_successful": {
|
||||
"p50": 12.6,
|
||||
"p95": 90.6,
|
||||
"p99": 149.4
|
||||
},
|
||||
"max_write_gap_seconds": 0.103,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.974,
|
||||
"restore_until_serving_seconds": 3.539,
|
||||
"after_restore": {
|
||||
"seconds": 5.035,
|
||||
"successful_writes": 793,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 157.5,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.1,
|
||||
"p95": 79.5,
|
||||
"p99": 94.0
|
||||
},
|
||||
"max_write_gap_seconds": 0.148,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"dataset": {
|
||||
"messages_in_db_before": 265,
|
||||
"messages_in_db_after": 7276
|
||||
},
|
||||
"history": {
|
||||
"confirmed": 7011,
|
||||
"stored": 7011,
|
||||
"lost_confirmed": 0,
|
||||
"duplicates": 0
|
||||
},
|
||||
"load": {
|
||||
"workers": 4,
|
||||
"model": "closed loop, POST message",
|
||||
"warmup_seconds": 5,
|
||||
"client_timeout_seconds": 2,
|
||||
"retry": "same Idempotency-Key until success"
|
||||
},
|
||||
"date": "2026-11-05T14:07:08Z"
|
||||
}
|
||||
@@ -0,0 +1,52 @@
|
||||
# make test-failover: stop-one.sh останавливает реплику, обслужившую тест; затем вторую
|
||||
# date: 2026-11-05T13:58:43Z
|
||||
# commit: f8e41b1
|
||||
|
||||
## Прогон 1
|
||||
### до
|
||||
/messenger-lab4-api-1 id=bb4424f819bb running exit=0 finished=2026-11-05T13:58:37.640782752Z
|
||||
/messenger-lab4-api-2 id=0900a35b199d running exit=0 finished=2026-11-05T13:58:37.58216166Z
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 3.558}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
### после: остановленная реплика Exited (0) — штатное завершение по SIGTERM
|
||||
/messenger-lab4-api-1 id=bb4424f819bb running exit=0 finished=2026-11-05T13:58:37.640782752Z
|
||||
/messenger-lab4-api-2 id=0900a35b199d exited exit=0 finished=2026-11-05T13:58:47.981063522Z
|
||||
|
||||
### журнал HAProxy
|
||||
Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api1 was DOWN and now enters maintenance (No IP for server ).
|
||||
|
||||
остановлена реплика: 0900a35b199d
|
||||
|
||||
## Прогон 2
|
||||
### до
|
||||
/messenger-lab4-api-1 id=bb4424f819bb running exit=0 finished=2026-11-05T13:58:37.640782752Z
|
||||
/messenger-lab4-api-2 id=0900a35b199d running exit=0 finished=2026-11-05T13:58:47.981063522Z
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 130, "failed_attempts": 0, "first_recovery_seconds": 3.575}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
### после: остановленная реплика Exited (0) — штатное завершение по SIGTERM
|
||||
/messenger-lab4-api-1 id=bb4424f819bb exited exit=0 finished=2026-11-05T13:59:08.399118281Z
|
||||
/messenger-lab4-api-2 id=0900a35b199d running exit=0 finished=2026-11-05T13:58:47.981063522Z
|
||||
|
||||
### журнал HAProxy
|
||||
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 2ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api2 was DOWN and now enters maintenance (No IP for server ).
|
||||
|
||||
остановлена реплика: bb4424f819bb
|
||||
|
||||
## Проверка guard: stop-one.sh отказывается останавливать не api
|
||||
$ env TARGET_INSTANCE_ID=6285848df28a sh scripts/stop-one.sh
|
||||
refusing to stop 6285848df28a: not an api replica of messenger-lab4 (messenger-lab4/postgres)
|
||||
EXIT CODE 1
|
||||
|
||||
@@ -0,0 +1,143 @@
|
||||
# Отказы зависимостей, ошибки LB, expiry
|
||||
# date: 2026-11-05T14:08:50Z
|
||||
# commit: f8e41b1
|
||||
|
||||
## 1. Redis остановлен: вход и Bearer через PostgreSQL; logout — 503 без отзыва (токен остаётся действующим)
|
||||
$ docker compose stop redis
|
||||
Container messenger-lab4-redis-1 Stopping
|
||||
Container messenger-lab4-redis-1 Stopped
|
||||
|
||||
$ python3 scripts/probe.py logout
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-05T15:08:51.406Z
|
||||
GET /api/v1/users/me -> 200
|
||||
DELETE /api/v1/auth/sessions/current -> 503 {"error": {"code": "unavailable", "message": "session cache unavailable", "request_id": "34e10540-6a85-41d2-a969-d375e95ede98"}}
|
||||
GET /api/v1/users/me -> 200
|
||||
|
||||
$ docker compose start redis
|
||||
Container messenger-lab4-secrets-init-1 Starting
|
||||
Container messenger-lab4-secrets-init-1 Started
|
||||
Container messenger-lab4-secrets-init-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Exited
|
||||
Container messenger-lab4-redis-1 Starting
|
||||
Container messenger-lab4-redis-1 Started
|
||||
|
||||
## 2. Redis снова доступен: logout отзывает токен на всех репликах
|
||||
$ python3 scripts/probe.py logout
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-05T15:08:56.699Z
|
||||
GET /api/v1/users/me -> 200
|
||||
DELETE /api/v1/auth/sessions/current -> 204
|
||||
GET /api/v1/users/me -> 401
|
||||
|
||||
## 3. PostgreSQL остановлен: live 200, запрос с токеном — 503 без внутренних деталей, аноним — 401
|
||||
$ docker compose stop postgres
|
||||
Container messenger-lab4-postgres-1 Stopping
|
||||
Container messenger-lab4-postgres-1 Stopped
|
||||
|
||||
$ python3 scripts/probe.py status GET /health/live
|
||||
GET /health/live (anonymous) -> 200 {"status": "ok"}
|
||||
|
||||
$ python3 scripts/probe.py status GET /api/v1/chats Bearer unknown-token
|
||||
GET /api/v1/chats (Bearer unknown-token) -> 503 {"error": {"code": "unavailable", "message": "database unavailable", "request_id": "1613a3ed-45d9-4d26-bdef-16d6a2a111fd"}}
|
||||
|
||||
$ python3 scripts/probe.py status GET /api/v1/users/me
|
||||
GET /api/v1/users/me (anonymous) -> 401 {"error": {"code": "unauthorized", "message": "missing or invalid session", "request_id": "947900bb-f8b7-4dc9-8f17-4b049c7747dc"}}
|
||||
|
||||
$ docker compose start postgres
|
||||
Container messenger-lab4-secrets-init-1 Starting
|
||||
Container messenger-lab4-secrets-init-1 Started
|
||||
Container messenger-lab4-secrets-init-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Exited
|
||||
Container messenger-lab4-postgres-1 Starting
|
||||
Container messenger-lab4-postgres-1 Started
|
||||
|
||||
$ python3 scripts/probe.py ready
|
||||
ready
|
||||
|
||||
## 4. Все реплики API остановлены: LB отвечает 503 в формате ошибки контракта
|
||||
$ docker compose stop api
|
||||
Container messenger-lab4-api-3 Stopping
|
||||
Container messenger-lab4-api-4 Stopping
|
||||
Container messenger-lab4-api-4 Stopped
|
||||
Container messenger-lab4-api-3 Stopped
|
||||
|
||||
$ python3 scripts/probe.py status GET /api/v1/users/me
|
||||
GET /api/v1/users/me (anonymous) -> 503 {"error": {"code": "unavailable", "message": "no API replica available", "request_id": "483476c1-5e87-4bbe-8d77-3a172f3c8934"}}
|
||||
|
||||
$ docker compose start api
|
||||
Container messenger-lab4-secrets-init-1 Starting
|
||||
Container messenger-lab4-secrets-init-1 Started
|
||||
Container messenger-lab4-secrets-init-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Exited
|
||||
Container messenger-lab4-secrets-init-1 Exited
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-secrets-init-1 Exited
|
||||
Container messenger-lab4-s3-1 Waiting
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-s3-1 Healthy
|
||||
Container messenger-lab4-s3-init-1 Starting
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-s3-init-1 Started
|
||||
Container messenger-lab4-s3-init-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-s3-init-1 Exited
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-api-4 Starting
|
||||
Container messenger-lab4-api-4 Started
|
||||
Container messenger-lab4-api-3 Starting
|
||||
Container messenger-lab4-api-3 Started
|
||||
|
||||
$ python3 scripts/probe.py ready
|
||||
ready
|
||||
|
||||
## 5. Живая, но неготовая реплика: PostgreSQL отклоняет подключения только от одной API (pg_hba reject)
|
||||
target=4f49dcd66a29 ip=172.27.0.7
|
||||
$ docker exec 4f49dcd66a29 node -e let n=0;const g=p=>require('http').get('http://127.0.0.1:8080'+p,r=>{console.log(p,r.statusCode);r.resume();if(++n===2)process.exit(0)});g('/health/live');g('/health/core')
|
||||
/health/live 200
|
||||
/health/core 503
|
||||
|
||||
$ python3 scripts/probe.py instances 10
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-05T15:09:17.986Z
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
|
||||
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 2ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 4ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
|
||||
### доступ возвращён: реплика снова готова и получает запросы
|
||||
$ python3 scripts/probe.py instances 6
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-05T15:09:22.744Z
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 4f49dcd66a29
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 4f49dcd66a29
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 984f0bba8d26
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 4f49dcd66a29
|
||||
|
||||
## 6. Expiry: реплики пересозданы с SESSION_TTL_SECONDS=2
|
||||
$ sh -c docker exec $(docker compose ps -q api | head -1) printenv SESSION_TTL_SECONDS
|
||||
2
|
||||
|
||||
$ python3 scripts/probe.py expiry 2
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-05T14:09:35.576Z
|
||||
GET /api/v1/users/me (fresh) -> 200
|
||||
GET /api/v1/users/me (after 3s) -> 401
|
||||
|
||||
$ python3 scripts/probe.py ready
|
||||
ready
|
||||
|
||||
@@ -0,0 +1,12 @@
|
||||
{
|
||||
"scenario": "parallel POST with one Idempotency-Key through LB",
|
||||
"requests": 20,
|
||||
"all_201": true,
|
||||
"distinct_message_ids": 1,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"bb4424f819bb"
|
||||
],
|
||||
"messages_in_history": 1,
|
||||
"date": "2026-11-05T14:06:10Z"
|
||||
}
|
||||
@@ -0,0 +1,24 @@
|
||||
# make test-persistence: restart.sh перезапускает postgres, redis, s3, api, lb с сохранением volumes
|
||||
# date: 2026-11-05T13:58:32Z
|
||||
# commit: f8e41b1
|
||||
|
||||
## до
|
||||
/messenger-lab4-api-1 running started=2026-11-05T13:56:27.073950909Z
|
||||
/messenger-lab4-api-2 running started=2026-11-05T13:56:27.359178642Z
|
||||
/messenger-lab4-lb-1 running started=2026-11-05T13:56:33.130552561Z
|
||||
/messenger-lab4-postgres-1 running started=2026-11-05T13:56:17.503936862Z
|
||||
/messenger-lab4-redis-1 running started=2026-11-05T13:56:17.512981001Z
|
||||
/messenger-lab4-s3-1 running started=2026-11-05T13:56:17.516358837Z
|
||||
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://lb:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
## после
|
||||
/messenger-lab4-api-1 running started=2026-11-05T13:58:38.339108415Z
|
||||
/messenger-lab4-api-2 running started=2026-11-05T13:58:38.170906453Z
|
||||
/messenger-lab4-lb-1 running started=2026-11-05T13:58:36.012363468Z
|
||||
/messenger-lab4-postgres-1 running started=2026-11-05T13:58:35.944741705Z
|
||||
/messenger-lab4-redis-1 running started=2026-11-05T13:58:35.661397483Z
|
||||
/messenger-lab4-s3-1 running started=2026-11-05T13:58:35.410755983Z
|
||||
@@ -0,0 +1,69 @@
|
||||
{
|
||||
"scenario": "rolling replacement: migrate once, then add new replica, wait healthy, stop old one",
|
||||
"resources_under_load": [
|
||||
"messenger-lab4-api-1 cpu=49.37% mem=104.1MiB / 256MiB",
|
||||
"messenger-lab4-api-2 cpu=50.09% mem=121.8MiB / 256MiB",
|
||||
"messenger-lab4-lb-1 cpu=10.88% mem=16.03MiB / 64MiB",
|
||||
"messenger-lab4-postgres-1 cpu=24.86% mem=68.67MiB / 512MiB",
|
||||
"messenger-lab4-reconciler-1 cpu=0.00% mem=32.57MiB / 128MiB",
|
||||
"messenger-lab4-redis-1 cpu=1.69% mem=8.105MiB / 128MiB",
|
||||
"messenger-lab4-s3-1 cpu=0.09% mem=248.8MiB / 512MiB"
|
||||
],
|
||||
"before": [
|
||||
"/messenger-lab4-api-1 running image=0387c3cfc941",
|
||||
"/messenger-lab4-api-2 running image=0387c3cfc941"
|
||||
],
|
||||
"after": [
|
||||
"/messenger-lab4-api-3 running image=b352fc8e08ea",
|
||||
"/messenger-lab4-api-4 running image=b352fc8e08ea"
|
||||
],
|
||||
"steps": [
|
||||
{
|
||||
"replaced": "bb4424f819bb",
|
||||
"new_replica_ready_seconds": 6.727,
|
||||
"step_seconds": 10.356
|
||||
},
|
||||
{
|
||||
"replaced": "0900a35b199d",
|
||||
"new_replica_ready_seconds": 6.775,
|
||||
"step_seconds": 10.466
|
||||
}
|
||||
],
|
||||
"during_update": {
|
||||
"seconds": 33.715,
|
||||
"successful_writes": 4320,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 128.1,
|
||||
"latency_ms_successful": {
|
||||
"p50": 15.2,
|
||||
"p95": 83.5,
|
||||
"p99": 110.6
|
||||
},
|
||||
"max_write_gap_seconds": 0.215,
|
||||
"instances": [
|
||||
"0900a35b199d",
|
||||
"4f49dcd66a29",
|
||||
"984f0bba8d26",
|
||||
"bb4424f819bb"
|
||||
]
|
||||
},
|
||||
"dataset": {
|
||||
"messages_in_db_before": 12641,
|
||||
"messages_in_db_after": 17944
|
||||
},
|
||||
"history": {
|
||||
"confirmed": 5303,
|
||||
"stored": 5303,
|
||||
"lost_confirmed": 0,
|
||||
"duplicates": 0
|
||||
},
|
||||
"load": {
|
||||
"workers": 4,
|
||||
"model": "closed loop, POST message",
|
||||
"warmup_seconds": 5,
|
||||
"client_timeout_seconds": 2,
|
||||
"retry": "same Idempotency-Key until success"
|
||||
},
|
||||
"date": "2026-11-05T14:08:50Z"
|
||||
}
|
||||
@@ -0,0 +1,88 @@
|
||||
# S3: идемпотентный bootstrap, приватность мимо API, отказ S3, сверка
|
||||
# date: 2026-11-05T14:00:11Z
|
||||
# commit: f8e41b1
|
||||
|
||||
## Повторный bootstrap ничего не ломает
|
||||
$ docker compose run --rm --no-deps -T s3-init
|
||||
Bucket created successfully `root/messenger-attachments`.
|
||||
Access permission for `root/messenger-attachments` is set to `private`
|
||||
Created policy `messenger-api` successfully.
|
||||
bucket messenger-attachments ready
|
||||
|
||||
$ docker compose run --rm --no-deps -T s3-init
|
||||
Bucket created successfully `root/messenger-attachments`.
|
||||
Access permission for `root/messenger-attachments` is set to `private`
|
||||
Created policy `messenger-api` successfully.
|
||||
bucket messenger-attachments ready
|
||||
|
||||
$ sh scripts/check-s3.sh
|
||||
## S3 не опубликован наружу, консоль выключена
|
||||
s3 ports=9000/tcp
|
||||
MINIO_BROWSER=off
|
||||
|
||||
## Права пользователя API: только свой bucket
|
||||
PUT в свой bucket -> allowed
|
||||
GET из своего bucket -> allowed
|
||||
создание другого bucket -> denied
|
||||
GET из другого bucket -> denied
|
||||
PUT в другой bucket -> denied
|
||||
изменение политики bucket -> denied
|
||||
администрирование пользователей -> denied
|
||||
|
||||
## Анонимный доступ напрямую к S3, мимо API
|
||||
GET messenger-attachments/<object> -> 403
|
||||
GET messenger-attachments/ -> 403
|
||||
PUT messenger-attachments/anon.txt -> 403
|
||||
|
||||
PASS: bucket приватный, у API нет прав вне своего bucket
|
||||
|
||||
## Отказ: контейнер S3 остановлен
|
||||
$ sh scripts/s3-outage.sh stop
|
||||
## S3: stop
|
||||
GET /health/live -> 200 0.01s X-Instance-Id=yes
|
||||
GET /health/ready -> 503 unavailable 1.01s X-Instance-Id=yes
|
||||
GET /attachments/{id} -> 200 0.01s X-Instance-Id=yes
|
||||
GET /attachments/{id}/content -> 503 unavailable 1.01s X-Instance-Id=yes
|
||||
POST /attachments -> 503 unavailable 1.03s X-Instance-Id=yes
|
||||
POST /messages (текст) -> 201 0.03s X-Instance-Id=yes
|
||||
## S3 восстановлен
|
||||
GET /health/ready -> 200 0.01s X-Instance-Id=yes
|
||||
GET /attachments/{id}/content -> 200 0.01s X-Instance-Id=yes
|
||||
sha256 совпадает: True
|
||||
|
||||
## Отказ: контейнер S3 завис (docker pause)
|
||||
$ sh scripts/s3-outage.sh pause
|
||||
## S3: pause
|
||||
GET /health/live -> 200 0.01s X-Instance-Id=yes
|
||||
GET /health/ready -> 503 unavailable 1.01s X-Instance-Id=yes
|
||||
GET /attachments/{id} -> 200 0.01s X-Instance-Id=yes
|
||||
GET /attachments/{id}/content -> 503 unavailable 5.01s X-Instance-Id=yes
|
||||
POST /attachments -> 503 unavailable 5.02s X-Instance-Id=yes
|
||||
POST /messages (текст) -> 201 0.01s X-Instance-Id=yes
|
||||
## S3 восстановлен
|
||||
GET /health/ready -> 200 0.01s X-Instance-Id=yes
|
||||
GET /attachments/{id}/content -> 200 0.01s X-Instance-Id=yes
|
||||
sha256 совпадает: True
|
||||
|
||||
## Сверка: объект без метаданных
|
||||
$ sh scripts/reconcile-demo.sh
|
||||
## Отказ между S3 и БД: объект есть, строки нет
|
||||
Name : orphan-1793887242
|
||||
|
||||
## Свежий объект, grace 3600 с, --apply: не удалён
|
||||
{"mode":"apply","grace_seconds":3600,"scanned":12,"fresh_skipped":12,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":294}
|
||||
объект на месте
|
||||
|
||||
## Dry-run, grace 1 с: найден, не удалён
|
||||
{"mode":"dry-run","grace_seconds":1,"scanned":12,"fresh_skipped":0,"referenced":11,"orphans":1,"deleted":0,"failed":0,"orphan_keys":["attachments/orphan-1793887242"],"duration_ms":299}
|
||||
объект на месте
|
||||
|
||||
## --apply, grace 1 с: удалён только он
|
||||
{"mode":"apply","grace_seconds":1,"scanned":12,"fresh_skipped":0,"referenced":11,"orphans":1,"deleted":1,"failed":0,"orphan_keys":["attachments/orphan-1793887242"],"duration_ms":305}
|
||||
объект удалён
|
||||
|
||||
## Повторный запуск: удалять нечего
|
||||
{"mode":"apply","grace_seconds":1,"scanned":11,"fresh_skipped":0,"referenced":11,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":292}
|
||||
|
||||
## Журнал постоянного сервиса reconciler
|
||||
{"mode":"apply","grace_seconds":3600,"scanned":0,"fresh_skipped":0,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":219}
|
||||
@@ -0,0 +1,26 @@
|
||||
# Публичные проверки через LB; разные реплики обслуживают одну сессию
|
||||
# date: 2026-11-05T13:58:22Z
|
||||
# commit: f8e41b1
|
||||
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://lb:8080"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
$ sh -c docker compose ps -q api | cut -c1-12
|
||||
bb4424f819bb
|
||||
0900a35b199d
|
||||
|
||||
$ python3 scripts/probe.py instances 6
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-05T14:58:32.678Z
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 0900a35b199d
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: bb4424f819bb
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 0900a35b199d
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: bb4424f819bb
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 0900a35b199d
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: bb4424f819bb
|
||||
|
||||
@@ -0,0 +1,300 @@
|
||||
# Собственные e2e-тесты (PostgreSQL + Redis + MinIO из compose.test.yaml)
|
||||
# date: 2026-11-05T13:56:52Z
|
||||
# commit: f8e41b1
|
||||
|
||||
$ docker compose -f compose.test.yaml run --rm tests npx jest --config ./test/jest-e2e.json --verbose
|
||||
Network messenger-lab4-test_default Creating
|
||||
Network messenger-lab4-test_default Created
|
||||
Container messenger-lab4-test-redis-1 Creating
|
||||
Container messenger-lab4-test-postgres-1 Creating
|
||||
Container messenger-lab4-test-s3-1 Creating
|
||||
Container messenger-lab4-test-s3-1 Created
|
||||
Container messenger-lab4-test-redis-1 Created
|
||||
Container messenger-lab4-test-postgres-1 Created
|
||||
Container messenger-lab4-test-s3-1 Starting
|
||||
Container messenger-lab4-test-postgres-1 Starting
|
||||
Container messenger-lab4-test-redis-1 Starting
|
||||
Container messenger-lab4-test-s3-1 Started
|
||||
Container messenger-lab4-test-postgres-1 Started
|
||||
Container messenger-lab4-test-redis-1 Started
|
||||
Prisma schema loaded from prisma/schema.prisma
|
||||
Datasource "db": PostgreSQL database "messenger_test", schema "public" at "postgres:5432"
|
||||
|
||||
4 migrations found in prisma/migrations
|
||||
|
||||
Applying migration `20261021000000_init`
|
||||
Applying migration `20261021010000_auth_sessions`
|
||||
Applying migration `20261101000000_idempotency_keys`
|
||||
Applying migration `20261105000000_attachments`
|
||||
|
||||
The following migration(s) have been applied:
|
||||
|
||||
migrations/
|
||||
└─ 20261021000000_init/
|
||||
└─ migration.sql
|
||||
└─ 20261021010000_auth_sessions/
|
||||
└─ migration.sql
|
||||
└─ 20261101000000_idempotency_keys/
|
||||
└─ migration.sql
|
||||
└─ 20261105000000_attachments/
|
||||
└─ migration.sql
|
||||
|
||||
All migrations have been successfully applied.
|
||||
PASS test/docs.e2e-spec.ts (36.929 s)
|
||||
Swagger UI и примеры (e2e)
|
||||
✓ отдаёт Swagger UI и документ контракта со всеми путями (129 ms)
|
||||
✓ каждый пример запроса и ответа проходит JSON Schema контракта (1216 ms)
|
||||
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:48 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mDELETE /api/v1/auth/sessions/current -> 503: session cache unavailable[39m
|
||||
PASS test/concurrency.e2e-spec.ts (39.993 s)
|
||||
Безопасность при конкурентном доступе (e2e)
|
||||
✓ принимает 100 конкурентных сообщений от 10 клиентов и сохраняет ровно 100 уникальных (6695 ms)
|
||||
✓ регистрирует ровно одного пользователя при гонке 10 запросов за один и тот же username (255 ms)
|
||||
|
||||
PASS test/auth.e2e-spec.ts (40.18 s)
|
||||
Аутентификация и сессии (e2e)
|
||||
регистрация
|
||||
✓ требует password (1114 ms)
|
||||
✓ отклоняет password короче 12 code points (39 ms)
|
||||
✓ хранит пароль как Argon2id-хеш, а не открытым текстом (1457 ms)
|
||||
POST /api/v1/auth/sessions
|
||||
✓ выдаёт непрозрачный Bearer-токен с expires_at и пользователем (1872 ms)
|
||||
✓ принимает пароль с двоеточием и не-ASCII символами (212 ms)
|
||||
✓ отвечает одинаковым 401 на неверный пароль и неизвестного пользователя (1050 ms)
|
||||
✓ отклоняет JSON body при входе даже с верным Basic (222 ms)
|
||||
✓ отвечает 401 без заголовка Authorization (87 ms)
|
||||
защищённые endpoint
|
||||
✓ не принимают Basic (274 ms)
|
||||
✓ не принимают X-User-Id сам по себе (367 ms)
|
||||
✓ игнорируют X-User-Id рядом с Bearer (368 ms)
|
||||
✓ отвечают 401 на неизвестный токен (12 ms)
|
||||
DELETE /api/v1/auth/sessions/current
|
||||
✓ отзывает только текущий токен: 204, затем 401 на повтор (286 ms)
|
||||
|
||||
[31m[Nest] 186 - [39m11/05/2026, 1:57:48 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /health/ready -> 503: object storage unavailable[39m
|
||||
PASS test/reconciler.e2e-spec.ts (40.637 s)
|
||||
Сверка объектов S3 с метаданными (e2e)
|
||||
✓ dry-run сообщает о сироте и ничего не удаляет, apply удаляет, повторный запуск ничего не делает (1848 ms)
|
||||
✓ не трогает свежий объект внутри grace period (882 ms)
|
||||
✓ не трогает старый объект, на который есть метаданные (431 ms)
|
||||
✓ при отказе PostgreSQL проход прерывается и ничего не удаляет (304 ms)
|
||||
✓ сбой удаления считается и повторяется на следующем проходе (709 ms)
|
||||
✓ обходит все страницы листинга (276 ms)
|
||||
✓ реальная загрузка остаётся доступной после сверки всего bucket префикса вложений (280 ms)
|
||||
Готовность при отказе S3 (e2e)
|
||||
✓ ready — 503 с заголовками за короткое время, live и core — 200 (214 ms)
|
||||
✓ при рабочем S3 ready — 200 (151 ms)
|
||||
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:49 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mDELETE /api/v1/auth/sessions/current -> 503: session cache unavailable[39m
|
||||
[31m[Nest] 180 - [39m11/05/2026, 1:57:49 PM [31m ERROR[39m [38;5;3m[S3Service] [39m[31mget attachments/c5c757b1-4a1e-4d7d-bd28-bde4aac0ba5b failed: Error[39m
|
||||
[31m[Nest] 180 - [39m11/05/2026, 1:57:49 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/attachments/c5c757b1-4a1e-4d7d-bd28-bde4aac0ba5b/content -> 503: object storage unavailable[39m
|
||||
[31m[Nest] 180 - [39m11/05/2026, 1:57:49 PM [31m ERROR[39m [38;5;3m[S3Service] [39m[31mget attachments/3895acb2-be69-4f6a-a6fa-7152175fcc99 failed: NoSuchKey[39m
|
||||
[31m[Nest] 180 - [39m11/05/2026, 1:57:49 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/attachments/3895acb2-be69-4f6a-a6fa-7152175fcc99/content -> 500: Internal server error[39m
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:50 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /health/ready -> 503: database unavailable[39m
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:50 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/chats -> 503: database unavailable[39m
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:50 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/chats -> 503: database unavailable[39m
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:50 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mPOST /api/v1/users -> 503: database unavailable[39m
|
||||
[31m[Nest] 199 - [39m11/05/2026, 1:57:50 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/chats -> 500: Internal server error[39m
|
||||
PASS test/failures.e2e-spec.ts (42.799 s)
|
||||
Уровень 4: expiry, отказы зависимостей, rollback (e2e)
|
||||
✓ сессия истекает при коротком SESSION_TTL_SECONDS, в том числе из кэша (6117 ms)
|
||||
✓ без Redis вход и проверка сессии работают через PostgreSQL, logout — 503 без отзыва (1677 ms)
|
||||
✓ logout через реплику без связи с Redis не создаёт расхождения с репликой, у которой сессия в кэше (1178 ms)
|
||||
✓ без PostgreSQL отвечает ограниченным 503 и не пускает анонима (996 ms)
|
||||
✓ неожиданное исключение — 500 internal_error без деталей, с X-Request-Id и X-Instance-Id (319 ms)
|
||||
✓ откатывает создание чата целиком, если один из участников не существует (343 ms)
|
||||
|
||||
PASS test/idempotency.e2e-spec.ts (42.892 s)
|
||||
Идемпотентность отправки и X-Instance-Id (e2e)
|
||||
✓ требует Idempotency-Key правильного формата (2420 ms)
|
||||
✓ повтор с тем же ключом и телом возвращает тот же 201 и то же сообщение (2546 ms)
|
||||
✓ тот же ключ с другим телом — 409, сообщение не создаётся (1433 ms)
|
||||
✓ 20 параллельных запросов с одним ключом через два экземпляра создают ровно одно сообщение (601 ms)
|
||||
✓ область ключа — пользователь и чат: одинаковый ключ у разных пользователей и чатов независим (393 ms)
|
||||
✓ повтор заново проверяет сессию (162 ms)
|
||||
✓ после IDEMPOTENCY_TTL_SECONDS ключ можно использовать заново (1780 ms)
|
||||
✓ X-Instance-Id есть в успешных ответах, ошибках и health и стабилен в процессе (177 ms)
|
||||
|
||||
PASS test/attachment-access.e2e-spec.ts (44.094 s)
|
||||
Скачивание и привязка вложений (e2e)
|
||||
чтение
|
||||
✓ участник получает метаданные и оригинал побайтно (1434 ms)
|
||||
✓ JPEG отдаётся с истинным Content-Type (178 ms)
|
||||
✓ посторонний и неизвестный ID получают одинаковый 404 (191 ms)
|
||||
✓ без токена 401, неверный UUID 400 (88 ms)
|
||||
✓ variant: original явно, отсутствующий 404, неизвестный и повторённый 400 (219 ms)
|
||||
✓ нет доступа к S3 — метаданные 200, content 503 с заголовками (298 ms)
|
||||
✓ объект пропал из S3 — 500 без внутренних деталей (156 ms)
|
||||
attachment_ids в сообщениях
|
||||
✓ text="" с вложением принимается, Message читается вторым участником (136 ms)
|
||||
✓ порядок [B, A] сохраняется в ответе, истории и повторе; перестановка с тем же ключом — 409 (539 ms)
|
||||
✓ отсутствующий attachment_ids и [] равны при повторе, изменение списка — 409 (159 ms)
|
||||
✓ вложение другого чата и неизвестное — одинаковый 404, сообщение не создаётся (141 ms)
|
||||
✓ смесь своего и чужого вложения — 404 (214 ms)
|
||||
✓ посторонний не может отправить вложение в чужой чат (106 ms)
|
||||
✓ любой участник может сослаться на вложение чата, вложение можно использовать повторно (142 ms)
|
||||
✓ ровно 10 вложений принимается, 11 — 400 (677 ms)
|
||||
✓ UUID в другом регистре — тот же ID и дубль (102 ms)
|
||||
✓ text отсутствует — 400 (93 ms)
|
||||
✓ text null — 400 (77 ms)
|
||||
✓ attachment_ids null — 400 (61 ms)
|
||||
✓ attachment_ids строка — 400 (133 ms)
|
||||
✓ элемент не UUID — 400 (77 ms)
|
||||
✓ элемент число — 400 (112 ms)
|
||||
✓ дубликат — 400 (95 ms)
|
||||
✓ пустой текст без вложений — 400 (126 ms)
|
||||
✓ пробельный текст без вложений — 400 (84 ms)
|
||||
|
||||
PASS test/api.e2e-spec.ts (48.453 s)
|
||||
API мессенджера (e2e) — граничные случаи сверх публичного smoke
|
||||
POST /api/v1/users
|
||||
✓ отклоняет некорректный JSON с кодом 400 (565 ms)
|
||||
✓ отклоняет тело с лишними полями (716 ms)
|
||||
✓ отклоняет username с заглавными буквами (35 ms)
|
||||
✓ отклоняет display_name из одних пробелов (17 ms)
|
||||
✓ отклоняет дубликат username с кодом 409 (2341 ms)
|
||||
✓ никогда не возвращает поле пароля или его хэша (139 ms)
|
||||
✓ отклоняет username короче 3 символов (9 ms)
|
||||
✓ отклоняет username длиннее 32 символов (12 ms)
|
||||
✓ отклоняет username с недопустимыми символами (дефис) (12 ms)
|
||||
✓ принимает username ровно на границах длины 3 и 32 символа (237 ms)
|
||||
✓ отклоняет display_name длиннее 100 Unicode code points (39 ms)
|
||||
✓ принимает display_name ровно из 100 code points, считая эмодзи вне BMP за один символ (69 ms)
|
||||
✓ отклоняет display_name из 101 code point, состоящий из эмодзи вне BMP (8 ms)
|
||||
контроль доступа
|
||||
✓ возвращает 401 раньше 404, если и актор, и ресурс невалидны (23 ms)
|
||||
✓ возвращает 404 (не 403), когда чат запрашивает не его участник (2329 ms)
|
||||
✓ отклоняет создание чата, если вызывающий не входит в member_ids (409 ms)
|
||||
✓ отклоняет создание чата с дублирующимися member_ids (134 ms)
|
||||
✓ считает один UUID в разном регистре дубликатом и узнаёт вызывающего в верхнем регистре (167 ms)
|
||||
✓ принимает ровно 100 участников и отклоняет 101 (222 ms)
|
||||
✓ отклоняет создание чата с неизвестным участником (134 ms)
|
||||
✓ отклоняет создание чата с пустым/пробельным title (102 ms)
|
||||
✓ возвращает 400 для синтаксически некорректного chat_id (не UUID) (103 ms)
|
||||
✓ возвращает 404 для корректного по формату, но несуществующего chat_id (122 ms)
|
||||
GET /api/v1/chats (пагинация)
|
||||
✓ использует limit=50 по умолчанию, если limit не передан (128 ms)
|
||||
✓ отклоняет нечисловой limit (219 ms)
|
||||
✓ отклоняет limit=0 (115 ms)
|
||||
✓ отклоняет повторённые limit и cursor (112 ms)
|
||||
✓ отклоняет cursor, не являющийся корректным base64url JSON (156 ms)
|
||||
✓ отклоняет корректно закодированный cursor с id чата, который никогда не существовал (149 ms)
|
||||
✓ обходит весь список чатов по страницам без пропусков и дублей (255 ms)
|
||||
сообщения
|
||||
✓ не принимает sender_id, переданный клиентом (528 ms)
|
||||
✓ считает attachment_ids: [] равным отсутствию поля, неизвестный ID — 404, неверный тип — 400 (295 ms)
|
||||
✓ отклоняет пустое сообщение (270 ms)
|
||||
✓ отклоняет сообщение из одних пробелов (233 ms)
|
||||
✓ отклоняет отправку в чат, где вызывающий не участник (491 ms)
|
||||
✓ отклоняет limit=0 при чтении истории (260 ms)
|
||||
✓ отклоняет limit=101 при чтении истории (234 ms)
|
||||
✓ отклоняет нечисловой limit (591 ms)
|
||||
✓ отклоняет текст сообщения длиннее 4000 Unicode code points (265 ms)
|
||||
✓ принимает текст сообщения ровно из 4000 Unicode code points (275 ms)
|
||||
✓ отклоняет текст сообщения свыше 4000 code points, состоящий из эмодзи вне BMP (325 ms)
|
||||
✓ отклоняет cursor, не являющийся корректным base64url JSON (345 ms)
|
||||
✓ отклоняет корректно закодированный cursor с id сообщения, которое никогда не существовало в этом чате (372 ms)
|
||||
✓ возвращает 400 для синтаксически некорректного chat_id при отправке сообщения (112 ms)
|
||||
✓ возвращает 400 для синтаксически некорректного chat_id при чтении истории (120 ms)
|
||||
✓ отклоняет cursor, взятый из другого чата (355 ms)
|
||||
✓ обходит всю историю по страницам без пропусков и дублей (824 ms)
|
||||
X-Request-Id
|
||||
✓ присутствует и уникален для независимых запросов (10 ms)
|
||||
✓ совпадает с request_id внутри тела ошибки (26 ms)
|
||||
|
||||
console.warn
|
||||
An error was encountered in a non-retryable streaming request.
|
||||
|
||||
150 | private async guard<T>(action: string, run: () => Promise<T>): Promise<T> {
|
||||
151 | try {
|
||||
> 152 | return await run();
|
||||
| ^
|
||||
153 | } catch (error) {
|
||||
154 | const reason = error instanceof Error ? error.name : 'unknown error';
|
||||
155 | this.logger.error(`${action} failed: ${reason}`);
|
||||
|
||||
at ../node_modules/@smithy/middleware-retry/dist-cjs/index.js:329:125
|
||||
at ../node_modules/@aws-sdk/middleware-flexible-checksums/dist-cjs/index.js:263:18
|
||||
at ../node_modules/@aws-sdk/middleware-sdk-s3/dist-cjs/index.js:110:22
|
||||
at ../node_modules/@aws-sdk/middleware-sdk-s3/dist-cjs/index.js:138:14
|
||||
at ../node_modules/@aws-sdk/middleware-logger/dist-cjs/index.js:34:22
|
||||
at S3Service.guard (../src/storage/s3.service.ts:152:11)
|
||||
at S3Service.putFile (../src/storage/s3.service.ts:64:3)
|
||||
at AttachmentsService.store (../src/attachments/attachments.service.ts:117:3)
|
||||
at AttachmentsService.upload (../src/attachments/attachments.service.ts:63:11)
|
||||
at AttachmentsController.upload (../src/attachments/attachments.controller.ts:36:22)
|
||||
at ../node_modules/@nestjs/core/router/router-execution-context.js:46:28
|
||||
at Object.<anonymous> (../node_modules/@nestjs/core/router/router-proxy.js:9:17)
|
||||
|
||||
[31m[Nest] 174 - [39m11/05/2026, 1:58:03 PM [31m ERROR[39m [38;5;3m[S3Service] [39m[31mput attachments/7ce5f967-a067-4b1e-820b-05e913049840 failed: Error[39m
|
||||
[31m[Nest] 174 - [39m11/05/2026, 1:58:03 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mPOST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=a.png -> 503: object storage unavailable[39m
|
||||
[31m[Nest] 174 - [39m11/05/2026, 1:58:03 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mPOST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=sample.png -> 500: Internal server error[39m
|
||||
[31m[Nest] 174 - [39m11/05/2026, 1:58:03 PM [31m ERROR[39m [38;5;3m[AttachmentsService] [39m[31mmetadata insert failed for attachments/9a51c460-2292-49ed-80dc-bb1001ac37b7[39m
|
||||
[31m[Nest] 174 - [39m11/05/2026, 1:58:03 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mPOST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=sample.png -> 503: database unavailable[39m
|
||||
[31m[Nest] 174 - [39m11/05/2026, 1:58:03 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mPOST /api/v1/chats/767cc2b1-fc46-43e1-8c56-40997227b614/attachments?filename=sample.png -> 503: database unavailable[39m
|
||||
PASS test/attachments.e2e-spec.ts (55.555 s)
|
||||
Загрузка вложений (e2e)
|
||||
успешная загрузка
|
||||
✓ возвращает 201 Attachment по контракту и сохраняет метаданные (1699 ms)
|
||||
✓ принимает реальный JPEG (129 ms)
|
||||
✓ игнорирует параметры и регистр Content-Type (96 ms)
|
||||
✓ принимает файл ровно 10 MiB, filename ровно 255 символов и PNG с байтами после IEND (2012 ms)
|
||||
✓ принимает ровно 40 млн пикселей (9399 ms)
|
||||
порядок проверок и доступ
|
||||
✓ без токена — 401 раньше любых проверок содержимого (33 ms)
|
||||
✓ посторонний и несуществующий чат — одинаковый 404, чужой файл не сохраняется (43 ms)
|
||||
✓ неверный UUID чата — 400 (7 ms)
|
||||
filename
|
||||
✓ отсутствует — 400 (14 ms)
|
||||
✓ пустой — 400 (8 ms)
|
||||
✓ только пробелы — 400 (9 ms)
|
||||
✓ 256 символов — 400 (7 ms)
|
||||
✓ путь через / — 400 (8 ms)
|
||||
✓ путь через \ — 400 (6 ms)
|
||||
✓ NUL — 400 (8 ms)
|
||||
✓ перевод строки — 400 (5 ms)
|
||||
✓ DEL — 400 (6 ms)
|
||||
✓ C1 U+0085 — 400 (10 ms)
|
||||
✓ разделитель строк U+2028 — 400 (6 ms)
|
||||
✓ повторённый параметр — 400 (6 ms)
|
||||
тип содержимого
|
||||
✓ Content-Type text/plain — 415 (5 ms)
|
||||
✓ Content-Type application/json — 415 (102 ms)
|
||||
✓ Content-Type application/octet-stream — 415 (7 ms)
|
||||
✓ Content-Type multipart/form-data; boundary=x — 415 (6 ms)
|
||||
✓ Content-Type image/gif — 415 (8 ms)
|
||||
✓ Content-Type image/webp — 415 (6 ms)
|
||||
✓ без Content-Type — 415 (6 ms)
|
||||
✓ подмена MIME в обе стороны и чужие форматы — 415 (57 ms)
|
||||
✓ пустое тело — 400 (25 ms)
|
||||
повреждённые изображения
|
||||
✓ PNG: первые 33 байта sample.png — 415 (15 ms)
|
||||
✓ PNG: половина файла — 415 (19 ms)
|
||||
✓ PNG: без последних 20 байт — 415 (20 ms)
|
||||
✓ PNG: без IEND — 415 (18 ms)
|
||||
✓ PNG: неверный CRC — 415 (51 ms)
|
||||
✓ PNG: фильтр строки 5 — 415 (13 ms)
|
||||
✓ PNG: фильтр строки 255 — 415 (13 ms)
|
||||
✓ PNG: неверный фильтр в последней строке — 415 (16 ms)
|
||||
✓ PNG: мусор в IDAT с верным CRC — 415 (24 ms)
|
||||
✓ PNG: данных меньше, чем строк — 415 (17 ms)
|
||||
✓ PNG: палитра на 257 записей — 415 (11 ms)
|
||||
✓ JPEG: все повреждения — 415 (63 ms)
|
||||
лимиты
|
||||
✓ 10 MiB + 1 байт — 413 и без чтения объявленного тела (1266 ms)
|
||||
✓ превышение при chunked без Content-Length — 413 (801 ms)
|
||||
✓ превышение лимита пикселей — 413 до декодирования (28 ms)
|
||||
✓ оборванная загрузка не оставляет временных файлов и строк в БД (810 ms)
|
||||
отказы
|
||||
✓ S3 недоступен — 503 с заголовками, метаданные не создаются (193 ms)
|
||||
✓ явный отказ INSERT после PUT удаляет объект (77 ms)
|
||||
✓ необработанная ошибка PostgreSQL при INSERT — 503, объект не удаляется (45 ms)
|
||||
✓ при неясном исходе COMMIT объект не удаляется (41 ms)
|
||||
|
||||
A worker process has failed to exit gracefully and has been force exited. This is likely caused by tests leaking due to improper teardown. Try running with --detectOpenHandles to find leaks. Active timers can also cause this, ensure that .unref() was called on them.
|
||||
Test Suites: 9 passed, 9 total
|
||||
Tests: 163 passed, 163 total
|
||||
Snapshots: 0 total
|
||||
Time: 56.981 s
|
||||
Ran all test suites.
|
||||
|
||||
@@ -0,0 +1,536 @@
|
||||
{
|
||||
"date": "2026-11-05T14:06:08Z",
|
||||
"api_replica_limits": {
|
||||
"cpus": 0.5,
|
||||
"memory_mib": 256
|
||||
},
|
||||
"rows_after_attachments_messages": "290|264",
|
||||
"results": [
|
||||
{
|
||||
"profile": "sample 112 KiB x10",
|
||||
"body_bytes": 111817,
|
||||
"content_type": "image/png",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"requests": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"wall_seconds": 2.02,
|
||||
"successful_rps": 14.83,
|
||||
"error_rate": 0.0,
|
||||
"latency_seconds": {
|
||||
"p50": 0.488,
|
||||
"p95": 0.707,
|
||||
"p99": 0.811
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 104,
|
||||
"sampled_peak_rss_mib": 118,
|
||||
"vm_hwm_mib": 118,
|
||||
"cgroup_max_usage_with_page_cache_mib": 73,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 103,
|
||||
"sampled_peak_rss_mib": 113,
|
||||
"vm_hwm_mib": 113,
|
||||
"cgroup_max_usage_with_page_cache_mib": 64,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 4.55,
|
||||
"last_mem": "121.2MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 1.91,
|
||||
"last_mem": "12.31MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 40.14,
|
||||
"last_mem": "64.27MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 43.73,
|
||||
"last_mem": "56.66MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 0,
|
||||
"last_mem": "29.14MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 0.55,
|
||||
"last_mem": "8.105MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 5.16,
|
||||
"last_mem": "34.39MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 5.51,
|
||||
"last_mem": "68.39MiB"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"profile": "png 10 MiB x1",
|
||||
"body_bytes": 10485760,
|
||||
"content_type": "image/png",
|
||||
"concurrency": 1,
|
||||
"rounds": 3,
|
||||
"requests": 3,
|
||||
"statuses": {
|
||||
"201": 3
|
||||
},
|
||||
"wall_seconds": 1.8,
|
||||
"successful_rps": 1.67,
|
||||
"error_rate": 0.0,
|
||||
"latency_seconds": {
|
||||
"p50": 0.69,
|
||||
"p95": 0.742,
|
||||
"p99": 0.742
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 103,
|
||||
"sampled_peak_rss_mib": 112,
|
||||
"vm_hwm_mib": 121,
|
||||
"cgroup_max_usage_with_page_cache_mib": 74,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 1
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 105,
|
||||
"sampled_peak_rss_mib": 122,
|
||||
"vm_hwm_mib": 122,
|
||||
"cgroup_max_usage_with_page_cache_mib": 77,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 2
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 0.75,
|
||||
"last_mem": "119.3MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 0.55,
|
||||
"last_mem": "12.31MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 12.44,
|
||||
"last_mem": "57.14MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 24.71,
|
||||
"last_mem": "67.43MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 3.9,
|
||||
"last_mem": "30.21MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 0.47,
|
||||
"last_mem": "8.23MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 1.02,
|
||||
"last_mem": "32MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 5.27,
|
||||
"last_mem": "87.09MiB"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"profile": "png 10 MiB x10",
|
||||
"body_bytes": 10485760,
|
||||
"content_type": "image/png",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"requests": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"wall_seconds": 9.58,
|
||||
"successful_rps": 3.13,
|
||||
"error_rate": 0.0,
|
||||
"latency_seconds": {
|
||||
"p50": 2.945,
|
||||
"p95": 3.77,
|
||||
"p99": 3.771
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 103,
|
||||
"sampled_peak_rss_mib": 142,
|
||||
"vm_hwm_mib": 142,
|
||||
"cgroup_max_usage_with_page_cache_mib": 145,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 105,
|
||||
"sampled_peak_rss_mib": 143,
|
||||
"vm_hwm_mib": 144,
|
||||
"cgroup_max_usage_with_page_cache_mib": 139,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 8.22,
|
||||
"last_mem": "103.6MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 9.11,
|
||||
"last_mem": "12.32MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 54.38,
|
||||
"last_mem": "85.79MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 54.51,
|
||||
"last_mem": "87.57MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 0,
|
||||
"last_mem": "30.12MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 3.06,
|
||||
"last_mem": "8.234MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 5.81,
|
||||
"last_mem": "44.02MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 46.28,
|
||||
"last_mem": "147.5MiB"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"profile": "png 40 MP x10",
|
||||
"body_bytes": 126786,
|
||||
"content_type": "image/png",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"requests": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"wall_seconds": 89.21,
|
||||
"successful_rps": 0.34,
|
||||
"error_rate": 0.0,
|
||||
"latency_seconds": {
|
||||
"p50": 23.187,
|
||||
"p95": 33.475,
|
||||
"p99": 33.514
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 104,
|
||||
"sampled_peak_rss_mib": 152,
|
||||
"vm_hwm_mib": 153,
|
||||
"cgroup_max_usage_with_page_cache_mib": 256,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 104,
|
||||
"sampled_peak_rss_mib": 160,
|
||||
"vm_hwm_mib": 163,
|
||||
"cgroup_max_usage_with_page_cache_mib": 256,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 2.34,
|
||||
"last_mem": "111.8MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 1.26,
|
||||
"last_mem": "12.33MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 55.41,
|
||||
"last_mem": "66.35MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 54.7,
|
||||
"last_mem": "67.4MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 0,
|
||||
"last_mem": "30.14MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 8.95,
|
||||
"last_mem": "8.105MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 5.1,
|
||||
"last_mem": "45MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 7.63,
|
||||
"last_mem": "160.1MiB"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"profile": "jpeg 40 MP x10",
|
||||
"body_bytes": 235018,
|
||||
"content_type": "image/jpeg",
|
||||
"concurrency": 10,
|
||||
"rounds": 3,
|
||||
"requests": 30,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"wall_seconds": 86.77,
|
||||
"successful_rps": 0.35,
|
||||
"error_rate": 0.0,
|
||||
"latency_seconds": {
|
||||
"p50": 21.567,
|
||||
"p95": 29.473,
|
||||
"p99": 29.817
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 103,
|
||||
"sampled_peak_rss_mib": 150,
|
||||
"vm_hwm_mib": 158,
|
||||
"cgroup_max_usage_with_page_cache_mib": 256,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 104,
|
||||
"sampled_peak_rss_mib": 160,
|
||||
"vm_hwm_mib": 163,
|
||||
"cgroup_max_usage_with_page_cache_mib": 256,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 15
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 1.93,
|
||||
"last_mem": "102MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 0.61,
|
||||
"last_mem": "12.42MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 54.66,
|
||||
"last_mem": "48.4MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 55.35,
|
||||
"last_mem": "58.52MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 0,
|
||||
"last_mem": "30.15MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 3.8,
|
||||
"last_mem": "8.105MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 3.13,
|
||||
"last_mem": "45.41MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 5.96,
|
||||
"last_mem": "161.7MiB"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"profile": "png 10 MiB x20",
|
||||
"body_bytes": 10485760,
|
||||
"content_type": "image/png",
|
||||
"concurrency": 20,
|
||||
"rounds": 3,
|
||||
"requests": 60,
|
||||
"statuses": {
|
||||
"201": 60
|
||||
},
|
||||
"wall_seconds": 16.62,
|
||||
"successful_rps": 3.61,
|
||||
"error_rate": 0.0,
|
||||
"latency_seconds": {
|
||||
"p50": 4.453,
|
||||
"p95": 6.507,
|
||||
"p99": 6.588
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 106,
|
||||
"sampled_peak_rss_mib": 151,
|
||||
"vm_hwm_mib": 151,
|
||||
"cgroup_max_usage_with_page_cache_mib": 199,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 30
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 104,
|
||||
"sampled_peak_rss_mib": 148,
|
||||
"vm_hwm_mib": 148,
|
||||
"cgroup_max_usage_with_page_cache_mib": 194,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 30
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 1.92,
|
||||
"last_mem": "104MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 12.15,
|
||||
"last_mem": "12.68MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 54.25,
|
||||
"last_mem": "96.46MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 54.62,
|
||||
"last_mem": "91.93MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 0,
|
||||
"last_mem": "30.15MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 3.07,
|
||||
"last_mem": "8.23MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 4.49,
|
||||
"last_mem": "47.98MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 49.68,
|
||||
"last_mem": "174.5MiB"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"profile": "png 10 MiB x40 (выше лимита 16 на реплику)",
|
||||
"body_bytes": 10485760,
|
||||
"content_type": "image/png",
|
||||
"concurrency": 40,
|
||||
"rounds": 3,
|
||||
"requests": 120,
|
||||
"statuses": {
|
||||
"503": 24,
|
||||
"201": 96
|
||||
},
|
||||
"wall_seconds": 24.63,
|
||||
"successful_rps": 3.9,
|
||||
"error_rate": 0.2,
|
||||
"latency_seconds": {
|
||||
"p50": 7.862,
|
||||
"p95": 8.374,
|
||||
"p99": 8.399
|
||||
},
|
||||
"sha256_in_responses_ok": true,
|
||||
"download_sha256_ok": true,
|
||||
"replicas": {
|
||||
"bb4424f819bb": {
|
||||
"idle_rss_mib": 104,
|
||||
"sampled_peak_rss_mib": 156,
|
||||
"vm_hwm_mib": 156,
|
||||
"cgroup_max_usage_with_page_cache_mib": 256,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 60
|
||||
},
|
||||
"0900a35b199d": {
|
||||
"idle_rss_mib": 102,
|
||||
"sampled_peak_rss_mib": 150,
|
||||
"vm_hwm_mib": 150,
|
||||
"cgroup_max_usage_with_page_cache_mib": 256,
|
||||
"oom_killed": "false",
|
||||
"temp_dirs_left": 0,
|
||||
"served": 60
|
||||
}
|
||||
},
|
||||
"docker_stats": {
|
||||
"messenger-lab4-tools-run-3ba5514e0d22": {
|
||||
"max_cpu_percent": 15.56,
|
||||
"last_mem": "122.4MiB"
|
||||
},
|
||||
"messenger-lab4-lb-1": {
|
||||
"max_cpu_percent": 26.52,
|
||||
"last_mem": "13.5MiB"
|
||||
},
|
||||
"messenger-lab4-api-1": {
|
||||
"max_cpu_percent": 52.45,
|
||||
"last_mem": "98.35MiB"
|
||||
},
|
||||
"messenger-lab4-api-2": {
|
||||
"max_cpu_percent": 52.64,
|
||||
"last_mem": "91.67MiB"
|
||||
},
|
||||
"messenger-lab4-reconciler-1": {
|
||||
"max_cpu_percent": 0,
|
||||
"last_mem": "30.15MiB"
|
||||
},
|
||||
"messenger-lab4-redis-1": {
|
||||
"max_cpu_percent": 3.46,
|
||||
"last_mem": "8.105MiB"
|
||||
},
|
||||
"messenger-lab4-postgres-1": {
|
||||
"max_cpu_percent": 7.07,
|
||||
"last_mem": "65.05MiB"
|
||||
},
|
||||
"messenger-lab4-s3-1": {
|
||||
"max_cpu_percent": 49.36,
|
||||
"last_mem": "248.1MiB"
|
||||
}
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user